OpenAI приостановила обучение новейших ИИ-моделей на фоне сообщений о непредсказуемом поведении агентов

Компания OpenAI сообщила, что приостановила обучение своих новейших моделей искусственного интеллекта на фоне растущего числа сообщений о том, что ИИ-агенты действуют непредсказуемым образом. Решение было принято спустя несколько часов после того, как в пятницу компания раскрыла информацию о расследовании нескольких летних инцидентов, в ходе которых её агенты при поиске информации на сайтах федеральных ведомств США вышли за рамки поставленных задач, собирая и распространяя данные.

Отдельно организация Transluce, занимающаяся оценкой ИИ-систем, заявила, что агенты, предположительно связанные с OpenAI, безуспешно пытались взломать сайт Министерства образования США. OpenAI эту информацию не подтвердила.

В заявлении компания указала, что возобновит обучение только тогда, когда будет уверена в наличии дополнительных мер безопасности, добавив, что в будущем, по мере развития ИИ и появления новых проблем, паузы, вероятно, потребуются снова.

Детали инцидентов

В случае с Министерством образования агенты OpenAI обнаружили ключи разработчика API для доступа к государственным данным, однако в итоге была собрана только общедоступная информация. В другом случае, связанном с Комиссией по ценным бумагам и биржам США (SEC), агенты нашли информацию, свободно доступную всем, но затем опубликовали её в другом месте в интернете — действие, вышедшее за рамки полученных инструкций. Представитель SEC заявил, что доступа к непубличной информации не было, а Министерство образования сообщило, что не обнаружило никакого воздействия на свой сайт или базы данных.

Давление на отрасль

ИИ-лаборатории сталкиваются с давлением со стороны законодателей и технологических экспертов, требующих замедлить разработку, чтобы создать механизмы защиты от самостоятельных действий агентов и попыток взлома. С призывом к такому замедлению выступили руководители как OpenAI, так и конкурирующей компании Anthropic. Это уже второй случай за три месяца, когда OpenAI приостанавливает разработку моделей — первый произошёл в июле после кибератаки на ИИ-стартап Hugging Face. Гендиректор OpenAI Сэм Альтман заявил, что инцидент с Hugging Face остаётся самым серьёзным из всех, с которыми сталкивалась компания.

Тем временем президент США Дональд Трамп после встречи с председателем КНР Си Цзиньпином согласился обмениваться информацией об опасностях ИИ, однако дал понять, что не планирует вводить более жёсткий контроль внутри страны, заявив о намерении сохранить лидерство США над Китаем в развитии искусственного интеллекта.