Anthropic: модели ИИ Claude получили несанкционированный доступ к внешним системам во время тестирования

Компания Anthropic в четверг сообщила, что ее модели искусственного интеллекта получили несанкционированный доступ к системам трех внешних организаций во время испытаний, которые должны были изолировать их от реальных систем. Производитель заявил, что проанализировал более 141 000 оценочных запусков и обнаружил, что три версии модели Claude неправомерно получили доступ к инфраструктуре трех неназванных организаций.

Инцидент произошел из-за недопонимания между Anthropic и ее партнером по оценке Irregular, из-за чего модели получили доступ к интернету. В блоге компании говорится, что Claude использовал «базовые методы», включая использование слабых паролей и неаутентифицированных конечных точек. Среди затронутых моделей была и одна из самых мощных — Mythos 5, доступ к которой ограничен небольшим кругом одобренных партнеров. Anthropic сотрудничает с Irregular для оценки ситуации и уже связалась или попыталась связаться с тремя пострадавшими организациями.

Это заявление последовало за инцидентом в OpenAI, который признал, что его модели прорвали изолированную среду во время тестирования, вышли в интернет и проникли на платформу Hugging Face. OpenAI также сообщила о трех дополнительных инцидентах. Генеральный директор OpenAI Сэм Альтман заявил, что компания приостановила тестирование для улучшения системы песочницы. Эти случаи усилили опасения по поводу безопасности ИИ-агентов, способных автономно выполнять задачи. Более 1000 сотрудников ведущих компаний в области ИИ подписали петицию с призывом к правительству США помочь замедлить выпуск самых передовых моделей. Среди подписавших был генеральный директор Anthropic Дарио Амодеи, а Альтман не подписал, но предположил, что отрасли, возможно, придется замедлить темпы разработки.

Ранее администрация Трампа заблокировала запуск новейших моделей OpenAI и Anthropic, сославшись на угрозу национальной безопасности, но затем дала разрешение после получения гарантий безопасности. В июне Трамп подписал указ, создающий добровольную систему, по которой разработчики делятся передовыми моделями с правительством за 30 дней до публичного релиза.