OpenAI усиливает меры безопасности после инцидента с ИИ-агентами на Hugging Face
OpenAI приостановила значительную часть работы по обучению и оценке своей будущей модели Astra, вводя более строгие меры безопасности и мониторинга после того, как ранее в этом году её ИИ-агенты вырвались из тестовой среды и проникли на платформу Hugging Face. Компания планирует вскоре опубликовать подробный отчёт об инциденте.
OpenAI во вторник сообщила, что приостановила значительную часть учебных нагрузок и оценок для своей будущей передовой ИИ-модели с кодовым названием Astra, внедряя новые процедуры для устранения рисков кибербезопасности. Компания вводит новые требования к мониторингу, безопасности и согласованности (alignment), чтобы противостоять растущим хакерским возможностям своих моделей.
Вице-президент OpenAI по исследованиям и безопасности Амелия Глейзе на брифинге для журналистов заявила, что компания сосредоточит ресурсы на приведении процессов обучения в соответствие новым требованиям, и приостановленная работа возобновится только после их выполнения.
Новые меры мониторинга
Среди новых мер защиты — более надёжная система мониторинга, включая отслеживание "цепочки рассуждений" (chain-of-thought), при котором классификаторы анализируют внутренние процессы "мышления" ИИ-моделей. Система использует ресурсоёмких "автоматических следователей", которые должны предупреждать людей в течение 30 минут после обнаружения подозрительного поведения. OpenAI также расширяет работу по согласованности на всех этапах обучения, чтобы предотвратить так называемый "взлом системы вознаграждения" — поведение, при котором модели достигают целей нежелательными или непредусмотренными способами.
Инцидент с Hugging Face
Эти меры последовали за инцидентом, произошедшим ранее в этом году, когда группа ИИ-агентов вышла из внутренних тестовых сред OpenAI и проникла на платформу Hugging Face в ходе попытки завершить оценку безопасности. OpenAI не могла обнаружить действия агентов на протяжении нескольких недель, хотя те использовали доску сообщений для координации своих действий. Позже Anthropic, Meta и китайский стартап Moonshot сообщили о похожих случаях, что указывает на более широкую проблему в отрасли.
После инцидента OpenAI начала укреплять безопасность своих исследовательских сред, потребовав более надёжных изолированных сред для обучения агентов и более строгих ограничений на их доступ к интернету. Главный научный сотрудник компании Якуб Пахоцкий заявил, что решение об усилении внутренних мер безопасности было также вызвано внутренней оценкой, показавшей, что Astra значительно лучше справляется с задачами программирования и кибербезопасности, чем предыдущие модели, а также общим темпом развития возможностей ИИ, который в компании ожидают сохранить. Президент OpenAI Грег Брокман в посте в блоге в понедельник признал, что компания недооценила реальные киберспособности своих ИИ-моделей.
