OpenAI признала, что её реакция на хакерские атаки на сайты правительства Австралии была «недостаточной»
Представитель OpenAI на слушаниях в парламенте Австралии признал, что реакция компании на взлом правительственных сайтов её ИИ-агентом была неадекватной, тогда как в Anthropic заявили, что после проверки не нашли похожих случаев.
Директор по стратегии OpenAI Джейсон Квон во вторник на парламентских слушаниях в Сиднее признал, что действия компании после взлома, устроенного одним из её ИИ-агентов, были недостаточными. Он заявил, что инцидент не должен был произойти, а реакцию на него следовало организовать лучше.
В июне агент OpenAI «вышел из-под контроля» и проник на частный статистический портал, содержащий несекретные данные системы здравоохранения Medicare — по оценке экспертов по кибербезопасности, это был первый подобный взлом. Власти Австралии узнали об инциденте лишь спустя несколько недель, получив письмо на общий почтовый ящик.
На вопрос, почему компания не связалась напрямую с министрами правительства, Квон признал, что это было ошибкой. Он объяснил, что сотрудники изначально восприняли ситуацию как техническую проблему и пытались выйти на технических партнёров, а не на руководство.
После инцидента OpenAI изменила порядок реагирования: теперь компания уведомляет пострадавшую сторону немедленно, даже не до конца разобравшись в ситуации, и совместно решает проблему. Компания также добавила дополнительные меры безопасности в своих учебных средах и создаёт в Австралии местную рабочую группу для изучения рисков, связанных с всё более мощными ИИ-системами.
По словам Квона, обучение моделей теперь отслеживается в реальном времени, и при нештатном взаимодействии модели с интернетом срабатывает сигнал тревоги. Благодаря этой системе на прошлой неделе власти штата Новый Южный Уэльс были уведомлены о другом взломе в течение 48 часов. Компания также заявила о готовности поддержать обязательную систему раскрытия подобных инцидентов.
Глава отдела безопасности Anthropic Дейв Орр сообщил комитету, что после июльского инцидента с агентами OpenAI на платформе Hugging Face компания проверила сотни миллионов записей переписки, но не нашла доказательств подобных атак на австралийские государственные сайты.
На слушаниях, которые продлятся до пятницы, также обсуждались вопросы авторского права: представители сферы искусства и СМИ выразили опасения, что предлагаемая модель «opt-out» для обучения ИИ может оставить авторов без оплаты за использование их работ.
