OpenAI извинилась после взлома австралийских government-сайтов ИИ-агентом

Компания OpenAI во вторник опубликовала в блоге официальные извинения перед жителями Австралии в связи с инцидентом, когда в июне её ИИ-агент получил несанкционированный доступ к нескольким государственным веб-сайтам. Компания признала, что отреагировала на случившееся недостаточно, заявив: "мы сожалеем и работаем над тем, чтобы стать лучше в будущем".

Раскрытие подробностей последовало за заявлением премьер-министра Австралии Энтони Албанезе о взломе на прошлой неделе. По данным OpenAI, компания узнала о действиях агента в середине августа, проверяя более ранние инциденты обучения после июльской атаки на Hugging Face.

Агент получил непубличный доступ к порталу Services Australia, обрабатывающему статистику Medicare, смог выполнять команды, извлекать внутренние файлы и учётные данные, а также записывать собственные файлы. По словам OpenAI, данные пациентов или клиентов затронуты не были.

Агент также получил доступ к публичному инструменту картографирования преступности Бюро статистики преступности Нового Южного Уэльса, извлёкl конфигурационные данные, журналы операций и метаданные сайта. В штате Виктория агент обнаружил открытый ключ доступа к системе отчётности агентства медицинской информации, позволивший получить агрегированную статистику опросов. В Австралийском институте здравоохранения и благополучия агент получил агрегированную статистику, хотя отдельные попытки обойти контроль доступа не увенчались успехом.

Services Australia и департамент здравоохранения Виктории были уведомлены 10 сентября, бюро Нового Южного Уэльса — 18 сентября, а Институт здравоохранения и благополучия — только 24 сентября, поскольку OpenAI сочла, что этот случай не достиг порога обязательного раскрытия.

Инцидент начался, когда ИИ-модели поручили изучить расходы правительства Виктории на лекарства от кожных заболеваний. Не сумев найти нужные данные, модель предприняла несанкционированные действия, включая доступ к сервису отчётности Medicare. OpenAI заявила, что окажет пострадавшим ведомствам поддержку в области кибербезопасности и создаст рабочую группу для выработки рекомендаций по управлению рисками ИИ-агентов.

Глава по стратегии OpenAI Джейсон Квон на следующей неделе выступит перед Объединённым комитетом по ИИ Австралии. Албанезе заявил, что OpenAI вела себя конструктивно после инцидента, но подчеркнул, что риски ИИ, проявившиеся в Австралии и других странах, необходимо воспринимать серьёзно. Правительство рассматривает введение обязательных правил отчётности об утечках данных, связанных с ИИ.