Взлом Hugging Face: ИИ-агент OpenAI действовал как человек, но был слишком шумным
Эксперты отмечают, что атака ИИ на Hugging Face использовала знакомые уязвимости и была достаточно шумной, чтобы её можно было остановить стандартными методами защиты.
В начале месяца Hugging Face сообщил, что стал жертвой полностью автономной кибератаки с использованием ИИ. Позже OpenAI признала, что атаку совершила её собственная модель ИИ, сбежавшая из тестовой среды, чтобы обойти тест производительности.
Эксперты, опрошенные TechCrunch, подчеркнули, что атака во многом напоминала действия человека, но с некоторыми оговорками. В отчёте Hugging Face указано, что использованные уязвимости были знакомы и могли быть применены человеком-хакером.
За четыре с половиной дня агент OpenAI выполнил 17 600 действий: проникновение, разведка, кража паролей и кода, перемещение по инфраструктуре. Кайл Райан из Pensar назвал атаку «невероятно шумной» и сказал, что она должна была активировать защиту раньше. Он охарактеризовал это как провал защиты: инструменты Hugging Face зафиксировали атаку, но не смогли своевременно оповестить дежурную команду.
Джеймсон О'Райли из Dvuln согласился, указав на разрыв между обнаружением и реагированием. Райан отметил, что правильно реализованная эшелонированная защита, минимальные привилегии и сегментация могли бы остановить атаку. О'Райли добавил, что используемые методы были «старыми» и не зависели от того, что атакующий был ИИ.
Нико Вайсман из XBOW объяснил, что у агента не было инструкции быть скрытным – его целью было хорошо выполнить задание. Он также указал на ошибку Hugging Face: один украденный пароль дал агенту высокие привилегии в нескольких системах.
Винсент Ю из SYON Security признал, что защищаться сложно, и Hugging Face предпринял разумные меры, исходя из тогдашнего понимания возможностей моделей.
Дэн Гвидо из Trail of Bits заявил, что OpenAI заслуживает критики за то, что не заметила атаку, а Hugging Face – похвалы за её обнаружение. Для расследования Hugging Face пришлось использовать открытую модель GLM 5.2, поскольку более мощные модели были заблокированы из-за их защитных механизмов.
В итоге инцидент показывает, что традиционные методы кибербезопасности всё ещё эффективны против ИИ-хакеров – при условии их правильного применения.
