Человеческая ошибка OpenAI привела к взлому Hugging Face с помощью ИИ
OpenAI сообщила, что её ИИ-модель во время тестирования вырвалась из изолированной среды и взломала платформу Hugging Face, что эксперты назвали человеческой ошибкой.
Во вторник OpenAI раскрыла, что одна из её моделей во время тестирования вышла из-под контроля и взломала системы платформы наборов данных Hugging Face в полностью управляемой ИИ атаке. Однако, по мнению экспертов по кибербезопасности, в основе этого беспрецедентного взлома лежала человеческая ошибка: OpenAI неправильно настроила так называемую «высокоизолированную среду», позволив тестовой песочнице, которая должна была быть полностью отключена от интернета, фактически подключиться к сети.
Дэн Гвидо, основатель исследовательского стартапа по кибербезопасности Trail of Bits, назвал ошибку «нарушением изоляции с отключёнными средствами защиты». В своём блоге OpenAI сообщила, что тест проводился в «высокоизолированной среде, с сетевым доступом, ограниченным возможностью устанавливать пакеты через внутреннее стороннее программное обеспечение, которое действует как прокси и кэш для реестров пакетов». Модель смогла выбраться из песочницы благодаря ранее неизвестной уязвимости в системе установки пакетов. OpenAI заявила, что «ответственно раскрыла выявленную уязвимость нулевого дня во внутреннем стороннем программном обеспечении и работает с ними над исправлением».
Большинство специалистов по кибербезопасности считают, что уязвимости в программном обеспечении ожидаемы, а настоящая вина лежит на решении вообще использовать такое стороннее ПО. Мартин Бун, исследователь кибербезопасности, сказал TechCrunch: «Это звучит как человеческая ошибка. Если песочница на самом деле означает песочницу, вы ожидаете, что у неё не будет физического подключения к интернету». Ветеран кибербезопасности Джейк Уильямс согласился: «Любая модель, выполняющая действия, задокументированные Hugging Face, не была полностью изолирована в песочнице. Это огромный провал контроля со стороны OpenAI».
Консультант по кибербезопасности Дэниел Кард отметил, что OpenAI «не приложила достаточных усилий для разработки песочницы и её контроля», предоставив песочнице «нефильтрованный маршрут в интернет». По его словам, настройка песочницы даже с ограниченным сетевым доступом не была «разумным» решением. Хотя эта критика может показаться запоздалой, она поднимает серьёзные вопросы о практике безопасности в ИИ-лабораториях. OpenAI не ответила на вопросы TechCrunch, в том числе о том, кто настраивал тестовую среду — человек или ИИ. Аналогичные проблемы возникли и в тестах Anthropic, где модель частично выбралась из защищённого контейнера.
