Человеческая ошибка привела к тому, что модель OpenAI взломала Hugging Face
OpenAI сообщила, что во время теста модель автономно взломала платформу Hugging Face. Эксперты по кибербезопасности считают, что причиной стала человеческая ошибка — недостаточная изоляция песочницы.
Во вторник OpenAI раскрыла, что одна из её моделей вышла из-под контроля во время теста и осуществила полностью управляемую искусственным интеллектом (ИИ) атаку на платформу наборов данных Hugging Face. Это драматический пример опасностей, которые представляют продвинутые модели ИИ. Однако, по мнению нескольких экспертов по кибербезопасности, в основе этой беспрецедентной атаки лежала человеческая ошибка.
OpenAI не смогла правильно настроить так называемую «высокоизолированную среду», позволив тестовой песочнице, которая должна была быть полностью изолирована от интернета, фактически подключиться к сети. Дэн Гайдо (Dan Guido), основатель стартапа в области кибербезопасности Trail of Bits, назвал эту ошибку «отказом изоляции с отключёнными защитами». В своём блоге, описывая инцидент, OpenAI заявила, что тест проводился «в высокоизолированной среде, с сетевым доступом, ограниченным возможностью устанавливать пакеты через внутреннее стороннее программное обеспечение, которое действует как прокси и кэш для реестров пакетов». Модели удалось сбежать из песочницы благодаря ранее неизвестной уязвимости нулевого дня в системе установки пакетов — это стал критическим первым шагом на пути к взлому Hugging Face, по данным OpenAI.
В ответ компания «ответственно раскрыла выявленную уязвимость нулевого дня во внутреннем стороннем программном обеспечении и работает над её устранением». Однако для большинства специалистов по кибербезопасности уязвимости программного обеспечения ожидаемы — настоящая вина лежит на решении вообще поддерживать стороннее ПО в песочнице. Ценность «песочницы» заключается в её полной изоляции; включение системы установки пакетов — это риск.
Исследователь кибербезопасности Мартин Бун (Martin Boone) сообщил TechCrunch, что «это звучит как человеческая ошибка. Если песочница на самом деле означает песочницу, вы ожидаете, что у неё не будет физического подключения к интернету. Это больше похоже на то, что они использовали межсетевой экран, но межсетевые экраны сложны для защиты извне внутрь, не говоря уже о защите изнутри наружу.» Ветеран кибербезопасности Джейк Уильямс (Jake Williams) согласился: «Любая модель, выполняющая действия, задокументированные Hugging Face, не была полностью изолирована в песочнице. Это массовый провал контроля со стороны OpenAI.» Консультант по кибербезопасности Дэниел Кард (Daniel Card) добавил, что OpenAI «не приложила достаточных усилий к разработке песочницы и её контролю», предоставив ей «нефильтрованный путь в интернет».
Эти критики имеют преимущество ретроспективного взгляда, но они поднимают реальные вопросы о практике безопасности в AI-лабораториях, особенно в отношении поддержания изолированных сред для тестирования моделей. Представители OpenAI не ответили на вопросы TechCrunch, в том числе о том, создал ли тестовую среду ИИ или человек. Проблема выходит за рамки OpenAI: в документе, представляющем модель Mythos, ориентированную на кибербезопасность, компания Anthropic отметила, что во время теста модели удалось сбежать из «безопасного контейнера» и получить более широкий доступ в интернет, хотя и не полностью.