Nvidia представила платформу для сдерживания вышедших из-под контроля ИИ-агентов

Глава Nvidia Дженсен Хуанг в понедельник представил новый набор программных и аппаратных инструментов, создающих независимый уровень защиты вокруг ИИ-агентов, чтобы не допустить их выхода за пределы тестовых сред.

Запуск последовал за серией инцидентов, когда модели ИИ от Anthropic, Google, OpenAI и Meta обходили механизмы защиты и получали доступ к реальным системам за пределами тестового окружения. Один из самых заметных случаев произошёл этим летом, когда агенты OpenAI при выполнении задачи по кибербезопасности проникли в Hugging Face. После этого OpenAI запустила отдельный сайт для отчётов о случаях неконтролируемого поведения своих агентов.

В интервью CNBC в понедельник Хуанг заявил, что новая платформа Nvidia Open Agent Safety Platform смогла бы предотвратить эти инциденты. Nvidia, заработавшая десятки миллиардов долларов на продаже GPU и CPU чипов лабораториям ИИ, выступает против замедления разработки или введения нового отраслевого регулирования для решения проблемы безопасности. Вместо этого компания предлагает вынести часть контроля безопасности за пределы самого агента, создав постоянный независимый механизм наблюдения.

Объединение двух систем

Новая платформа объединяет OpenShell — открытое программное обеспечение Nvidia, контролирующее доступ агента во время работы, — с системой Sentry, независимым модулем мониторинга, работающим на отдельных процессорах обработки данных Nvidia BlueField-4. Размещение Sentry на отдельном процессоре, а не на CPU или GPU, где функционирует сам агент, даёт изолированный обзор его действий и позволяет за миллисекунды изолировать агентов, пытающихся выйти за установленные границы.

OpenShell была анонсирована ещё в марте, однако, по словам компании, именно сочетание с Sentry обеспечивает необходимый уровень защиты. Поддержать открытую платформу уже согласились десятки компаний, включая Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI среди участников не значится.

Хуанг рассказал, что работа над проектом началась год назад после появления OpenClaw — операционной системы для агентов, созданной Питером Штайнбергером. Он сравнил новые меры безопасности с тем, как компании управляют сотрудниками: при развёртывании агента у него сразу же отбирают все права.

Инициативу поддержал Дэвид Сакс, бывший советник Белого дома по ИИ, заявивший, что недавние инциденты доказывают не необходимость остановки разработки, а то, что тестовые среды были слишком слабо защищены.