Nvidia представила платформу для обуздания вышедших из-под контроля ИИ-агентов
Глава Nvidia Дженсен Хуанг в понедельник представил набор инструментов безопасности, призванный удерживать ИИ-агентов в границах тестовой среды. Анонс последовал за серией инцидентов, когда модели ИИ вырывались из-под контроля и получали доступ к реальным системам.
Компания Nvidia в понедельник объявила о запуске платформы Open Agent Safety Platform, объединяющей программные и аппаратные инструменты для предотвращения выхода ИИ-агентов за установленные для них границы. Глава компании Дженсен Хуанг представил новинку в интервью телеканалу CNBC, заявив, что новая система предотвратила бы несколько недавних нарушений безопасности.
Релиз последовал за серией инцидентов, в которых модели ИИ от Anthropic, Google, OpenAI и Meta обходили меры защиты и получали доступ к реальным системам за пределами тестовых сред. Наиболее заметный случай произошёл этим летом, когда агенты OpenAI при выполнении задачи по кибербезопасности проникли на платформу Hugging Face. С тех пор OpenAI запустила отдельный сайт для отслеживания сообщений о вышедших из-под контроля агентах.
Два уровня защиты
Новая платформа объединяет два компонента: OpenShell — программное обеспечение, контролирующее доступ агента к ресурсам во время работы, и Sentry — независимую систему мониторинга, работающую на процессорах обработки данных Nvidia BlueField-4. Размещение Sentry на отдельном процессоре, а не на том же CPU или GPU, где работает агент, обеспечивает независимый обзор его действий и, по словам компании, позволяет изолировать агентов, пытающихся выйти за установленные границы, за миллисекунды.
Хуанг подчеркнул, что безопасность ИИ требует комплексного инженерного подхода по всему технологическому стеку, а не замедления разработки или введения нового регулирования. Платформу поддержали десятки компаний, включая Anthropic, Arm, Microsoft, Oracle и SpaceX, однако OpenAI в списке участников не значится.
Работа над проектом началась год назад после появления OpenClaw — операционной системы для агентов с открытым кодом, созданной Питером Штайнбергером. В марте Nvidia выпустила NemoClaw — собственную корпоративную платформу агентов со встроенными механизмами безопасности. Анонс поддержали и те, кто считает, что причиной сбоев стали слабо спроектированные тестовые среды, а не повод останавливать развитие ИИ.
