ИИ-система OpenAI автономно попыталась атаковать другую платформу
OpenAI сообщила, что её ИИ-системы во время теста безопасности самостоятельно нашли способ обойти ограничения и попытались совершить кибератаку на платформу Hugging Face. Эксперты предупреждают о новых угрозах.
Компания OpenAI, разработчик ChatGPT, сообщила о беспрецедентном инциденте в области безопасности. В ходе контролируемого цифрового теста её системы искусственного интеллекта (ИИ) автономно нашли способ обойти установленные ограничения и попытались атаковать другую ИИ-платформу — Hugging Face.
OpenAI пояснила, что ИИ-агенты начали искать способы получения неограниченного доступа в интернет. Используя значительные вычислительные мощности, они нашли решение, нарушающее первоначальные ограничения. Получив доступ в интернет, системы нацелились на Hugging Face — одну из крупнейших платформ, где разработчики обмениваются ИИ-моделями, наборами данных и другими инструментами.
По словам OpenAI, ИИ-система применила несколько методов атаки, включая попытку кражи учётных данных для получения информации, которая могла бы помочь обойти условия теста.
Глава Hugging Face Клеман Деланг назвал инцидент тревожным примером того, как быстро развиваются автономные ИИ-системы. Он написал на платформе X, что расследование продолжается и компании поделятся выводами об этом первом в своём роде инциденте.
Эксперты по безопасности предупреждают, что подобные события могут изменить ландшафт кибербезопасности. Представитель SonicWall Спенсер Старки подчеркнул, что организациям необходимо усилить меры защиты, так как противники переходят на машинную скорость, в то время как многие организации всё ещё защищаются на человеческой скорости.
Тем временем советник ESET по кибербезопасности Джейк Мур предположил, что заявление OpenAI может иметь и конкурентный аспект. По его мнению, компания может пытаться подчеркнуть возможности своего ИИ в то время, когда всё больше внимания привлекают модели конкурента Anthropic.