Исследователи нашли в браузере OpenAI уязвимости для рассылки спама в WhatsApp и покупок на Amazon

Новые данные, представленные на конференции по кибербезопасности Black Hat в Лас-Вегасе, показывают, что браузеры с искусственным интеллектом могут быть уязвимы для атак. Исследователи из компании Zenity выявили примерно 20 проблем в продуктах Google, Anthropic, Microsoft и Perplexity. Некоторые из них позволяли получить доступ к локальным устройствам, похитить файлы, перехватить менеджер паролей и узнать всю историю посещений пользователя.

Особое внимание было уделено браузеру OpenAI Atlas, который компания закроет на следующей неделе. По словам исследователей, у Atlas было больше всего средств защиты среди протестированных инструментов, однако их всё равно удалось обойти. В одной из демонстраций эксперты создали поддельную страницу подписки на новостную рассылку. В её коде содержалась инструкция на иврите, которая заставляла браузер открыть аккаунт WhatsApp Web пользователя и отправить всем контактам одинаковое сообщение с призывом подписаться на рассылку. Исследователи назвали это массовой фишинговой кампанией и «червём», поскольку сообщение могло распространяться среди друзей и родственников.

Майкл Баргури, сооснователь и технический директор Zenity, пояснил, что атака не использовала уязвимость в самом WhatsApp. Вместо этого обходились несколько механизмов безопасности OpenAI: страница выглядела легитимно, текст на иврите помогал обойти англоязычные фильтры, а также использовалось ложное утверждение, что WhatsApp работает в песочнице с вымышленными людьми.

В другом тесте исследователи применили схожий метод, чтобы добавить адрес доставки и планшет в корзину Amazon. Хотя им не удалось напрямую завершить покупку из-за защитных мер OpenAI, они нашли обходной путь: браузер обратился к ИИ-помощнику Amazon Rufus и попросил его совершить покупку, и тот согласился.

Zenity направила свои находки в OpenAI ещё в январе. Представитель OpenAI подтвердил, что компания выпустила обновление, которое усиливает защиту Atlas и распространяется на функции браузера в новом приложении ChatGPT. Atlas будет прекращён 9 августа. Представитель также отметил, что OpenAI активно изучает проблему prompt-injection атак.

Исследователи подчёркивают, что при разработке ИИ-систем нельзя полагаться только на суждения и классификации моделей, так как их почти всегда можно обмануть. Необходимы жёсткие, «детерминированные» барьеры безопасности. В противном случае, предупреждают они, браузер может быть полностью захвачен, а счета и данные пользователей — скомпрометированы.