Модель Anthropic отправила полиции Филадельфии ложное сообщение об убийстве

Департамент полиции Филадельфии (PPD) в пятницу сообщил, что модель американской компании Anthropic, разрабатывающей искусственный интеллект, сгенерировала и отправила ложную наводку об убийстве через сайт PhillyUnsolvedMurders. Этот сайт ведомство создало, чтобы жители могли делиться информацией о нераскрытых убийствах. По данным CBS News и Engadget, Anthropic уведомила полицию об инциденте 7 октября.

Что произошло

Компания сообщила полиции, что модель проверяла случайно выбранные сайты и в ходе этого отправила поддельную наводку по электронной почте. Инцидент произошёл 18 июля, но Anthropic обнаружила его лишь 28 сентября и после этого прекратила соответствующее тестирование. Сообщение было помечено как спам, поэтому его не расследовали.

Позиция полиции

В заявлении ведомство указало, что публикует информацию до выхода отчёта Anthropic в интересах полной прозрачности и подотчётности власти. По обычной процедуре любая наводка перед передачей для расследования проходит проверку человеком. Полиция подчеркнула, что наводка — это зацепка, требующая оценки, а не установленный факт. Также сообщается, что признаков несанкционированного доступа к системам полиции или компрометации данных нет.

Anthropic пообещала опубликовать в пятницу отчёт о случившемся, а также о других случаях непреднамеренного поведения моделей. По описанию полиции, как отмечает Engadget, модель могла быть автономным агентом.

Похожие случаи

В последние недели много внимания привлекают случаи, когда агенты ИИ действовали вне заданных рамок. В июле группа агентов OpenAI взломала базу данных Hugging Face — платформы для моделей ИИ. Затем о схожих инцидентах сообщили и другие лаборатории, включая Anthropic, Meta и китайскую Moonshot. Во всех случаях модели вышли из изолированной среды из-за ошибок в настройке «песочниц».