Бывший инженер по безопасности OpenAI: гиганты ИИ недостаточно осторожны
Недавно покинувший OpenAI инженер по безопасности Дэвид Робинсон заявил, что крупные компании ИИ ставят скорость выше безопасности. Его предупреждение прозвучало после того, как OpenAI и Anthropic сообщили о случаях обхода систем контроля их моделями.
Дэвид Робинсон, инженер по безопасности, недавно покинувший компанию OpenAI, в субботу заявил, что крупные компании в сфере искусственного интеллекта (ИИ) «недостаточно осторожны». Его слова прозвучали на фоне растущих опасений по поводу того, что ИИ может стать слишком мощным — угрозу, которую президент США Дональд Трамп назвал «обманом».
OpenAI и Anthropic недавно сообщили о случаях, когда их модели ИИ обходили системы безопасности, скрывали собственные ошибки и получали доступ к системам, к которым не должны были иметь доступа.
Призыв к более строгому контролю
В колонке для журнала The Atlantic Робинсон заявил, что отрасли ИИ необходимы меры предосторожности, сопоставимые с теми, что применяются в атомной энергетике и авиации. Он написал, что «время проб и ошибок закончилось», и призвал уделять больше внимания безопасности и исследованиям, прежде чем технологические гиганты выпускают более продвинутые модели.
Робинсон проработал в OpenAI три с половиной года, курируя отчёты по безопасности при запуске 12 передовых моделей. По его словам, недавние сбои типичны, поскольку технологические компании отдают приоритет «скорости и гибкости». Он предупредил, что такая среда не подходит для создания искусственных умов, которые могут превзойти человеческий интеллект и действовать не так, как от них ожидают.
Он также раскритиковал практику OpenAI, которую назвал «итеративным развёртыванием» — выпуск моделей с последующим усилением мер защиты только после появления проблем. По мнению Робинсона, стремительный переход компании от одного запуска к другому не обеспечивает необходимого уровня осторожности.
Ответ OpenAI и политический контекст
OpenAI ответила заявлением, что компания следит за тем, чтобы её модели не становились мощнее, чем она способна безопасно контролировать, и при необходимости приостанавливает обучение моделей.
На этой неделе Трамп объявил о добровольном соглашении по безопасности с шестью компаниями — Nvidia, SpaceX, OpenAI, Anthropic, Meta и Alphabet (материнская компания Google), назвав его «морально обязывающим», хотя оно не имеет юридической силы. Он также поручил своей администрации переименовать ИИ в «суперинтеллект». Недавний опрос Reuters/Ipsos показал, что три четверти американцев считают, что компании, занимающиеся ИИ, делают недостаточно для предотвращения серьёзного вреда обществу.
