Google DeepMind открывает институт для расширения дискуссии об AGI
Google DeepMind в среду запустил новый институт для сбора разных мнений о развитии и безопасности искусственного общего интеллекта. Первый сборник эссе посвящён прозрачности AI-моделей и необходимости международной системы оценки.
Исследователи Google и Google DeepMind в среду объявили о создании DeepMind Institute — организации, призванной расширить дискуссию об искусственном общем интеллекте (AGI). В число директоров института входят соучредитель DeepMind Шейн Легг, руководитель Google Джеймс Манйика и председатель Google DeepMind Демис Хассабис, при этом Легг займёт должность главного редактора.
Заявленная цель института — отражать различные точки зрения, существующие как внутри Google и DeepMind, так и в более широком мировом исследовательском сообществе по вопросам AGI. В сообщении отмечается, что участники не всегда будут согласны друг с другом и могут менять позицию по мере появления новых данных в быстро развивающейся области.
Первые эссе
В первый сборник вошли четыре эссе: об экономической политике на случай возможных потрясений от AGI, о сохранении понятной человеку логики рассуждений моделей, о принципах процветания человечества и о системе оценки самых передовых AI-моделей.
В одном из эссе исследователи безопасности DeepMind Рохин Шах и Анка Драган утверждают, что сокращающаяся возможность наблюдать и проверять пошаговые рассуждения модели не является неизбежной. По их мнению, поскольку новые архитектуры затрудняют контроль над самыми мощными моделями, разработчикам и регуляторам необходимо напрямую решать связанные с этим компромиссы в области безопасности — в том числе ограничивая объём последовательных вычислений, которые модель может выполнять без создания проверяемого следа рассуждений.
В отдельном эссе Хассабис предлагает создать возглавляемый США орган для установления стандартов оценки наиболее продвинутых AI-моделей. Согласно его предложению, разработчики сначала будут добровольно представлять модели на проверку за 30 дней до релиза; после подтверждения эффективности такой системы прохождение оценки может стать обязательным условием для развёртывания передовых моделей в США. Со временем орган разработает независимые, неразглашаемые тесты, чтобы компании не могли подстраивать модели под известные критерии оценки. Хассабис отметил, что требования могут быть ужесточены при необходимости, вплоть до скоординированного замедления темпов разработки.
Эти эссе появились на фоне того, как дискуссия отрасли о безопасности смещается от общих заявлений обеспокоенности к конкретным предложениям о раскрытии информации, внешнем надзоре и скоординированном замедлении в случае отставания мер безопасности — эту тенденцию на этой неделе усилила поддержка лидерами отрасли призыва главы Anthropic Дарио Амодея к более сдержанному темпу развития передовых AI-технологий.
