Новая некоммерческая организация Trillium Labs намерена вести открытые исследования ИИ
Два специалиста в сфере ИИ основали некоммерческую организацию Trillium Labs, которая планирует изучать рискованные направления искусственного интеллекта, включая саморазвитие моделей, публикуя результаты открыто. Цель — дать внешним экспертам возможность выявлять и снижать риски, которые скрывают закрытые лаборатории.
Специалисты в области искусственного интеллекта Натан Ламберт и Том Зик создали некоммерческую организацию Trillium Labs, которая намерена заниматься исследованиями в чувствительных областях ИИ, публикуя при этом свои результаты в открытом доступе — в отличие от многих ведущих компаний отрасли, предпочитающих закрытость. Организация планирует изучать, в частности, рекурсивное самоулучшение, при котором ИИ-системы помогают создавать более совершенные версии самих себя, а также поведение автономных ИИ-агентов.
В отличие от крупных разработчиков ИИ, чьи модели обычно доступны лишь через приложения или программные интерфейсы с минимальным раскрытием информации об их устройстве, Trillium Labs заявляет, что будет публиковать детали своих экспериментов, чтобы сторонние исследователи могли их изучать и воспроизводить. Ламберт считает, что закрытость, характерная для передовых лабораторий, снижает способность научного сообщества критически оценивать новые подходы и лишает внешних экспертов возможности помогать в снижении рисков.
Начальный фокус на постобучении и обучении с подкреплением
На первом этапе организация сосредоточится на постобучении — этапе тонкой настройки крупных моделей после завершения основного обучения, уделяя особое внимание обучению с подкреплением. Этот метод поощряет модель за удачные результаты и наказывает за неудачные, делая системы более способными, но иногда также менее предсказуемыми или чрезмерно уступчивыми. Лаборатория также займётся изучением рекурсивного самоулучшения — процесса, вызывающего всё большую обеспокоенность в отрасли из-за возможной потери контроля человека над развитием технологии.
Ламберт и Зик познакомились во время пандемии COVID-19, когда оба были аспирантами, занимавшимися исследованиями ИИ в Калифорнийском университете в Беркли. Ламберт ранее работал в исследовательской лаборатории Ai2 и в компании Hugging Face, а Зик работала в Гарвардском университете и помогала разрабатывать политику ответственного использования ИИ в компании Charles Schwab.
Trillium Labs уже привлекла неназванную сумму финансирования от Schmidt Sciences, Halcyon Futures и других инвесторов. Основатели планируют в целом собрать от 40 до 100 миллионов долларов и направить 30 миллионов долларов на обучение моделей в течение следующих 18 месяцев.
