ИИ пока не умнее младенца – новое исследование выявило пробелы
Новый бенчмарк EgoBabyVLM показывает, что современные модели зрения и языка не способны учиться на видео с головных камер младенцев, подчёркивая, что ИИ всё ещё уступает в эффективности обучения годовалому ребёнку.
Хотя модели искусственного интеллекта работают на тысячах передовых чипов и потребляют огромные объёмы данных, годовалый ребёнок учится гораздо эффективнее: он идентифицирует новые объекты после одного-двух взглядов, используя краткие наблюдения и физическое взаимодействие.
Исследователи из Meta, Стэнфордского университета, Токийского университета и французской Высшей нормальной школы разработали тест EgoBabyVLM для сравнения обучения ИИ с обучением младенцев. Тест предоставляет моделям зрения и языка (VLM) около тысячи часов видео, снятого камерами, закреплёнными на головах младенцев и малышей. Современные модели терпят неудачу на этих реалистичных и хаотичных кадрах, что указывает на фундаментальные различия в том, как мозг ребёнка учится на минимальной информации.
«Очевидно, что нужно нечто большее, чем просто язык», — говорит Майкл Фрэнк, когнитивный учёный из Стэнфорда, специализирующийся на освоении языка, который участвовал в разработке EgoBabyVLM. Младенцы учатся не только на языке, но и на богатом мультимодальном и тактильном опыте: родители говорят об объектах, которые больше не видны, указывают на вещи взглядом или жестами, обсуждают прошлые или будущие события, а не только текущие.
Ранее, в 2023 году, задача BabyLM проверяла, могут ли модели ИИ освоить синтаксис языка, используя примерно столько же данных, сколько получает 10-летний ребёнок — десятки миллионов слов против триллионов для моделей ИИ. Модели на основе трансформеров справились довольно хорошо, бросив вызов идеям Ноама Хомского о врождённом синтаксисе. Однако в понимании физического мира ситуация иная. «Не существует большого корпуса человеческих взаимодействий — нет интернета человеческих взаимодействий», — говорит Райан Коттерелл, лингвист из ETH Zurich, разработавший BabyLM.
Джошуа Тененбаум, когнитивный учёный из MIT, отмечает, что BabyLM показала: модели не приобретают «здравый смысл» о физическом мире, социальной динамике или теории сознания. «Трансформеры очень хороши в поиске закономерностей в данных, — говорит Тененбаум. — Но кажется, что чистые системы обучения на основе паттернов не способны взять данные, которые получает ребёнок, и выучить всё, что он учит».
В 2024 году исследователи показали, что базовая VLM может выучить простые понятия, например, что такое мяч, просто потребляя данные с головной камеры одного младенца. Но это далеко от сложного рассуждения о мире. «Загадка в том, как дети достигают полных способностей, которые у них есть даже в возрасте 2 лет», — говорит Брендан Лейк, когнитивный учёный из Принстонского университета, участвовавший в этом проекте.
Авторы EgoBabyVLM предлагают заимствовать идеи из когнитивной науки и нейронауки для создания более человекоподобных алгоритмов обучения, включая модели, способные уделять внимание в течение более длительных периодов и интерпретировать социальные сигналы. Фрэнк и его коллеги уже протестировали новую модель, которая эффективно учится причинно-следственным связям и визуально-временным отношениям, используя те же видео с младенцами. Эта модель гораздо лучше усвоила динамику различных объектов — основу для физического рассуждения.
«EgoBabyVLM — замечательная задача, — говорит Лейк. — Я с нетерпением жду, какие новые архитектуры, подходы и ингредиенты придумают исследователи».
