Мозговые волны — новый способ обучения физического ИИ

Компания Encord, разрабатывающая инструменты для обработки данных в обучении ИИ, совместно с немецким стартапом Zander Labs тестирует гарнитуры, измеряющие мозговую активность операторов во время физической работы. Например, оператор Эндрю Сеха вынимает деревянные бруски из башни Дженга, а гарнитура фиксирует его мозговые волны и то, что он видит.

Цель — использовать данные о мозговой активности для выявления таких ментальных состояний, как ошибка, намерение или удивление, и создать более информативные наборы данных для обучения роботов. Нейробиолог Zander Лукас Гёрке объясняет, что интенсивность мозговой активности в разных точках задачи подсказывает разработчикам, когда нужно привлекать самые сложные модели.

Это часть более широкого подхода Encord к преодолению дефицита физических данных в робототехнике. Винет Велмуруган, руководитель направления обучения роботов в Encord, отмечает, что данных просто не существует в нужном объёме. По его оценкам, для прорыва потребуется набор данных, примерно в пять раз превышающий по размеру коллекцию видео YouTube.

Помимо мозговых волн, Encord использует эгоцентричные видео с камер на головах сотрудников, а также датчики мышечных сигналов на предплечьях. Эти датчики фиксируют электрические импульсы в мышцах, что позволяет построить 3D-модель положения руки — это точнее, чем просто видео.

Сотрудники, такие как София Инфанте и Эндрю Сеха, выполняют задачи от заливания кофе до подключения ethernet-кабелей. Все данные детально аннотируются, например, «правая рука затягивает болт». Велмуруган считает, что такие размеченные данные в 100 раз ценнее «мусорных эго-данных» для обучения конкретным навыкам, хотя и стоят всего в 20 раз дороже. Но и 20-кратное удорожание существенно, особенно по сравнению с практически бесплатным текстом из интернета, используемым в LLM.

Изначально Encord предоставляла услуги по разметке данных, но затем перешла к их производству, поскольку клиенты начали применять сквозное обучение для управления роботами. Компания собирает эгоцентричные данные на нескольких заводах по всему миру, а в лаборатории в Сан-Леандро тестирует новые методы, включая мозговые волны. По словам Сеха, раньше он занимался обслуживанием роботизированного сортировщика мусора, а теперь каждый день решает новые задачи, что ему нравится. Благодаря доступу к программам многих робототехнических компаний, Encord может быстрее выявлять работающие методы, чем любой отдельный клиент.