Ego-данные получили «всё тело»: новый путь масштабирования мировых моделей

Сбор данных для роботов последние годы решает одну задачу: освободиться от самого робота. Данные должны становиться легче, дешевле и проще в масштабировании. Китайское издание Jiqizhixin (机器之心) описывает следующий шаг этой логики: дополнить эгоцентричные записи, снятые от первого лица, данными о движении всего тела и использовать их как новый путь масштабирования мировых моделей. Поэтому ниже разобрана логика, а не результаты.

Откуда мы пришли: телеоперация и её цена

Сначала роботы учились почти исключительно через телеоперацию. Оператор управляет машиной и выполняет задачу, а система записывает состояния суставов, движения конечного звена и информацию об окружении. У такого подхода есть сильная сторона: данные можно сразу использовать для обучения политики робота. Действия в них уже выражены на языке самой машины, и пересчитывать ничего не нужно.

Цена тоже понятна. За каждым часом данных стоит реальный робот, оператор и время на настройку. Парк роботов, площадки и люди растут линейно вместе с объёмом данных. Для задачи, где нужны миллионы часов разнообразного опыта, такая арифметика не сходится.

Эго-данные: дёшево, но без тела

Отсюда движение к более лёгким форматам: ручные захваты без робота, носимые камеры, видео от первого лица. Человек делает обычную работу, а камера на голове или очках фиксирует происходящее. Сопоставимые по духу массивы, например Ego4D, показали, что такой видеоматериал можно собирать широко и в самых разных сценах.

У взгляда от первого лица есть слабое место. Он показывает, что человек видит и куда направлена рука, но почти ничего не говорит о том, как двигалось остальное тело. Положение корпуса, перенос веса, координация обеих рук и шаг остаются за кадром. Для манипуляции на столе этого может хватать. Для мобильных платформ и гуманоидов, где тело участвует в каждом движении, не хватает.

Именно этот пробел и закрывает идея из заголовка материала: добавить к ego-данным полнотельный слой. Для мировой модели это важно. Она должна предсказывать, как изменится сцена в ответ на действие. Чем полнее описано действие, тем меньше ей приходится угадывать.

Что видно из материала

• Исходная проблема: зависимость сбора данных от физического робота. Каждый час записи требует реальной машины. - Телеоперация фиксирует суставы, действия конечного звена и окружение. Данные годятся для обучения политики напрямую. - Ego-данные снижают стоимость и упрощают масштабирование, но описывают в основном взгляд, а не тело. - Предлагаемое направление: достроить ego-записи данными о всём теле и использовать их для world models.

Что проверять командам, которые собирают данные

Главный вопрос к любой работе такого рода звучит так: как восстанавливается движение тела. Если оно оценивается по видео с камеры на голове, ошибка оценки попадёт в обучающий сигнал. Если используются дополнительные датчики, то выигрыш в цене будет меньше, чем кажется.

Второй вопрос касается переноса на робота. Человеческое тело и тело гуманоида отличаются пропорциями, ограничениями суставов и динамикой. Нужно смотреть, показывает ли работа выигрыш на реальной машине, а не только качество предсказания видео.

Третий вопрос — закон масштабирования. Тезис о новом пути для scaling должен подтверждаться кривой: как растёт качество модели при росте объёма полнотельных данных и сколько реальных робочасов он заменяет. Пока полный текст и цифры недоступны, это гипотеза, но направление понятное. Данные перестают быть привязаны к железу, и теперь ищут, какой минимальной информации о теле хватит, чтобы мировая модель училась на человеческом опыте.