Роботы учатся на 20 854 часах видео: как Sharpa строит ловкую манипуляцию

Данные для роботов дорожают быстрее, чем растут модели, и индустрия ищет выход. Команда EgoScale, в том числе исследователи NVIDIA, предобучила робо-политику на 20 854 часах видео от первого лица, где действуют люди, и зафиксировала логлинейную зависимость: чем больше часов, тем лучше результат, причём рост предсказуем. Китайское издание Jiqizhixin на этом фоне разбирает подход Sharpa, которая развивает ловкую манипуляцию как единую систему из трёх слоёв: аппаратной части, данных и модели.

Почему данные уходят от телеопераций

Ещё год назад основным источником обучающих траекторий для манипуляторов была телеоперация: оператор в VR-шлеме или с перчаткой управляет роботом, а система записывает действия. Метод даёт чистые данные в «родном» формате робота, но у него три слабых места. Он дорогой, потому что нужны оператор, парк роботов и площадка. Он медленный: час записи занимает ровно час реального времени. И он плохо масштабируется географически, так как каждая новая сцена требует физического присутствия.

Видео с людьми устроено иначе. Человек с камерой на голове может снимать быт, кухню, сборку и любую мелкую моторику без робота рядом. Отсюда и масштаб EgoScale. Работы вроде HumanScale, как следует из анонса Jiqizhixin, идут дальше и считают, что видео может занять место основного источника данных.

Где здесь место для железа

У видео есть цена: разрыв между телом человека и телом робота. Рука человека имеет десятки степеней свободы и тактильные ощущения. Двухпальцевый захват не может повторить то, что показано на видео. Чем ближе кинематика кисти робота к человеческой, тем меньше потерь при переносе движения из ролика в политику управления.

Именно поэтому ловкая манипуляция плохо делится на независимые задачи «сделать руку» и «обучить модель». Выбор конструкции кисти определяет, какие данные можно использовать. Формат данных определяет архитектуру модели. Модель, в свою очередь, предъявляет требования к сенсорам. Заголовок материала Jiqizhixin говорит о том, что Sharpa пытается пройти по этой цепочке целиком, а не оптимизировать одно звено.

Ключевые ориентиры

• Объём предобучения EgoScale: 20 854 часа egocentric-видео людей.
• Закономерность: логлинейная кривая между объёмом данных и качеством политики.
• Узкое место телеопераций: стоимость, скорость записи и сложность масштабирования.
• Подход Sharpa: связка «аппаратная часть – данные – модель» для ловкой манипуляции.
• Открытый вопрос: сопоставимых публичных метрик Sharpa во фрагменте материала нет.

На что смотреть дальше

Логлинейная кривая означает убывающую отдачу: каждое удвоение данных даёт примерно одинаковый прирост. Для разработчиков это практичный сигнал, который помогает планировать бюджет на данные заранее. Для команд, которые строят свои руки и манипуляторы, вывод другой: совместимость кинематики с человеческой становится конкурентным преимуществом, потому что открывает доступ к огромным массивам видео.

При оценке подобных систем стоит проверять три вещи. Первое: на каких задачах измеряется успех, и есть ли среди них длинные операции с мелкими предметами. Второе: какая доля данных приходится на видео, а какая на телеоперации для дообучения. Третье: воспроизводятся ли результаты на других платформах, а не только на «родной» руке авторов. Пока на эти вопросы нет публичных ответов, заявления о системном подходе остаются заявкой, а не доказанным результатом.