HKU EgoWild2Dex учит робота-руку по 538,9 часа «грязного» видео и часу на железе

Исследователи из MMLab Гонконгского университета предложили EgoWild2Dex: подход, который обучает ловкие роботизированные руки на 538,9 часа видео от первого лица. Записи сделаны в обычных домах, на действующих заводах и в аптеках, без специальной подготовки сцены. Камера шатается вместе с человеком, фон загромождён. На реальном роботе, судя по заголовку анонса, потребовалось меньше часа. В списке освоенных задач распаковка посылок, работа с клеевым пистолетом и приготовление холодных напитков.

Зачем роботам «грязные» данные

Большинство датасетов для манипуляции с мелкими предметами собирают в контролируемых условиях: ровный свет, понятный фон, стабильная камера, иногда перчатки с датчиками или мокап. Это дорого и плохо масштабируется. Роботу, которого учат в лаборатории, потом приходится работать на кухне, где всё лежит иначе.

Если учиться на записях из реальной жизни, проблема в другом. Камера на голове или груди человека всё время движется, руки закрывают предмет, освещение скачет, а в кадре происходит много лишнего. Именно такие данные команда и взяла: 538,9 часа без «выглаживания» сцен. Вопрос, который ставит работа, прямой: можно ли извлечь из такого потока пригодные для робота навыки тонкой моторики.

Что известно о результатах

Из опубликованного фрагмента анонса видны только основные параметры:

• Объём данных: 538,9 часа человеческих записей от первого лица.
• Среды: бытовые помещения, производственные цеха, аптеки.
• Условия съёмки: без специальной подготовки сцены, с сильной тряской камеры.
• Реальные роботизированные данные: меньше одного часа.
• Демонстрируемые задачи: распаковка посылок, нанесение герметика клеевым пистолетом, приготовление холодных напитков.

Эти задачи выбраны не случайно. Нож для вскрытия коробки, пистолет с курком и стаканы с жидкостью требуют точного захвата, правильного усилия и последовательности из нескольких шагов. Простое «взять и положить» тут не подойдёт.

Чего пока не хватает

Без этого сложно сказать, насколько хорошо система справляется с отклонениями от демонстраций. Неясно и то, как она переносится на новые сцены и предметы. Полноценную оценку можно будет дать, когда выйдет статья или код.

На что смотреть при чтении статьи: как авторы фильтруют или компенсируют тряску камеры, как восстанавливают положение руки человека в трёх измерениях и сколько реальных запусков потребовалось для каждой задачи.

Практический вывод

Для команд, которые строят манипуляторы с ловкими кистями, главная идея здесь в смещении статьи расходов. Если человеческое видео из обычных условий действительно пригодно для обучения, то основным ресурсом становится не лабораторное время на роботе, а сбор записей: их можно снимать на рабочих местах сотрудников, в магазинах, на складах и производствах. Реальный робот нужен лишь для короткой доводки.

Заказчикам и интеграторам стоит смотреть на ограничения. Час на железе звучит заманчиво, но надёжность в цеху измеряется сотнями повторов подряд, а не успешной демонстрацией. Пока не опубликованы цифры по стабильности и переносу между сценами, это сильный исследовательский результат, а не готовая технология для внедрения. Следить за релизом статьи и кода стоит тем, кто занимается обучением на видео и имитацией человеческих движений.