Gemini 4 Argon научил гуманоида Apollo 2 играть в корнхол: 7 попаданий подряд

Google DeepMind показала внутренний тест Gemini 4 Argon в робототехнике. Модель посмотрела видео, на котором человек играет в корнхол, и подготовила управление для гуманоида Apollo 2 компании Apptronik. В реальном мире робот закинул мешочки в цель семь раз подряд. По утверждению DeepMind, пайплайн Video-to-Sim-to-Real сжимает недели ручного моделирования до нескольких часов.

Из видео в симуляцию и на реальный пол

Корнхол выглядит просто: нужно забросить мешочек с зерном в отверстие в наклонной доске. Для гуманоида это связка из нескольких задач сразу. Нужно захватить мешочек, перенести вес, выбрать траекторию и отпустить предмет в точный момент. Ошибка в любом звене отправляет бросок мимо.

По описанию DeepMind, цепочка устроена так. Исследователи дают Gemini 4 Argon видео с игроком. Модель опирается на понимание видео и продвинутое рассуждение и строит в физическом движке MuJoCo виртуальную сцену. Затем она считает физику броска и параметры управления всем телом. Готовое решение переносится на Apollo 2 в реальный мир.

Ключевой элемент здесь не сам бросок, а шаг посередине. Раньше такую симуляцию собирала команда инженеров вручную: замеры, моделирование объектов, настройка параметров контакта. DeepMind говорит, что теперь это занимает несколько часов.

Что известно по цифрам

• Модель: Gemini 4 Argon.
• Робот: гуманоид Apollo 2 производства Apptronik.
• Симулятор: MuJoCo.
• Входные данные: видео, где человек играет в корнхол.
• Результат в реальном мире: семь попаданий подряд.
• Заявленная экономия времени: с недель ручного моделирования до нескольких часов.
• Формат теста: внутренний, проведён исследователями DeepMind.

Что остаётся за кадром

Описание к ролику оставляет много вопросов. DeepMind не называет дистанцию до доски и размер цели. Неизвестно, сколько попыток предшествовало серии из семи бросков и участвовал ли человек в калибровке. Не раскрыто, что именно выдаёт модель: код контроллера, траектории или параметры политики. Непонятно и то, как закрыт разрыв между симуляцией и реальностью, главная проблема подхода sim-to-real.

Серия из семи попаданий хорошо смотрится в ролике, но не заменяет статистику. Для оценки нужны процент успеха на длинной выборке, разброс по условиям и поведение при смене мешочка или освещения. Независимой проверки пока нет.

При этом направление понятно. Главное узкое место физического ИИ сегодня лежит в данных и средах для обучения. Телеоперация дорога, а ручная сборка симуляций медленна. Если языковая модель с видеопониманием действительно строит рабочую физическую сцену из обычного ролика, то любое видео в сети становится потенциальной тренировочной средой. Вопрос смещается с «где взять данные» на «насколько точно модель реконструирует физику».

Что делать командам

Роботехникам стоит разобрать собственный цикл разработки и посмотреть, где уходит время: на сбор данных, на моделирование сцены или на перенос в реальность. Если основные затраты приходятся на моделирование, подход «видео → симуляция» стоит проверить на своих задачах. MuJoCo открыт, и реконструкцию сцен из видео можно пробовать уже сейчас на доступных мультимодальных моделях, не дожидаясь партнёрского доступа к Gemini 4 Argon.

Оценивать такие системы нужно по повторяемости на длинной серии запусков, а не по лучшему прогону. Тем, кто следит за рынком гуманоидов, полезно отслеживать две вещи: появятся ли у DeepMind и Apptronik опубликованные метрики и откроется ли пайплайн внешним разработчикам. Пока это сильная демонстрация, но не продукт.