PAIR связывает зрение и действие в VLA: успех OpenVLA-OFT вырос с 51,4% до 65%

Команда авторов PAIR предложила способ сделать явным тот шаг, который большинство VLA-моделей с непрерывными действиями пропускают: переход от представления сцены и инструкции к представлению, из которого можно генерировать движения. На бенчмарке LIBERO-Plus успех VLA-Adapter вырос с 59,1% до 64,2%, на CALVIN средняя длина выполненной цепочки поднялась с 4,42 до 4,53. На семи реальных задачах OpenVLA-OFT прибавил 13,6 процентного пункта: с 51,4% до 65,0%.

Проблема, которую решает работа, знакома всем, кто следит за робототехникой на базе больших моделей. VLA получает изображение и текстовую команду, а на выходе должна выдать непрерывные действия: траекторию манипулятора, положение захвата. Визуально-языковой бэкбон хорошо описывает, что находится на столе и что просит человек. Но признаки, удобные для описания, не обязаны подходить для управления. Во многих архитектурах этот мост остаётся неявным, и учится он лишь через финальную ошибку предсказания действий.

Как устроен PAIR

Авторы вводят общее промежуточное представление восприятия и действия. На обучении Masked Action Autoencoder кодирует экспертные чанки действий в Action Latent Tokens, выровненные по горизонту планирования. Параллельно Bridge Module вытаскивает из текущих визуально-языковых представлений признаки, важные для задачи. Затем PAIR выравнивает эти признаки с латентными токенами действий. Получаются Bridge Tokens: они сохраняют информацию о задаче и одновременно отражают структуру экспертных движений.

Дальше Bridge Tokens проецируются в пространство токенов действий и подмешиваются в начальные Action Tokens. Action Expert, отвечающий за уточнение действий, стартует уже не с пустого места, а с заготовки, близкой к нужной траектории. На инференсе автоэнкодер убирается: Bridge Tokens строятся только по текущему наблюдению и инструкции. Дополнительной разметки или экспертных действий в момент работы не требуется.

• Базовые модели в экспериментах: OpenVLA-OFT и VLA-Adapter.
• Бенчмарки: LIBERO, LIBERO-Plus, CALVIN ABC-D.
• LIBERO-Plus, VLA-Adapter: 59,1% → 64,2% (+5,1 п. п.).
• CALVIN, VLA-Adapter: средняя длина цепочки 4,42 → 4,53.
• Семь реальных задач, OpenVLA-OFT: 51,4% → 65,0% (+13,6 п. п.).

Что показали эксперименты

Симуляторные приросты скромные. На CALVIN рост составляет 0,11 шага в средней длине цепочки, около 2,5% относительно базы. На LIBERO-Plus рост заметнее: 5,1 пункта, примерно 8,6% относительно. Реальные задачи дают самый сильный эффект, около 26% относительно исходных 51,4%. Но выборка небольшая: семь задач и одна модель в этом тесте, поэтому уверенно говорить о переносимости на другие платформы и условия рано.

Отдельно авторы провели анализ представлений. По их данным, Bridge Tokens сохраняют информацию о задаче и делают информацию о непрерывных действиях доступной ещё до этапа уточнения в Action Expert. Это косвенно подтверждает идею: промежуточный слой между восприятием и действием полезен как явный интерфейс, а не как побочный продукт обучения. Работа опубликована в Hugging Face Daily Papers, независимых воспроизведений пока нет.

Что с этим делать практикам

Подход выглядит как надстройка, а не как новая архитектура с нуля. Проверка на двух разных базовых VLA показывает, что PAIR можно встраивать в существующие модели с Action Expert. Раз автоэнкодер используется только на обучении, стоимость инференса, судя по описанию, почти не растёт: добавляется генерация Bridge Tokens по текущему наблюдению. Командам, которые дообучают OpenVLA-OFT или VLA-Adapter на собственных задачах, имеет смысл протестировать идею на своих данных. Начать стоит с реальных сценариев, где разрыв между симуляцией и железом чувствуется сильнее всего. Главный вопрос для следующих работ: сохранится ли выигрыш на более длинных горизонтах, при смене манипулятора и на задачах вне обучающего распределения.