RoboValue проверил оценщиков действий роботов на 35 задачах и нашёл слепые зоны

Исследователи опубликовали RoboValue, бенчмарк для единой оценки value-моделей в робототехнике. Так называют системы, которые смотрят на кадры выполнения задачи, читают инструкцию и выдают оценку: насколько робот близок к цели и движется ли он в правильном направлении. Набор данных охватывает 15 симуляционных и 20 реальных задач манипуляции. Главный результат неприятен для разработчиков: модели с хорошими показателями по исходу задачи и прогрессу «вперёд» всё равно допускают систематические ошибки в тонких местах.

Зачем проверять оценщика, а не только робота

Value-модель выполняет две функции. Во-первых, она даёт обратную связь при обучении политик: по её сигналу робот понимает, какие действия были полезными. Во-вторых, она следит за выполнением в реальном времени и может сообщить, что дело пошло не так. Если оценщик ошибается, политика учится на кривом сигнале, а мониторинг пропускает сбои или паникует без причины.

По словам авторов, существующие тесты покрывают лишь отдельные стороны понимания выполнения. Надёжность value-обратной связи в целом остаётся проверенной недостаточно. RoboValue закрывает этот пробел единым набором интерфейсов, через которые можно прогнать разные модели.

Четыре оси и состав датасета

Фреймворк оценивает четыре взаимодополняющих способности:

• понимание состояния задачи: что уже сделано и что осталось;
• мониторинг временного прогресса: растёт ли оценка по мере продвижения;
• рассуждение о сбоях и восстановлении: замечает ли модель ошибку и признаёт ли исправление;
• согласованность value: совпадают ли оценки между собой и с требованиями задачи.

В основе лежат диагностические траектории и вариации инструкций. Они проверяют, отражает ли оценка именно требования задачи, и меняется ли она вместе с ходом выполнения. RoboValue-Dataset содержит экспертные демонстрации для обучения и размеченные траектории для детального анализа. Модели тестировали в zero-shot и one-shot режимах, при стандартных условиях и отдельно при смене embodiment (типа робота) и окружения.

Где value-модели ошибаются

Авторы выделяют три группы проблем. Первая: тонкая привязка инструкции к наблюдаемой сцене. Если формулировка меняется в деталях, оценка не всегда следует за смыслом. Вторая: отслеживание прогресса, зависящего от истории. Модель, которой нужно помнить, что уже произошло, путается там, где достаточно одного кадра ей не хватает. Третья: оценка восстановления после сбоя. Здесь модели хуже всего, хотя по метрикам исхода и движения вперёд они выглядят уверенно.

Отдельное наблюдение касается порядка действий. Одна и та же семантическая подзадача получает существенно разный прирост value в зависимости от того, в каком из допустимых порядков робот выполняет шаги. Для задачи, где несколько последовательностей одинаково верны, это означает шумный и необъективный сигнал.

Что делать командам, которые обучают роботов

Практический вывод в том, что одного показателя успеха на итоговом исходе недостаточно, чтобы доверять value-модели как источнику награды. Перед использованием такой модели в RL или в мониторинге стоит прогнать её через проверки на смену формулировок, на траектории с неудачами и исправлениями и на альтернативные порядки шагов.

Авторы называют найденные ошибки конкретными целями для value-супервизии. Данные для обучения нужно собирать так, чтобы они включали попытки с восстановлением и разные допустимые последовательности, а не только чистые успешные демонстрации. Публичный лидерборд и сайт проекта на robovalue-benchmark.github.io позволяют сравнивать собственные модели с остальными и отслеживать, закрываются ли эти слабые места.