SOUL: исследователи научили VLA-роботов «забывать» галлюцинации состояния

Исследователи предложили SOUL (Sparse feature pOlicy UnLearning), метод, который лечит у Vision-Language-Action-моделей конкретный дефект: галлюцинацию состояния. Так называют ситуацию, когда робот продолжает действовать так, будто нужное состояние «робот–объект» уже достигнуто, хотя на деле его нет. Работа попала в подборку Hugging Face Daily Papers. Конкретных процентов в аннотации авторы не дают. Заявлено, что число таких сбоев существенно падает, доля успешно выполненных задач растёт, а имеющиеся навыки манипуляции почти не страдают.

Где ломаются VLA

VLA-модели строятся поверх предобученных vision-language-моделей и за счёт этого хорошо обобщаются на новые сцены и объекты. В реальных условиях их внедрение упирается в повторяющееся ненадёжное поведение. Одну из самых упрямых разновидностей авторы выделили отдельно. Условный пример: захват не удался, а политика уже выполняет следующий шаг сценария, как будто предмет в манипуляторе. Ошибка не случайна и воспроизводится из раза в раз, поэтому её можно изучать как закономерность.

Диагностика дала две находки. Первая: галлюцинация состояния совпадает с ослаблением внимания к визуальным областям, важным для задачи. Модель перестаёт смотреть туда, где решается исход действия. Вторая получена через sparse autoencoders (SAE). Они раскладывают внутренние активации на разреженные, лучше интерпретируемые признаки. Среди них нашлись такие, что включаются именно в моменты подобных сбоев.

Как работает SOUL

Если у ошибки есть узнаваемая внутренняя подпись, её можно использовать как цель для редактирования. SOUL строится как unlearning на уровне политики. Признаки, выделенные из эпизодов с галлюцинацией, становятся мишенью для забывания. Признаки из успешных эпизодов играют роль якоря: их нужно сохранить. Второй набор здесь важен не меньше первого. Без него легко вырезать вместе с дефектом и полезное поведение.

Что известно из описания работы:

• Объект: политики манипуляции на базе VLA.
• Диагностика: ослабленное внимание к значимым областям кадра плюс разреженные признаки из SAE.
• Цели забывания: признаки, связанные с галлюцинацией состояния.
• Цели сохранения: признаки успешного поведения.
• Проверка: несколько архитектур VLA, симуляция и реальные среды.
• Заявленный итог: меньше галлюцинированных сбоев, выше доля успешных задач, без существенной потери исходных навыков.
• Чего нет в аннотации: численных значений, списка задач и стоимости процедуры.

Интерес здесь в смене роли интерпретируемости. Обычно SAE используют, чтобы заглянуть внутрь модели и объяснить, что там происходит. SOUL применяет их как инструмент правки: найденные признаки становятся рычагом, а не наблюдением. Для робототехники это заметная альтернатива привычному пути, когда сбои лечат дообучением на новых данных и надеются, что побочных эффектов не будет.

Ограничения тоже понятны. Метод зависит от качества разреженного разложения: если признак описывает не саму галлюцинацию, а коррелирующий с ней контекст, забывание заденет лишнее. Нужны размеченные эпизоды сбоев и успехов, то есть сначала надо научиться отличать одно от другого. И пока нет полного текста с таблицами, судить о масштабе улучшения рано.

Что проверить командам, работающим с VLA

Практические выводы можно сделать уже сейчас. Если вы эксплуатируете VLA-политику, начните с логирования внимания и размечайте эпизоды, где робот «продолжает как ни в чём не бывало» после неудачи. Такой датасет понадобится при любом способе лечения, а не только для SOUL. При тестировании любой правки считайте отдельно долю исправленных сбоев и регрессию на базовых навыках: заявление об их сохранении проверяют только на своих задачах. Наконец, смотрите на результат в реальных средах, а не только в симуляции: именно там такой тип ошибки обходится дороже всего. Для оценки зрелости подхода стоит дождаться полного текста статьи, кода и чисел по конкретным архитектурам.