Stateful Harness поднял точность мировых моделей с 32% до 92% на скрытом состоянии

Авторы статьи в Hugging Face Daily Papers предложили Stateful Harness. Это каркас для мировых моделей, который отделяет эволюцию мира от рендера видео. На новом бенчмарке WorldState-Bench, где 50 контрфактических пар, лучший из 11 видеобэкендов при подсказке только с правилами выдаёт нужные концовки для обоих случаев в 32% пар. Полный harness с той же замороженной MiniMax-H3 доходит до 92%. Сама видеомодель при этом не дообучалась.

Где ломаются мировые модели

Современные мировые модели умеют генерировать видео из одного изображения с учётом действия пользователя. Многие делают упор на движение камеры: можно ходить по сгенерированной сцене и осматриваться. Но навигация ничего не говорит о том, подчиняется ли действие устойчивым правилам. Если исход зависит от состояния, которого нет в текущем кадре, модели приходится угадывать. Например, открылась ли дверь, зависит от того, заперта ли она, а по кадру этого не видно. Видеомодель выбирает самый правдоподобный исход, а не тот, который требуют правила мира.

Авторы называют это проблемой скрытого состояния. Чем длиннее сессия, тем она заметнее: каждый следующий ход опирается на то, что произошло раньше, а у чисто видеогенеративной модели нет надёжного места, где это хранится.

Как устроен Stateful Harness

Идея в разделении ролей. Мир со своими правилами ведёт harness, а видеомодель только показывает результат. Ход выглядит так:

• harness хранит эволюционирующее состояние мира по заданным правилам;
• он разрешает действие, выбранное пользователем, и компилирует получившееся событие в текстовую инструкцию;
• превью-клип из редактируемой 3D-сцены даёт пространственную и камерную подсказку;
• замороженная видеомодель рендерит событие;
• сгенерированный клип используется для обновления состояния мира перед следующим ходом.

Последний пункт замыкает цикл: следующий ход опирается на то, что реально появилось на экране, а не только на внутреннюю запись.

Бенчмарк и цифры

Для проверки соблюдения правил авторы собрали WorldState-Bench. Это 50 контрфактических пар-близнецов. У пары общий начальный кадр и общее действие, но разные скрытое состояние и требуемый исход. Пара засчитывается, только если модель выдала правильные концовки в обоих случаях. Поэтому модель, которая всегда рисует один типичный исход, гарантированно проваливает половину пары.

Ключевые результаты:

• 11 видеобэкендов проверены при подсказке только с правилами;
• лучший из них даёт нужные концовки в обоих случаях в 32% пар;
• MiniMax-H3 с явно указанными требуемыми концовками поднимается с 32% до 64%;
• полный harness с той же замороженной MiniMax-H3 достигает 92%.

Прирост делится примерно пополам. Первые 32 пункта дал сам факт, что правило превратилось в конкретный исход в промпте. Ещё 28 пунктов добавило остальное содержимое harness: 3D-превью, состояние между ходами и обратная связь от клипа. Видеомодель не стала умнее, ей просто перестали поручать работу, которая ей не по силам.

Что с этим делать на практике

Для команд, которые строят интерактивные симуляторы, игровые прототипы или тренажёры для агентов, вывод приземлённый: логику мира лучше держать в коде, а не просить видеомодель её «помнить». Правила, инвентарь, замки и счётчики описываются явно, а генератор получает готовую инструкцию. Это же упрощает отладку: ошибку в исходе можно найти в правиле, а не в весах.

Осторожность тоже нужна. Бенчмарк небольшой, всего 50 пар, и собран самими авторами. 92% показывает, что подход работает на этом наборе, но не гарантирует того же на открытых сценах с сотнями правил. Задержка, стоимость хода и сложность написания правил для новых миров в приведённом описании не раскрыты, а для продукта это решающие параметры.

Полезный шаг уже сейчас: собрать собственные контрфактические пары для своей задачи и прогнать через них текущий видеобэкенд. Если результат близок к 32%, проблема, скорее всего, в архитектуре, а не в выборе модели.