WorldMemBench проверяет, помнят ли модели мира комнаты и события

Генеративные модели мира давно научились выдавать убедительную картинку. Теперь вопрос в другом: что они помнят, когда камера отвернулась. Бенчмарк WorldMemBench, о котором пишет китайское издание Jiqizhixin, предлагает мерить именно это, причём по двум независимым осям: память о увиденных сценах и непрерывность событий, которые продолжаются за кадром.

Две проверки вместо одной

Первый сценарий знаком всем, кто пробовал интерактивные генеративные миры. Модель строит комнату, камера проходит по ней и возвращается к столу. Остался ли за ним тот же человек? Не поменялась ли форма стульев? Стоит ли книжный шкаф там, где был? Если камеру отвести ещё раз и вернуть, мир должен совпасть с исходным, а не дрейфовать от круга к кругу.

Второй сценарий тоньше. Перед тем как камера уходит в сторону, человек режет овощи. Когда кадр возвращается, нарезанные куски обязаны лежать на доске, а само действие должно продвинуться: процесс не замирает и не откатывается к началу. Здесь проверяется не статичная геометрия, а причинная и временная связность. Мир продолжает жить, пока на него не смотрят.

По сути, это разные виды памяти. Одна отвечает за то, что где расположено. Другая за то, что с чем произошло и что должно случиться дальше. Модель может хорошо справляться с первой и проваливаться на второй, и наоборот.

Почему это узкое место моделей мира

Большинство метрик в генерации видео смотрят на локальное качество: резкость, плавность, соответствие запросу. Они плохо ловят ситуацию, когда каждый отдельный кадр прекрасен, а вместе они описывают несовместимые миры. Человек в красной куртке в начале ролика превращается в человека в синей, на стене появляется второе окно. Для развлекательного клипа это мелочь. Для симулятора, на котором учат робота или агента, это ошибка в самой среде.

Этот изъян становится критичным по мере того, как модели мира претендуют на роль универсальных симуляторов для игр, робототехники и планирования. Агент, который тренируется в среде без постоянства, учит политику под несуществующую физику и несуществующие объекты.

Что известно о бенчмарке

Как использовать на практике

Если вы выбираете модель мира для прототипа симулятора или игровой среды, не ограничивайтесь демо-роликами с одним проходом камеры. Соберите собственный мини-тест по логике WorldMemBench: пройдите по сцене, вернитесь, повторите маршрут и сравните ключевые объекты. Отдельно проверьте событие с видимым прогрессом: наливание, нарезка, строительство. Если результат действия исчезает после возврата камеры, модель не годится для задач, где важна история среды.

Команды, которые обучают такие модели, получают ещё и диагностический инструмент. Раздельные оценки по двум осям покажут, что именно чинить: механизм пространственной памяти или модель динамики событий. Полные цифры стоит смотреть в первоисточнике, когда авторы опубликуют статью и таблицы результатов.