Robbyant выпустила LingBot-World-Infinity — каузальную модель для интерактивных миров

9 июля 2026 года Robbyant, подразделение компании Ant Group, представила LingBot-World-Infinity — каузальную видеомодель с 14 миллиардами параметров, которая работает как интерактивный симулятор миров. Ключевая особенность: модель генерирует видео в реальном времени (720p, 60 кадров в секунду) и реагирует на команды пользователя.

Что это такое и почему это важно

LingBot-World-Infinity (версия 2.0 серии LingBot-World) — интерактивная видеомодель, которая предсказывает будущие видеокадры на основе действий пользователя. Модель одновременно обрабатывает текстовые команды, позицию виртуальной камеры и физические действия персонажа: стрельба, заклинания, атаки, архерия.

Это решает две классические проблемы видеомоделей: дрейф качества при долгих видео (текстуры размываются, геометрия искажается) и задержка отклика (модель не успевает реагировать в реальном времени).

• Основная версия: 14 миллиардов параметров
• Облегчённая версия: 1,3 миллиарда параметров, работает на одном GPU
• Производительность: 720p видео, 60 кадров в секунду
• Взаимодействие: два режима — прямые семантические команды и отслеживание объектов через SAM

Как она решает дрейф: архитектура MoBA

Ядро технологии — внимание типа MoBA (Mixture of Bidirectional and Autoregressive). Проблема стандартных авторегрессивных моделей: когда контекст растёт, модель начинает полагаться на него вместо предсказания новых кадров, вызывая деградацию качества и размытие изображения.

MoBA добавляет бидиректциональный блок внимания как регуляризатор. Это помогает модели предсказывать будущее, опираясь на всю доступную информацию, а не только на ближайший контекст.

Второй компонент — двухэтапное обучение с дистилляцией распределений (DMD). Сначала модель обучается на условной генерации потока, потом многошаговый учитель сжимается в быструю версию. Критический момент: оптимизация дистилляции применяется на долгих траекториях собственных предсказаний модели, а не только на примерах учителя. Это заставляет студента оптимизироваться на том же распределении состояний, что он сам генерирует, предотвращая дрейф.

Интерактивный режим: Director и Pilot

LingBot-World-Infinity работает в рамках Director-Pilot Co-Simulation Framework — системы из двух взаимодействующих агентов. Director — видео-языковая модель (VLM), которая понимает семантику, причинность и принимает решения. Pilot — Diffusion Transformer, симулирующий физику и рендерящий видеокадры.

Система поддерживает два режима взаимодействия. В режиме Direct Semantic Interaction VLM читает текущий кадр и генерирует события без необходимости масок объектов. В режиме Tracking-Assisted Object Interaction модель SAM (Segment Anything Model) следит за интересующими объектами, пользователь выбирает объект и запускает действие (например, открывает дверь или вращает мяч).

Кроме того, пользователи могут текстовыми командами менять глобальное состояние сцены (время суток, погода) и добавлять объекты. VLM автоматически выбирает семантически правильные позиции для их появления.

Что это значит

LingBot-World-Infinity показывает, что интерактивные видеосимуляторы переходят из исследовательских лабораторий в практические инструменты. Такие системы полезны для разработки игровых движков, обучения робототехники через симуляцию и проектирования пользовательских интерфейсов. Растущая производительность в реальном времени делает их пригодными для промышленного применения.