8B-агент с RL учит видеомодель искать данные и считать физику

Агент на 8 млрд параметров, обученный с помощью reinforcement learning, берёт на себя то, с чем видеомодели справляются хуже всего: точность в деталях. По описанию Jiqizhixin, он сам решает, когда ему нужно найти сведения о конкретном движении, подобрать референс персонажа, прогнать симуляцию или склеить соседние кадры.

Где видеомодели ломаются

Попросите генератор показать, как человек занимается тай-чи. Скорее всего, картинка выйдет плавной. Теперь уточните: конкретный приём, рука поднимается в определённой фазе, центр тяжести смещается на заднюю ногу. Здесь модель чаще изображает «что-то похожее на тай-чи», чем реальную технику.

Дальше сложнее. Нужно, чтобы тот же приём выполнил заданный персонаж, причём с узнаваемой внешностью. Или чтобы два объекта столкнулись по заданным условиям, то есть с нужной скоростью и в нужном направлении. Всё это требует знаний, которых в весах может не быть, и расчётов, которые генератор пикселей делает плохо.

Как устроена идея

Вместо того чтобы дообучать саму видеомодель на ещё большем объёме данных, авторы дали ей помощника. Это языковой агент, который разбирает запрос и обращается к инструментам. Судя по описанию, их четыре типа:

• поиск знаний о действии: как выглядит и как выполняется нужное движение;
• поиск референсов персонажа, чтобы сохранить внешность;
• симуляция движения, чтобы столкновения и траектории подчинялись физике;
• стыковка кадров, чтобы сцены не разваливались на границах клипов.

Ключевое слово здесь «самостоятельно». Агент не прогоняет запрос через фиксированный конвейер. Он выбирает, нужен ли инструмент вообще и какой именно. Для простого запроса вроде «закат над морем» дополнительные вызовы только добавят задержку и расходы. Reinforcement learning как раз подходит для такого выбора: сигнал приходит от качества результата, а не от размеченной траектории действий.

Какая именно функция награды использовалась и что играет роль видеогенератора, из доступного фрагмента не ясно.

Что известно по параметрам

• Размер агента: 8 млрд параметров, то есть модель, которую можно запустить на одной серверной карте.
• Метод обучения: reinforcement learning.
• Набор инструментов: знания о действиях, референсы персонажей, симуляция движения, связка кадров.
• Целевые сценарии: конкретные приёмы и позы, заданный персонаж, физические столкновения по условиям.
• Метрики, бенчмарки и сравнение с базовыми моделями: в доступном тексте не приведены.

На что смотреть практикам

Первое, что нужно выяснить, это стоимость прироста качества. Каждый вызов инструмента удлиняет генерацию, а видео и так дорогой формат. Если агент вызывает поиск и симуляцию на каждый запрос, коммерческий смысл теряется. Важно, чтобы он научился пропускать лишнее.

Второе — какая модель отвечает за сами кадры. Если схема не привязана к конкретному генератору, её можно подключать к существующим сервисам. Если обучалась под одну связку, переносимость ограничена.

Третье — где это пригодится. Ближе всего реклама и анимация с жёсткими требованиями к персонажу, обучающие ролики с точной техникой движений и игровые катсцены. Отдельный интерес представляет синтетика для робототехники, где физическая достоверность важнее красоты. Пока нет таблиц с результатами, это гипотезы, а не выводы. Стоит дождаться статьи или репозитория с метриками и посмотреть, насколько прирост держится на задачах за пределами демонстрационных примеров.