SWIM экономит вычисления: аудио-видео генерация выигрывает до 30,7% против Best-of-N

Команда исследователей опубликовала на arXiv метод SWIM (Spend Where It Matters), который улучшает совместную генерацию аудио и видео без дообучения модели и без увеличения вычислительного бюджета. На бенчмарке JavisBench-Mini при близких затратах средний относительный выигрыш по семи метрикам составил 30,7% над Best-of-N и 14,1% над EvoSearch для JavisDiT++. Для LTX-2 цифры другие: 9,2% над Best-of-N и 17,0% над EvoSearch.

Почему выравнивание на инференсе стоит дорого

Reward-guided inference-time alignment — это подход, при котором модель не переобучают, а во время генерации подбирают результат, максимизирующий заданную награду. Для совместной генерации аудио и видео наград обычно несколько: качество картинки, качество звука, их синхронность и так далее. Каждая оценка кандидата требует прогона тяжёлой модели, поэтому при ограниченных ресурсах классические схемы быстро упираются в бюджет.

У существующих подходов есть противоположные слабости. Поиск на основе частиц хорошо исследует пространство глобально, но при конечной популяции даёт ошибку оценки. Алгоритм Metropolis-Hastings (MH) умеет локально улучшать кандидата, но ему нужна хорошая стартовая точка. Авторы SWIM соединили оба подхода в одну двухэтапную схему.

Как работает SWIM

Фреймворк не требует обучения и не зависит от конкретной функции награды. На первом этапе частицы распределяются по контрольным точкам процесса денойзинга адаптивно, на основе онлайн-оценок дисперсии. Вычисления концентрируются там, где они дают больше пользы, а дисперсия оценки минимизируется.

Результат первого этапа — перспективный кандидат. На втором этапе MH работает уже с готовыми выходами: предложения строятся через локальное зашумление и повторный денойзинг, а принятие шагов ведётся по награде. Поскольку старт сильный, MH добирает дополнительную награду без увеличения числа частиц и без дорогого глобального поиска. По утверждению авторов, при равных вычислениях связка поиска и MH-доводки превосходит каждый из подходов по отдельности.

Что показали эксперименты

• JavisDiT++ на JavisBench-Mini: +30,7% к Best-of-N и +14,1% к EvoSearch (среднее относительное улучшение по семи метрикам).
• LTX-2 на JavisBench-Mini: +9,2% к Best-of-N и +17,0% к EvoSearch.
• SD1.5, генерация изображений: адаптивное распределение частиц дало +2,2% по AestheticScore и +6,0% по ImageReward относительно равномерного распределения.
• Сравнение проводилось при близко подобранных вычислительных затратах.

Отдельно заметно, что на LTX-2 SWIM слабее обгоняет Best-of-N, чем на JavisDiT++, зато сильнее эволюционного EvoSearch. Выигрыш зависит от базовой модели, и универсального коэффициента улучшения здесь нет. Результаты на SD1.5 касаются только первого этапа, то есть адаптивной аллокации, и MH-доводка в этом эксперименте не оценивалась.

Где это пригодится

Для команд, которые строят пайплайны генерации видео со звуком, главный вывод практический: при заданном лимите GPU-часов выгоднее распределять частицы по шагам денойзинга по дисперсии, чем равномерно или полностью полагаться на Best-of-N. Если награда не дифференцируема или модель закрыта, метод остаётся применимым, так как он не обращается к градиентам и не требует дообучения.

Ограничения тоже понятны. Оценка проводилась на JavisBench-Mini, уменьшенной версии бенчмарка, а набор моделей ограничен JavisDiT++, LTX-2 и SD1.5. Прежде чем переносить подход в продакшен, стоит проверить его на своих наградах и полном объёме задач. Но сам принцип, по которому бюджет тратится там, где он реально снижает ошибку, универсален и легко переносится на другие диффузионные пайплайны.