Видео-языковые модели путают манёвры авто: LoRA и пробы чинят ошибку

Видео-языковые модели всё чаще подают как универсальных «понимателей» видео. Авторы статьи «Mind the Temporal Gap», вышедшей на arXiv в разделе cs.CV 12 октября 2026 года, проверили это на задаче, где ошибка стоит дорого: определение действия автомобиля по видео с дороги. Они сравнили четыре стратегии промптинга (стандартную, визуальную, few-shot и chain-of-thought) с двумя способами доработки модели: лёгким LoRA-файнтюнингом и линейными пробами на промежуточных признаках. Промптинг показал нестабильный результат. Доработка вернула сильное качество.

Что именно проверяли

Постановка намеренно узкая. Это контролируемые ego-motion задачи: по ролику нужно понять, что делает автомобиль, с которого снята сцена. Едет прямо, поворачивает, перестраивается, тормозит. Такие вопросы не требуют общих знаний о мире. Ответ зависит от того, как картинка меняется от кадра к кадру. Поэтому задачи хорошо изолируют именно временное понимание, а не способность узнавать объекты на отдельном кадре.

Выбор области тоже важен. Вождение относится к safety-critical сценариям, где «в среднем неплохо» не работает. Модель, которая стабильно путает два манёвра, опасна независимо от того, насколько хорошо она описывает дорожную сцену словами.

Что показали эксперименты

Главный результат укладывается в несколько пунктов:

• Стандартный, визуальный, few-shot и chain-of-thought промптинг остаются ненадёжными. Качество сильно зависит и от задачи, и от конкретной модели.
• У моделей сохраняются устойчивые смещения по классам: они систематически предпочитают одни ответы другим.
• Новые модели заметно выигрывают от few-shot на отдельных задачах, но этот выигрыш не переносится на остальные.
• Лёгкий LoRA-файнтюнинг возвращает сильное различение движений.
• Простые пробы на промежуточных визуальных признаках дают такой же эффект.

В аннотации нет конкретных метрик, поэтому сравнивать модели по цифрам можно только по полным таблицам статьи.

Где теряется сигнал о движении

Самое интересное здесь не провал промптинга, а успех проб. Если простой классификатор поверх промежуточных признаков уверенно различает манёвры, значит, энкодер уже извлёк информацию о движении. Она есть внутри модели. Но финальный путь «видео → язык» не использует её надёжно.

Авторы делают осторожный вывод: в вождении современные видео-языковые модели остаются ненадёжными временными рассуждателями. Они ведут себя скорее как распознаватели отдельных кадров, подверженные смещениям, чем как устойчивые временные модели мира. Chain-of-thought здесь не помогает: рассуждать словами о динамике, которая плохо доходит до языковой части, значит строить аргументы на слабом основании.

Что делать командам, которые строят на этом продукты

Вывод для практики прямой. Zero-shot и few-shot ответы видео-LLM нельзя считать надёжным источником сведений о манёврах, если от них зависит поведение системы помощи водителю, разметка опасных эпизодов или анализ аварийных записей. Перед внедрением стоит прогнать модель на ego-motion тестах с контролем баланса классов. Тогда смещения проявятся сразу, а не в продакшене.

Если модель уже выбрана, дешевле всего дообучить её через LoRA на целевых манёврах. Линейные пробы на промежуточных слоях полезны как диагностика: они покажут, есть ли в признаках нужный сигнал, прежде чем тратить бюджет на более тяжёлое обучение. Для критичных функций разумно сочетать видео-LLM с классическими источниками движения вроде одометрии и данных инерциальных датчиков. Это моя рекомендация, а не вывод статьи. Но работа даёт аргумент в её пользу: языковой интерфейс пока слабее, чем информация, которая уже лежит в визуальных признаках.