SLVR на Qwen2.5-VL-7B прибавил 14,2 пункта на BLINK Relation без текстового CoT

Авторы SLVR показали, как заставить мультимодальную модель опираться на изображение, а не угадывать ответ по тексту вопроса, и не платить за это длинной цепочкой рассуждений на выходе. На базе Qwen2.5-VL-7B метод дал +9,4 пункта на MMVP и +14,2 на BLINK Relation. Улучшения зафиксированы также на V*, MathVista и ChartQA. Текстовых рассуждений модель при ответе не генерирует.

Четыре латентные стадии вместо длинного CoT

Проблема знакомая. Мультимодальные LLM нередко отвечают на визуальные вопросы, исходя из лингвистических приоров, а не из того, что реально нарисовано на картинке. Текстовый chain-of-thought частично лечит это: модель разбивает вопрос на шаги поиска свидетельств. Но шаги генерируются авторегрессивно, и стоимость инференса растёт вместе с длиной цепочки. Латентное рассуждение дешевле, потому что явного текста нет. Зато непонятно, что именно кодируют промежуточные состояния, и отдельный сигнал обучения на планирование, привязку к области или выбор свидетельств туда не навесить.

SLVR пытается взять лучшее от обоих подходов. Обучение идёт в два этапа. Сначала модель приучают смотреть на картинку: из текста маскируют фрагменты, которые выдают ответ, а правильный ответ противопоставляют визуально правдоподобным дистракторам. Затем рассуждение раскладывается на типизированные латентные стадии: планирование, привязка (grounding), выбор визуальных свидетельств и интеграция. Каждая стадия получает свой надзор: планы, рамки (boxes), визуальные свидетельства и финальные обоснования соответственно. Латентным шагам таким образом задана функциональная структура, а в инференсе генерировать текстовую цепочку не требуется.

Что показали бенчмарки

Авторы тестировали метод на одной базовой модели. Заявленные результаты:

• база: Qwen2.5-VL-7B;
• MMVP: +9,4 пункта в абсолюте;
• BLINK Relation: +14,2 пункта в абсолюте;
• V*, MathVista, ChartQA: улучшения без указания величины в аннотации;
• инференс: без декодирования текстового CoT.

Несколько оговорок. В аннотации нет абсолютных значений и не указано, с чем сравнивали: с исходной моделью, с обычным дообучением или с вариантом с текстовым CoT. Это сильно влияет на интерпретацию. MMVP невелик по размеру, поэтому на нём прирост может быть шумным. Нет и данных о реальной экономии на инференсе: в аннотации утверждается отсутствие накладных расходов на декодирование, но замеров задержки или токенов нет. Работа пока препринт на arXiv, независимой проверки нет. Страница проекта опубликована.

Кому это пригодится

Идея важна прежде всего командам, которые дообучают открытые VLM под задачи с точным визуальным анализом: чтение графиков, пространственные отношения, поиск мелких объектов на изображении. Там, где текстовый CoT слишком дорог по задержке, структурированный латентный подход выглядит разумной альтернативой.

Цена вопроса в данных. Для обучения нужны планы, рамки, визуальные свидетельства и обоснования, то есть разметка заметно богаче обычных пар «картинка — ответ». Прежде чем переносить метод в продакшен, стоит прикинуть, сколько такой разметки можно получить автоматически, и проверить прирост на собственных данных, а не только на публичных бенчмарках. Отдельный вопрос — отладка. Типизированные стадии теоретически легче анализировать, чем неструктурированные скрытые состояния, но подтверждений этому в аннотации нет. Это стоит проверить по полной статье и коду.