Дискретные токены картинок почти догнали непрерывные: FVQ закрыл разрыв в 59% к Emu3

Команда из Meituan LongCat вместе с исследователями из Huazhong University of Science and Technology, Shanghai Jiao Tong University, MBZUAI и Chinese University of Hong Kong взялась за давний спор в мультимодальном ИИ: можно ли описывать картинку дискретными токенами — примерно как текст описывается словами из словаря — без потери смысла, или непрерывные признаки (вектора чисел без округления) всегда будут точнее.

Общепринятое мнение было простым: при переводе картинки в дискретные токены неизбежно возникает ошибка квантования — то есть восстановленная из токенов картинка чуть отличается от оригинала. Раз есть ошибка, значит, что-то потерялось, и дискретные токены в принципе не могут быть настолько же «умными», как непрерывные признаки. Авторы проверили это напрямую: взяли представление картинки, которое при восстановлении даёт заметно большую ошибку, и сравнили его с представлением, у которого ошибка маленькая. Оказалось, что первое — с большой ошибкой — помогает модели понимать картинку лучше (отвечать на вопросы по ней, распознавать текст и т.д.), чем второе. То есть ошибка восстановления картинки и реальная «полезность» токенов для понимания — разные вещи, и одна не предсказывает другую.

Что оказалось важным вместо точности восстановления

Авторы предположили, что важен «бюджет бит» — грубо говоря, то, сколько реально различимых вариантов может закодировать набор токенов. Этот бюджет растёт линейно от количества используемых кодовых книг (наборов токенов, которые применяются один за другим или параллельно), но лишь очень медленно — логарифмически — от размера каждой отдельной книги. Поэтому увеличивать число книг эффективнее, чем делать книги больше.

Проблема в том, что у существующих схем с несколькими книгами есть потолок. Например, метод RVQ (residual vector quantization) работает так: первая книга кодирует основную часть картинки, вторая — то, что осталось не закодированным после первой (остаток), третья — остаток от остатка и так далее. Каждая следующая книга получает всё более «пустой» кусок информации. Похожая история с методом PQ (product quantization): он делит признак картинки на всё более узкие куски по каналам, и каждой книге достаётся всё меньше содержания. В обоих случаях при удвоении числа книг (например, с 8 до 16) качество почти не растёт — книги просто перестают приносить пользу.

Как работает FVQ

Решение авторов — Factorized Vector Quantization (FVQ). Вместо того чтобы дробить признак картинки на всё более мелкие и бедные куски, FVQ создаёт несколько полноценных, равноценных «взглядов» на один и тот же признак целиком — через специальные математические проекции, которые гарантированно вместе сохраняют всю исходную информацию (так называемое свойство «тугого фрейма», tight frame). Каждый такой взгляд кодируется своей отдельной кодовой книгой параллельно, без иерархии «главный — остаточный». Благодаря этому добавление новой книги не ослабляет информацию, которую получают остальные, — и качество продолжает расти даже при 16 книгах, где старые методы уже застревают.

На практике это означает: чем больше кодовых книг добавляют в FVQ, тем точнее модель распознаёт, например, мелкий текст на изображениях — то, что обычно страдает первым при сжатии картинки в токены.

Результаты на реальных данных

Авторы обучили итоговую модель — Qwen3-8B с визуальным токенизатором на основе 16-книжного FVQ поверх Qwen3 ViT — на данных промышленного масштаба и проверили на девяти тестах понимания изображений: MMMU, MathVista, MMStar, OCRBench, ChartQA, CharXiv (двух видов), DocVQA и InfoVQA.

• В среднем по этим девяти метрикам модель обошла UniAR на 22,8% и Emu3-Chat на 59,2%
• Это первая известная дискретно-токенная модель, которая по качеству сопоставима с сильными непрерывными системами уровня Qwen3-VL, включая сложные задачи распознавания текста на изображениях
• Код и веса модели доступны на GitHub (hustvl/FVQ), есть отдельная страница проекта с демонстрациями

Практический вывод для команд, которые строят мультимодальные модели: гонка за минимальной ошибкой восстановления картинки — не лучший ориентир при выборе токенизатора. Важнее смотреть, сколько реально полезных бит несёт представление и не упирается ли схема квантования в потолок при добавлении новых кодовых книг. Если команда уже использует RVQ или PQ и видит, что качество перестаёт расти при увеличении числа книг, параллельная факторизованная схема вроде FVQ — разумное направление для эксперимента, особенно если в продукте критично точное распознавание текста и мелких деталей на изображениях.