OvisOCR3 на 0,8 млрд параметров лидирует в пяти OCR-задачах сразу

Команда из 15 авторов выпустила OvisOCR3 — модель на 0,8 млрд параметров, которая одним набором весов решает сразу пять задач: парсинг документов, универсальный OCR, извлечение ключевой информации (KIE), подписи к рисункам в документах и сборку таблиц, растянутых на несколько страниц. На OmniDocBench v1.6 она получает 96,74 балла, а на OCRBench v2 занимает первое место: 65,9 на английском и 61,3 на китайском сплите. Рядом стоят универсальные VLM и узкоспециализированные OCR-модели, и по заявленным результатам маленькая модель выигрывает у многих из них.

Пять учителей на одного ученика

Главная часть работы в том, как модель обучали. Сначала авторы провели continued pretraining на смеси реальных и синтетических данных. Затем добавили domain-balanced mid-training. Задачи сильно различаются по объёму данных и длине ответа. Разбор целой страницы в разметку даёт тысячи токенов, а извлечение пары полей из чека укладывается в несколько строк. Без балансировки длинные домены легко задавили бы короткие, и этот этап выравнивает вклад каждого из них в обучение.

Следом идёт multi-teacher on-policy distillation. Пять доменных учителей размером по 4B передают свои навыки общей модели, которая в пять раз меньше каждого из них. Дистилляция on-policy означает, что ученик обучается на собственных генерациях, а учителя их оценивают. Финальный шаг — mixed-task reinforcement learning с наградами под каждый домен: для таблиц, подписей и извлечения полей используются разные критерии качества.

Где OvisOCR3 впереди

Авторы сравнивают модель на публичных и внутренних бенчмарках по всем пяти семействам задач. Результаты по их данным:

• OmniDocBench v1.6 — общий балл 96,74.
• PureDocBench, Real5-OmniDocBench, MDPBench — наивысший общий балл среди сравниваемых моделей.
• OCRBench v2 — первое место: 65,9 (английский сплит) и 61,3 (китайский сплит).
• OCRBench — выше всех базовых моделей.
• Четыре KIE-бенчмарка — выше базовых моделей на каждом.
• DocFigCapBench — лучший localization F1 и качество подписей, близкое к Qwen3.8-Max.
• CrossTabBench — лидерство по Relation F1 для таблиц на нескольких страницах.
• MPDocBench-Parse — лучший TEDS на усечённых таблицах.

Подписи к рисункам стоит выделить. Модель на 0,8B здесь почти догоняет Qwen3.8-Max, а по точности локализации фигур на странице опережает всех в сравнении. Это задача на стыке зрения и языка, где обычно выигрывают крупные универсальные VLM.

Таблицы, которые не помещаются на страницу

Кросс-страничные таблицы остаются слабым местом многих OCR-пайплайнов. Финансовый отчёт, спецификация или выписка нередко переносят таблицу на следующий лист с повторённой или потерянной шапкой. Обычный парсер видит два независимых фрагмента, и структура рассыпается. Метрики Relation F1 на CrossTabBench и TEDS на усечённых таблицах MPDocBench-Parse измеряют именно способность восстановить связи между частями. Лидерство по ним говорит о том, что модель понимает документ целиком, а не страницу за страницей.

Кому стоит присмотреться

Одна модель вместо набора специализированных упрощает архитектуру. Не нужно держать отдельные сервисы для парсинга, KIE и подписей к картинкам, согласовывать их форматы вывода и дежурить за каждым. Размер 0,8B позволяет рассчитывать на дешёвый инференс и запуск на скромном железе, хотя авторы не публикуют сравнения затрат, а проверять скорость придётся самим.

Команды, которые строят RAG поверх PDF, обрабатывают договоры, счета и отчёты или оцифровывают китайские и английские документы, получают кандидата для быстрого теста. Начинать лучше со своих самых тяжёлых документов, где есть таблицы на несколько страниц и сложные рисунки. Результаты на собственных данных покажут, насколько цифры с бенчмарков переносятся в продакшен. Сама рецептура из доменных учителей, дистилляции и RL с разными наградами выглядит воспроизводимым подходом и для других мультидоменных задач, где нужно уместить несколько специалистов в одну компактную модель.