OvisOCR3 на 0,8 млрд параметров обошёл OCR-модели: 96,74 на OmniDocBench v1.6

Исследователи из ATH-MaaS представили OvisOCR3 — компактную vision-language модель на 0,8 млрд параметров, которая заменяет целый набор узкоспециализированных OCR-систем. Один набор весов разбирает документы, распознаёт текст на произвольных изображениях, вытаскивает ключевые поля из форм и чеков, описывает графики и иллюстрации в документах и склеивает таблицы, растянутые на несколько страниц. На OmniDocBench v1.6 модель набрала 96,74 балла, а на OCRBench v2 заняла первое место. Веса и примеры инференса опубликованы на Hugging Face в репозитории ATH-MaaS/OvisOCR3.

Пять учителей по 4 млрд параметров для одного ученика

Главная интрига проекта — как уместить пять разных навыков в 0,8B. Авторы сначала дообучают модель на смеси реальных и синтетических данных (continued pretraining). Затем идёт этап domain-balanced mid-training: задачи сильно отличаются объёмом данных и длиной ответов. Страница, разобранная в Markdown, и короткое извлечённое поле из чека — это тексты разного порядка, и без балансировки длинные задачи легко задавили бы короткие.

Дальше работает multi-teacher on-policy distillation. Пять доменных учителей по 4 млрд параметров, по одному на каждое направление, передают знания в общую модель. Дистилляция on-policy означает, что ученик сам генерирует ответы, а учителя оценивают их и поправляют. Завершает цепочку mixed-task reinforcement learning с доменными наградами: для каждого типа задач своя метрика качества.

Где модель вышла вперёд

Авторы сравнивали OvisOCR3 с универсальными VLM и со специализированными OCR-моделями на публичных и внутренних бенчмарках. Результаты по всем пяти семействам задач:

• OmniDocBench v1.6 (разбор документов): общий балл 96,74.
• PureDocBench, Real5-OmniDocBench, MDPBench: наивысший общий балл среди сравниваемых моделей.
• OCRBench v2: первое место, 65,9 на английском и 61,3 на китайском сплите.
• OCRBench: модель опережает базовые модели для сравнения.
• Четыре бенчмарка по извлечению ключевой информации (KIE): лучшие результаты на всех четырёх.
• DocFigCapBench (подписи к иллюстрациям документов): лучший localization F1; качество подписей близко к Qwen3.8-Max.
• CrossTabBench (таблицы через несколько страниц): лидерство по Relation F1.
• MPDocBench-Parse: лучший TEDS для обрезанных таблиц.

Само по себе первое место по OCRBench v2 важно: этот бенчмарк проверяет не только чтение текста, но и разные сценарии работы с ним на двух языках. Показатель для китайского сплита ниже английского, но модель лидирует на обоих.

Таблицы, которые не помещаются на страницу

Отдельного внимания заслуживает сборка таблиц между страницами. Финансовые отчёты, спецификации и реестры регулярно переносят строки на следующий лист, и обычный постраничный парсер рвёт структуру: заголовок остаётся на одной странице, данные уходят на другую. OvisOCR3 восстанавливает связи между фрагментами, и именно здесь она лидирует по Relation F1 и по TEDS на обрезанных таблицах. Для задач вроде загрузки документов в RAG или автоматизации бухгалтерии это боль, которую раньше лечили костылями.

Модель выходит на фоне волны похожих работ. Семантический поиск Hugging Face рядом с ней показывает PolyOCR-Venus, Xiaomi-OCR-0, Jina-OCR-v1 и работу о лёгких VLM для OCR со структурным JSON. Рынок явно движется к небольшим унифицированным моделям вместо связок из детектора, распознавателя и постпроцессинга.

Кому стоит попробовать

При 0,8 млрд параметров модель можно гонять на скромном железе: на одной потребительской видеокарте, в частном контуре без отправки документов во внешнее API. Это интересно командам, которые обрабатывают сканы договоров, счета, анкеты и отчёты с тысячами страниц. Один движок вместо пяти упрощает деплой и поддержку.

Ограничения тоже понятны: сравнения выполнены самими авторами, часть бенчмарков внутренняя. Поэтому прежде чем менять продакшен-пайплайн, стоит прогнать модель на своих документах — особенно на редких шрифтах, плохих сканах и многостраничных таблицах. Авторы сами просят обратную связь от сообщества, так что первые независимые замеры появятся быстро.