LensVLM: нейросеть для текста на сжатых изображениях

Исследователи Apple разработали LensVLM — нейросеть, которая учится надёжно читать текст на сильно сжатых изображениях, решая проблему обработки длинных документов через визуальный канал.

Почему текст как изображение — это перспективно

Современные визуально-языковые модели (VLM) умеют воспринимать текст не через токенизацию, а напрямую как отрендеренное изображение: буквально «видеть» написанное. Это принципиально отличается от того, как работают традиционные языковые модели.

В классическом подходе каждый символ или субслово превращается в числовой токен, а длинный документ порождает длинную последовательность. Это нагружает память и ограничивает контекстное окно. Визуальные энкодеры VLM устроены иначе: они всегда производят фиксированное количество токенов из изображения, независимо от того, сколько текста на нём содержится.

Отсюда возникает соблазнительная идея: снижая разрешение рендеринга, можно разместить больше текста в тот же «токенный бюджет». Это превращает разрешение в гибкий регулятор степени сжатия. Для обработки книг, PDF-отчётов и длинных документов такой подход потенциально куда экономичнее стандартной токенизации.

Почему высокое сжатие ломает точность?

При агрессивном сжатии точность VLM резко падает. Причина механическая: символы на изображении уменьшаются до размеров ниже эффективного разрешения визуального энкодера. Буквы сливаются, становятся неразличимы, и модель теряет способность читать текст — даже если технически «видит» изображение.

Получается нежелательный компромисс: чем выше сжатие, тем больше текста умещается в контекст, но тем хуже модель его понимает. Этот барьер до сих пор ограничивал практическое применение визуального подхода к длинным документам.

Как LensVLM решает задачу?

Ключевая идея Apple ML Research — механизм выборочного расширения контекста (selective context expansion). Вместо равномерной обработки всего изображения модель учится сканировать его адаптивно: уделяя дополнительное внимание участкам с плотным или мелким текстом.

Название LensVLM отсылает к метафоре оптической линзы: как объектив фокусируется на нужной детали, игнорируя остальное, модель «наводит резкость» на критические фрагменты. Благодаря этому общая степень сжатия остаётся высокой, а локальное разрешение повышается только там, где это действительно необходимо.

Фреймворк реализован через два взаимодополняющих компонента:

• Инференс-фреймворк — определяет, как модель просматривает изображение при выводе: когда и насколько увеличивать внимание к конкретному региону
• Рецепт дообучения (post-training recipe) — адаптирует уже существующие VLM к работе со сжатыми представлениями текста, не требуя обучения с нуля

Такой подход делает LensVLM практичным: его можно встроить в уже существующие модели без необходимости разрабатывать новую архитектуру с нуля.

Что это значит

LensVLM демонстрирует, что визуальный канал способен стать полноценной альтернативой токенизации для длинных документов. Если подход окажется масштабируемым, он может изменить то, как VLM работают с книгами, PDF-файлами и другими документами: меньше токенов, шире контекст, выше точность чтения.

Может ли нейросеть читать текст на сжатых картинках?

Да, LensVLM специально обучена это делать. Она воспринимает текст как отрендеренное изображение и может надёжно его распознавать даже при сильном сжатии.