Wieszcz-XIX: польский корпус до 1918 года на 3,1 млрд слов обучил модели с нуля

Историческому польскому языку не хватает машиночитаемых данных. Для периода 1800–1918 годов размеченных текстов около миллиона слов, остальное лежит в сканах с OCR разного качества. Авторы Wieszcz-XIX собрали из этих сканов корпус на 6,75 млрд токенов, или около 3,1 млрд слов, в 294 369 документах. Большая часть документов — номера периодических изданий. Корпус более чем на три порядка больше размеченного аналога. На нём с нуля обучили семейство моделей от 47M до 349M параметров и проверили, насколько хорошо они «не знают» то, что случилось после 1918 года.

Корпус: грязный OCR, но с учётом дефектов

Источники — Wolne Lektury и Internet Archive. Пайплайн фильтрует тексты, удаляет дубликаты, проверяет их на утечки из времени после 1918 года и делит данные на выборки на уровне документов. Дефекты авторы не прячут, а измеряют:

• 6,75 млрд токенов, около 3,1 млрд слов, 294 369 документов;
• доля послевоенных текстов, оставшихся в обучающем корпусе, составляет 0,04–0,38% байт, причём остаток найден в транскрибированном источнике;
• на вручную исправленной выборке доля ошибок на символ равна 0,68% там, где текст читаем;
• 45% отобранных фрагментов исправить нельзя;
• почти одинаковые дубликаты удалены.

Опубликованный корпус совпадает с обучающим документ в документ, так что результаты можно проверить на тех же данных.

Модели без будущего

Все модели — decoder-only, обученные с нуля, без дообучения современной базы. Их сравнивали с двумя современными польскими базовыми моделями, одна из которых заметно крупнее. Модель на 349M показывает «пересечение» с ними, то же происходит у 107M при сравнении с моделью близкого размера. Лексика после 1918 года обходится историческим моделям примерно на 3,1 бита на байт дороже, чем лексика эпохи. У современных моделей такого разрыва нет. Слова периода обходятся историческим моделям дешевле, чем современным.

Есть и качественный эффект. Если показать модели текст эпохи, она сохраняет его орфографию, а современные модели делают это лишь частично. Для работы с источниками это существенно: модель не «осовременивает» написание по ходу продолжения.

Ещё один результат касается ресурсов. Добавление параметров даёт примерно вдвое больший выигрыш, чем второй проход по тем же данным. При 3,1 млрд слов это довод в пользу масштабирования модели, а не повторения эпох.

Предупреждение и практика

Авторы отдельно предупреждают, что модели воспроизводят предрассудки эпохи, включая антисемитские высказывания. Данные не очищены от этого и не должны выдаваться за нейтральный источник.

Для исследователей практическая польза в трёх вещах. Корпус, код и веса открыты, поэтому на них можно строить исторические исследования, например нормализацию орфографии, поиск по архивам прессы или улучшение самого OCR. Модели небольшие, до 349M параметров, и запускаются на скромном железе. Метод измерения «временной ограниченности» по разнице в битах на байт между лексикой эпохи и более поздней лексикой можно перенести на другие языки и периоды, где есть оцифрованная периодика. Ограничение очевидно: почти половина проверенных фрагментов не поддаётся ручной коррекции, а значит, качество зависит от исходных сканов, и использовать модели для публикаций нужно с проверкой по источникам.