Непальский текст «весил» в 3 раза больше английского — токенизатор так и не смогли это исправить до конца

Команда исследователей разобралась, почему языковые модели вроде Llama-3 и Qwen3 обходятся с непальским текстом настолько расточительно — и попыталась это исправить. Оказалось, что проблема сидит не в словаре модели, а в самом первом, самом незаметном шаге обработки текста — предварительном разбиении на кусочки, которое происходит до того, как токенизатор вообще начинает собирать токены.

Откуда растёт перерасход токенов

Токенизаторы типа GPT-2, на которых построены Llama-3 и Qwen3, перед основной токенизацией режут текст регулярным выражением. Это выражение считает «словом» только последовательность Unicode-букв. Беда в том, что непальский язык использует письмо деванагари, где гласные обозначаются не отдельными буквами, а специальными значками над и под основной буквой — так называемыми комбинирующими знаками. В Unicode эти значки формально не считаются «буквами», поэтому регулярное выражение режет непальское слово на части буквально на каждом гласном знаке.

Результат: там, где носитель английского тратит один токен, непальский текст на тех же моделях требует в 2–3 раза больше токенов на то же количество смысла. Авторы замерили это на параллельном корпусе FLORES-200 (одни и те же предложения на разных языках) — токенизатор Qwen3 тратит на непальское предложение заметно больше токенов, чем на его английский перевод, а токенизатор, которым пользуются Phi-4, OLMo-2 и Granite-4.1, — ещё больше.

Для пользователей это не абстрактная метрика. Больше токенов на тот же смысл — значит дороже запрос, медленнее ответ и меньше полезного контента помещается в окно контекста модели.

Почему обычное «докручивание» словаря не помогает

Стандартный способ научить готовую модель лучше работать с новым языком — так называемое расширение словаря через слитные пары (merge-based vocabulary extension): в словарь добавляют новые токены-слияния, которые модель доучивает на тексте нового языка. Проблема в том, что разбиение регулярным выражением происходит раньше любых слияний — и если слово уже разрезано на куски по гласным знакам, никакое количество новых слияний не склеит обратно кусочки, разделённые этим разрезом. Авторы доказывают, что у такого подхода есть математический «потолок» экономии, который зависит только от регулярного выражения, а не от размера словаря.

Они проверили это на реальных релизах: нашли десять опубликованных ранее расширений словарей для шести разных письменностей (у Llama-3, Llama-3.1, Qwen2.5 и Qwen3) — и все десять уткнулись в свой потолок, выжав из него не менее 98% возможной экономии. То есть разработчики этих моделей уже сделали всё, что можно было сделать стандартным способом, — дальше упираться в словарь бессмысленно.

Авторы также проверили лазейку: можно зарегистрировать непальские строки как «добавленные токены», которые вообще не проходят через регулярное выражение. Это действительно пробивает потолок, но ломает деление по границам слов — пятая часть таких токенов начинает совпадение прямо посреди слова, что портит осмысленность разбиения.

Что дал «ремонт» регулярного выражения

Исследователи переписали само регулярное выражение так, чтобы гласные знаки деванагари считались частью слова, а не отдельными символами. Важное свойство их правки: они математически доказали, что для любого текста без комбинирующих знаков и без символов деванагари (то есть для английского и кода) токенизация остаётся абсолютно идентичной прежней — ни один токен не меняется.

С новым регулярным выражением и 32 000 новых слитых пар непальский текст стал требовать почти столько же токенов, сколько английский — на 54% меньше токенов, чем у стандартного расширения словаря.

Но при реальном дообучении моделей Llama-3.2-1B и Qwen3-0.6B на смеси непальских и английских текстов результат оказался неожиданным: исходный, «неисправленный» токенизатор на равном бюджете показал лучшее качество предсказания непальского текста (измеренное в битах на байт), чем и исправленная, и стандартно расширенная версии. Это была главная гипотеза авторов — и она не подтвердилась.

При равном числе шагов обучения (а не байтов) исправленный токенизатор оказался лучше на Qwen, но хуже на Llama — то есть выигрыш оказался непоследовательным между моделями. Увеличение скорости обучения на Qwen улучшило результаты всех трёх вариантов, но не изменило их относительный порядок.

Что это значит на практике

Для инженеров, которые дообучают открытые модели под языки с комбинирующими знаками (не только непальский, но и, например, тайский, арабский, бенгальский), вывод двоякий. С одной стороны, экономия в токенах реальна и подтверждена математически — починенный токенизатор честно тратит на 54% меньше токенов на тот же непальский текст, не трогая при этом английский и код. С другой — меньше токенов не автоматически означает лучшую модель: авторы прямо показывают, что на их тестах старый, «неисправленный» токенизатор всё ещё выигрывает по качеству на одинаковом бюджете вычислений.

Остаётся открытый вопрос, который авторы честно не проверяли: даёт ли экономия токенов выигрыш в скорости и стоимости генерации текста на практике, даже если качество чуть хуже. Код, обученные токенизаторы и план анализа выложены в открытый доступ на GitHub и Hugging Face.