Т-Тех придумал метод LIMe: языковую модель обучают на 15% дешевле по вычислениям

Исследователи из Т-Теха представили на конференции EMNLP 2026 метод LIMe, который позволяет обучать языковые модели примерно на 15% дешевле по вычислениям. Цифра получена так: модель примерно с миллиардом параметров с LIMe достигла той же ошибки обучения, что и базовая LLaMA, но затраты вычислений оказались на 15% ниже. Ошибка обучения (training loss) показывает, насколько плохо модель предсказывает данные во время тренировки. Качество на бенчмарках при этом не просело. EMNLP относится к А*-конференциям, в этом году она проходит в Венгрии.

Почему токены становятся похожими друг на друга

В трансформере каждый слой опирается только на скрытое состояние предыдущего слоя. Скрытое состояние — это набор чисел, в котором модель хранит своё текущее представление каждого токена. Через него должен пройти весь контекст.

Авторы показывают, что из-за этого возникает давление в сторону коллапса представлений. Токены становятся слишком похожими друг на друга, различия между ними теряются, а вместе с ними теряется и качество.

Как работает LIMe

LIMe — сокращение от Layer-Integrated Memory. Это лёгкое расширение механизма внимания. Для каждого слоя модель и так хранит key-value буферы: ключи и значения, с которыми работают головы внимания. LIMe использует эти готовые буферы и добавляет к ним обучаемые веса маршрутизации. Свои веса есть у каждой головы и у каждого слоя.

С их помощью голова внимания может забирать представления не только с предыдущего слоя, но и с более ранних, и смешивать их. Размер скрытого состояния при этом не растёт, а уже выполненные вычисления используются повторно.

Что показали эксперименты

Проверка шла на моделях примерно с миллиардом параметров. Результаты такие:

• та же ошибка обучения, что у базовой LLaMA, при затратах на 15% ниже;
• на бенчмарках языкового моделирования и многошаговых рассуждений LIMe обошёл другие подходы;
• самый заметный выигрыш получен на синтетических арифметических задачах и в архитектурах с большим числом слоёв.

Авторы проверили и причину. У LIMe выше энтропия value-векторов (то есть векторы значений несут более разнообразную информацию) и лучше разделимость токенов. По их словам, главная проблема — коллапс представлений — действительно смягчается.

Ещё авторы посмотрели на выученные веса маршрутизации. По ним видно, что модель системно переиспользует и локальные, и дальние признаки.

Где посмотреть

Описание метода опубликовано на arXiv (https://arxiv.org/abs/2502.09245). Полную реализацию авторы выложили на GitHub: https://github.com/corl-team/lime.