Гибридные LLM: рекуррентные слои глушат attention, помогает поэтапное обучение

Гибридные языковые модели, где линейная рекуррентность работает вместе с softmax attention, обучаются иначе, чем предполагали их создатели. Авторы статьи Competing Learning in Hybrid Architectures показали, что слои разных типов конкурируют за одну и ту же функцию. Тот слой, который выучил её первым, гасит обучающий сигнал для остальных. Выигрывает, как правило, рекуррентность, а attention остаётся без навыка retrieval. Остановка обновления весов рекуррентных слоёв в середине обучения возвращает attention в игру. На моделях до 1B параметров поэтапная схема улучшила language modeling loss, common-sense reasoning и retrieval-задачи на разных длинах контекста.

В чём конфликт

Гибриды популярны из-за компромисса. Современные рекуррентные слои дают выразительное смешивание токенов и высокую пропускную способность, потому что сжимают контекст в состояние фиксированного размера. Цена известна: при извлечении конкретной информации из контекста они уступают softmax attention, который обращается к токенам напрямую. Идея гибрида в том, чтобы оставить attention там, где нужен точный поиск, а остальную работу отдать дешёвой рекуррентности.

По данным авторов, на обучении эта логика ломается. Layer attribution analysis показал: при типичных распределениях данных современная рекуррентность осваивает функции retrieval быстрее attention. Когда какой-то слой уже выучил функцию, обучающий сигнал для других слоёв по ней подавляется. В итоге attention в большинстве случаев так и не учится искать. Архитектура остаётся гибридной на бумаге, но слой, ради которого её проектировали, не выполняет свою задачу.

Поэтапное обучение

Проверка получилась простой. Если остановить обновление весов в рекуррентных слоях посреди обучения, attention успевает выучить retrieval. На этом наблюдении построена staged training procedure для предобучения гибридов на естественном языке: рекуррентности дают поработать, затем освобождают место для attention.

Аннотация не раскрывает деталей: в какой момент замораживать слои, как устроены стадии и что происходит с рекуррентностью после заморозки. Эти параметры определяют, воспроизводим ли метод, и их придётся искать в полном тексте статьи.

• Масштаб проверки: модели до 1B параметров.
• Феномен: Competing Learning, конкуренция миксеров за одну функцию.
• Инструмент диагностики: layer attribution analysis.
• Приём: остановка апдейтов рекуррентных слоёв в середине обучения.
• Метрики: language modeling loss, common-sense reasoning, retrieval-задачи при разных длинах контекста.
• Числовых приростов в аннотации нет, заявлено лишь «существенное улучшение».

Что проверять на практике

Командам, которые предобучают собственные гибриды, стоит проверить, работает ли у них attention-слой на retrieval. Для этого годятся attribution-анализ и абляция с заморозкой рекуррентных слоёв на разных этапах. Тесты на извлечение из контекста нужно гонять на нескольких длинах, а не на одной. Сравнение «гибрид против чистой рекуррентности» может скрывать проблему: attention формально присутствует, но вклада в поиск не даёт.

У результата есть ограничения. 1B параметров далеко от размеров, на которых обучают современные коммерческие модели. Неизвестно, сохранится ли эффект на десятках миллиардов параметров и на других смесях данных. Заявленный прирост пока не подкреплён числами в доступном описании. Но сама диагностика полезна: если слои вытесняют друг друга, одним подбором пропорций рекуррентных и attention-слоёв дело не решить, нужно управлять порядком их обучения.