Модели учатся на лету: один шаг SGD даёт −8% loss и обходит 32k контекста

Если дать языковой модели делать градиентные шаги прямо на читаемом тексте, она начинает лучше предсказывать остаток документа. Этот приём называется dynamic evaluation и известен давно. Но на гибридных архитектурах с линейным вниманием, на диффузионных языковых моделях и на стандартных бенчмарках длинного контекста его почти не измеряли. Surya Saka измерил. На моделях с классическим softmax-вниманием потери на следующем токене падают на 5–8%, причём модель с окном в 2k токенов и обновляемыми весами обходит ту же замороженную модель, которой показали все 32k токенов. Но на задачах, где нужно найти факт в длинном документе, выигрыша нет вообще.

Один шаг SGD на 128 токенов вместо длинного контекста

Конфигурация минималистичная. Один шаг SGD на каждый 128-токенный чанк, обновляются только выходные проекции MLP в последней четверти блоков, никакого обучения заранее, окно внимания 2k токенов. Для инфраструктуры это важная деталь: KV-кэш на 2k токенов примерно в 16 раз короче, чем на 32k, а градиент считается лишь по хвосту сети. На Qwen3-1.7B, Qwen3-4B и Gemma-4-E4B выигрыш по loss составил 5–8% на документ.

Отдельная проверка касалась задач на извлечение информации. Автор прогнал RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI и достраивание цитат: минимум 100 примеров на каждый тест, две размерности моделей. Веса, обновлённые на полном документе, не вернули ни одного пункта точности, потерянной из-за усечения контекста. Вывод автора: адаптация настраивает стиль и словарь, а извлечением фактов не занимается.

Гибриды уже адаптируются, диффузия выигрывает вдвое сильнее

У гибридных моделей на Gated-DeltaNet Qwen3.5-4B и Qwen3.8-27B прирост не превышает 1% при любом learning rate. Объяснение простое: блоки линейного внимания сами обновляют своё состояние по ходу чтения, то есть выполняют ту же адаптацию без внешнего градиента. Дополнительный SGD здесь почти ничего не добавляет.

Диффузионные модели с маскированием ведут себя иначе. Механизм переносится на них, но при условии, что learning rate снижен, а обновления клипуются. Тогда эффект получается больше, чем у авторегрессионных моделей.

• Qwen3-1.7B, Qwen3-4B, Gemma-4-E4B (softmax-внимание): −5–8% loss, результат лучше замороженной модели с 32k контекста.
• Qwen3.5-4B, Qwen3.8-27B (гибриды Gated-DeltaNet): меньше 1% при любом learning rate.
• Nemotron-Diffusion-8B (маскированная диффузия): около 8%.
• DiffusionGemma-26B (маскированная диффузия): 17–20%.
• Конфигурация: один шаг SGD на 128 токенов, MLP-проекции последней четверти блоков, окно 2k.
• Бенчмарки без выигрыша по точности: RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI, citation completion.

Факты в веса не записываются, выводы записываются

Наивная идея выглядит так: запишем факт градиентом по next-token loss, и модель его запомнит. На практике модель запоминает формат промпта. При чат-промптинге вспоминается 30% фактов против 80% при подаче в контексте. Цена тоже высока: на GSM8K модель теряет 36–38 пунктов при любой дозе обновления.

Альтернатива, которую предлагает автор, записывает вывод как поведение. Собственные суждения модели, обусловленные выводом, дистиллируются в низкоранговый адаптер. На 100 играх результат составил 0,83 и 0,88 против 0,84 и 0,88 для того же вывода, поданного в контексте. GSM8K при этом не меняется. Сам вывод может прийти из inquiry loop, цикла, где модель ищет ответ, задавая вопросы по критерию information gain.

Куда это встроить в инференс-стек

Для команд, которые гонят softmax-модели на длинных документах, динамическая оценка может заменить часть дорогого контекста: короткое окно плюс лёгкий онлайн-апдейт дают меньший loss, чем 32k токенов у замороженных весов. Но подходит она для языкового моделирования, стилизации и работы с узкой лексикой, например с юридическими или медицинскими текстами. Для RAG и поиска фактов в договорах она бесполезна, и там по-прежнему нужны контекст или внешняя память.

Для гибридных архитектур отдельный SGD-слой не окупится. Для диффузионных моделей он выглядит перспективным, но требует настройки learning rate и клиппинга. Если же нужно закрепить в модели конкретное знание, лучше работает дистилляция вывода в LoRA-адаптер, чем прямая запись фактов лоссом: она держит качество на уровне контекста и не ломает математические способности. Работа занимает 19 страниц, 13 рисунков и 12 таблиц, опубликована на arXiv как 2610.33025.