Open-source модели 2026 заявляют 1 млн контекста, но читают выборочно

В карточках свежих открытых моделей 2026 года стоит «1 млн контекста». Внутри картина другая: GLM-5.3 для каждого шага выбирает 2048 токенов из истории, DeepSeek-V4-Pro работает с 1024 сжатыми блоками, а у Qwen3.8 и Kimi K3 всю историю целиком видит только каждый четвёртый слой. Владимир Лушин, который делает ИИ-агентов и инструменты для работы с кодом в Сбере, разобрал на Habr, что это значит на практике. Вывод для всех, кто строит агентов: заявленный размер окна говорит о том, сколько токенов влезет, но не о том, сколько из них модель реально учтёт.

Три схемы отбора вместо полного чтения

Лушин делит свежие open-source модели на три семейства. Часть конфигураций он прочитал прямо в config.json на Hugging Face, остальное взял из карточек и техотчётов. Выводы о том, что именно модель «читает», автор делает сам из архитектуры: разработчики моделей такого не заявляли.

• Разрежённое top-k: GLM-5.x, DeepSeek-V4, MiniMax M3. Каждый шаг выбирает лишь часть истории: у GLM-5.3 это 2048 токенов, у DeepSeek-V4-Pro 1024 сжатых блока.
• Гибриды «3 линейных слоя + 1 полный»: Qwen3.5–3.8, Kimi K3, GLM-5.3-Flash. Полное внимание ко всей истории есть только в каждом четвёртом слое.
• Скользящее окно плюс глобальные слои: Gemma 4.

Общее у всех трёх схем одно. Гарантированно точно читаются только последние несколько сотен токенов. Остальное должно либо выиграть отбор по релевантности, либо дожить в сжатом виде. Качество у большинства моделей ломается где-то на 128–256 тыс. токенов. Kimi K3 с компактизацией на 300 тыс. обгоняет саму себя с полным окном в 1 млн. Для экономики инференса это существенно: короткий контекст с хорошей упаковкой даёт лучший результат и тащит с собой в разы меньше токенов.

Почему правило из AGENTS.md пропадает к сотому вызову

На каждом шаге генерации каждый слой заново решает, на какие прошлые токены смотреть и с каким весом. Допустим, в начале сессии агенту сказали не трогать определённый файл. Через 300 тысяч токенов он собирается выполнить команду, которая этот файл заденет. Чтобы запрет сработал, хотя бы часть слоёв должна дотянуться до строчки в начале и дать ей заметный вес. Дотянутся или нет, зависит от вероятности, а не от того, что текст формально лежит в окне.

Автор объясняет это на пуделе. Кинолог в начале занятия сказал «фу, с земли ничего не брать», потом отработал десятки команд, и в голове у собаки осталось в основном последнее «гуляй!». Когда на земле лежит колбаса, исход предсказуем. Правило из AGENTS.md играет роль той первой команды, а дневник кинолога «что уже отработали» соответствует компактизации и файлу прогресса.

Обвязка: куда класть текст и что запирать хуками

Главный тезис статьи: обвязке важнее, куда положить текст, чем что в нём написать. Лучше всего работают пять приёмов:

• чистка старого вывода инструментов, чтобы он не забивал окно;
• поиск по запросу вместо «залить всё»;
• постепенное раскрытие: агент получает детали по мере необходимости;
• состояние вне окна: файл прогресса, заметки, внешняя память;
• повтор ключевых правил в конце контекста, где внимание гарантированно сильнее.

Отдельная категория это то, что нельзя нарушать никогда. Такие ограничения не стоит доверять вниманию модели: их нужно закрывать хуками и правами доступа. Если запрет на удаление или запись реализован как проверка перед вызовом инструмента, то неважно, дотянулся ли до него какой-то слой на 300-тысячном токене.

Практический порядок для команды, которая строит агента на открытых моделях, такой. Сначала выяснить архитектуру конкретной модели по config.json. Затем держать рабочий контекст в пределах 128–256 тыс. токенов, а не гнаться за миллионом. Критичные правила дублировать в хвосте, долгую историю сжимать, а жёсткие запреты переводить из текста промпта в код обвязки.