Контекстное окно

Контекстное окно — максимальный объём токенов, который трансформерная модель учитывает при генерации очередного токена. Всё, что выходит за этот предел, модель не видит: текст либо усекается, либо обрабатывается специальными архитектурными надстройками вроде скользящего окна (sliding window attention).

Ограничение обусловлено механизмом внимания (attention): при вычислении каждого нового токена модель строит взвешенные отношения со всеми предыдущими токенами в контексте, что требует памяти и вычислений, растущих квадратично с длиной последовательности. GPT-3 (2020) имел контекст 2 048 токенов; GPT-4 Turbo и Claude 3 в 2024 году достигли 128 000 токенов; Gemini 1.5 Pro — 1 миллиона токенов. В 2026 году контекст в несколько сотен тысяч токенов стал нормой для флагманских моделей.

Размер контекстного окна критичен для анализа длинных документов, многоходового диалога, суммаризации книг и агентных цепочек с большой историей. Однако большой контекст не гарантирует равномерного качества использования всей информации: исследования фиксируют эффект «потери в середине» (lost in the middle) — модели хуже воспроизводят факты из центральных частей длинного контекста по сравнению с его началом и концом.

В 2025–2026 годах расширение контекста остаётся активной областью разработки. Для преодоления квадратичной сложности применяются sliding window attention, линейные аппроксимации (архитектуры Mamba, RWKV), а также техники позиционного кодирования (RoPE scaling, YaRN), позволяющие расширять контекст без полного повторного обучения.

Пример

“При анализе юридического договора объёмом 80 страниц (около 50 000 токенов) необходима модель с контекстным окном не менее 64K; Claude 3 Sonnet или GPT-4 Turbo справятся с документом целиком, тогда как модели с окном 4 096 токенов потребовали бы разбивки на фрагменты с риском потери связей между разделами.