TokenGate ускоряет prefill в LLM до 11,3 раза за счёт обучаемого отсева

Liana Patel, Rishabh Ranjan, Ion Stoica, Matei Zaharia и Carlos Guestrin представили TokenGate — компонент, который делает prefill в больших языковых моделях значительно быстрее и экономнее по памяти. Вместо того чтобы обрабатывать все входные токены через каждый слой трансформера, TokenGate позволяет моделям селективно пропускать неважный контекст, подобно тому, как человек читает длинный документ: быстро ориентируется в содержании и вдумчиво читает только ключевые части.

Проблема, которую решает TokenGate, остра для практического применения LLM: обработка длинных контекстов требует значительных вычислительных ресурсов и памяти. Когда модель получает тысячи или десятки тысяч токенов на входе (например, весь исходный код репозитория или длинный документ), она вынуждена пропускать каждый токен через все слои внимания. TokenGate вводит механизм learnable token pruning — обучаемый отсев, который определяет, какие токены действительно важны для решения текущей задачи.

Механизм token-gated attention

Центр инновации TokenGate — это token-gated attention, механизм вдохновлённый архитектурой Mixture-of-Experts. Ключевая инженерная находка состоит в решении проблемы недифференцируемости: вместо жёсткого top-K оператора для отсева токенов (что затрудняет end-to-end обучение), система использует мягкую переоценку. Каждому токену присваивается оценка важности, которая переоценивает его вклад в attention computation. Это позволяет обучать весь механизм отсева совместно с остальной моделью в едином процессе, без специальных трюков или дополнительных стадий.

Результаты и производительность

В экспериментах на разнообразных задачах TokenGate демонстрирует впечатляющие результаты:

• Ускорение time-to-first token (TTFT): 1,4–11,3 раз в зависимости от задачи и длины контекста • Снижение peak memory: 1,5–3,4 раза без потери точности • Сравнение с лучшими конкурентами: до 6,4 раза ускорение prefill'а и вдвое сокращение peak memory по сравнению с существующими методами отсева токенов

Совместимость и интеграция

TokenGate спроектирован как drop-in компонент, который расширяет уже тренированные модели без необходимости их переучивания. Система работает как со стандартными трансформерами (например, Qwen3), так и с гибридными моделями внимания нового поколения (например, Qwen3.5). Адаптация требует лишь простые параметрически-эффективные техники, сравнимые по сложности со стандартным parameter-efficient fine-tuning (PEFT).

Авторы делятся результатами с сообществом: полный код доступен в репозитории https://github.com/tokengate-models/TokenGate. Это позволяет другим исследователям и инженерам немедленно интегрировать TokenGate в свои системы.

TokenGate решает реальную проблему развёртывания LLM в production: необходимость обрабатывать длинные контексты быстро и без чрезмерного переиспользования ресурсов. Подход обучаемого отсева токенов с механизмом token-gated attention открывает путь к более эффективному использованию возможностей современных больших языковых моделей.