Cline разогнала открытую модель до 11 840 токенов в секунду на одной GPU

15 октября команда Cline опубликовала отчёт о том, как разогнала открытую языковую модель до 11 840 суммарных токенов в секунду на одной-единственной видеокарте. Речь о компактной модели, спроектированной специально для локального запуска — она не претендует на звание самой умной, но должна быстро и стабильно работать сразу в нескольких задачах: разбор документов, программирование, финансовые расчёты. Именно скорость и экономичность делают такие модели интересными — их можно доучивать под конкретные нужды компании и держать на своём железе, а не платить за каждый запрос к чужому API.

Эксперимент стал возможен благодаря партнёрству с NVIDIA — Cline получила доступ к мощному серверу с одной GPU и 252 ГБ видеопамяти. Задача была простая: выжать из этой конфигурации максимум токенов в секунду при высокой параллельной нагрузке.

Отсчёт от сильной базовой точки

Уже на старте, с версией движка vLLM 0.32.0rc1.dev190+g3f1bcfd82 и настройками «из коробки», модель показала 6 058 токенов в секунду на тесте с 512 входными и 512 выходными токенами при 256 одновременных потоках запросов. Для Cline это стало неожиданностью — базовая конфигурация модели оказалась уже неплохо оптимизирована для высокой нагрузки, и команда рассматривала эту цифру как достойную отправную точку, а не как провал, который нужно героически исправлять.

Пять шагов, которые подняли скорость почти в два раза

Дальше инженеры прогнали серию экспериментов, меняя по одному параметру за раз:

• Многотокенное предсказание (MTP3). Модель поставляется с головой, умеющей предсказывать сразу несколько следующих токенов. Включение режима MTP3 с однопоточным запуском (OMP1) — чтобы избежать накладных расходов на координацию между потоками — дало первый прирост скорости.
• Асинхронный планировщик. При большом числе параллельных запросов GPU занята вычислениями, а CPU — расписанием задач. Перевод планировщика в асинхронный режим убрал простои GPU в ожидании CPU.
• Замена Mamba-блока на FlashInfer. Модель использует два типа слоёв: обычные attention-слои с KV-кэшем и слои Mamba, которые хранят состояние иначе — через рекуррентную память и короткую свёртку по истории. Переключение вычислительного движка для Mamba-слоёв на FlashInfer неожиданно дало заметный скачок производительности. Команда честно признаёт: почему именно это сработало — не до конца понятно, возможно, эффект завязан на конкретную конфигурацию GPU и не повторится на другом железе.
• Снижение MTP с 3 до 1. Казалось бы, чем больше токенов модель предсказывает заранее, тем быстрее должна идти генерация. На практике — наоборот: каждое предсказание нужно ещё проверить, а если проверка проваливается, время уходит впустую. При 256 параллельных потоках GPU и так загружена полезной работой, поэтому лишние ставки на предсказания только мешали. Снижение глубины предсказания до MTP1 подняло скорость ещё раз.
• Mamba-состояние в FP16. Последний шаг — перевод внутреннего состояния Mamba-слоёв из 32-битной точности в 16-битную со стохастическим округлением. Это снижает точность вычислений и потенциально немного ухудшает качество ответов модели, но для цели эксперимента — максимальной скорости — компромисс посчитали оправданным.

В сумме эти пять правок подняли агрегированную скорость с 6 058 до 11 840 токенов в секунду — почти двукратный рост без замены оборудования.

Что из этого следует для инженеров

Главный вывод команды Cline звучит не как рецепт, а как предупреждение: инференс-инжиниринг крайне контекстно-зависим. Трюки, которые сработали здесь — MTP1 вместо MTP3, FlashInfer вместо стандартного Mamba-кернела — на другой форме трафика (другое соотношение входных/выходных токенов, другое число параллельных запросов) могли бы, наоборот, снизить скорость. Поэтому в Cline советуют не копировать чужую конфигурацию вслепую, а сначала понять форму собственного трафика и настраивать инференс именно под неё.

Команда также поделилась тремя прогнозами на будущее. Во-первых, локальный запуск десятков параллельных агентных потоков станет обычным делом — в пример приводят демонстрацию с 32 одновременными сессиями Cline на модели Nemotron 3.5 Super VL на одной станции NVIDIA DGX, записанную без ускорения видео. Во-вторых, при полной загрузке GPU самостоятельный хостинг моделей может оказаться выгоднее оплаты API — по расчётам Cline, в их случае экономия составила около 66%. В-третьих, авторы верят, что подбор оптимальной конфигурации инференса со временем сам станет задачей для AI-агентов: агент с доступом к метрикам Grafana сможет прогонять нагрузочные тесты на резервной GPU, находить лучшую конфигурацию под конкретный трафик и безопасно переключать на неё продакшн — то есть автомасштабирование инференса станет агентной задачей.