vLLM заработал на Vera Rubin NVL72: в 7,8 раза выше пропускная способность на GPU

vLLM получила полную поддержку Vera Rubin NVL72 — нового поколения GPU от NVIDIA, разработанного для масштабного агентного вывода. Эта работа стала результатом тесного сотрудничества vLLM Team, Inferact, Red Hat и NVIDIA. Результаты впечатляют: в 7,8 раза выше пропускная способность на GPU по сравнению с GB200 NVL72 на бенчмарке AgentX, и 3,7x выше на VLM-тестах MLPerf Inference v6.1.

Архитектурные преимущества Vera Rubin

Vera Rubin NVL72 предоставляет значительные улучшения. Платформа имеет в 5 раз больше NVFP4 FLOPS для низкоточного вывода — критично для быстрого вывода больших моделей. Память обновлена до HBM4 с 2,4x более высокой пропускной способностью, чем HBM3e на GB200. Межчиповое взаимодействие улучшено через NVLink 6-го поколения с 1,7x выше полосой пропускания.

Ключевое улучшение для трансформеров — экспоненциальные операции в механизме внимания. Vera Rubin достигает 2x выше пропускную способность FP32 экспонент и 4x для BF16/FP16, что позволяет операции softmax не отставать от более быстрых GEMM. Это критично, так как softmax — узкое место в декодировании.

Поддержка в vLLM и совместимые модели

vLLM обеспечивает день-0 поддержку Vera Rubin благодаря архитектурной совместимости с Blackwell. Новый компиляционный целевой объект sm107 поддерживает ядра, скомпилированные для sm100f, без модификаций. Пользователи могут использовать nightly-контейнеры с CUDA 13.4 и PyTorch 2.15 (образ vllm/vllm-openai:cu134-nightly).

Поддерживаемые модели: DeepSeek, Moonshot AI (Kimi), Z.ai, MiniMax, GLM. Все они работают из коробки благодаря совместимости ядер с архитектурой Blackwell.

Оптимизации для Vera Rubin

vLLM использует locality domains из CUDA 13.4 для оптимизации MoE-слоев. Веса разделяются между NUMA-доменами памяти, позволяя каждому SM читать данные только из ближайшей памяти. На примере MiniMax M3 это дает 1,2x ускорение на малых батчах декодирования.

Через FlashInfer 0.7.0 интегрированы специализированные ядра: NVFP4 и MXFP4 GEMM для низкоточных матричных операций, NVFP4 MoE для эффективного маршрутизирования экспертов, FP8 внимание и FP8 MSA prefill для быстрого prefix-кэширования.

Производительность в реальных сценариях

На SemiAnalysis AgentX (MiniMax M3): vLLM достигает 7,84x выше пропускную способность на GPU с сохранением интерактивности, и 5,18x при ограничении на 150 TPS.

На MLPerf Inference v6.1: модель Qwen3-VL-235B (235 млрд параметров) через vLLM как backend показывает 3,7x выше пропускную способность, чем на GB300 NVL72 во всех трех сценариях — offline, server и interactive.

Планы развития

Сообщество vLLM продолжает оптимизацию платформы. Ближайшие направления: интеграция sm107 FlashInfer MegaMoE для масштабных моделей, полная поддержка locality domains для всех MoE слоев, overlapping kernels через PDL и Lamport Sync для скрытия латентности, mega kernels для низколатентных агентных сценариев, оптимизация KDA и MLA ядер для Kimi K3, интеграция CSA и HCA ядер для DeepSeek-V4.1-Flash, завершение Rubin MSA decode kernels и интеграция CFT counted-write MoE all-to-all kernel.

Работа ведется совместно с NVIDIA, Inferact и Red Hat при активной поддержке сообщества vLLM.