Издание · проверено редакцией

vLLM Blog

Источник AI-новостей. Материалы автоматически отбираются и адаптируются редакцией Hamidun News.

2 материалов в Hamidun·Последний: 12 октября· Активен·vllm.ai ↗
Подписаться

Последние публикации

vLLM научил decode-узлы возвращать KV-кэш и ускорил TTFT до 3,3 раза
LLMvLLM Blog

vLLM научил decode-узлы возвращать KV-кэш и ускорил TTFT до 3,3 раза

В vLLM появилась двунаправленная передача KV-кэша: prefill-узлы берут готовый контекст у decode-узлов, и время до первого токена на длинных диалогах падает до 3,3 раза.

12 окт. 2026 г.·3 мин
vLLM заработал на Vera Rubin NVL72: в 7,8 раза выше пропускная способность на GPU
LLMvLLM Blog

vLLM заработал на Vera Rubin NVL72: в 7,8 раза выше пропускная способность на GPU

vLLM поддерживает Vera Rubin NVL72 с производительностью 7,8x выше GB200 и 3,7x выше GB300 на VLM-тестах. Включена поддержка DeepSeek, Moonshot AI, MiniMax, Kimi и GLM.

10 окт. 2026 г.·2 мин