Groq первой выводит NVIDIA Groq 3 LPX: 3400 токенов/с на Gemma 4 31B

Groq станет одним из первых операторов NVIDIA Groq 3 LPX — ускорителя, который усиливает генерацию токенов на стойках Vera Rubin NVL72. Обе платформы компания развернёт в собственном inference-облаке GroqCloud, а поставкой и интеграцией займётся Dell Technologies. Главная цифра из опубликованных NVIDIA тестов: 3400 выходных токенов в секунду на открытой агентной модели Gemma 4 31B при контексте 100 тысяч токенов. Замер выполнен в бенчмарке Artificial Analysis.

Что заявила NVIDIA

LPX добавляется к Vera Rubin NVL72 как отдельный слой для декодирования. Он поднимает скорость выдачи токенов там, где контекст длинный, а агент делает много последовательных шагов. Ключевые заявленные показатели:

• 3400 выходных токенов в секунду на Gemma 4 31B при контексте 100K токенов;
• в 4 раза выше интерактивность для агентных нагрузок, чувствительных к задержке, чем у ближайшей альтернативной платформы;
• агентные задачи вроде кодинга выполняются за минуты вместо часов.

Название продукта показывает, что архитектура LPU, с которой Groq работала годами, теперь выходит под брендом NVIDIA. Дион Харрис из NVIDIA формулирует логику так: агентному ИИ нужно больше токенов, быстрая реакция и низкая стоимость при масштабировании. Vera Rubin отвечает за пропускную способность, Groq 3 LPX — за низкую задержку.

Почему первой стала именно Groq

Аргумент компании: другой команды с опытом эксплуатации LPU в продакшене на таком масштабе нет. По её данным, на GroqCloud работают более шести миллионов разработчиков, предприятия из списка Fortune 500 и тысячи AI-native компаний. Платформа генерирует триллионы токенов в неделю в дата-центрах Северной Америки, Европы, Ближнего Востока и Азиатско-Тихоокеанского региона.

В августе Groq получила статус NVIDIA Cloud Partner. Это значит, что она проектирует, разворачивает и обслуживает вычислительные кластеры по эталонной архитектуре и эксплуатационным стандартам NVIDIA. Новый запуск продолжает эту линию. Dell, по словам вице-президента Arunkumar Narayanan, закрывает интегрированную инфраструктуру и глобальные цепочки поставок. Технический директор Groq Sinclair Schuller называет платформу новым классом интерактивных ускорителей инференса.

Практический вывод для команд

Если вы строите агентов, считайте задержку на весь цикл, а не на один ответ. Агент в кодинге делает десятки вызовов подряд, и скорость декодирования на длинном контексте складывается в итоговое время задачи. Пока нет публичных цен и сроков, разумно:

• замерить на своих сценариях долю времени, которую занимает именно генерация токенов, а не вызовы инструментов и ожидание;
• прогнать задачи при 50–100K токенов контекста, где, по заявлению NVIDIA, выигрыш максимален;
• запросить у Groq доступ к раннему тестированию и условия по стоимости токена;
• не привязывать архитектуру к одному провайдеру: открытые модели вроде Gemma 4 позволяют сравнить облака на одной и той же нагрузке.