IBM Research снизила стоимость инференса в 11,5 раза на открытых агентах

IBM Research сообщила, что открытые модели в связке с фреймворком llm-d позволили ей исследовать аппаратные решения для квантовой коррекции ошибок при стоимости инференса в 11,5 раза ниже, чем в полностью проприетарной конфигурации. Речь о «фабрике агентов»: системе, где множество ИИ-агентов параллельно участвуют в проектировании чипов. Это один из немногих случаев, когда экономика агентной нагрузки выражена конкретным множителем.

Что IBM заявила и чего не раскрыла

Формулировка в анонсе короткая. Есть открытые модели, есть llm-d, есть задача из области квантовой коррекции ошибок, есть сравнение с конфигурацией, где все компоненты проприетарные. Нет списка моделей, числа GPU, объёма обработанных токенов и качества результата по сравнению с закрытым вариантом. Без этого 11,5× читается как стоимость при заданных условиях, а не как универсальная константа. Какой именно проприетарный стек взят за базу и как считались затраты, неизвестно.

Снижение цены в десять с лишним раз не бывает бесплатным. Вопрос в том, насколько сопоставимы результаты агентов на обеих конфигурациях. IBM пока не показала, что именно было получено на выходе.

Роль llm-d

llm-d — открытый Kubernetes-нативный фреймворк для распределённого инференса. Он строится поверх vLLM, а запускали его в 2025 году при участии Red Hat, IBM Research, Google, NVIDIA и CoreWeave. Его ключевые идеи: разделение этапов prefill и decode по разным пулам ресурсов и маршрутизация запросов с учётом KV-кэша.

Для агентных систем это важно по понятной причине. Агенты в проектировании чипов гоняют длинные общие префиксы: спецификации, логи симуляций, описания архитектуры. Запросов много, и они часто пересекаются по контексту. Если маршрутизатор отправляет их на реплики с уже прогретым кэшем, лишние вычисления исчезают.

Почему именно квантовая коррекция ошибок

Аппаратные решения для коррекции ошибок упираются в огромное пространство вариантов: коды, декодеры, топологии связей, ограничения по задержке. Перебирать их вручную долго. Агентный подход превращает перебор в поток итераций: предложить конфигурацию, прогнать симуляцию, проанализировать результат, скорректировать. Каждый цикл содержит несколько вызовов LLM, а таких циклов тысячи.

При такой нагрузке инференс становится главной статьёй бюджета исследования. Множитель 11,5 означает, что на ту же сумму можно провести на порядок больше экспериментов или держать агентов запущенными постоянно.

Ключевые параметры

• Организация: IBM Research
• Область: проектирование чипов агентами, квантовая коррекция ошибок
• Стек: открытые модели и llm-d
• Заявленная экономия: 11,5× против полностью проприетарной конфигурации
• Не раскрыто: модели, железо, объём токенов, метрики качества

Что из этого можно взять командам

Первое: считайте стоимость не за токен, а за успешно решённую задачу. Дешёвая модель с большим числом неудачных попыток может проиграть дорогой. Второе: если нагрузка агентная и контекст повторяется, оцените инференс-слой с учётом кэша, а не только саму модель. Третье: гибридная схема, где открытые модели берут массовые шаги, а закрытые подключаются на сложных, часто выгоднее крайних вариантов. Наконец, при чтении любых заявлений «в N раз дешевле» первым делом спрашивайте, что взято за базу и как проверялось качество. Здесь полных данных пока нет, и стоит дождаться технического отчёта IBM.