Команды ИИ-агентов тратят до 5,1x токенов ради почти незаметного прироста

Команды ИИ-агентов едва обгоняют одиночных, но обходятся до 5,1 раза дороже. К такому выводу пришла Vals AI. Исследователи прогнали сценарии на двух флагманских моделях, GPT-6 Sol и Claude Opus 5.5, и измеримый выигрыш от командной работы увидели лишь в одном тесте из четырёх. Остальные три дали разницу, которую трудно отличить от шума. Данные Anthropic рисуют ту же картину: после десяти агентов качество выходит на плато, а токены продолжают сгорать.

Что показали тесты

Идея мультиагентных систем выглядит логично. Одному агенту сложно держать в голове большую задачу, поэтому её делят между специалистами: один планирует, другие исполняют, третий проверяет. Каждый работает в своём контексте и, в теории, ошибается реже.

Vals AI сравнила такие команды с одиночными агентами на одних и тех же задачах. Платить за командную работу приходится заметно: стоимость выросла до 5,1 раза. Выигрыш в качестве на этом фоне скромный. Он зафиксирован в одном сценарии из четырёх, причём результат получен на обеих моделях, GPT-6 Sol и Claude Opus 5.5, то есть слабость подхода нельзя списать на недоработки одной из них.

Из пересказа не ясно, какие именно задачи входили в набор и как была устроена оркестрация. Поэтому цифры стоит читать как сигнал, а не как приговор всем архитектурам.

Плато после десяти агентов

Отдельный аргумент даёт Anthropic. Собственные данные компании показывают: когда в команде больше десяти агентов, качество перестаёт расти, а стоимость в токенах идёт вверх. Кривая отдачи выравнивается, кривая расходов нет.

Причина, вероятно, в накладных расходах. Агентам нужно передавать друг другу контекст, согласовывать результаты и перепроверять чужую работу. Каждый такой шаг стоит токенов, а новой информации в систему почти не добавляет. Это моя интерпретация, в исходных данных механизм не раскрыт, но она хорошо объясняет, почему рост числа участников перестаёт окупаться.

Ключевые цифры исследования:

• исследователь: Vals AI;
• модели в тестах: GPT-6 Sol и Claude Opus 5.5;
• удорожание командного подхода: до 5,1x относительно одиночного агента;
• измеримый прирост качества: 1 тест из 4;
• порог по данным Anthropic: свыше 10 агентов качество выходит на плато;
• расход токенов за порогом продолжает расти.

Как проверять мультиагентность в своём продукте

Для команд, которые строят агентные системы, вывод практический: рой агентов нельзя считать архитектурой по умолчанию. Базовая линия всегда должна быть одиночной. Если один агент с хорошим промптом и инструментами решает задачу, добавлять второго нужно только при доказанном выигрыше.

Что стоит делать:

1. Мерить не среднее качество, а стоимость решённой задачи. Рост точности на пару процентов при пятикратном счёте почти всегда проигрывает. 2. Сравнивать команду и одиночного агента на ваших данных. Результат на чужом бенчмарке плохо переносится, а в исследовании Vals AI выигрыш проявился только в одном сценарии из четырёх. 3. Ограничивать размер команды. Если число агентов растёт, следите, где кончается прирост. По данным Anthropic, граница лежит около десяти. 4. Закладывать бюджет токенов на запуск и обрывать прогон при его превышении. Командные системы удорожают ошибки: зациклившийся рой тратит деньги быстрее одиночки.

Мультиагентные схемы остаются разумными для задач, где параллелизм даёт реальную экономию времени или где нужны изолированные контексты. Но доказывать их пользу теперь придётся цифрами, а не красивой схемой оркестрации.