AgentOrch сравнил два типа агентов: разрыв Global и Step-by-Step сократился на 79%

Корпоративные агенты обычно работают по циклу: действие, наблюдение за результатом, новый вызов LLM, следующее действие. Это надёжно, но дорого, ведь модель запускается на каждом шаге. Альтернатива называется глобальной оркестрацией. Модель один раз строит полный исполняемый workflow, а дальше система выполняет его без обращений к LLM. Исследователи под руководством Zijie Liu (девять авторов) выпустили бенчмарк AgentOrch и измерили, насколько второй подход отстаёт от первого. Отставание есть у всех оценённых моделей, но от ранних моделей к сильнейшей современной оно уменьшилось примерно на 79%.

Что именно сравнивали

AgentOrch построен на 650 корпоративных стандартных операционных процедурах (SOP) и 3220 runtime-вариантах. Вариант означает, что одна и та же процедура сталкивается с разными условиями во время исполнения. Для обоих режимов авторы зафиксировали одинаковые инструменты, окружения и методику оценки. Поэтому разницу в точности нельзя списать на то, что одному агенту достался более удобный набор API.

Главный результат такой: пошаговое взаимодействие (Step-by-Step) остаётся точнее у каждой протестированной модели. Причина понятна. Агент, который видит итог каждого действия, может поправить курс, когда система вернула неожиданный ответ или данные не сошлись с ожиданиями. Глобальный workflow такой возможности лишён, поэтому ошибку в плане он замечает уже после исполнения.

Три способа сократить разрыв

Авторы выделили три направления, каждое из которых подтянуло глобальную оркестрацию:

• Инкрементальное построение workflow. Вместо генерации всего плана одним заходом он собирается по частям. Без обратной связи от исполнения это даёт в среднем +9,98 процентных пункта точности Global.
• Ревизия готовых workflow с обратной связью от исполнения. План сначала запускается, затем исправляется по результатам. Метод улучшил все оценённые модели, включая +6,13 п.п. на отложенных runtime-вариантах, которые модель не видела при доработке.
• Целевое обучение на полных workflow. Модели дообучают именно на целых исполняемых планах. Результат: в среднем +12,18 п.п. по всем пяти обученным моделям.

У этих трёх путей разная природа. Первый меняет способ генерации, второй добавляет цикл проверки, третий меняет сами веса модели. Цифры авторы приводят отдельно по каждому, а не как итог комбинации. Поэтому из статьи нельзя сделать вывод, что подходы складываются, и тем более нельзя назвать, какой ценой это даётся.

Почему 79% важнее абсолютного разрыва

Сокращение отставания на 79% говорит о траектории. Каждое новое поколение моделей лучше планирует длинные последовательности действий, и это почти бесплатно улучшает Global. Пошаговый режим выигрывает от прогресса моделей меньше, потому что он и раньше подстраховывал слабое планирование постоянными проверками.

При этом разрыв не закрыт. Авторы пишут об этом прямо: Global даёт «многообещающий путь» к агентам с более высокой точностью при меньшем числе вызовов LLM, но пока не равен пошаговому режиму.

Как использовать это на практике

Командам, которые строят агентов для внутренних процессов (согласования, обработка заявок, регламентированные операции), результаты подсказывают несколько решений.

• Если процесс повторяется и хорошо описан в SOP, имеет смысл пробовать глобальный workflow: он сокращает расходы на инференс и уменьшает число точек, где LLM может ошибиться или задержаться.
• Если среда нестабильна и ответы систем часто отклоняются от нормы, пошаговый режим остаётся безопаснее.
• Перед выбором архитектуры полезно проверить ревизию workflow по обратной связи. Она улучшила все оценённые модели и работает даже на непредвиденных вариантах.
• Если есть логи успешных исполнений, их можно превратить в обучающие данные из полных workflow. На пяти моделях это дало самый большой средний прирост, +12,18 п.п.

Для рынка корпоративных агентов вывод простой. Борьба идёт не только за качество модели. Всё больше значит то, сколько раз за один бизнес-процесс эту модель приходится вызывать. AgentOrch даёт способ измерять это сравнение на одинаковых условиях.