Исследователи SAP научили ИИ-агентов не метаться между разными решениями одной задачи

Если попросить ИИ-агента с доступом к инструментам (поиск, базы данных, API) решить одну и ту же задачу несколько раз, он может каждый раз действовать по-разному: вызывать разные функции, давать противоречивые ответы пользователю или идти к результату разными путями. Для бытового чат-бота это мелкая неприятность, но для агента, который работает с медицинскими данными или пишет код в несколько шагов, такая непредсказуемость — серьёзная проблема: ошибка на одном шаге накапливается и уводит всё решение в сторону.

Автор работы — Харшавардхан Абичандани из SAP — обратил внимание, что существующие способы оценки агентов почти всегда мерили только одно: решил агент задачу или нет. Про стабильность поведения — ведёт ли он себя одинаково от запуска к запуску — почти никто не спрашивал. Даже снижение температуры генерации до нуля (детерминированный режим) не спасает: случайные ответы инструментов, окружения или даже технические мелочи типа точности вычислений на видеокарте всё равно расшатывают поведение агента на длинной дистанции.

Как устроен метод RSD

Идея подсмотрена в теории обучения с подкреплением, где есть понятие бисимуляции — способ сравнивать два состояния системы по тому, насколько похоже они ведут себя в будущем, а не по тому, как они выглядят сейчас. Автор адаптировал эту идею для диалоговых агентов:

• Агента запускают дважды подряд из одной и той же точки диалога (одна и та же история сообщений и действий).
• На каждом шаге сравнивают не текст, а смысл двух ответов агента с помощью модели для анализа логических противоречий (NLI) — она определяет, противоречат ли два высказывания друг другу, совпадают по смыслу или просто не связаны.
• Расхождение на текущем шаге складывается (с затухающим весом) с ожидаемым расхождением на всех последующих шагах — получается рекурсивная формула, похожая на то, как в обучении с подкреплением считают суммарную будущую награду.
• Поскольку точно вычислить эту сумму для языковой модели невозможно (она работает как чёрный ящик, а пространство возможных диалогов огромно), автор обучает отдельную нейросеть, которая оценивает это расхождение приближённо — по методу обучения с временными различиями (TD-learning), похожему на обучение Q-функции.

В итоге для каждого состояния диалога получается одно число — оценка того, насколько «предсказуемо» поведёт себя агент дальше. Если агент всегда выбирает один и тот же инструмент с одними и теми же аргументами (пусть и другими словами), оценка стремится к нулю — он полностью консистентен. Если же агент мечется между разными стратегиями и противоречит себе, оценка растёт.

Ключевое практическое следствие: на этапе применения (инференса) для расчёта оценки нужен всего один проход модели — никаких повторных запусков, сравнений или вызовов NLI не требуется. Это значит, что оценку стабильности можно встроить в рабочий процесс агента без заметных накладных расходов.

Что показали эксперименты

Автор протестировал подход на моделях Qwen-2.5 размером 3 и 7 миллиардов параметров на двух бенчмарках для агентов с инструментами — τ-bench и ToolSandbox. Для каждой задачи запускали 8 независимых прогонов (на 8 тестовых примерах — то есть 64 траектории на бенчмарк), чтобы честно замерить разброс поведения.

RSD использовали как дополнительный сигнал вознаграждения при донастройке моделей методом GRPO (Group Relative Policy Optimization) — модель штрафовали за высокое расхождение между собственными повторными прогонами. Сравнивали с тремя альтернативами:

• базовой моделью Qwen без донастройки;
• донастройкой через минимизацию энтропии токенов (классический способ измерить «уверенность» модели по распределению вероятностей);
• донастройкой через семантическую энтропию (кластеризация смысла одного ответа без учёта будущих шагов);
• обычной supervised fine-tuning (SFT) на размеченных данных.

Результат: донастройка с RSD снизила коэффициент вариации (меру разброса результатов между прогонами) на обоих бенчмарках — на τ-bench и на ToolSandbox — причём сопоставимо с результатом SFT, но без необходимости в размеченных эталонных данных. При этом итоговая успешность решения задач (доля выполненных и скорость прогресса) не упала, а на некоторых конфигурациях выросла.

Почему это важно

Для команд, которые строят агентов на базе LLM для продакшена — особенно там, где цена ошибки высока (финансы, медицина, автоматизация бэк-офиса) — это рабочий инструмент для диагностики, насколько агент предсказуем еще до того, как он провалит задачу на реальном пользователе. Главное ограничение: подход проверен только на относительно небольших моделях (3B и 7B) и двух специфичных бенчмарках, так что масштабируемость на крупные модели и более разнообразные сценарии еще предстоит подтвердить. Код выложен в открытом доступе в репозитории RSD-agent-consistency на GitHub.