Cisco открыла FAPO: автооптимизация LLM-пайплайнов с диагностикой на каждом шаге

Cisco Foundation AI выложила в открытый доступ FAPO — систему автоматической оптимизации промптов, которая работает на уровне целого пайплайна, а не отдельного запроса. Оркестрацию выполняет Claude Code, превращая процесс настройки в полностью автономный цикл.

Почему одного промпта недостаточно

Большинство современных AI-продуктов — это не один запрос к языковой модели, а цепочка взаимосвязанных шагов: один извлекает данные, второй классифицирует, третий рассуждает, четвёртый генерирует итоговый ответ. Когда суммарное качество падает, найти вручную, на каком именно шаге теряется точность, — долгая и неочевидная задача. Существующие системы оптимизации промптов, в том числе популярный GEPA, рассматривают каждый промпт изолированно: они не учитывают, как изменение одного шага влияет на входные данные и качество последующих. FAPO построен принципиально иначе — он видит пайплайн целиком и оптимизирует его как связанную систему.

Как устроен цикл оптимизации FAPO работает в четыре стадии, которые

повторяются итеративно: Диагностика: система прогоняет пайплайн на тестовой выборке и измеряет точность на каждом шаге. Так выявляется конкретный шаг, где теряется качество — авторы называют это step-level failure attribution. Генерация вариантов: для проблемного шага FAPO предлагает исправления сразу на трёх уровнях — промпт (новая формулировка инструкции), параметры (температура, top-p), структура цепочки (добавить или убрать шаг). Независимая валидация: каждый вариант оценивает отдельный LLM-агент-ревьюер, который принимает решение только по метрикам — без предвзятости автора изменения. Итерация: цикл повторяется до достижения целевой точности или исчерпания бюджета попыток. Роль оркестратора выполняет Claude Code: он последовательно запускает диагностику, вызывает генераторы вариантов, передаёт данные ревьюеру и применяет одобренные изменения. Всё это происходит без участия человека.

Бенчмарки: FAPO против GEPA

Cisco сравнила FAPO с GEPA — одним из ведущих методов автоматической оптимизации промптов. Результат оказался убедительным: FAPO выиграл в 15 из 18 сравнений по комбинациям «модель + задача».

«Подход с атрибуцией ошибок на уровне шагов особенно эффективен там,

где проблема не локализована в одном промпте, а размазана по нескольким переходам в цепочке», — указывают авторы в технической документации. Ключевое преимущество FAPO именно в многошаговом контексте: GEPA и аналоги смотрят на каждый промпт отдельно. FAPO понимает, что выход одного шага — это вход следующего, и оптимизирует цепочку с учётом этих зависимостей. Это критично для агентских систем, где изменение раннего шага каскадно влияет на все последующие.

Что это значит

Cisco опубликовала FAPO под открытой лицензией — систему можно развернуть на своих пайплайнах уже сейчас. Для команд, которые строят многошаговые AI-агенты, это способ автоматизировать то, что раньше занимало недели ручного перебора. Выбор Claude Code как движка оркестрации — показательный сигнал: корпоративный AI-инструментарий всё активнее строится на Claude-экосистеме.