Навыки для ИИ-агентов вредят слабым моделям: мета-навык вернул до 14 пунктов

Навыки, которые делают сильную модель лучше, способны ухудшить результат слабой. К такому выводу пришла группа из десяти авторов во главе с Zhihao Yang в статье про самоэволюцию «обвязки» (harness) LLM-агентов. На семи моделях и трёх бенчмарках исследователи нашли 103 пары «задача — навык», где навык поднимает GPT-5.6-luna на 31,1 пункта, а Gemma-4-E4B опускает на 8,8. Предложенное решение, адаптация навыков под исполнителя, дало слабым моделям прирост от 5,1 до 14,1 пункта.

Один навык, два противоположных эффекта

Самоэволюция обвязки решает практическую задачу. Агент накапливает опыт выполнения задач и записывает его в виде навыков, то есть текстовых инструкций, процедур и проверок, а веса модели при этом не меняются. Такой подход дешевле дообучения, и его активно используют разработчики кодинг-агентов.

Главная предпосылка в том, что модель способна выполнить то, что написано в навыке. Авторы проверили это и выяснили, что предпосылка не всегда верна. Эффект от навыка зависит от возможностей исполнителя. Сильная модель следует длинной многошаговой инструкции и получает выигрыш, а слабая теряет нить, неверно вызывает инструменты и ломает остальной план.

Более неожиданная находка касается причин провалов. В 86% неудачных запусков слабых моделей нарушенное требование уже было прописано в навыке. Модели не хватало знаний о том, что делать. Ей не хватало способности довести инструкцию до исполнения.

Мета-навык: диагностика четырёх типов поломок

Из этого наблюдения выросла идея адаптации навыков. Нужно переформулировать существующий навык так, чтобы его было проще исполнить конкретной модели. Для этого авторы разобрали сбои на четыре категории:

• ошибки исполнения инструментов; • ошибки управления контекстом; • невыполнение инструкций; • ошибки верификации.

Диагнозы они свели в фиксированный мета-навык, то есть инструкцию о том, как переписывать другие инструкции. Он служит ориентиром при адаптации внутри цикла самоэволюции.

Сначала мета-навык проверили на внешнем переписчике. Kimi-K3 с его помощью адаптировал навыки без доступа к результатам выполнения, по одному тексту. Три слабых исполнителя улучшились на 5,1–14,1 пункта относительно исходных навыков.

Пять раундов самоэволюции

Далее адаптацию встроили в полноценный цикл из пяти раундов. В нём каждая модель сама правит свой навык по траекториям выполнения и обратной связи верификатора. Исполнителей было семь, от Gemma-4-E4B до Kimi-K2.5. Мета-навык стабильно повышал итоговый результат на 2,0–5,1 пункта по сравнению с таким же циклом без него.

Ключевые цифры исследования:

• 7 моделей-исполнителей, 3 бенчмарка; • 103 пары «задача — навык» с расходящимся эффектом; • +31,1 пункта для GPT-5.6-luna и −8,8 для Gemma-4-E4B на этих парах; • 86% провалов слабых моделей приходятся на требования, уже записанные в навыке; • +5,1–14,1 пункта от внешней адаптации навыков силами Kimi-K3 для трёх слабых исполнителей; • +2,0–5,1 пункта от мета-навыка в пятираундовом цикле; • 24 страницы, 12 рисунков, 4 таблицы в статье.

Что менять в агентных пайплайнах

Для команд, которые строят агентов на смеси моделей, вывод прямой. Библиотеку навыков нельзя копировать между исполнителями без проверки. Навык, отлаженный на флагманской модели, при переносе на малую модель вроде Gemma-4-E4B может принести вред. Перед развёртыванием его стоит прогнать на целевом исполнителе и сравнить с версией без навыка.

Второй практический момент касается стоимости. Адаптация работает даже без трасс выполнения, достаточно сильной модели-переписчика и мета-навыка. Это удобный способ подготовить навыки для дешёвых локальных моделей, которые гонять выгоднее. Третий момент связан с диагностикой. Четыре категории сбоев (инструменты, контекст, следование инструкциям, верификация) можно использовать как чек-лист при разборе провалов агента и при написании навыков с нуля. Конкретные формулировки мета-навыка опубликованы на странице проекта, а препринт доступен на arXiv под номером 2610.33024.