Навыки для ИИ-агентов не универсальны: слабым моделям нужна своя версия подсказки

Группа исследователей из Университета Китайской академии наук, Калифорнийского университета в Санта-Крузе, Национального университета Сингапура и Института программного обеспечения Китайской академии наук разобралась с неочевидной проблемой самообучающихся ИИ-агентов: инструкции, которые агент составляет сам по итогам выполненных задач («скиллы»), помогают далеко не всем моделям одинаково.

Идея харнесс-самообучения (harness self-evolution) в том, чтобы агент, не трогая свои веса, накапливал опыт в виде текстовых инструкций и сверялся с ними при следующих похожих задачах. На трёх бенчмарках и семи моделях разных уровней команда нашла 103 пары «задача + скилл», где эффект от подсказки резко расходится: GPT-5.6-luna с её помощью набирает на 31,1 балла больше, а слабая Gemma-4-E4B — на 8,8 балла меньше, чем без подсказки вообще. То есть инструкция не просто бесполезна для слабой модели — она делает только хуже.

Почему слабые модели проваливаются, хотя инструкция у них есть

Авторы прочитали логи провальных запусков и выяснили: дело не в нехватке информации. В 86% случаев слабая модель нарушала требование, которое в скилле было явно написано — она просто не смогла по нему сориентироваться. Разбор провалов свёлся к четырём повторяющимся сценариям:

• Проблемы с инструментами — агент пытается вызвать несуществующий инструмент, принимает файл за инструмент или останавливается после ошибки, не пытаясь её обойти.
• Потеря контекста задачи — агент переключается на примеры и справочные материалы из скилла, забывая про саму задачу, или сохраняет результат не туда, куда нужно.
• Неполное следование инструкциям — агент делает несколько шагов и выдаёт результат, но закрывает только часть требований, которые в скилле прописаны явно.
• Отсутствие проверки — в финальном ответе остаются ошибки, потому что агент не перечитывает и не пересчитывает результат другим способом.

Мета-скилл как универсальный шаблон переделки инструкций

Чтобы исправить это, исследователи с помощью модели Claude-Opus-5 как ассистента составили «мета-скилл» — фиксированный, не зависящий от конкретной задачи протокол переписывания. Он требует: разделять в инструкции реальные инструменты и документы, заранее описывать проверки окружения и типичные ошибки; начинать скилл с формулировки задачи пользователя, границ допустимых изменений и пути сохранения результата, явно отделяя это от примеров; формулировать каждое требование с явным способом проверки его выполнения; и завершать скилл отдельным шагом самоконтроля — перечитать результат, пересчитать другим способом, сравнить с порогом и повторить при необходимости.

Проверили эффект в двух режимах. Первый — без логов выполнения: мощный переписчик Kimi-K3 получал только задачу, исходный скилл и список доступных исполнителю инструментов, и переписывал скилл по мета-шаблону. Результат — три слабых исполнителя (Qwen3.6-flash, Gemma-4-E4B, Qwen3.5-9B) выросли на 5,1–14,1 балла по сравнению с оригинальной инструкцией. Для сравнения: если тому же Kimi-K3 дать просто одну фразу «перепиши так, чтобы работало для всех моделей» без мета-скилла, прирост заметно меньше и нестабилен — Qwen3.5-9B даже чуть просел. Мета-скилл добавляет ещё 5,1–6,0 балла сверху — больше половины итогового выигрыша.

Самообучение по кругу: модель переписывает себе инструкцию сама

Второй режим — реалистичный цикл из пяти раундов, где модель сама и исполняет задачу, и переписывает свою же инструкцию по итогам трассировки выполнения и ответа верификатора. Здесь результаты показательны: без мета-скилла самостоятельное переписывание слабым моделям почти не помогает и работает нестабильно — Qwen3.5-9B выходит на пик к третьему раунду и затем скатывается почти к стартовому уровню, а самая слабая модель, Gemma-4-E4B, во всех раундах остаётся ниже базовой линии. С мета-скиллом картина меняется: все семь проверенных моделей — от Gemma-4-E4B до топовой Kimi-K2.5 — к пятому раунду обходят вариант без мета-скилла на 2,0–5,1 балла.

Практический вывод для команд, которые строят агентов с самообучающимися инструкциями: не стоит считать, что один и тот же скилл одинаково полезен для разных моделей в связке — исполнителя с мощной флагманской моделью и исполнителя на компактной открытой модели. Если в проекте используются модели разного уровня, инструкции для них стоит адаптировать отдельно, а не копировать слово в слово — иначе слабая модель может показывать результат хуже, чем если бы подсказки не было вовсе.