Исследователи проверили 16 видов подсказок для OPSD и нашли метрику отбора

On-policy self-distillation (OPSD) позволяет языковой модели учиться на привилегированной информации без отдельной модели-учителя. Новая работа, попавшая в Hugging Face Daily Papers, показывает, что сама подсказка (PI) определяет результат не меньше, чем алгоритм. Авторы прогнали 16 конфигураций PI через три многоходовых агентных бенчмарка и три студенческие модели разного масштаба и режима рассуждения. Главный практический вывод: качество подсказки можно оценить до обучения с помощью KL-метрик, и этот способ работает надёжнее, чем прямая проверка её полезности.

Почему PI оказалась слабым местом OPSD

Схема знакома: модель видит задачу вместе с дополнительной информацией, которой нет у «студента» на инференсе, и её распределение токенов служит сигналом для обучения. Студент при этом тренируется на собственных семплах, отсюда on-policy. Лишний учитель не нужен.

До сих пор PI в большинстве работ считалась фиксированным дизайнерским решением. Что именно в неё класть и как строить, изучали мало. В многоходовых агентных задачах вопрос острее: траектория состоит из действий, наблюдений и рассуждений, и превратить её в подсказку можно десятком способов. Можно оставить только итог, можно добавить шаги, можно выделить ошибочные.

Что показали 16 конфигураций

Эффективность PI зависит от трёх факторов сразу: содержания, источника генерации и самой студенческой модели. Общие закономерности такие:

• информационно плотные траектории в роли PI в среднем дают больший прирост;
• PI, созданная более сильным генератором, обычно полезнее;
• thinking-модели выигрывают от PI менее стабильно, чем модели без явного режима рассуждения;
• универсального рецепта подсказки нет, лучшая конфигурация меняется от задачи к задаче и от студента к студенту.

Числовых приростов в аннотации авторы не приводят, так что масштаб эффекта придётся смотреть в полном тексте статьи.

Как оценить подсказку до обучения

Полный прогон обучения ради проверки каждой PI стоит дорого. Поэтому авторы сравнили прямую оценку полезности PI с двумя метриками на основе KL-дивергенции:

• sampled-token reverse KL (D) — обратная KL по семплированным токенам;
• error-step KL contrast (Δd⁻_err) — контраст KL, привязанный к шагам, где агент ошибается.

Обе метрики согласуются с итоговым качеством после обучения стабильнее, чем прямая оценка полезности. У последней есть слабое место: её искажает утечка информации. Если подсказка фактически содержит ответ, модель с ней выглядит сильной, но студенту это ничего не даёт.

Проверили и практический сценарий. Выбор PI для каждой задачи по Δd⁻_err улучшает результат после обучения по сравнению со случайным выбором. Больше всего выигрыш там, где кандидаты сильно различаются между собой. Если все варианты подсказок примерно равны, метрика почти ничего не добавляет.

OPSD плюс GRPO

Отдельная проверка касалась совместимости с RL. Эффективная PI остаётся полезной при совмещении OPSD с GRPO, и комбинированная цель превосходит сильный GRPO-бейзлайн. То есть self-distillation не конкурирует с обучением с подкреплением, а дополняет его.

Что взять в работу

Команде, которая обучает агентов через self-distillation, стоит перестать считать формат PI константой. Разумный порядок действий такой:

• собрать несколько вариантов PI из одних и тех же траекторий, от сжатых до плотных;
• по возможности генерировать подсказки более сильной моделью;
• ранжировать кандидатов по KL-метрикам, а не по тому, насколько хорошо модель решает задачу с подсказкой в контексте, иначе утечка введёт в заблуждение;
• для thinking-моделей не рассчитывать на тот же прирост, что у обычных, и проверять отдельно;
• если уже есть пайплайн с GRPO, добавить OPSD с отобранной PI как второй член цели.

Ограничение тоже понятно. Работа эмпирическая, выводы получены на трёх бенчмарках и трёх студентах, и перенос на другие домены нужно проверять. Но как инструкция по инженерии подсказок для self-distillation результат полезен: он заменяет интуицию дешёвой метрикой, которую можно посчитать до запуска дорогого обучения.