OPMD учит студентов LLM не только ответам, но и внутренним вычислениям учителя

Команда исследователей предложила OPMD (On-Policy Mechanism Distillation), метод дистилляции языковых моделей, который переносит от учителя к студенту не только предсказания, но и промежуточные вычисления. По заявлению авторов, OPMD показал наивысшую среднюю точность среди оцениваемых дистилляционных базлайнов во всех трёх конфигурациях «учитель — студент». Он также переносится на дистилляцию из нескольких учителей и на supervised fine-tuning между разными семействами моделей. Работа опубликована в Hugging Face Daily Papers. В аннотации нет абсолютных значений метрик, названий моделей и бенчмарков, поэтому масштаб выигрыша пока оценить нельзя.

Где упирается on-policy дистилляция

On-policy distillation (OPD) устроена так: студент сам генерирует префиксы, а учитель оценивает, что бы он сказал на каждом шаге. Так студент учится на собственном распределении состояний, а не на чужих эталонных текстах, и это снижает рассогласование между обучением и инференсом. У подхода есть ограничение: надзор остаётся в выходном пространстве. Студент узнаёт, какие токены предсказывает учитель, но не видит, как тот к ним пришёл.

Напрашивающийся ход — заставить скрытые состояния студента походить на скрытые состояния учителя. Авторы считают это недостаточным по двум причинам. Во-первых, представления учителя и студента могут отличаться геометрически, и прямое сопоставление мало что значит. Во-вторых, даже хорошо выровненные скрытые состояния не обязаны подходить последующим слоям студента. Они могут быть похожи на «правильные» и при этом бесполезны для его собственных вычислений.

Как устроен OPMD

Метод работает в два шага. Сначала строится «совместимый со студентом учитель» (student-compatible teacher). Он преобразует представления настоящего учителя в промежуточные состояния, которые может использовать нижестоящая часть сети студента. Затем эти состояния интернализируются на on-policy траекториях: студент генерирует собственные продолжения и учится воспроизводить нужные внутренние состояния. Как именно реализован преобразователь, из аннотации не ясно, это придётся проверять по полному тексту статьи.

Ключевая идея в том, что совместимость с принимающей стороной становится частью постановки задачи. Авторы называют результат «механизмом»: студент получает внутреннюю вычислительную структуру, которую способен применять, а не слепок чужой.

Что заявлено по результатам

• Три конфигурации учитель–студент: OPMD лидирует по средней точности среди оцениваемых дистилляционных базлайнов в каждой.
• Мульти-учительская дистилляция: подход обобщается на нескольких учителей.
• Кросс-семейный SFT: метод работает при обучении между разными семействами моделей.
• Анализ рассуждений: надзор за механизмом даёт более эффективные рассуждения.
• Внутренние изменения: меняются промежуточные вычисления студента и его стратегии решения, то есть передаётся информация сверх той, что содержится в выходах.

Последний пункт важен методологически. Прирост точности сам по себе мог бы объясняться просто дополнительным сигналом обучения. Авторы утверждают, что видят структурные сдвиги во внутренних вычислениях, и это сильнее, чем строчка в таблице.

Ограничения и вопросы

Пока нет данных о цене метода. Дополнительный этап построения совместимого учителя и обучение по скрытым состояниям почти наверняка увеличивают вычислительные затраты и сложность пайплайна. Ещё один вопрос касается доступа: для переноса промежуточных вычислений нужны внутренние представления учителя. Это возможно с открытыми весами, а модели, доступные только через API, под такой подход не подходят. Наконец, лидерство заявлено среди «оцениваемых базлайнов», и набор этих базлайнов определяют сами авторы.

Что проверить на практике

Командам, которые сжимают рассуждающие модели из открытых учителей в компактных студентов, стоит добавить OPMD в список кандидатов, как только появится код и полные таблицы. Первым делом нужно сверить, на каких парах моделей и задачах получен выигрыш: математика, код и общие бенчмарки ведут себя по-разному. Затем стоит сравнить стоимость обучения с обычным OPD при равном бюджете GPU-часов. Интереснее всего кросс-семейный сценарий. Если он подтвердится независимыми воспроизведениями, у разработчиков появится способ переносить способности между архитектурами без общей истории обучения.