Shan Yang разложил выигрыш RL: 82% — умение уложиться в токены

Обучение с подкреплением по результату (outcome RL) поднимает pass@1 у рассуждающих моделей, но на больших k pass@k не растёт. Это показали Yue и соавторы в 2025 году. Shan Yang задался вопросом, который в этом споре обычно остаётся за кадром: любой pass@1 считается при ограниченном бюджете токенов, и RL-рецепты тоже обучаются при таком ограничении. Он сравнил 20 опубликованных RL-моделей размером от 1,5B до 32B с thinking-моделями, из которых они стартовали, на задачах по физике и математике при фиксированных бюджетах. Вывод: по большей части RL учит модель дойти до ответа и делать это стабильнее. Новых задач он почти не открывает.

Три слагаемых одного прироста

Автор делит каждое изменение pass@1 на три части:

• Finishing — модель успела ответить до исчерпания бюджета токенов.
• Reliability — ответ верен, когда модель дошла до конца.
• Reach — задачи, которые решает RL-модель, а база провалила во всех восьми попытках, минус задачи, которые решает база, а RL-модель провалила во всех восьми.

Такое разложение отвечает на вопрос, чем именно является прирост: изменением поведения или новым знанием.

Где RL помогает дописать ответ

Когда база часто упирается в лимит токенов, почти всё изменение, и положительное, и отрицательное, приходится на finishing: 82% при бюджетах 4k и 8k. Если базе дать больше токенов, она сама закрывает большую часть этого разрыва. Многие thinking-модели рассуждают длинно и просто не успевают выдать финальный ответ в жёстком окне. RL приучает их укладываться в бюджет, на котором его же и учили.

Если у базы токенов хватает, прирост даёт reliability. RL-модель получает правильную оценку чаще, причём даже на задачах, которые заканчивают обе модели. То есть RL улучшает и сам ход решения, а не только длину ответа.

Reach: редкие новые решения и их проверка

По определению автора RL редко решает то, что не по силам базе. На любом из четырёх наборов по физике и математике reach добавляет не больше 2,1 процентного пункта.

Автор проверил и отдельные случаи. Он взял 144 физические задачи, которые решила только RL-модель, и пересэмплировал их или прочитал решения. Выдержали проверку лишь 3,5%. Остальные «победы» оказались случайностью или ошибочными рассуждениями с угаданным ответом. Во второй проверке на случайной выборке подтверждённых человеком новых шагов рассуждения девять из десяти встречаются и в сэмплах базовой модели. RL чаще выбирает то, что база уже умела, чем изобретает новое.

Малый RL-эксперимент на 8B

В небольшом прогоне RL на модели 8B прирост на новых задачах снова оказался finishing, а reliability не изменилась. Автор также пробовал подавать в каждую задачу описание её физической постановки. Улучшения по сравнению с обычным RL этот приём не показал.

Что из этого следует практикам

Для тех, кто сравнивает модели, главный вывод касается методики. Таблица pass@1 при одном небольшом бюджете смешивает навык решения со способностью уложиться в лимит. Результат нужно проверять при нескольких бюджетах и смотреть, сколько прироста исчезает, когда базе дают больше токенов. Иначе выигрыш от более короткого рассуждения легко принять за рост способностей.

Для тех, кто обучает модели, картина получается приземлённая. Если рецепт RL уложен в жёсткий лимит токенов, вы в первую очередь покупаете завершённость ответов и лишь затем надёжность. Расширять границы возможностей этим способом пока не удаётся. Тогда имеет смысл сравнивать RL с более дешёвыми вариантами: увеличением бюджета на инференсе или дистилляцией. Для новых знаний нужны другие источники сигнала, а проверять их стоит такими же строгими фильтрами, как 144 задачи автора, из которых устояли единицы.

Проверить результаты можно самостоятельно. Код, тестовые наборы и данные по строкам лежат на GitHub (shanyang-me/outcome-rl-buys), основные цифры статьи пересчитываются из опубликованных строк без GPU. Страница проекта: shanyang.me/what-outcome-rl-buys.