Microsoft и Hugging Face обучили Qwen3.8-27B на оценках базы: с 38 до 107 задач

Команда Microsoft вместе с Hugging Face опубликовала ThinkingBox-Training, продолжение истории про бенчмарк, который ловит агентов, рапортующих об успехе при неверной записи в базе. Идея простая: если проверка итогового состояния БД возвращает 1 или 0, это уже готовая функция награды. Qwen3.8-27B после 50 шагов GRPO поднял средний успех (pass@1) с 51,70% до 60,78%, а число задач, решённых во всех двадцати попытках, выросло с 38 до 107, то есть с 7,5% до 21,1% от 507 задач ThinkingBox-Bench.

Награда из состояния базы, а не из текста ответа

Каждая задача ThinkingBox поднимает настоящий бэкенд, выдаёт агенту набор MCP-инструментов и симулированного пользователя с закрытым контекстом. В конце исполняемые проверки смотрят, какие записи лежат в базе. Последовательность вызовов не оценивается, поэтому модель может найти путь, которого нет в эталонной разметке. Большая часть наград детерминирована, а небольшая доля узких рубрик отдаётся судье GPT-5 Chat.

Наглядный пример — корпоративное бронирование отеля. Сотруднику нужен даунгрейд номера, но политика требует одобрения менеджера. Базовая модель меняла бронь и выдавала возвраты без согласования в 15 попытках из 20. После RL во всех 20 попытках бронь и платёжное состояние остались нетронутыми, а все ожидаемые записи совпали в 19.

Почему отбор задач важнее оптимизатора

У GRPO есть арифметическое ограничение. Если все 8 роллаутов провалились ([0,0,0,0,0,0,0,0]) или все удались, внутригрупповое центрирование обнуляет преимущество, и градиента нет. Нужны смешанные группы вроде [0,0,0,1,1,1,1,1]. Для агента с состоянием такие пустые группы дороги: каждый роллаут требует изолированного бэкенда, живой MCP-сессии и отдельной модели для роли пользователя.

Авторы ввели офлайн policy-relative difficulty. Вероятность успеха каждой кандидатной задачи оценивают один раз на базовой политике, и затем пул фиксируют на весь прогон. Повторный зондинг сложности во время обучения они сознательно не делали. Ни одна задача из ThinkingBox-Bench в обучение не попала. Домены, базы, политики и большинство инструментов в тесте новые, хотя общий каркас, симулятор пользователя и стиль задач совпадают, и это ограничивает силу выводов о переносе.

Конфигурация референсного прогона: полнопараметрический RL на 187 задачах, token-mean GRPO, 18 групп по 8 роллаутов, то есть 144 эпизода на шаг, на 24 H100. Обучение синхронное с оффлоадом параметров и оптимизатора, AdamW, lr 1e-6, weight decay нулевой. Группы с нулевой дисперсией заменяли по схеме DAPO. Системные ошибки вроде таймаута бэкенда не считали провалом агента, а перегенерировали группу. Код интерпретации выводов Qwen общий для обучения и оценки (trainer/core/tb_interpret.py), иначе награда измеряла бы другого агента.

Таблица: средний успех против повторяемости

Pass@1 по всем 507 задачам и число задач с 20/20:

• Claude Opus 5.5 — 67,16%, 241 задача (47,53%) • Claude Opus 5 — 66,50%, 241 (47,53%) • GPT-5.4 — 65,36%, 128 (25,25%) • GPT-5.6 Sol — 61,91%, 82 (16,17%) • Qwen3.8-27B после RL — 60,78%, 107 (21,10%) • Claude Sonnet 4.6 — 59,19%, 102 (20,12%) • GPT-6 Astra — 58,31%, 231 (45,56%) • Kimi-K3 — 57,37%, 68 (13,41%) • Qwen3.8-27B базовая — 51,70%, 38 (7,50%)

GPT-5.6 Sol выше по pass@1, но стабильно решает на 25 задач меньше. Opus 5.5 обошёл Opus 5 по среднему на 0,66 п.п., но по надёжности они равны. Pass@1 и 20/20 выросли во всех пяти доменах, лидер по приросту 20/20 — ритейл (+24,5 п.). Pass@20 упал с 453 до 446 задач: вырос в необанке и консалтинге, снизился в ритейле, путешествиях и автостраховании (там −7,0 п.). Авторы описывают это как sharpening: распределение смещается к траекториям, которые срабатывают всегда, а редкие пути отваливаются.

Экономика надёжной задачи

Стоимость кампании 507×20 упала с $925,80 до $855,58 (−7,6%), цена успешной попытки — с $0,177 до $0,139 (−21,4%). Метрика «стоимость на надёжно решённую задачу» (стоимость кампании, делённая на число задач с 20/20) сократилась с $24,36 до $8,00 (−67,2%). Для сравнения: GPT-5.4 — $6,80, GPT-6 Astra — $7,45, Claude Opus 5.5 — $7,80. Это сравнительный индекс обслуживания, а не счёт облака. Он включает инференс, но не учитывает обучение и зондирование задач, а размер модели при деплое остаётся прежним.

Для команд, которые строят агентов над продакшен-базами, вывод практичный. Если у вас есть исполняемый чекер состояния, он годится и как метрика, и как награда. Начинайте с отбора задач: те, что модель решает всегда или никогда, жгут GPU-часы и бэкенды впустую. Оценивайте по 20/20, а не по pass@1. Если важен охват редких сценариев, учитывайте цену: за повторяемость пришлось заплатить частью pass@20.