AWS запустила Multi-Turn RL в SageMaker: gpt-oss-20b вырос с 15 до 69% за $339

AWS открыла в SageMaker AI сервис Multi-Turn Reinforcement Learning (MTRL). Он обучает модели на задачах из нескольких шагов, где известен только итог: сработала вся цепочка действий или нет. В демонстрационном прогоне gpt-oss-20b поднялся с 61 до 84% решённых слов Wordle на отложенной выборке при reasoning effort по умолчанию. При низком effort, на котором шло обучение, результат вырос с 15 до 69%. Токены обучения обошлись примерно в $339.

Почему обычный файнтюн не подходит агентам

Supervised fine-tuning учит модель выдавать лучший ответ на один промпт. Агент, который заполняет авансовый отчёт или разбирает тикет поддержки, действует иначе: каждый шаг зависит от предыдущих, а эталонной последовательности для имитации чаще всего нет. Однократный RL не умеет приписать заслугу решению, принятому за три шага до результата. MTRL работает с единственным сигналом, который есть в реальных процессах, то есть с наградой за законченный эпизод. Вы не описываете правильную траекторию, а только то, как оценивать результат.

Архитектура делится на две половины. SageMaker AI отвечает за задание обучения и policy-модель. Агент, среда и функция награды живут в Amazon Bedrock AgentCore либо на вашей инфраструктуре (EKS, EC2, Fargate) через Lambda-форвардер. На каждый роллаут сервис вызывает AgentCore-рантайм с одной строкой датасета. Агент на Strands обращается к policy-модели через OpenAI-совместимый эндпоинт, играет до шести ходов через инструмент guess_word и в конце возвращает одно число. Group Relative Policy Optimization (GRPO) сравнивает награды нескольких роллаутов одного слова и обновляет LoRA-адаптер.

Награда сильно зависит от исхода. Победа даёт от 1,05 до 1,55 в зависимости от скорости, проигрыш даёт −0,5, а ни одной валидной догадки даёт −1,5. Небольшой shaping-член поощряет хорошую стратегию внутри каждого уровня. Датасет содержит только загаданное слово. Словарные списки на основе SCOWL лежат внутри агента и нужны лишь для подсчёта награды. Для валидации взяли 128 слов, не пересекающихся с 640 обучающими (пять полных батчей по 128).

Во что обошлись 100 шагов

MTRL не требует выбирать инстансы. Платить нужно за миллион токенов по трём статьям: prefill, sample и train. В многошаговых задачах prefill растёт, потому что каждый ход перечитывает историю. Прогон из 100 шагов обработал 105 486 роллаутов за 12 часов 40 минут по листовым ценам us-east-1:

• Prefill: 491 616 806 токенов по $0,12 за миллион, $58,99 • Sample: 159 737 098 токенов по $0,30, $47,92 • Train: 643 308 554 токена по $0,36, $231,59 • Итого: 1 294 662 458 токенов, $338,50 • AgentCore-рантайм: примерно $79 за vCPU и память по метрикам CloudWatch, то есть около $417 всего

Главная статья расходов, train, растёт вместе с длиной траектории. Поэтому экономить стоит на длине эпизодов и на многословных рассуждениях. Низкий reasoning effort в оценочных заданиях тратил на 63–83% меньше sample-токенов за игру, чем средний.

Поддерживаемые модели и ловушки настройки

Сейчас сервис работает с четырьмя базовыми моделями, и каждая обучается через LoRA-адаптер:

• Amazon Nova 2 Lite: us-east-1 и us-west-2 • GPT-OSS-20B: us-east-1 и us-west-2 • Gemma 4 31B (instruction-tuned): только us-west-2 • Qwen 3.6 27B: только us-west-2

Авторы выбрали GPT-OSS-20B за самую низкую цену за токен среди четырёх и за возможность задавать reasoning effort на каждый запрос.

В руководстве описано несколько неочевидных мест. Роль задания обучения должна доверять job.sagemaker.amazonaws.com, а не sagemaker.amazonaws.com. Нужны обе операции, sts:AssumeRole и sts:TagSession, иначе CreateJob падает с «Could not assume role». Принципал называют только после нескольких повторов. Декоратор sagemaker_rft_handler сам HTTP-сервер не запускает. Его нужно обернуть в BedrockAgentCoreApp и @app.entrypoint, причём entrypoint должен стоять снаружи, иначе каждый вызов упирается в таймаут 30 секунд. Для запуска требуется botocore 1.43.37 или новее, в нём впервые появилась операция AgentRFT CreateJob. Задание и рантайм должны находиться в одном регионе, так как межрегиональный ARN CreateJob отклоняет. Нужен также MLflow-приложение для метрик.

Перед тратой GPU-времени стоит сделать смоук-тест с payload из репозитория и подставить в ARN свой аккаунт. Ожидаемый результат: 400 «Could not find job» и награда −1,5, потому что до модели агент не дошёл. Это подтверждает, что парсинг, аутентификация и репортинг ошибок работают. Если пришёл 403, в ARN другой аккаунт. Если пришёл таймаут, сервер не стартует.

Что с этим делать на практике

Wordle здесь только учебный пример, и frontier-модели с ним справляются. Практическая ценность в другом: взять маленькую дешёвую модель и научить её многошаговому процессу, которого нет в публичных обучающих данных, например внутреннему согласованию заявок или маршрутизации тикетов. Для этого в main.py меняются разбор задачи, инструменты и функция награды, а остальной конвейер остаётся тем же. Датасет может быть строкой с полным списком сообщений, конфигурацией инструментов или спецификацией награды, поскольку сервис передаёт её агенту без разбора.

Данные, агент и обученная модель остаются в вашем аккаунте AWS и не используются для обучения базовых моделей. Итоговая смета выглядит просто: около $340 на токены и $80 на рантайм дают специализированную модель класса 20B. Чтобы цена не выросла, стоит заранее проектировать короткие эпизоды и награду, в которой исход важнее промежуточных очков.