AdaPRA поднял Qwen 80B на 24,5 пункта в data science-лидербордах

Data science-агенты умеют проходить весь цикл машинного обучения самостоятельно, но на человеческих лидербордах всё ещё сильно отстают от людей. Команда исследователей из группы авторов Atharva Naik, Vivek Chari, Pol Llado, Daniel Fried, Carolyn Rosé, Benjamin Van Durme, Sam Thomson и Justin Svegliato предложила систему AdaPRA, которая лечит именно процесс работы агента. При пяти попытках на задачу она подняла перцентиль модели Qwen на 80B параметров на 24,5 пункта в бенчмарке DSPredict-Easy и на 14,8 пункта в DSPredict-Hard, одновременно сократив число процессных ошибок. Препринт появился на arXiv 23 октября 2026 года, код авторы выложили для воспроизведения.

Где data science-агенты теряют очки

Авторы исходят из наблюдения: проблема не только в том, что модель плохо пишет код. Агенты систематически ошибаются в самом ходе работы. Исследователи выделяют четыре типа сбоев:

• недостаточная исследовательская разведка данных;
• некорректная валидация, из-за которой оценка качества получается нечестной;
• обычные баги в коде;
• неэффективное использование фиксированного бюджета: в каждой новой попытке агент заново гоняет тот же разведочный анализ данных и те же базовые модели.

Последний пункт особенно показателен. Если у агента пять попыток на задачу, а он тратит каждую на повторение одного и того же, реальный бюджет на поиск сильного решения сжимается в разы.

Постоянная обвязка и агент-аудитор

AdaPRA состоит из двух частей. Первая — постоянная обвязка для кодингового агента (persistent coding agent harness): она накапливает знания между попытками на одной и той же задаче, так что результаты разведки и базовых моделей не приходится пересчитывать с нуля.

Вторая часть — process reward agent, агент вознаграждения за процесс. Классические модели вознаграждения за процесс оценивают шаги рассуждения. Здесь аудитор идёт дальше: он разбирает траекторию агента и его рабочее пространство, исполняет проверки и сверяет работу с рубриками. Рубрики — это критерии качества процесса, и они адаптируются под конкретную задачу. По итогам аудита агент получает указания, какие ошибки исправить.

Отдельный результат касается самих рубрик. Критерии, посеянные на лёгких задачах, переносятся на более сложные, а последующая адаптация рубрик даёт дополнительный прирост.

Цифры и переносимость

• Базовая модель: Qwen на 80B параметров.
• DSPredict-Easy: +24,5 пункта перцентиля на лидерборде.
• DSPredict-Hard: +14,8 пункта перцентиля.
• Условия: пять попыток на задачу.
• Побочный эффект: меньше процессных ошибок.
• Перенос между моделями: рубрики, добытые из запусков одной базовой модели, улучшили результаты DeepSeek-V3.2.
• Сравнение с конкурентом: AdaPRA превзошёл DataPRM, сильную модель вознаграждения за процесс для data science.

Прирост на лёгком наборе почти вдвое больше, чем на сложном, и это честный сигнал о пределах подхода. Надзор исправляет дисциплину работы: проверку, повторы, валидацию. Но не заменяет способность модели придумать нетривиальное решение для тяжёлой задачи.

Что забрать в практику

Для команд, строящих агентов на открытых моделях, главный вывод прикладной. Улучшить результат можно без дообучения весов: достаточно добавить слой аудита с исполняемыми проверками и память между попытками. Рубрики, накопленные на запусках одной модели, работают с другой, а значит, их можно рассматривать как переиспользуемый актив, а не одноразовую настройку под конкретную связку.

Тем, кто гоняет агентов на Kaggle-подобных задачах, стоит проверить собственные пайплайны на повторяющуюся разведку данных и слабую валидацию: по данным авторов, именно такие ошибки съедают бюджет попыток. Открытый код позволяет сравнить AdaPRA со своим решением на тех же DSPredict-наборах и увидеть, сколько из разрыва с людьми закрывается одним лишь надзором за процессом.