Чжэцзянский и Пекинский университеты предложили SPADER для QA с несколькими ответами

Исследователи из Чжэцзянского и Пекинского университетов опубликовали SPADER, метод обучения с подкреплением для вопросов, на которые существует не один правильный ответ. Работу приняли в основную программу EMNLP 2026. Анонс от Jiqizhixin пока не содержит бенчмарков и таблиц, поэтому оценивать можно идею и постановку задачи. Заявленный выигрыш в цифрах придётся проверять по самой статье.

Проблема: модель называет только очевидное

В multi-answer QA нужно вернуть полный набор ответов: все фильмы режиссёра, все страны, подходящие под условие, все препараты определённого класса. Метрики здесь обычно считают по всему множеству, и полнота важна не меньше точности. Стандартный RL-пайплайн с наградой за правильность подталкивает модель к безопасной стратегии. Она называет два-три самых частых ответа, получает награду и перестаёт искать дальше. Редкие ответы из «длинного хвоста» остаются за кадром.

Именно этот перекос авторы выносят в заголовок: SPADER расшифровывается как Step-wise Peer Advantage with Diversity-Aware Exploration Rewards. В названии заложены два приёма.

Что внутри SPADER

GRPO (Group Relative Policy Optimization) обходится без отдельной критик-модели. Для одного вопроса генерируется группа ответов, и преимущество каждого считается относительно остальных в группе. По названию и заголовку анонса SPADER делает этот расчёт пошаговым: сравнение «соседей» (peer advantage) идёт не только по итоговому результату, но и по шагам рассуждения или поиска. Для длинной цепочки это даёт более плотный сигнал. Модель видит, на каком шаге она нашла новый ответ, а на каком топталась на месте.

Второй компонент — награда, учитывающая разнообразие (diversity-aware exploration reward). Она поощряет находки, которые отличаются от уже найденных, и тем самым подталкивает политику к исследованию хвоста распределения.

Что известно на сегодня

Где это может пригодиться

Задачи с множеством ответов встречаются в корпоративном поиске, при сборе фактов для аналитики, в юридических и медицинских справках и в RAG-системах, где неполный список хуже, чем честное «не знаю». Если SPADER даёт заметный прирост полноты без потери точности, метод интересен командам, которые дообучают модели через RL на собственных данных. GRPO уже стал рабочим инструментом для такого дообучения, а пошаговая схема не требует отдельного критика.

Прежде чем что-то внедрять, стоит проверить в статье четыре вещи. Первая: на каких датасетах и каких моделях получен результат. Вторая: как меняется баланс между полнотой и точностью, потому что награда за разнообразие легко поощряет выдумывание лишних ответов. Третья: во сколько раз растут затраты на обучение из-за пошагового расчёта. Четвёртая: открыт ли код. Пока этих данных нет перед глазами, SPADER остаётся любопытной исследовательской идеей, а не готовым рецептом.