COFFEQA прибавляет к few-shot дистилляции на TriviaQA 8,77 EM за счёт контрфактов

Исследователи предложили COFFEQA — способ дистиллировать языковую модель для ответов на вопросы по контексту, когда на обучение есть всего несколько десятков примеров. На TriviaQA при 32 парах и моделях семейства T5 метод опережает дистилляцию только на фактических примерах на 8,77 пункта среднего EM и 9,98 пункта среднего F1. Эксперименты охватывают пять in-domain и три out-of-domain QA-бенчмарка, а в роли моделей выступают T5 и Qwen2.5. Работа вышла на arXiv в разделе cs.CL как препринт и рецензию пока не проходила.

Выбор примеров решает больше, чем кажется

Дистилляция знаний нужна, чтобы маленькая модель-ученик повторяла поведение большой модели-учителя в условиях ограниченных ресурсов. Обычно процесс прожорлив: нужно много данных и вычислений. Особенно это заметно в генеративных задачах, где ученик имитирует развёрнутый ответ, а не выбирает класс. Few-shot дистилляция снимает часть проблемы и передаёт знания учителя на малой выборке.

У подхода есть слабое место. Авторы показывают, что качество сильно зависит от конкретных образцов. Самый неожиданный результат касается неопределённых примеров рядом с границей решений учителя. Кажется, что именно они самые полезные. На деле такие примеры заметно ухудшают итоговую дистилляцию. На малом бюджете каждый неудачный образец стоит дорого.

Контрфакты вместо ещё одного факта

COFFEQA добавляет к сложным фактическим примерам дополнительный сигнал. В режиме open-book QA, где модель отвечает по переданному контексту, контрфакт определяется так: это минимально изменённый контекст, после которого учитель выдаёт другой ответ. Получается пара «исходный контекст — правленый контекст» с двумя разными ответами учителя. Ученик видит, где проходит граница решений, а не только точки по одну её сторону. Авторы дают геометрическое обоснование: такие пары ограничивают расхождение между границами учителя и ученика.

Не любая правка контекста годится. Поэтому в работе введена метрика Context Following Difficulty (CFD). Она проверяет контрфакты до начала дистилляции по двум критериям: совпадает ли ответ учителя с задуманным альтернативным и зависит ли он от изменённого контекста. В обучение попадают только пары, прошедшие проверку.

Что известно из описания работы:

• Метод: few-shot дистилляция на парах «факт — контрфакт», отобранных по CFD.
• Задача: генеративный open-book QA.
• Модели: семейства T5 и Qwen2.5.
• Бенчмарки: пять in-domain и три out-of-domain.
• Лучший приведённый результат: TriviaQA, T5, 32 пары, +8,77 среднего EM и +9,98 среднего F1 к базовому уровню.
• Условия сравнения: одинаковый few-shot бюджет, базовый уровень использует только фактические примеры.

Что с этим делать на практике

Команде, которая сжимает модель под RAG или внутренний поиск по документам, работа даёт два конкретных вывода. Во-первых, не стоит брать для малой выборки самые спорные примеры только потому, что они «трудные»: по данным авторов, это может навредить. Во-вторых, генерация контрфактов выглядит дешёвым способом выжать больше из того же числа образцов. Достаточно менять контекст и смотреть, меняет ли учитель ответ. Фильтр вроде CFD можно воспроизвести как отдельный шаг контроля качества.

Осторожность тоже нужна. Из описания неясно, как метод ведёт себя на закрытых моделях-учителях и за пределами QA по контексту. Цифра +8,77 EM относится к одному набору и одной конфигурации с T5 и 32 парами. Результаты по Qwen2.5 и по out-of-domain в тексте аннотации не раскрыты. Прежде чем встраивать подход в продакшен-пайплайн, стоит дождаться кода, полных таблиц и независимых воспроизведений.