Маленькая модель для финансов учится на своих ошибках: +3 п.п. без учителя

Финансовые организации часто не вправе отправлять данные клиентов, позиции и внутреннюю аналитику во внешние API. Поэтому им остаются открытые модели, которые можно запустить на собственных серверах. Такие модели обычно слабее передовых закрытых систем в многошаговых расчётах, где нужно сначала понять бухгалтерские соглашения, а потом подставить числа в формулу. Исследователи из Калифорнийского университета в Беркли (работа сделана во время стажировки в компании CTGT, принята на конференцию ICAIF'26 в Милане) предложили метод Fin-SD. Он поднял точность модели GPT-OSS-20B на сложном наборе FinanceReasoning Hard на 3,03 процентного пункта. Для этого не понадобился ни внешний учитель, ни эталонные решения.

Как модель учится на первой ошибке

Обычная «дистилляция на собственных прогонах» работает так: студент сам решает задачу, а учитель оценивает каждый его токен. Минус в том, что нужен сильный внешний учитель. Вариант OPSD обходится без него, но требует полного эталонного решения.

Fin-SD берёт ещё меньше. Если модель ошиблась, её замороженная копия получает условие, неверный ответ студента и правильный ответ. Она возвращает три вещи:

• цитату первого ошибочного шага;
• короткую критику в духе «ваша логика расходится там, где вы определяете базу потерь от вакантности; считайте её только по арендной плате за квартиры»;
• тип ошибки: концептуальная или арифметическая.

Арифметические промахи и округления отбрасываются: градиент от них не считают. Такие ошибки лечатся калькулятором в обвязке. Классификатор в ручной проверке справился с 48 из 50 примеров (96%). В итоговой точности эти задачи всё равно считаются неверными.

Дальше решение обрезают прямо перед ошибкой. Студент и замороженный «учитель» видят один и тот же правильный префикс, но учитель дополнительно читает подсказку. Модель подтягивает своё распределение следующих токенов к распределению учителя на отрезке в 100 токенов (минимизируется обратная KL-дивергенция). В конце каждой эпохи список провалов собирается заново, а учитель обновляется до свежих весов студента.

Подсказка почти ничего не значит

Главный результат в том, что содержание критики оказалось почти неважным.

• Если вместо разбора подставить шаблон вроде «Ваша ошибка концептуальная», прирост над базовой моделью получается +3,36 п.п. против +3,03 у полного Fin-SD.
• Подсказки от GPT-OSS-120B (той же семьи, заметно крупнее) не дали материально большего эффекта, чем самописные. В корпусе небольшая модель в основном ошибается при выборе бухгалтерского соглашения, и 20B с известным ответом в руках находит такое место достаточно точно.
• Авторы осторожно заключают, что основная часть выигрыша приходит оттого, что сигнал приложен именно к месту ошибки. Текст подсказки вторичен.

По сравнению с OPSD Fin-SD набрал 72,19% против 70,42%. При оценке он генерирует на 9,5% меньше токенов. Доля ответов, уложившихся в бюджет токенов, у него тоже чуть выше, хотя авторы называют это лишь тенденцией.

Данные, проверка побочных эффектов и ограничения

Обучающий корпус авторы собрали сами. Они взяли библиотеку из 3 133 финансовых функций FinanceReasoning, оценили сложность каждой по 8-балльной шкале (оценщик GPT-OSS-120B) и оставили самые непростые. Затем модель DeepSeek-V4-Flash проверяла, можно ли построить задачу с единственным ответом, и осталось 295 функций. По ним GPT-5.5 написала сценарии, где входные данные не заданы напрямую. Их надо вывести из соглашений: годовую аренду, вакантность, «реально вложенные деньги». Только потом считается финансовая метрика вроде cash-on-cash return.

Главная опасность дообучения в банке — порча уже настроенного поведения. Поэтому авторы проверили модель после Fin-SD на двух тестах:

• MMLU-Pro (общие знания и рассуждения): заметной просадки нет;
• FinTrust, аудит по четырнадцати метрикам комплаенса в финансовом контексте: тоже без значимой деградации.

Нужны оговорки. Эксперименты шли на одной модели (GPT-OSS-20B) и на одном специфическом корпусе, где ошибки в основном связаны с выбором соглашения. Оценочный набор мал: 238 задач, поэтому разница в 1–3 п.п. лежит близко к шуму. Сам автор метода называет вывод о ненужности содержания подсказки гипотезой.

Что это даёт на практике

Для команд, которые держат модель внутри периметра банка, вывод простой и недорогой. Есть ответы для обучающих задач и сама модель? Тогда можно выделять первую концептуальную ошибку, обрезать решение там и тренировать на коротком участке. Внешний учитель и тонкая ручная разметка не нужны. Если выигрыш действительно определяется местом приложения сигнала, дорогие подсказки от крупной модели можно не покупать. Остаётся проверить, повторится ли это на других моделях и других доменах.