ИИ-агенты правят проспекты IPO по замечаниям SEC: обучение дало +3,7 п.п.

Когда компания готовится к IPO, она подаёт в американскую комиссию по ценным бумагам (SEC) регистрационные документы. Сотрудники комиссии читают их и присылают замечания: например, «вы пишете, что выручка выросла на 40% из-за спроса, объясните подробнее». Юристы компании собирают факты, переписывают раздел и отправляют ответ. Так проходит несколько кругов. Исследователи из Наньянского технологического университета (Сингапур) и Гонконгского университета науки и технологий (Гуанчжоу) проверили, могут ли ИИ-агенты на основе больших языковых моделей выполнять обе роли. Для этого они собрали бенчмарк FilingLoop: 380 задач по 96 компаниям, в основном по IPO. Лучший вариант агента, который учится между задачами, выполнил 27,96% требований регулятора. Такой же агент без обучения выполнил 24,28%.

Чем эта задача отличается от привычных вопросов по финансам

Существующие финансовые тесты, вроде FinQA или FinanceBench, дают модели готовый вопрос и просят найти ответ в отчёте. Здесь вопроса нет, и это первая сложность. Reviewer сам должен понять, какие места в документе вызывают вопросы. Вторая сложность: нужных цифр может вообще не быть в публичных файлах. Filer обязан запросить их у компании, и доступ к таким фактам в тесте ограничен только тем, что реально существовало в истории.

Третья сложность связана с проверкой. Юрист может написать в ответе «мы всё исправили», а в самом документе ничего не поменяется. Поэтому оценщик смотрит в итоговую версию документа и в письменный ответ. Один комментарий SEC обычно содержит несколько требований, и аккуратная правка одного абзаца не закрывает остальные. Авторы разложили комментарии на атомарные требования, всего получилось 6 099. Отдельный оценщик, не участвующий в работе агентов, проверяет каждое из них. Он же ищет утверждения без подтверждения и правки, которые портят раздел, до того вполне нормальный.

Две роли и инструкции, которые копятся между задачами

Каждая задача воспроизводит один исторический круг проверки. Агенты видят проверяемый документ и предыдущую историю. Настоящие комментарии SEC, реальные ответы и последующие редакции скрыты.

• Reviewer получает документы и должен сам сформулировать, чего не хватает.
• Filer получает замечания, добывает факты в рамках доступных данных, правит документ и пишет ответ.
• Оба варианта агента, фиксированный и обучающийся, могут по ходу одной задачи улучшать свою работу.

Разница в том, что происходит после задачи. У обучающегося агента оценщик сначала фиксирует баллы. Затем по требованиям, которые не выполнены, формируются текстовые инструкции для каждой роли. Например, как проверять разбивку выручки или когда нужно переносить объяснение в сам документ. Эти инструкции применяются только к следующим пачкам задач и внутри пачки заморожены. Веса модели не меняются, меняется только набор правил, которые агент читает перед работой. Факты о конкретных компаниях в инструкции не попадают: туда идут только процедуры, которые годятся для других случаев.

Оценка идёт по первой попытке на каждой задаче, повторов нет. Поэтому прирост нельзя объяснить тем, что агент просто пересдал тот же экзамен.

Цифры: прирост небольшой, но почти бесплатный

Авторы сравнили восемь конфигураций на всех 380 задачах. Лучшие результаты показала FilingLoop-Evolving, то есть версия с обучением между задачами.

• Выполнение требований: 24,28% → 27,96% (около 3,7 процентного пункта, относительно +15%).
• Полностью закрытые комментарии SEC: 16,90% → 20,75% (около 3,9 п.п., относительно +23%).
• Общая стоимость прогона выросла на 5,8%.
• Стоимость на одно выполненное требование снизилась, потому что результата стало больше, а расходы выросли слабо.

Авторы пишут, что обучение улучшило два навыка: поиск пробелов и условную правку, когда документ надо менять только при определённых обстоятельствах.

Что из этого следует

Главная цифра для практиков не 28%, а то, как мало агенты умеют в этой работе. Даже лучший вариант выполняет чуть больше четверти требований регулятора, а целиком закрывает примерно каждый пятый комментарий. Заменить юристов и аналитиков такая система пока не может. Она годится как черновик, который человек обязан перепроверить.

Для тех, кто строит агентов для регулируемых областей, есть три вывода. Первый: проверять нужно итоговый документ, а не уверенный тон ответа. Второй: оценщик должен быть отдельным, иначе агент будет хвалить сам себя. Третий: накопление процедур без переобучения модели даёт заметный прирост за небольшие деньги. Для компаний, которые не могут дообучать модели на закрытых данных, такой подход проще и безопаснее. Оговорка: это результат одного бенчмарка на исторических данных SEC, и перенос на другие регуляторы авторы не проверяли.