LLM оценили перевод на 70 языковых парах: людей обходят лишь местами

Языковые модели всё чаще выступают судьями для машинного перевода: они дешевле и быстрее живых разметчиков. Но насколько им можно доверять? Исследователи сравнили LLM с людьми по двум схемам оценки на собственном наборе из 70 языковых пар с длинным контекстом и на публичных данных WMT23 и WMT25. Итог двойственный. В отдельных задачах модели согласуются с аннотаторами лучше, чем аннотаторы друг с другом. Однако в большинстве конфигураций результат остаётся ненадёжным, причём и для моделей, и для людей.

Что именно измеряли

В работе взяты две распространённые схемы. MQM (Multidimensional Quality Metrics) требует от эксперта находить ошибки, относить их к категориям и оценивать тяжесть. Это детальная и дорогая разметка. ESA (Error Span Annotation) проще: аннотатор выделяет проблемные фрагменты текста и ставит общую оценку.

Авторы сравнивали два уровня согласия: по итоговым баллам и по границам самих фрагментов с ошибками. Эталоном служило согласие между людьми. Благодаря этому можно проверить не только то, насколько модель похожа на человека, но и насколько вообще воспроизводима человеческая разметка.

Где спотыкаются люди и где модели

Главный вывод касается разброса. Согласие меняется в зависимости от схемы аннотации, языковой пары и домена, поэтому одна усреднённая корреляция с людьми мало что говорит о применимости модели в конкретной задаче. Слабые места у сторон разные:

• люди хуже всего справляются с детальной разметкой MQM и с языковыми парами с малыми ресурсами;
• LLM плохо различают малозначительные ошибки;
• модели путают языковые варианты, то есть не замечают, что перевод написан не на той региональной норме;
• разметка границ фрагментов с ошибками (error span) даётся моделям тяжелее, чем оценка общего балла;
• в части задач согласие LLM с людьми превышает согласие между людьми, но это не отменяет общей нестабильности.

Последний пункт важен для интерпретации. Если разметчики расходятся друг с другом, планка для модели оказывается низкой. «Модель согласна с человеком не хуже, чем человек с человеком» в таком случае означает скорее шум в эталоне, чем качество модели.

Чего не хватает и что предлагают авторы

В аннотации не приводятся конкретные коэффициенты согласия и список проверенных моделей, поэтому сравнивать цифры с другими бенчмарками нужно по полному тексту статьи. Сам вывод при этом сформулирован ясно: у обеих сторон есть пространство для улучшения, а решением может стать совместный конвейер аннотации, где человек и LLM закрывают слабые места друг друга.

Практический смысл такого подхода понятен. Модель можно использовать для первичного прохода по большому объёму текстов и грубой оценки. Человека стоит подключать там, где модель систематически ошибается: на мелких ошибках, региональных вариантах языка и точной разметке фрагментов. Редкие языковые пары требуют отдельного внимания, потому что там страдает и разметка людей.

Как использовать результат на практике

Команде, которая строит оценку качества перевода на LLM-судье, из работы следуют несколько шагов:

• проверять согласие с людьми отдельно по каждой языковой паре и домену, а не по общему среднему;
• не полагаться на модель при разметке фрагментов с ошибками без человеческой выборочной проверки;
• отдельно тестировать способность судьи замечать неверный языковой вариант и мелкие дефекты;
• замерять согласие между самими разметчиками, иначе невозможно понять, что именно показывает метрика;
• для редких языков закладывать гибридную схему с обязательным участием человека.

Для тех, кто выбирает судью для автоматического ранжирования переводных систем, вывод прагматичный: LLM годится как инструмент ускорения, но не как безусловная замена эксперта. Пока надёжность зависит от задачи, универсальной «оценки по умолчанию» не получится.