Нейросеть для проверки текстов: детектор галлюцинаций из 6 моделей

Исследователи создали нейросеть для проверки текстов — детектор галлюцинаций на основе шести готовых языковых моделей, которые независимо проверяют каждый ответ.

Как работает ансамблевый LLM-детектор

Вместо того чтобы обучать специализированную модель, исследователи объединили шесть готовых языковых моделей в роли независимых «судей». Каждая модель самостоятельно оценивает, содержит ли ответ галлюцинацию, а итоговый вердикт выносится по принципу консенсуса: если большинство судей сходятся, результат считается надёжным.

Подход training-free принципиально снижает порог входа: не нужно собирать специализированный датасет галлюцинаций и не нужно дообучать модель под конкретный домен. Это делает детектор легко переносимым между задачами. Метрики на стандартных бенчмарках оказались высокими — что и привлекло внимание авторов к группе аномальных примеров.

• Шесть независимых LLM-судей без дообучения (zero-shot)
• Вердикт по принципу консенсуса большинства голосов
• Не нужны специализированные размеченные данные
• Лёгкий перенос между доменами и задачами
• Высокая точность на стандартных бенчмарках

Почему судьи расходились с эталонной разметкой

На первый взгляд ситуация выглядела как системная слепая зона LLM-as-judge: детектор устойчиво «не замечал» галлюцинации там, где эталон их фиксировал. Если бы это подтвердилось, речь шла бы о серьёзной уязвимости ансамблевого подхода — значит, все шесть моделей разделяют одну и ту же слепую зону.

«Эта статья не столько о детекторе и не о предполагаемой слепой зоне,

сколько о процедуре проверки, которая в итоге поймала нас самих», — пишут авторы.

Исследователи запустили собственную процедуру верификации: вручную сверили спорные метки с первоисточниками. Результат оказался полностью обратным. Большинство «проблемных» примеров содержали ошибки в эталонной разметке — ответы там действительно были корректными, а галлюцинацией их ошибочно называли аннотаторы или автоматическая разметка. LLM-судьи всё это время были правы.

Что это говорит о надёжности бенчмарков

Проблема шума в размеченных данных (label noise) хорошо известна в машинном обучении, но применительно к оценке языковых моделей она приобретает особое значение. Эталонные датасеты для галлюцинаций создаются людьми или полуавтоматически; ошибки в них неизбежны, и именно они искажают итоговые метрики.

Исследование выявило парадоксальную закономерность: чем выше внутренняя согласованность детектора, тем чётче он обнажает ошибки в самом бенчмарке. Единогласный консенсус шести независимых судей оказался более надёжным сигналом, чем одиночная разметка, принятая за истину. Это ставит под сомнение стандартную процедуру оценки LLM-систем.

Для практиков вывод прямой: прежде чем объявлять об обнаруженной «слепой зоне» или системной ошибке модели, стоит проверить качество самого эталона. Верификация разметки — не опциональный шаг, а обязательная часть исследовательской процедуры.

Что это значит

Исследование напоминает, что доверие к «золотому стандарту» разметки не безусловно — даже если датасет широко используется в индустрии. Для команд, строящих системы оценки LLM, это сигнал: внедрять процедуру верификации эталона, особенно там, где несколько независимых судей устойчиво расходятся с ним. Иногда правы судьи, а не разметка.

Как работает детектор галлюцинаций?

Исследователи объединили шесть готовых языковых моделей в роли независимых судей — каждая проверяет ответ и голосует, является ли он правильным.