Смена определения «unsafe» двигает оценку guardrail от 0 до 100 при 0,03% весов

Guardrail-классификатор принято описывать так, будто «небезопасность» — свойство текста. Новая работа с Hugging Face Daily Papers показывает, что это свойство политики разметки. Авторы взяли около 53 тысяч промптов, которые в одном промышленном внедрении разметили дважды, обучили на них десять guardrail-вариантов в двух масштабах и получили разброс оценок от 0 до 100 на одном и том же бенчмарке. Архитектура, кодовая база и семейство оптимизаторов у всех вариантов совпадали.

Один корпус, две политики

Удачный для исследователей «побочный эффект» индустриального процесса: одни и те же промпты размечали по двум операционным определениям. Первое: «это запрос вредного контента?». Второе: «заблокировал бы это модератор?». Формально обе формулировки описывают одну задачу, на практике границы у них проходят в разных местах. Из-за этого получился чистый эксперимент: меняется только политика, которая попадает в модель через метки.

Всего обучили десять вариантов (arms) на двух масштабах моделей, то есть двадцать чекпойнтов. Ключевые цифры работы:

• 88% JailbreakBench-benign и 82% OR-Bench-hard уже присутствовали в обучающих пулах guardrail;
• разброс между десятью вариантами составил 0,99 на HarmBench-copyright и 0,043 на WildGuard-benign, то есть 23-кратная разница в чувствительности к определению;
• HarmBench-copyright проходит весь диапазон 0–100, а over-refusal на OR-Bench-hard — от 3,4 до 56,4%;
• сдвиг затрагивает 0,03% параметров;
• корреляция точности на общем валидационном сплите с согласием с политикой аннотатора: rho=+0,74, с реальной способностью детекции — rho=+0,34.

Контаминация и чувствительность бенчмарков

Первая находка неприятна сама по себе. Два бенчмарка на избыточные отказы, JailbreakBench-benign и OR-Bench-hard, как раз те, на которые ссылаются, чтобы показать, что guardrail не блокирует лишнего. Они в значительной части лежали внутри обучающего корпуса самого guardrail. Все остальные результаты авторы считают уже на деконтаминированных данных.

Вторая находка касается устройства бенчмарков. При фиксированных архитектуре и оптимизаторе одни тесты почти не зависят от выбранной политики, другие зависят от неё почти полностью. WildGuard-benign колеблется в пределах 0,043, HarmBench-copyright — в пределах 0,99. Первый ближе к измерению модели, второй в основном измеряет, какое определение «вредного» она усвоила.

Третья находка: чтобы протащить оценку через весь диапазон, достаточно изменить 0,03% параметров. Четыре варианта, у которых последний сигнал обучения нёс определённую политику, оказались на одном краю обеих шкал (точный ранговый тест, p=0,005; в худшем случае 0,04–0,14). При этом способность детекции не менялась.

Дистилляция и валидация

Есть и неприятное следствие для открытых чекпойнтов. У дистиллированной модели-студента мягкие метки учителя переносят политику, даже если все жёсткие метки несут другую. Происхождение учителя оказывается незадокументированным смешивающим фактором для любого опубликованного чекпойнта. Две модели с одинаковым названием семейства могут различаться по «политике» сильнее, чем по архитектуре.

С валидацией та же история. Точность на единственном сплите, оценивающем все двадцать вариантов, лучше отслеживает согласие с политикой аннотатора (rho=+0,74), чем способность обнаруживать вредное (rho=+0,34). Высокий балл часто означает, что вы угадали вкус разметчика.

Как читать отчёты о guardrail

Авторы предлагают три обязательные переменные в любом отчёте: уровень контаминации, нижнюю границу шума по сидам (seed floor) и определение, по которому оценивали. Практически это значит следующее. Перед сравнением двух guardrail проверьте, какая политика стояла за разметкой обучающих данных и бенчмарка. Не доверяйте результатам по over-refusal, пока не видите долю пересечения с обучением. Если разница между моделями меньше разброса по сидам, это не разница. Команды, которые берут чужой чекпойнт, должны выяснить, кто был учителем, и прогнать модель на собственных политических кейсах, прежде чем встраивать её в продукт. Работа — препринт, и воспроизводимость на других корпусах ещё предстоит проверить, но выводы удобны для немедленной проверки в своих пайплайнах.