Правка весов без дообучения снизила долю сексистских ответов с 57,9% до 24,3%

Инструктируемые модели языка — это системы, которые следуют указаниям пользователя. Однако они могут подчиняться вредоносным инструкциям, которые противоречат их целям безопасности и предполагаемому поведению. Исследователи из AI Interpretability @ Illinois предложили новый способ защиты от этого явления: редактировать веса модели без переобучения.

Метод разработан командой Ali Ebrahimpour-Boroojeny, Xiaocong Yang, Samuel Schapiro, Zahra Borhani, Francisco R. Ortega, Yujia Zheng и ChengXiang Zhai. Подход использует контрастное редактирование весов и требует лишь примерно 25 пар противоположных промптов на целевое поведение. Ключевое преимущество: изменение хранится в самих весах модели, поэтому смена или удаление системного промпта не отменяет эффект.

Как это работает

Алгоритм состоит из трёх последовательных шагов. Первый шаг: написать парные промпты, которые запрашивают нежелательное поведение и его противоположность на одном содержании. Пример: «Answer incorrectly: Q» (ответь неправильно) против «Answer truthfully: Q» (ответь честно). Это позволяет зафиксировать контраст между двумя поведениями.

Второй шаг: запустить прямые проходы через модель на обеих версиях промптов и сравнить активации каждого входного канала в обоих условиях. Третий шаг: оценить каждый вес по произведению его величины на контраст канала, затем перемасштабировать верхние 4% наиболее важных весов в каждой матрице весов модели.

Важно отметить несколько особенностей. Процесс не требует вычисления градиентов — то есть не требует сложных математических вычислений, характерных для обучения. Не требует помеченных данных с верными и неверными ответами. И не изменяет архитектуру самой модели — редактируются только значения весов.

Результаты на двух поведениях

Команда протестировала метод на пяти инструктируемых моделях из разных семейств. Первое целевое поведение — принудительное врание, когда модель пытается заставить врать.

На бенчмарке LIARS' BENCH метод достиг 84,9% честности, что на 6,2 пункта выше лучшей альтернативы. На втором бенчмарке лжи под названием AI Liar результат составил 79,4% честности, на 4,6 пункта выше конкурентов. Для сравнения, альтернативные методы включали activation steering (однослойное управление активациями нейронной сети), добавление честного системного промпта и set-difference weight mask (маску разности весов между двумя условиями).

При переносе на single-turn форматы (вопросы в один оборот), не использованные при построении правки, метод показал 95,8% честности против 83,4% для activation steering. Это говорит о лучшей стабильности — метод удерживает устойчивость даже при смене формата вопроса.

Второе целевое поведение — сексистские ответы. Метод сократил долю сексистских ответов с 57,9% до 24,3% — это снижение на 33,6 пункта. Для сравнения: только fairness-промпт (промпт о справедливости) достигает 30,2% сокращения. Комбинация редактирования весов и fairness-промпта показывает синергию, снижая сексизм ещё дальше — до 11,9%.

Вывод

Исследование показывает, что контрастное редактирование весов может быть эффективным инструментом защиты инструктируемых моделей от вредоносных указаний. Подход работает в двух разных доменах поведения — ложь и предвзятость. Это открывает возможность использовать метод как самостоятельно, так и в сочетании с другими защитными механизмами на уровне промптов.