Дистиллированные диффузионные модели научили забывать нежелательное через DPO

Быстрые text-to-image модели, сжатые до нескольких шагов генерации вместо десятков, стали стандартом для продуктов с низкой задержкой. Вместе со скоростью они унаследовали от базовых моделей и способность рисовать то, чего рисовать не следует: конкретных людей, обнажённую натуру, защищённые объекты. Авторы нового препринта на arXiv (cs.CV) утверждают, что существующие методы удаления таких концептов на дистиллированных моделях работают плохо, и предлагают собственный вариант на основе Direct Preference Optimization.

Почему классический unlearning ломается на дистиллятах

Большинство data-driven методов забывания дообучают веса модели со специальными целевыми функциями. Эти функции неявно опираются на динамику многошагового шумоподавления: модель постепенно очищает изображение, и сигнал на «забывание» распределяется по длинной траектории. У few-step distilled (FSD) моделей траектория сжата до считаных шагов, динамика генерации другая, и предположение перестаёт выполняться. Результат, по словам авторов, неэффективное забывание: целевой концепт продолжает проявляться.

Обходной путь очевиден. Можно выполнить unlearning на недистиллированной базовой модели, а затем снова провести дистилляцию. Но это требует значительных вычислений и времени, и во многих сценариях такой процесс непрактичен. Особенно когда базовая модель обновляется, а список запрещённых концептов растёт.

Что предлагают авторы

Исследователи вернулись к Direct Preference Optimization для диффузионных моделей. Стандартный DPO и его производные для unlearning формулируются вокруг ошибки предсказания шума. На FSD-моделях такая постановка переносится плохо именно из-за изменённой динамики генерации.

Вместо этого авторы вводят модифицированную формулировку preference optimization, явно согласованную со свойствами малошаговой генерации. Идея в том, чтобы удалять концепт непосредственно в дистиллированной модели, не трогая её скорость и не разрушая остальные навыки.

Параметры работы, которые раскрыты в аннотации:

• Объект: few-step distilled диффузионные модели text-to-image.
• Метод: preference-driven unlearning на базе переформулированного DPO под FSD-генерацию.
• Основные задачи: удаление личностей (identity) и NSFW-контента (nudity).
• Дополнительно: unlearning на уровне объектов.
• Заявленные свойства: устойчивое забывание целевых концептов, сохранение малошагового режима, сильное удержание «разрешённых» возможностей.
• Численные метрики в аннотации не приводятся, их нужно смотреть в полном тексте статьи.

Что делать командам, которые выкатывают быстрые модели

Для тех, кто разворачивает дистиллированные модели в продакшене, главный вывод практический: перенос методов безопасности с базовой модели на дистиллят нельзя считать автоматическим. Проверять нужно на самой FSD-модели и на тех числах шагов, которые реально используются в сервисе. Если фильтр «забыл» концепт на 50 шагах, это ничего не гарантирует для 1–4.

Пока работа существует как препринт, и независимой верификации у неё нет. Перед внедрением стоит дождаться кода и чекпоинтов, прогнать собственные red-team наборы промптов и измерить побочную деградацию: например, как удаление конкретной личности влияет на генерацию похожих по внешности людей. Также имеет смысл сравнить стоимость подхода с повторной дистилляцией на вашем железе: именно экономия времени и вычислений здесь главный аргумент.

Для регуляторных и юридических сценариев, от запросов на удаление биометрии и образа человека до модерации NSFW, возможность править уже сжатую модель напрямую выглядит заметно удобнее, чем пересобирать весь конвейер. Насколько метод устойчив к обходным промптам и дообучению злоумышленником, авторы в аннотации не говорят, и этот вопрос остаётся открытым.