Простая формула предсказывает, когда чат-боты выйдут из-под контроля

Небольшие языковые модели уже работают на устройствах, которые лежат у нас в карманах, и почти ни одна из них не находится под внешним надзором. Нет серверных фильтров, нет модерации, нет логов. По данным TechXplore, исследователи предложили простую математическую формулу, которая предсказывает момент, когда чат-бот начнёт выдавать опасные ответы. Конкретные параметры формулы, список проверенных моделей и точность прогноза в доступном описании не приводятся, поэтому оценивать стоит саму постановку задачи, а не цифры.

Почему локальные модели оказались слепой зоной

Облачные ассистенты защищены несколькими слоями. Модель дообучают на безопасное поведение, добавляют системный промпт, ставят классификаторы на вход и выход, а команда безопасности отслеживает злоупотребления и закрывает дыры обновлениями. У локальной модели на телефоне из всего этого остаётся только то, что зашито в веса. Если устройство офлайн, правила не обновятся и телеметрия не уйдёт.

Источник называет три класса рисков: ответы, которые могут подтолкнуть к самоповреждению, привести к финансовым потерям или продвигать экстремистские взгляды. Все три связаны с тем, что маленькая модель проще «ломается» в длинном диалоге или на нестандартном запросе, а рядом нет никого, кто это заметит.

Что известно о формуле

По описанию, подход строится на компактной математической зависимости. Это не отдельная модель-надзиратель и не тяжёлый классификатор.

• Объект: небольшие чат-боты, работающие на пользовательских устройствах.
• Задача: заранее определить, когда поведение модели станет опасным.
• Форма решения: простая формула, а не второй нейросетевой контролёр.
• Целевые риски: самоповреждение, финансовый ущерб, экстремистские идеи.
• Не раскрыто: входные переменные, набор протестированных моделей, точность, доля ложных срабатываний.

Последний пункт определяет всё. Прогноз, который срабатывает слишком часто, бесполезен: ассистент будет отказываться отвечать на безобидные вопросы. Если он срабатывает слишком редко, получается ложное чувство безопасности.

Почему простота здесь важна

На смартфоне каждый мегабайт памяти и каждый миллиджоуль на счету. Второй классификатор рядом с основной моделью съедает вычислительный бюджет, из-за которого модель вообще пришлось уменьшать. Формула, которую можно посчитать за доли секунды по уже имеющимся сигналам, теоретически подходит как встроенный предохранитель: она не требует сети и серверов.

У подхода есть очевидный предел. Локальной моделью владеет пользователь. Если веса открыты, любой защитный код можно вырезать, а значит, формула защитит от случайного сбоя, но не от человека, который сознательно хочет получить опасный ответ.

Что делать разработчикам и командам продукта

Для тех, кто встраивает локальные модели в приложения, вывод практический. Безопасность нельзя считать задачей только облака. Если ваш ассистент работает офлайн, проверку нужно переносить на устройство и закладывать в бюджет по памяти и энергии с самого начала.

До появления полной публикации стоит запросить у авторов три вещи: на каких моделях и сценариях формула проверялась, какой порог срабатывания предлагается и как она ведёт себя на длинных диалогах. Пока этих данных нет, формулу разумно рассматривать как дополнение к дообучению на безопасное поведение, а не как замену. Для обычных пользователей совет проще: от локального чат-бота без надзора не стоит ждать осторожности в вопросах здоровья, денег и политики, которую обеспечивают облачные сервисы.