Учёные персонализировали три MoE-LLM и нашли экспертов, отвечающих за адаптацию

Персонализация языковых моделей обычно устроена как чёрный ящик: модель дообучают на данных пользователя, и она начинает отвечать «в его стиле». Где именно внутри сети живёт это знание, неясно. Новая работа, попавшая в Hugging Face Daily Papers, предлагает сменить объект: вместо плотных LLM адаптировать модели со смесью экспертов (Mixture-of-Experts, MoE). Авторы взяли три открытые MoE-модели, дообучили их на крупном датасете персонализации и показали, что отдельные признаки персонализации можно привязать к конкретным экспертам.

Почему плотные модели плохо поддаются разбору

Главная проблема плотных сетей — полисемантичность. Один нейрон кодирует сразу несколько несвязанных понятий, поэтому найти компонент, отвечающий именно за «любит краткие ответы» или «пишет в неформальном тоне», крайне трудно. А без локализации нельзя ни понять механизм, ни управлять им.

MoE устроена иначе. Каждый токен маршрутизируется лишь к нескольким специализированным экспертам, и такая разреженность, по гипотезе авторов, снижает полисемантичность. Эксперты становятся более осмысленными единицами анализа.

Как строили эксперимент

Схема состоит из нескольких шагов. Три открытые MoE-LLM адаптировали на крупномасштабном датасете персонализации. Затем на парных активациях персонализированной и исходной моделей обучили кросскодеры. Это разреженные словари признаков, которые сопоставляют внутренние состояния двух версий одной сети и дают интерпретируемые персонализированные латенты. По ним авторы определили экспертов, кодирующих разные признаки персонализации.

Главные результаты, как их описывает аннотация:

• персонализированные MoE-модели показывают качество на уровне плотных LLM, активируя лишь долю своих параметров;
• при сопоставимом числе активных параметров полисемантичность у MoE ниже, чем у плотных моделей;
• внутри одного семейства моделей персонализированные латенты MoE меньше пересекаются с латентами неперсонализированной версии, то есть персонализация лежит в более обособленных компонентах;
• причинные вмешательства подтверждают, что выделенные латенты достаточны, чтобы восстановить поведение персонализированной модели.

Причинная проверка

Локализация сама по себе ничего не доказывает: можно найти красивую корреляцию, которая ни на что не влияет. Поэтому авторы проверили причинность. Если усилить экспертов, связанных с найденными латентами, неперсонализированная модель сдвигается в сторону персонализированной. Значит, эксперты не просто совпадают с признаком, а участвуют в формировании поведения. Разные признаки персонализации при этом идут разными маршрутами через сеть.

В аннотации нет численных метрик: ни прироста качества, ни доли активных параметров, ни названий моделей. Оценить масштаб эффекта и сравнить с существующими методами вроде LoRA можно будет только по полному тексту статьи. Пока это заявка на метод, а не готовый продукт.

Практический вывод

Для команд, которые строят персонализированные ассистенты, есть два сигнала. Первый: MoE-архитектуры дают не только экономию на инференсе, но и более удобную точку для интерпретации. Второй: если персонализация привязана к конкретным экспертам, ею можно управлять точечно, например усиливать или ослаблять отдельные признаки без переобучения всей модели. Это интересно для задач, где важны контроль и аудит: приватность, предсказуемость стиля, откат нежелательных настроек пользователя.

Прежде чем закладывать это в продукт, стоит дождаться кода и полных таблиц, проверить воспроизводимость на своих MoE-моделях и сравнить цену обучения кросскодеров с выигрышем в прозрачности. Кросскодеры сами по себе требуют вычислений и аккуратной настройки.