Разреженный автоэнкодер

Разреженный автоэнкодер (sparse autoencoder, SAE) — разновидность автоэнкодера, в которой к функции потерь добавлен L1-штраф за ненулевые активации скрытого слоя. Это принуждает сеть описывать входные данные с помощью небольшого числа одновременно активных «словарных» нейронов из расширенного набора — так реализуется разреженное словарное обучение (dictionary learning). В контексте механистической интерпретируемости SAE обучается на активациях конкретного слоя большой языковой модели и пытается восстановить их через словарь из десятков тысяч или миллионов признаков-«атомов».

Теоретическое обоснование — гипотеза суперпозиции (Elhage et al., Anthropic, 2022): нейронные сети хранят больше признаков, чем у них нейронов, «упаковывая» несвязанные концепты в один нейрон под почти ортогональными углами. SAE призван «распаковать» эту суперпозицию, представив каждую исходную активацию как сумму моносемантичных — однозначно интерпретируемых — компонент. Успех метода определяется тем, насколько каждый выделенный признак соответствует единственному человечески понятному концепту, а не их произвольной смеси.

Практическое применение метода продемонстрировала Anthropic в работе «Towards Monosemanticity: Decomposing Language Models With Dictionary Learning» (Bricken et al., 2023), а масштабирование на большую модель — в «Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet» (Templeton et al., 2024). В последней исследователи применили SAE с десятками миллионов признаков к промежуточным слоям Claude 3 Sonnet и показали, что значительная часть выделенных признаков интерпретируема — от лингвистических (части речи, синтаксические роли) до концептуальных (эмоции, профессии, географические объекты).

По состоянию на 2026 году SAE стали стандартным инструментом механистической интерпретируемости в ведущих лабораториях. Ведутся работы по улучшению точности реконструкции без потери разреженности, автоматической маркировке признаков с помощью вспомогательной языковой модели, применению метода к мультимодальным архитектурам, а также к задаче steering — целенаправленного редактирования поведения модели через прямую модификацию выявленных признаков во время инференса.

Пример

“Применив разреженный автоэнкодер к внутренним активациям языковой модели, исследователи выявили единственный признак, монотонно активирующийся на все написания слова «деньги» на десятке языков, — подтвердив, что модель хранит этот концепт в единственной обобщённой репрезентации.