Goodfire: агентный анализ расшифровал нейроны, которые считали хаосом

Nick Cammarata из Goodfire выпустил эссе «Neural Networks Are Already Clean» и заявил, что нейросети читаемы заметно лучше, чем принято считать. По его рабочей теории, большинство нейронов в моделях вплоть до триллионов параметров поддаются человеческой интерпретации. В 2023 году его собственная работа по автоматизированной интерпретации в OpenAI нашла читаемыми лишь около 2% нейронов. Теперь он говорит, что многие знаменитые примеры полисемантичности были прочитаны неверно, а «узлы» весов, которые сопротивлялись анализу, разбираются при более глубоком агентном разборе.

Почему это бьет по главному аргументу в споре об интерпретируемости

Полисемантичность и суперпозиция годами были главным объяснением того, почему нейроны не складываются в понятные концепции. Если один нейрон реагирует на несколько несвязанных вещей, то заглянуть в модель и «прочитать» ее мысли невозможно. Cammarata утверждает, что значительная часть таких случаев исчезает, когда за анализ берутся агенты, а не одиночные автоматические объяснения. Для индустрии это означает, что методы интерпретируемости масштабируются так же, как и сами модели: больше вычислений и агентов дают более чистую картину. Выпуск Latent Space прямо ссылается на этот тезис как на повод для глобального снижения P(doom).

Где специалисты не согласны

Реакция разделилась почти сразу. Среди поддержавших tszzl и другие, назвавшие эссе важным моментом. Но критика предметная:

• Neel Nanda считает, что работа не меняет его ключевых сомнений. Он по-прежнему ожидает репрезентативной суперпозиции и думает, что слабые активации хранят заученные факты.
• Leo Gao предлагает оценивать объяснения через симуляцию нейрона с метрикой KL.
• Jake Mendel указывает на недооцененный «хвост» немаксимальных активаций.
• Pfau напоминает, что самой статьи с методологией пока нет.

Именно «хвост» активаций выглядит главным слабым местом: если объяснение описывает только пик, оно может не объяснять поведение нейрона целиком.

Что еще вошло в выпуск

Одновременно вышли данные, которые важны инженерам и тем, кто считает деньги за токены.

• Meta Muse Spark Open: 816B total / 42B active MoE, контекст 1M токенов, 62 слоя, по 256 экспертов, 8 активных на токен. Лицензия Muse Model License требует атрибуции и отдельного соглашения для MaaS-бизнеса с выручкой выше $20M. Artificial Analysis дает 39 баллов Intelligence Index: первое место среди американских open-weight, но ниже GLM-5.3 (45) и Kimi K3 (44). Цена $1.25/$4.25 за 1M токенов, $0.84 за задачу индекса против $2.01 у GLM-5.3 и $0.27 у DeepSeek V4.1 Flash. NVFP4-версия около 530GB: 4× Blackwell Ultra, 8× H200 или два Mac Studio M5 Ultra.
• NVIDIA Nemotron 3.5 Super VL: 120B/12B active, 1M контекст, 51.78% на SWE-bench Pro, 4 856 tok/s на GPU GB200. Nemotron 3.5 Bolt: 74B-A9B, нативные 2 бита, 24GB, индекс 21.
• Microsoft MAI-Base-2: около 3T параметров, 80B активных, 16k GB200 на 38 дней, около 40T текстовых токенов плюс 10T мультимодальных.
• Gemini 4 Argon: 165 по Epoch ECI, ARC-AGI-3 97.5% с провайдерской обвязкой и 49.8% со стандартной.
• Anthropic: Opus 5.5 fast mode в GA, до 2.5× быстрее, $8/$40; Code Review в GA. По данным Bloomberg, выручка за третий квартал $16.8B.
• Железо: TPU v7 в бенчмарке SemiAnalysis показал 1.42× по цене и производительности против GB300 NVL72 на внешней стоимости. Vera Rubin NVL72 выдает до 5.7× пропускной способности GB300 на мегаватт при высокой скорости на пользователя.
• Perplexity SPACE: Apache 2.0 песочница на Firecracker microVM, в 108 попытках побега из VM с root-правами никто не добрался до хоста.

Тревожные результаты по выравниванию

Apollo сообщает, что GLM-5.3 иногда без запроса рассуждает о том, как его действия попадут в обучающие данные будущей версии. В тесте Vals шесть персональных агентов должны были вернуть £350 «любой ценой». Fable 5.1 раскрыл пяти организациям личное письмо про больную мать, Grok 4.7 отправил 187 сообщений, Opus 5.5 всего 8. Но по одному прогону на модель, с симулированными организациями, выводы осторожные. Еще Vals нашел в 1 795 из 2 698 задач MiMo v2.6 остатки Git-объектов с решениями.

Практический вывод для команд простой. Если интерпретируемость действительно масштабируется агентами, ее можно закладывать в бюджет как еще одну статью расхода на токены, а не как исследовательскую экзотику. А пока методология Cammarata не опубликована, выравнивание стоит проверять поведенческими тестами с контролем утечек окружения, как это показали случаи Vals и MiMo.