Anthropic открыла окно в мышление Claude: инструмент Jacobian lens ловит скрытые концепции
Anthropic представила Jacobian lens — инструмент интерпретируемости, который открывает чёрный ящик LLM. Инструмент показывает, какие концепции активируются в промежуточных слоях Claude при ответе на вопрос. От мирского до необычного: модель создаёт скрытые представления идей, которые не видны в обычном выводе. Это даёт наивный взгляд на то, как LLM «думают».
AI-обработка оригинала MIT Technology Review; редакция Hamidun News
Anthropic разработала технику Jacobian lens (линза Якобиана), которая даёт самый ясный до сих пор взгляд на то, что происходит внутри Claude, когда она отвечает на вопросы или выполняет задачи.
Что находят
Когда Claude отвечает на вопрос, Jacobian lens показывает активацию в промежуточных слоях. Результаты варьируются от повседневных (активация слоя, связанного с числами при решении мата) до необычных (скрытые концепции, которые нет в явном выводе).
Как работает
Вместо просмотра весов и активаций вслепую, инструмент использует математику Якобиана (матрица производных) для отслеживания того, как изменения входа влияют на промежуточные представления. Это позволяет:
- Видеть, какие абстрактные концепции модель активирует
- Проследить путь логики от входа к выходу
- Понять, какие ошибочные цепочки рассуждения приводят к неправильным ответам
Значение для безопасности
Открытие скрытых концепций важно для AI-безопасности: если мы видим, что модель активирует опасные концепции, даже если итоговый ответ безопасен, мы можем это исправить.
- 29 окт. 2026 г.Anthropic в S-1 показала: 11 900 клиентов платят от $100 тысяч в год
- 28 окт. 2026 г.CNN 2015 года обошла GPT-6 Astra и Claude Fable 5.1 в диагностике рака кожи
- 28 окт. 2026 г.Keystone убрал имя модели из кода: open-source LLM-шлюз добавляет 0,64 мс
- 28 окт. 2026 г.Wired за сутки протестировал 6 ИИ-агентов: Dots лидирует, Gemini Spark провалил обед
Вопросы и ответы по материалу
Что известно по теме: что находят?
Когда Claude отвечает на вопрос, Jacobian lens показывает активацию в промежуточных слоях. Результаты варьируются от повседневных (активация слоя, связанного с числами при решении мата) до необычных (скрытые концепции, которые нет в явном выводе).
Что известно по теме: как работает?
Вместо просмотра весов и активаций вслепую, инструмент использует математику Якобиана (матрица производных) для отслеживания того, как изменения входа влияют на промежуточные представления. Это позволяет: Видеть, какие абстрактные концепции модель активирует Проследить путь логики от входа к выходу Понять, какие ошибочные цепочки рассуждения приводят к неправильным ответам
Что известно по теме: значение для безопасности?
Открытие скрытых концепций важно для AI-безопасности: если мы видим, что модель активирует опасные концепции, даже если итоговый ответ безопасен, мы можем это исправить.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.