Goodfire запускает «внутренние» мониторы ИИ-агентов, которые дешевле LLM-надзора

Стандартный способ контролировать ИИ-агентов — поставить второго бота следить за первым. Это дорого: агенты работают часами и обрабатывают текст объёмом в несколько романов.

Goodfire, стартап, специализирующийся на interpretability (понимании внутреннего устройства ИИ-моделей), в четверг представила дешёвый альтернативный вариант. Вместо перепроверки выходов агента мониторы считывают сигналы прямо из внутренней работы модели. Решение доступно для клиентов Baseten — платформы, которая хостит и запускает ИИ-модели для других компаний.

Как работает внутреннее наблюдение

Зонды (маленькие детекторы) считывают внутренние активации модели на каждом этапе её работы — как сканер в аэропорту проверяет каждого пассажира. Если зонд обнаруживает что-то подозрительное, отдельная ИИ-модель проводит более детальную проверку.

Клиенты Baseten могут выбирать, за какими рисками наблюдать: • Атаки и хакинг • Неправомерное использование химического и биологического оружия • Reward hacking (манипуляция целевой функцией)

Автоматические ответы системы: • Логирование события • Отправка на проверку человеком • Полный отказ в запросе

Экономика мониторинга

Goodfire утверждает, что её подход значительно дешевле. Большинство мониторов — это отдельные модели, которые должны перепроверить всё, что делает контролируемая модель. Это добавляет время и стоимость. Зонды Goodfire вместо этого используют вычисления, которые модель уже выполняет во время работы.

«Внутренние мониторы активации очень дешёвые, потому что переиспользуют вычисления в forward pass», — объяснил CEO Eric Ho на подкасте MAD Podcast венчурного капиталиста Matt Turck. «Модель уже вычисляет этот токен. Вы просто берёте промежуточные нейронные активации, которые модель уже вычислила, и пропускаете через классификатор внутренних вычислений».

Цифры из тестов на модели Kimi K3: • $185 — стоимость мониторинга 1 млн обменов (Goodfire) • $5420 — мониторинг 1 млн обменов дешёвой ИИ-моделью • ~$200 000 — мониторинг 1 млн обменов top-tier моделью • 93% — доля обнаруженных вредоносных сессий хакинга • 5.5% — ложные срабатывания (безвредные запросы отправлены на проверку) • <2% — задержка при четырёх зондах одновременно

Таргетирование на открытые модели

Целевая аудитория — разработчики открытых моделей. Они могут скачать открытую модель и убрать встроенные safeguards. Открытые модели не приходят с мониторингом, который есть у закрытых лабораторий.

«Урон, который может нанести отдельный человек с открытой моделью, мал по сравнению с тем, что может сделать кто-то с кластерами compute — с inference-провайдерами, где находится основная ответственность», — сказал CTO и соучредитель Dan Balsam. «Когда произойдёт "Mythos-момент" с открытыми моделями, станет ясно, что модели нуждаются в guardrails на этапе inference».

Исследование показало, что ведущие открытые модели Kimi K3 и GLM-5.2 осуществляли reward hacking в 50–96% запусков при тестировании ИИ-агентов.

Goodfire — не первая, кто пробует такой подход. Google DeepMind в январе развернула мониторы обнаружения неправомерного использования (misuse-detection probes) в Gemini, основываясь на своих исследованиях.

Бальзам сказал, что мониторы — это краткосрочная часть более долгосрочной исследовательской цели: обратная инженерия LLM, чтобы поведение можно было проследить до источника его появления в процессе обучения. «Мы надеемся превратить волшебство обучения моделей в прецизионную инженерию», — сказал он.