Безопасность AI-агентов в production: практический гайд по Red Teaming

Агент — это не чат-бот. Это система с доступом к инструментам, сервисам и корпоративным данным. Ошибка модели в изолированном чате — неловкость. Ошибка агента с доступом к почте и документам — потенциальная утечка данных, репутационный или финансовый инцидент.

Чем отличается

Red Teaming агента Red Teaming LLM сосредотачивается на самой языковой модели: тестируем prompt injection, jailbreak, галлюцинации. Язык модели отвечает неправильно — это локальная проблема. Red Teaming агента — совсем другое дело. Здесь мы проверяем весь стек: модель, инструменты (tools), внешние API, интеграции с корпоративными системами, логику маршрутизации запросов. Агент может корректно отвечать на вопросы, но ошибиться в выборе tool'а, неправильно передать параметры, забыть проверить права доступа. И вот уже агент совершает действие, которое не должен был совершать. Одна ошибка в этой цепочке — это инцидент. Doubletapp разработала методику Red Teaming, которая охватывает оба уровня: уязвимости самой модели плюс уязвимости её интеграции с внешним миром.

Promptfoo: от теории к практике Promptfoo — это фреймворк для автоматизации Red Teaming.

Вы определяете тестовые сценарии (attack scenarios), набор опасных prompt'ов и правила проверки результатов. Инструмент прогоняет эти тесты против вашего агента и генерирует отчёт о том, какие атаки прошли. Базовый workflow простой: опишите поведение, которое вы хотите защитить; напишите тестовые сценарии — попытки заставить агента нарушить это поведение; запустите Promptfoo — инструмент автоматически прогонит все тесты; посмотрите отчёт и поймите, где дыры; закройте уязвимость, повторите. Инструмент поддерживает интеграцию с OpenAI, Anthropic, Claude и другими моделями. Все логи — прозрачные, детальные, удобные для анализа.

Какие уязвимости искать

На практике Doubletapp столкнулась с повторяющимися классами проблем: Неправильная авторизация tool'ов — агент выбирает правильный инструмент, но не проверяет, имеет ли юзер права на эту операцию Путаница в параметрах — агент передаёт user_id вместо admin_id из-за неясного naming в спецификации API Цепочечные атаки — одна небольшая ошибка плюс другая небольшая ошибка в сумме дают полный bypass системы Социальная инженерия через модель — злоумышленник заставляет агента поверить, что он авторизован, когда на самом деле нет * Утечка контекста через логи — агент логирует чувствительные данные, которые потом видит другой пользователь > «Это первый шаг к процессу, не финальный продукт,» — примерно так говорят про любой Red Teaming. Первый раунд тестирования вскроет дыры, которые потом нужно закрывать волна за волной.

Что это значит Red Teaming выходит из лабораторий в операционную реальность.

Если вы уже запустили агента в production, вам нужна система, которая постоянно ищет уязвимости. Promptfoo — один из инструментов, который можно поднять прямо сейчас и использовать на своем стеке. Бизнес начинает требовать не просто функциональность, а доказательство безопасности. И это правильное требование — потому что ставки высокие.