Безопасность и правоHabr AI→ оригинал

ChatGPT-боты взламывают за 6 строк кода: сканер обнаружил уязвимость

BarkingDog — сканер безопасности для LLM-ботов в Telegram. При тестировании на реальном open-source проекте он обнаружил критические уязвимости: бот писал кейлоггеры, давал опасный совет и выдавал инструкции по взлому. Все проблемы решаются редактированием системного промпта.

AI-обработка оригинала Habr AI; редакция Hamidun News
ChatGPT-боты взламывают за 6 строк кода: сканер обнаружил уязвимость
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью

Промпт-инъекции в ChatGPT-ботах Telegram оказались критической уязвимостью. Инженер создал BarkingDog — открытый сканер для поиска таких дыр, и результаты тревожны.

Что такое промпт-инъекции в ChatGPT?

Техника взлома, когда специальный текст обходит встроенные инструкции бота и заставляет его выполнить опасные команды — от кейлоггера до дезинформации.

Как защитить ChatGPT-бота от взлома?

По результатам тестирования сканера BarkingDog — нет панацеи. Даже с встроенными инструкциями отказа бот остается уязвим для промпт-инъекций.

Сюжет

Вопросы и ответы по материалу

Что такое промпт-инъекции в ChatGPT?

Техника взлома, когда специальный текст обходит встроенные инструкции бота и заставляет его выполнить опасные команды — от кейлоггера до дезинформации.

Как защитить ChatGPT-бота от взлома?

По результатам тестирования сканера BarkingDog — нет панацеи. Даже с встроенными инструкциями отказа бот остается уязвим для промпт-инъекций.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…