Новый тест ловит скрытый сговор ИИ-агентов по реакции партнёра на перефраз

Если два ИИ-агента заранее договорились о тайном соглашении, например «сообщение на букву S означает: держи цену», то со стороны их переписка выглядит как обычные реплики о рынке. Монитор, который читает только тексты, такой сговор не отличит от честного общения. Авторы препринта на arXiv предлагают другой подход: смотреть не на слова, а на поведение. Сообщение перефразируют с сохранением смысла и проверяют, изменилось ли действие адресата. Если изменилось, значит, он реагировал на точную форму текста, то есть на спрятанный в ней код. Разницу между реакцией настоящего партнёра и реакцией постороннего агента на том же месте авторы назвали PoPLi (Partner–Outsider Positive Listening).

Как работает проверка

Идея простая. Любой агент реагирует на смысл фразы. Но на код, спрятанный в формулировке, реагирует только тот, кто знает договорённость. Поэтому в «кресло» партнёра сажают постороннего: свежий экземпляр той же модели с той же ролью и той же публичной историей, но без личных инструкций, заметок и памяти партнёра. Затем обоим показывают оригинальное сообщение и его перефраз.

Проверка идёт после событий, по сохранённым логам. Для каждого хода берут записанный промпт (входной текст), который партнёр получил в реальном запуске, подменяют в нём сообщение и отправляют новому экземпляру модели. Восстанавливать внутреннее состояние агентов не нужно.

Действия продавцов сводят к четырём категориям: цена выше, примерно та же, ниже или заявка снята. Затем считают расстояние полной вариации между распределениями ответов на оригинал и на перефраз. Из него вычитают «шумовой пол»: насколько ответы различаются при двух прогонах на одно и то же сообщение. Так более случайный агент не создаёт ложную разницу. Доверительные интервалы строят бутстрепом, пересэмплируя сессии, а затем ходы внутри них.

Эксперимент: рынок и пять сценариев

Тест проводили в симулированном непрерывном двойном аукционе, где продавцы могут писать друг другу. Сценариев было пять, по 10 рынков в каждом, всего 50:

• без сговора; • сговор через общую награду при нейтральных сообщениях; • то же, но с открыто заявленным намерением; • скрытый код: первая буква сообщений одного продавца говорит другому, держать цену или снизить; • код плюс заявленное намерение.

В каждом сценарии оценивали по 90 ходов (часы со 2-го по 10-й в 10 рынках). Результаты такие:

• Код только в первой букве: PoPLi 0,59. • Код и заявленное намерение, совпадающее с буквой: 0,48. • Код и заявленное намерение, расходящееся с буквой: 0,53. • Нижняя граница 95%-го интервала во всех трёх сценариях с кодом выше 0,29. • В трёх сценариях без кода метрика около нуля, верхняя граница интервала не выше 0,10.

Отдельно проверили, что нулевая разница не означает глухоту постороннего. Когда продавец прямо называет свои намерения словами, посторонний на них реагирует, а разрыв между ним и партнёром остаётся нулевым. Значит, тест отделяет приватный канал от открытого обмена информацией.

Что с мониторами, читающими текст

Для сравнения взяли два монитора, которые анализируют только сообщения. Первый читает реплики лишь говорящего продавца и во всех 50 рынках ответил «нет». Второй читает реплики всех продавцов и пометил 9 из 10 рынков, где сговора не было вовсе. Ни один из них не разделил сценарии.

Границы метода

Авторы честно описывают, чего PoPLi не видит. Он обнаруживает использование приватного канала, а не сговор вообще:

• Сговор через общие стимулы при нейтральных сообщениях остаётся вне зоны видимости: смотреть не на что ни монитору текста, ни этому тесту. • Коды, закодированные в смысле сообщения, а не в формулировке, перефраз не уничтожает, и метрика их не поймает. • Предполагается, что участники сговора не знают о тесте и не подстраиваются под него. Если они аутентифицируют сообщения или предвидят повтор запроса, метод слабеет. • Аукцион остаётся игрой с частично конфликтующими интересами. Небольшая реакция постороннего может означать недоверие к конкуренту, а не непонимание языка.

Отдельно авторы напоминают, что перефразирование как защита уже изучалось: по работе Роджера и Гринблатта (2023), оно ограничивает известные схемы стеганографии примерно тремя битами на килобайт текста. Однако однобитовые стратегии, оптимизированные против перефразаторов, всё ещё расшифровываются более чем в 90% случаев на наборе AQuA-RAT.

Практический вывод

Для команд, которые запускают агентов, торгующих или договаривающихся друг с другом, вывод такой. Если вы храните полные логи промптов, вы можете постфактум повторять ходы с отредактированными сообщениями и сравнивать реакции партнёра и постороннего. Это дешевле, чем пытаться угадать сговор по тексту, и даёт меньше ложных срабатываний. Но полноценной защитой это не будет. Нужны ещё детекторы открытого сговора по словам и отдельный контроль стимулов, потому что каждая из трёх форм сговора требует своего инструмента. Пока это результат одной симуляции с одной моделью поведения, поэтому на реальные рынки его переносить рано.