Кто победит в споре инструкций: порядковый номер, роль в чате или просто метка?

Когда ИИ-агент работает в реальной задаче, он получает команды сразу из нескольких мест: от оператора через системный промпт, из конфигурационного файла репозитория, напрямую от пользователя, из результата вызванного инструмента и даже из заметок, сохранённых в памяти с прошлой сессии. Эти команды регулярно противоречат друг другу, и агент может выполнить только одну. Команда учёных из LNMIIT (Индия) и Virginia Tech решила разобраться, что на самом деле определяет победителя в таком споре — и выяснила, что принятая в индустрии "иерархия инструкций" (система выше пользователя, пользователь выше инструмента) работает куда менее надёжно, чем простой порядок строк в тексте.

Почему прежние тесты вводили в заблуждение

Проблема в том, что источник команды одновременно меняет три вещи: позицию в тексте (раньше или позже), роль в чате (системная, пользовательская) и метку (как подписан текст). Если модель проигнорировала системный промпт, непонятно, из-за чего: он пришёл слишком рано, слишком поздно или просто был подписан иначе. Большинство прежних тестов сравнивали только пару инструкций за раз и помещали их в одно сообщение, что не отражает реальную работу агента, где конфликты возникают между несколькими сообщениями и более чем двумя источниками.

Чтобы разделить эти три фактора, авторы создали 1080 сценариев пяти типов задач (вызов инструмента, запись файла, порядок шагов, выбор формата ответа и отказ от выполнения), в каждом — до пяти взаимоисключающих вариантов ответа. Инструкции рассаживали по пяти «местам»: оператор и настройки репозитория (оба в системном сообщении, но под разными подписями), пользователь, результат инструмента и заметка из памяти. Семь отдельных экспериментов менял и только способ подачи текста, не трогая сам текст инструкций.

Что выяснилось на практике

Протестировали 14 открытых моделей (Qwen 3 от 0,6 до 14 миллиардов параметров, Qwen 3.5 от 0,8 до 122 миллиардов и gpt-oss), с включённым и выключенным режимом рассуждений — итого 26 комбинаций модель-режим. Собрали почти 1,9 миллиона ответов, которые оценивал код по чётким критериям, без привлечения ИИ в роли судьи.

Три главных находки:

• Порядок внутри сообщения решает почти всё. Если две противоречащие строки лежат в одном сообщении, первая побеждает в 72–95% решённых ответов. Как только строки разносят по разным сообщениям, преимущество первой падает до 23–63%, а в 16 из 26 комбинаций модель-режим победу чаще забирает более позднее сообщение.
• Семейства моделей ведут себя противоположно. В Qwen 3 и Qwen 3.5 строка оператора, отправленная первой в системном сообщении, проигрывает более позднему тексту от пользователя, инструмента или памяти почти во всех случаях — её победа составляет лишь 6–41%. А вот gpt-oss, обученный ранжировать систему выше пользователя, слушается системного сообщения в 63–76% случаев, даже когда оно отправлено раньше остальных.
• Для задач с инструментами и файлами важнее не роль, а подпись. Один и тот же текст оператора, отправленный как настоящее системное сообщение, побеждает реже, чем тот же текст, просто подписанный как пользовательское сообщение — разница 6–49% во всех 26 комбинациях. Вероятная причина: во всех трёх форматах чата определения доступных инструментов пишутся прямо в системное/developer-сообщение, и операторская команда там оказывается «в толпе» технических деталей, тогда как подписанный пользовательский текст стоит отдельно и заметнее.

Дополнительно проверили, можно ли предсказать исход конфликта трёх-пяти инструкций, зная только результаты попарных сравнений — оказалось, прогноз заметно улучшается, если модель знает, где именно в последовательности стоит сама задача, но даже это работает нестабильно: в Qwen 3 такой подход помог только в 3 из 10 комбинаций. И почти никогда (максимум в 2,92% случаев) модель вообще упоминала, что заметила конфликт между инструкциями.

Что это значит для разработчиков агентов

Если вы строите агента и рассчитываете, что системный промпт автоматически перевесит более позднюю реплику пользователя — для Qwen эта надежда может не оправдаться: порядок сообщений окажется сильнее декларируемого ранга. Для задач с вызовом инструментов стоит отдельно проверять, не «тонет» ли важная инструкция оператора среди определений инструментов в системном сообщении — иногда разместить её как явно подписанный текст надёжнее, чем довериться роли в чате. И главное: тестировать иерархию инструкций нужно не только парами, а сразу тройками и пятёрками реальных конфликтующих источников — поведение модели в сложном случае не выводится напрямую из простых парных тестов.