Interlock учит агентов доводить задачи до конца: до +6,64 балла на JobBench

Команда авторов Interlock предлагает способ синтезировать для LLM-агентов длинные задачи, в которых мало дать правильный ответ на каждом шаге: нужно довести до конца всю цепочку зависимостей. Две модели семейства Qwen3.6, дообученные на собственных отобранных траекториях, показали прирост на трёх внешних бенчмарках: +4,00–4,50 п.п. по доле решённых задач на AutomationBench, +3,20–6,64 балла по взвешенной оценке JobBench и +3,89–4,16 п.п. по критериям Harvey LAB.

Проблема: локально верно, но не закончено

Агенты всё чаще работают в средах, где свидетельства разбросаны по файлам и системам, состояние задачи выполнено частично, а ресурсы и артефакты зависят друг от друга. Типичный сбой выглядит так: агент аккуратно закрывает отдельные требования и при этом теряет связи между ними. Результат формально правдоподобен, но неполон. Авторы называют это разрывом завершения (completion gap) и объясняют его так: готовность задачи определяется отношениями между фактами из окружения, принятыми решениями и эффектами, которые эти решения должны вызвать.

Отсюда и претензия к существующим обучающим данным. Если синтетические задачи не кодируют такие связи, агент не получает сигнала, что «почти сделано» и «сделано» разделяет пропасть.

Как устроен Interlock

Каждая задача представлена как типизированный граф завершения с тремя видами связей. Рёбра заземления (grounding) соединяют публичные доказательства с решениями. Гиперрёбра связывания (coupling) накладывают совместные ограничения сразу на несколько компонентов. Рёбра реализации (realization) тянут от решения ко всем обязательным downstream-эффектам.

Граф компилируется в три артефакта: сбрасываемое рабочее пространство, публичный запрос и рубрику оценки. Дальше идут два контроля качества. Source-coverage review проверяет, что исходные требования не потерялись при генерации. Public-input review проверяет, что рубрика опирается на материалы, которые реально доступны исполнителю, то есть что агент не обязан угадывать скрытое.

Прогон оценивает агент-судья: он изучает артефакты выполнения и запускает скрипты верификации. В обучающий набор попадают только траектории, где выполнены все обязательные требования.

• Структура задачи: типизированный граф с рёбрами заземления, гиперрёбрами связывания и рёбрами реализации
• Выход компиляции: сбрасываемый workspace, публичный запрос, рубрика
• Фильтры: source-coverage review и public-input review
• Отбор: агент-судья со скриптами верификации, только траектории со всеми обязательными требованиями
• Модели: две базы Qwen3.6, дообучение на собственных принятых траекториях
• Прирост: AutomationBench +4,00–4,50 п.п., JobBench +3,20–6,64 балла, Harvey LAB +3,89–4,16 п.п.

Что показывают цифры

Схема по сути представляет собой самодистилляцию с жёстким отбором: модель решает синтетические задачи, судья оставляет безупречные прогоны, на них идёт дообучение. Важна не механика, а то, куда переносится эффект. Бенчмарки AutomationBench, JobBench и Harvey LAB не входили в генерацию задач, то есть выигрыш получен во внешних средах, а не на собственном распределении авторов.

У результата есть границы. Приросты умеренные, диапазоны широкие (у JobBench от 3,20 до 6,64), а базовых моделей всего две. Из описания не видно, сколько стоит генерация и верификация одной задачи, насколько судья-LLM ошибается и как метод масштабируется на большее число траекторий. Эти вопросы стоит искать в полном тексте работы.

Что взять в работу

Даже без повторения всего пайплайна идеи применимы напрямую. Описывайте задачи агентов как граф зависимостей, где у каждого решения перечислены обязательные последующие эффекты, и проверяйте именно эффекты, а не текст финального ответа. Прогоняйте рубрику через проверку «выводима ли она из публичных материалов»: так отсеиваются задачи, где агент проваливается из-за скрытых условий. Делайте окружения сбрасываемыми, чтобы траектории были воспроизводимыми. И наконец, при отборе данных для дообучения требуйте выполнения всех обязательных пунктов, а не высокой средней оценки: иначе модель продолжит учиться на «локально правильных» неполных результатах.