Constrained decoding не ломает рассуждения LLM: тест на 11 открытых моделях

Constrained decoding, то есть принудительное ограничение генерации LLM заранее заданным форматом, давно считается вынужденным компромиссом: хочешь валидный JSON или строго заданный ответ, готовься платить качеством рассуждений. Авторы препринта arXiv 2610.35328 проверили это допущение на четырёх семействах моделей и одиннадцати открытых моделях. Их вывод: сам механизм рассуждения не ломает. Заметная часть прежних просадок объясняется несопоставимыми промптами и форматами вывода в экспериментах, а не ограничением как таковым.

Откуда взялось недоверие к ограниченному декодированию

Интуиция понятна. Если на каждом шаге маскировать часть токенов, распределение вероятностей искажается, и модель якобы вынуждена выбирать хуже. На практике это подкрепляли сравнениями «свободная генерация против структурированного вывода». Но в таких сравнениях менялось не только ограничение. Другим становился промпт, другим формат ответа, другой способ извлечения результата. Авторы показывают, что при выравнивании условий значительная часть эффекта исчезает. То, что принимали за цену ограничения, оказывалось ценой разных постановок задачи.

Дополнительно в работе дано теоретическое обоснование: корректно подобранные ограничения могут сохранить или даже улучшить качество, потому что убирают из пространства поиска заведомо невалидные пути.

Три типа ограничений, три разных эффекта

Ключевой вклад работы — таксономия. Вместо вопроса «вредит ли constrained decoding» авторы разбирают три класса ограничений:

• Ограничения на структуру вывода. Они задают формат ответа: схему, шаблон, грамматику. Их задача — получить машиночитаемый результат.
• Ограничения на валидность ответа. Они маскируют недопустимые варианты, например ответ вне набора допустимых значений. Такие ограничения повышают надёжность и извлекаемость ответа, потому что невалидные результаты просто не генерируются.
• Ограничения на траекторию рассуждения. Они сужают допустимые пути, по которым модель приходит к ответу. Если траектория выбрана удачно, растёт качество рассуждений, а вместе с ним и итоговая точность.

Итог исследования сводится к тому, что влияние constrained decoding определяется типом ограничения и тем, какую часть пространства вывода оно убирает. Если убирается мусор, выигрыш возможен. Если отсекаются полезные пути рассуждения, потери вполне реальны.

Как проверяли

Эксперименты шли на разнообразных бенчмарках с современными стратегиями ограниченного декодирования. Охват: четыре семейства моделей и одиннадцать открытых моделей. Для практиков важна методика: сравнения строились так, чтобы различия в промптах и форматах не подменяли эффект самого ограничения. Код авторы опубликовали, так что результаты можно воспроизвести и применить к собственным стекам.

Что менять в продакшене

Команды, которые строят агентов, извлечение данных и вызов инструментов, нередко отказываются от структурированного вывода из страха за качество. Работа даёт повод пересмотреть это решение. Перед внедрением стоит определить, к какому классу относится нужное ограничение: если оно лишь задаёт структуру или отсекает невалидные ответы, риск для точности, судя по данным исследования, невелик, а выигрыш в стабильности парсинга ощутим.

При A/B-тестах нужно сравнивать эквивалентные постановки: одинаковые инструкции, одинаковый формат финального ответа, одинаковая процедура извлечения. Иначе измеряется разница промптов, а не декодирования. Ограничения на траекторию рассуждения стоит рассматривать как инструмент настройки качества: они могут помочь, но их полезность надо подтверждать на своих задачах и своих моделях.