ThinkJev заставляет ИИ думать лишь над трудными вопросами: минус 28% токенов

Когда языковая модель встроена в сервис, её ответ часто читает не человек, а программа. Например, в какую очередь отправить обращение, нарушает ли сообщение правила, подходит ли извлечённая запись под условие. Исследователи из китайской компании Fujian Bosssoft называют это типизированным решением: ответ — одна буква из закрытого набора вариантов, и у каждого варианта есть вероятность, на которую можно опереться в коде. Их система ThinkJev решает, когда такой модели достаточно ответить мгновенно, а когда нужно подумать. Главная цифра: на трудных задачах рассуждение останавливается раньше и расходует на 28% меньше токенов, а точность падает с 82,7% до 81,6%.

Две скорости в одной модели

Проблема знакома каждому, кто строил такие системы. Быстрый ответ — один проход по сети, около 100 мс на разбор запроса и около 53 мс на чтение ответа у модели Qwen3.5-4B на одной видеокарте. Но на задачах в несколько шагов он часто ошибается. Авторы собрали свой набор: сложение дат, подсчёт по условиям, цепочки правил, вложенные отрицания, арифметика, логические сетки, достижимость в графах, расписания и шахматные задачи, на английском и китайском. Здесь Qwen3.5-27B при быстром ответе угадывает 52,3% (4B — 40,3%), а после размышления — 87,5%. Зато размышление растягивается на секунды.

Трюк в том, что Qwen3.5 — гибридная модель: она умеет отвечать сразу или после блока рассуждений. В обоих режимах запрос одинаков до этого блока, а ответ читается из одного и того же места: из вероятностей букв A, B, C… Поэтому одна модель даёт две «системы»:

• система 1 читает буквы после пустого блока рассуждений, то есть сразу;
• система 2 читает те же буквы после сгенерированной «мысли».

Общую часть запроса модель обрабатывает один раз. Быстрый ответ читается с копии кэша, а рассуждение продолжается на оригинале. Копия нужна, потому что в Qwen3.5 слои полного внимания смешаны со слоями Gated DeltaNet, и их состояние нельзя откатить назад. Повторной обработки запроса при передаче задачи «наверх» нет. Вероятности у обеих систем в одной форме, и код получает их одинаково. Текст ответа не разбирается, поэтому невалидных ответов нет.

Гарантия на ошибку и ответ при любом бюджете

Сначала нужно решить, каким задачам можно обойтись без размышления. Порог уверенности подбирают на размеченной выборке методом Learn-then-Test. Он гарантирует, что доля ошибок среди принятых быстрых ответов не превысит заданную цель. Однотипные задачи из одного шаблона считаются за один пример, чтобы дубликаты не завышали гарантию. Чтобы убрать привычку модели предпочитать определённые позиции в списке, вариант читают несколько раз с циклическим сдвигом списка и усредняют.

Результаты при цели 5% на 8359 тестовых решениях:

• Qwen3.5-27B сама отвечает на 24,5% задач, реальная ошибка 3,9%;
• у младших Qwen3.5-4B и 9B эта доля заметно скромнее, а на самых строгих целях они вообще не берут решений на себя;
• у Qwen3.8-27B на самой мягкой цели ошибка на тесте слегка выше цели.

Дальше решается вопрос с длиной рассуждения. Буквы можно прочитать после любого числа токенов «мысли»: рассуждение обрывают, добавляют фразу ранней остановки, которую предусмотрел Qwen, и считывают вероятности. Одна «мысль» даёт ответ при любом бюджете, а нулевой бюджет — это система 1. Политика «в любой момент» просто останавливается на первой контрольной точке, где ответ уверенный. Для остальных задач это даёт 81,6% точности против 82,7% при полном размышлении, расходуя 72% токенов.

Есть и неприятное наблюдение. Если решать, думать ли вообще, только по уверенности системы 1, экономия меньше. Задачи, в которых быстрый ответ сомневается сильнее всего, не обязательно те, которые рассуждение исправляет. Предсказать, где модель ошибётся, и предсказать, где мысль поможет, — разные задачи.

Что это даёт на практике

На публичных задачах независимого бенчмарка JevBench для сервисов типизированных решений Qwen3.5-27B думает в 29,4% случаев. По точности она не отличается от двух коммерческих API с рассуждением, но авторы называют это сравнение предварительным. Название отсылает к формату запросов коммерческой модели Jev от TypeSafe: сервер ThinkJev принимает такие запросы, так что её SDK может обращаться к локальной модели. С TypeSafe проект не связан, и сам Jev не тестировали.

Для инженеров вывод такой. Если у вас уже работает открытая гибридная модель, маршрутизацию «быстро или думать» можно получить без дообучения, с границей ошибки на быстрой ветке и без второй модели. Ограничение: метод работает только для закрытых наборов вариантов, а не для свободного текста. Код и генераторы данных открыты на GitHub (ding-xiaolu/ThinkJev).