Cloudflare выпустила open-source модели Clef: 98,5% на BFCL и 38,8 мс

Cloudflare вышла на рынок decision-моделей: компания выпустила Clef и Clef-flash, две собственные модели, которые вместо рассуждений и генерации текста возвращают строго типизированные ответы с вероятностями. Обе доступны на Workers AI, совместимы с API Jev от Typesafe AI, а веса лежат на Hugging Face под лицензией Apache 2.0. По данным Cloudflare, Clef сейчас лидирует в Jev Decision Index. Заодно компания запускает сервис RL-дообучения: сначала руками инженеров FDE, позже как self-serve платформу.

Решение вместо рассуждения

Decision-модель принимает на вход состояние (например, сообщение в поддержку) и набор вопросов: срочно ли это, какая команда должна заняться, насколько серьёзно влияние. На выходе получается типизированный JSON с вероятностями, по которому код маршрутизирует тикет, поднимает эскалацию или передаёт задачу человеку. Модель работает с произвольным набором категорий без переобучения под каждую новую.

Внутри Cloudflare Clef уже тестируют в команде Threat Intelligence для классификации доменов. Через Browser Run модель получает страницу, рендерит её и выдаёт набор категорий: условно 95% мода, 85% e-commerce, меньше 1% фишинг. На весь цикл уходит 2,2 с. Самая быстрая универсальная LLM компании, gpt-oss-120b, в том же сценарии потратила 4,7 с и вернула только две категории.

Как Clef устроена и чем отличается от Jev

Базой служит замороженная модель Qwen: Qwen3.8-27B для Clef и Qwen3.5-9B для Clef-flash. Поверх обучены маршрутизирующая голова и низкоранговые адаптеры rank-256. Инференс состоит из одного prefill-прохода, после которого допустимые варианты схемы оцениваются параллельно. Декодирование неавторегрессионное, токены не генерируются по одному, отсюда выигрыш в скорости. Варианты ответов сначала собирают релевантный контекст, затем поля перекрёстно обращают внимание друг на друга и на исходные данные, и только потом идёт скоринг.

Обучение использует label-smoothed cross-entropy и Brier loss для калибровки вероятностей на внутренних синтетических данных с перестановкой полей, промптов и схем. Вторым этапом идёт RLCD (Reinforcement Learning for Calibrated Decisions): частичный балл за соседние порядковые варианты, награда за полностью точные записи и штраф за отклонение от референса.

Отличий от Jev три:

• визуальный энкодер, то есть классификация изображений (Jev пока работает только с текстом);
• контекст 64k против 32k;
• публичные веса под Apache 2.0 и размещение на GPU Cloudflare на границе сети.

Цифры по бенчмаркам

Значения идут в порядке Clef / Clef-flash / Jev:

• BFCL (case exact): 98,47 / 98,76 / 95,75
• ToolRet (nDCG@10): 69,19 / 66,43 / 65,28
• API-Bank (accuracy): 91,93 / 93,11 / 88,19
• Home appliances (case exact): 82,95 / 97,73 / 52,27
• When2Call (accuracy): 72,37 / 65,58 / 80,97
• BANKING77 (macro-F1): 94,20 / 90,93 / 79,74
• CLINC150+OOS (macro-F1): 97,43 / 66,77 / 89,27
• BRIGHT (nDCG@10): 45,91 / 39,26 / 47,52
• Amazon ESCI (macro-F1): 57,48 / 57,39 / 55,21
• PhishNChips (accuracy): 79,60 / 75,05 / 62,55

В собственном наборе Typesafe Clef обошла Jev в трёх из четырёх областей: обработка счетов (64,7 против 61,8), поддержка клиентов (76,3 против 76,0) и инциденты безопасности (62,9 против 61,7). В наблюдаемости агентных трейсов Jev впереди: 71,6 против 68,5 у Clef и 69,8 у Clef-flash. Заметно, что Jev выигрывает и в When2Call, и в BRIGHT, так что полным разгромом это не назвать.

По задержке на 43 бенчмарках медиана Clef составила 209,3 мс (p95 238,6 мс), Clef-flash уложилась в 38,8 мс (p95 122,4 мс), Jev показал 524,1 мс (p95 536,0 мс). У DiffusionGemma Jev это 84,4 и 211,2 мс, у Kev-9B 51,4 и 187,9 мс, у Laya 5,8 и 222,5 мс. Laya быстрее всех по медиане, но заметно проседает в качестве: например, 38,13 на BFCL.

RL-платформа и куда это ведёт

Компания собирает цепочку из существующих блоков. AI Gateway записывает трафик и превращает его в датасет, Workers AI генерирует rollouts на базовой Clef, Containers служат песочницей для скоринга и повтора действий агентов, новый компонент Trainer обновляет веса, а Workers AI с Bring Your Own Model (Cog, наследие покупки Replicate) выкатывает результат обратно. Пока услуга идёт через команду forward-deployed engineers, self-serve платформа появится позже.

Внутренние сценарии уже есть: оценка обращений в Trust & Safety, триаж запросов в поддержку, решение в продуктах Bot, хороший перед нами краулер или плохой. Под них у Cloudflare накоплено больше 15 лет размеченных сетевых данных.

Для разработчиков агентов практический вывод простой: если в пайплайне есть развилка вида «срочно или нет», «какой отдел», «фишинг или легитимный сайт», дешевле ставить в горячий путь decision-модель и подключать LLM только для самого действия. Миграция с Jev сводится к замене модели в запросе, веса можно скачать и прогнать локально, а компаниям с большим объёмом размеченных решений стоит заняться дообучением. Данные клиентов Cloudflare не читает, не хранит и не использует для обучения, кроме случаев, когда клиент сам пользуется сервисом файнтюнинга.