Moonshot выложила Kimi Vendor Verifier: 6 тестов для проверки провайдеров K2.6

Вместе с моделью Kimi K2.6 Moonshot AI выложила в открытый доступ Kimi Vendor Verifier (KVV), набор тестов для проверки того, насколько точно сторонние провайдеры воспроизводят поведение модели. Полный прогон занимает около 15 часов на двух серверах с восемью NVIDIA H20 каждый. Эталонные результаты официального Kimi API: 91.0 на OCRBench, 98.4 на AIME2025 (avg@32) и 78.8 на MMMU Pro Vision. Теперь любой может сравнить с ними свой деплой.

Откуда взялась проблема

После выхода K2 Thinking в Moonshot начали регулярно получать жалобы на странные результаты бенчмарков. Разбор показал, что заметная часть случаев связана с неправильными параметрами декодирования. Первую линию защиты поставили на уровне API: в режиме Thinking принудительно задаются Temperature=1.0 и TopP=0.95, а ещё проверяется, что содержимое «размышлений» корректно возвращается обратно в запросе.

Потом появились аномалии тоньше. В одном из тестов на LiveBenchmark сторонний API заметно проигрывал официальному. Проверка разных провайдеров инфраструктуры показала, что разрыв встречается повсеместно. Вывод в блоге Moonshot такой: чем свободнее веса и чем разнообразнее каналы развёртывания, тем хуже контролируется качество. Если пользователь не отличает дефект самой модели от ошибки инженерной реализации, доверие к открытым моделям рушится.

Шесть проверок

Набор подобран так, чтобы каждый тест ловил конкретный класс сбоев:

• Pre-Verification проверяет, что API действительно соблюдает ограничения на temperature, top_p и другие параметры. Без прохождения этого этапа дальше не идут.
• OCRBench служит пятиминутным дымовым тестом мультимодального конвейера.
• MMMU Pro проверяет предобработку изображений на разнообразных визуальных входах.
• AIME2025 даёт длинную генерацию. Она вскрывает баги KV-кэша и деградацию из-за квантизации, которые короткие тесты не замечают.
• K2VV ToolCall измеряет стабильность срабатывания вызова инструментов (F1) и точность JSON Schema. В агентах ошибки инструментов накапливаются, поэтому их стоит ловить рано.
• SWE-Bench тестирует полноценный агентный кодинг. В открытый код он не вошёл из-за зависимости от песочницы.

Отдельно Moonshot работает с сообществами vLLM, SGLang и KTransformers, чтобы чинить первопричины в движках инференса, а не только фиксировать симптомы. Кроме того, компания даёт провайдерам ранний доступ к моделям до релиза, чтобы те успели проверить свои стеки. Ещё обещан публичный лидерборд вендоров. Предполагается, что прозрачность заставит провайдеров следить за точностью.

Цена проверки и что делать на практике

Моonshot прогнала весь процесс на двух серверах по 8 NVIDIA H20, последовательное выполнение заняло около 15 часов. Скрипты оптимизированы под долгий инференс: есть потоковый вывод, автоматические повторы и возобновление с контрольной точки. Это важно, потому что прогон на AIME2025 с лимитом около 98 тысяч токенов легко прервать сетевым сбоем.

Эталонные настройки лежат в таблице официальных результатов: Temperature 1.0, TopP 0.95, лимиты токенов 16 384 для OCRBench, 98 304 для AIME2025 и 65 536 для MMMU Pro Vision.

Для команд, которые берут K2.6 у стороннего провайдера, порядок действий простой. Сначала прогнать Pre-Verification, потом дымовой OCRBench и только после этого запускать дорогие длинные тесты. Расхождение с эталонными 91.0, 98.4 и 78.8 стоит сначала искать в параметрах декодирования, квантизации и обработке длинного контекста. Выводы о слабости самой модели делать стоит в последнюю очередь.

Провайдерам KVV даёт готовый чек-лист перед запуском. Moonshot при этом признаёт, что покрытие вендоров пока неполное, и ищет более лёгкие агентные тесты. Без них SWE-Bench остаётся самым строгим, но недоступным для самостоятельного воспроизведения звеном проверки.