Kimi выпустила PerceptionBench: ни одна из 16 MLLM не дотянула до 60%

Команда Kimi из Moonshot AI выложила PerceptionBench — бенчмарк на 3000 проверенных вопросов, который измеряет одну вещь: что мультимодальная модель действительно видит на картинке. Среди шестнадцати frontier-MLLM ни одна не набрала 60% точности. В среднем слабее всего модели справляются с галлюцинациями, связанными с восприятием. Датасет и код оценки открыты на GitHub.

Таксономия из провалов, а не из теории

Обычно набор навыков придумывают заранее, а потом под него пишут вопросы. Авторы PerceptionBench пошли в обратную сторону. Они взяли ошибки frontier-моделей на 42 существующих бенчмарках и для каждой нашли самый ранний ошибочный шаг. Сначала была ошибка, потом категория. Так получились десять атомарных способностей.

Дальше отбирали самые показательные провалы и раскладывали их на простые под-вопросы. Часть вопросов написали с нуля на дополнительных изображениях. Внутренний пул вырос до 17 000+ проверенных вопросов. В релиз попали 3000: 60% получены декомпозицией реальных ошибок моделей, 40% написаны заново. Категории выровняли по объёму, а сложность стратифицировали.

Главное требование: ответ находится взглядом, без рассуждений и внешних знаний. Примеры из анонса: на каком часовом делении циферблата стоит символ Gemini, сколько горшков с растениями в кадре (отражения в стекле не считаются), какой из восьми фрагментов закрывает вырез в узоре, что появилось на второй фотографии той же сцены.

Отдельное наблюдение: исходные бенчмарки перекрываются слабо. Средний попарный взвешенный Jaccard — 0,20. Каждый ловит узкий срез ошибок восприятия, и ни один не покрывает картину целиком.

Десять категорий и их вес

В релизе 3000 вопросов распределены так:

• Depth & 3D — 330 (11,00%)
• Visual Counting — 330 (11,00%)
• Visual Relation — 330 (11,00%)
• Visual Attribute — 330 (11,00%)
• Visual Localization — 330 (11,00%)
• Fine-grained Recognition — 290 (9,67%)
• Visual Comparison — 279 (9,30%)
• Hallucination — 271 (9,03%)
• Context Integration — 255 (8,50%)
• OCR — 255 (8,50%)

Проверки идут по конкретным уязвимостям. Модели просят прочитать самый крупный белый текст с сохранением регистра и пунктуации или найти текст по нормализованным координатам. Они считают кубики в штабеле, включая невидимые, и сравнивают толщину линий на графике. Категория Hallucination устроена иначе: в вопросах про белые столы в офисе и логотипы с собакой среди 15 узоров правильный ответ — ноль. Модель, склонная «додумывать» объекты, здесь ошибается.

Что показали результаты и как это применять

Итоги в анонсе выглядят так. Никто из шестнадцати участников не дотянул до 60%. Галлюцинации восприятия оказались слабейшей способностью в среднем. Модели с почти одинаковым общим счётом заметно расходятся в том, что именно они различают. Для выбора модели это важно: общий балл скрывает профиль, а профиль определяет, где модель сломается в вашей задаче.

В доступном тексте анонса нет таблицы с результатами по отдельным моделям, поэтому конкретные рейтинги нужно смотреть в репозитории. Бенчмарк опубликовала сама Moonshot, одна из игроков этого рынка. Поэтому его стоит перепроверять на собственных данных, а не принимать как независимый арбитраж.

Практический вывод для команд, которые встраивают MLLM в продукты, простой. Если вы строите документооборот, смотрите на OCR и Localization. Для робототехники и навигации важнее Depth & 3D и Visual Relation. Для ритейла и инвентаризации критичен Counting. Для всего, где ошибка стоит денег, нужна категория Hallucination: она показывает, насколько модель склонна видеть то, чего нет. Код оценки открыт, так что прогнать кандидатов по категориям и сравнить профили можно за вечер. Это надёжнее, чем сверять одну итоговую цифру на лидерборде.