RealityBench: 26 VLM проверили на документировании физической работы в Blender

Исследователи представили RealityBench — набор из одиннадцати сред в Blender. На нём проверили 26 vision-language моделей: смогут ли они по кадру с камеры рабочего или умных очков понять, что делает человек, и помочь ему с документированием. Лучшие модели почти полностью решают задачи, где ответ написан текстом прямо в кадре. Но они слабо читают измерения и плохо оценивают мелкие детали и пространственные отношения. В приёмке кадров топ-модели по качеству не отличить от одного непрофильного асессора.

Зачем нужен синтетический бенчмарк

Идея помогать работнику в физическом мире через подсказки занимает ИИ-агентов десятилетиями. Одно из базовых умений здесь — понять, что человек делает, глядя его глазами, и помочь оформить результат. Реальных данных для проверки таких систем почти нет: большинство записей физической работы закрыты, а вариативность слишком велика для аккуратного сравнения.

Кухни и склады дают предсказуемый свет, геометрию и набор предметов. Монтаж солнечных панелей на крыше или ремонт автомобиля устроены иначе: условия не ограничены, разброс огромный. Авторы смоделировали такие сценарии в Blender и построили одиннадцать окружений с двумя типами задач.

• Acceptability: подходит ли данный ракурс как доказательство выполненной работы.
• Documentation: понимает ли агент по этому ракурсу состояние среды, важное для задачи.

Что показали 26 моделей

• Охват: 11 сред в Blender, 26 VLM.
• Документирование: топ-модели в основном справляются, если ответ — текст в кадре.
• Слабые места: чтение измерений, мелкие детали, пространственные отношения, например наклон мерной ленты.
• Приёмка кадров: лучшие модели статистически неотличимы от одного непрофильного асессора.
• Стоимость прогона: в диапазоне цены человеческой проверки.
• Перенос на реальность: на трёх вопросах с реальными фото рейтинги моделей на рендерах сохранились.

С приёмкой кадров всё сложнее, чем с документированием. Люди-асессоры расходятся друг с другом, поэтому эталон размыт. Авторы взяли оценщика, который совпадает с мнением большинства примерно так же часто, как отдельный человек. На этой шкале лучшие модели не отличаются от одного асессора, не участвовавшего в написании работы. При этом их прогон стоит примерно как проход человека.

В трёх средах авторы смогли разобрать причины ошибок приёмки. Большинство ложных отказов возникает из-за неверного прочтения сцены, а не требования. Модель понимает, что нужно показать, но неправильно видит, что на кадре. Поэтому слабое зрение на мелких деталях напрямую бьёт по полезности такой системы.

Совпадение рейтингов на рендерах и реальных фото — аргумент в пользу самого подхода. Выборка маленькая, всего три вопроса с реальными снимками, поэтому это скорее проверка осуществимости, чем окончательное доказательство.

Что учесть командам, которые строят полевые ИИ-инструменты

Для продуктов с умными очками и фотоотчётами вывод прагматичный. Распознавание надписей и табличек можно автоматизировать уже сейчас. Показания мерной ленты, зазоры и наклоны лучше оставлять на проверку человеку или подтверждать вторым снимком.

При оценке приёмки кадров сравнивайте модель с одним живым ревьюером, а не с воображаемой истиной. Когда люди сами расходятся, такой замер честнее. Раз основная часть ошибок идёт от неверного чтения сцены, улучшать систему стоит на уровне восприятия: ракурсы, крупные планы, повторная съёмка. Переписывание чек-листов тут даст меньше.

Синтетические среды в Blender позволяют тестировать модели там, где реальные данные закрыты. Новое поколение VLM можно прогнать через них раньше, чем появятся полевые пилоты.