Robbyant запустила LingBot-Depth 2.0 для восприятия стекла роботами

Robbyant, подразделение китайской компании Ant Group, сосредоточенное на воплощённом искусственном интеллекте, запустила две новые модели компьютерного зрения: LingBot-Depth 2.0 и LingBot-Vision. Эти модели разработаны для решения одной из давних и технически сложных проблем робототехники — способности роботов правильно воспринимать и взаимодействовать с прозрачными объектами, включая стекло, зеркала и другие стеклянные поверхности.

Как роботы упускали из виду стекло

Для компьютерного зрения робота стекло и зеркала — это классическое «слепое пятно». Традиционные системы машинного зрения опираются на инфракрасные датчики (активные ИК-системы) и лидары, которые посылают свет или радиоволны и анализируют отражение от объектов. Прозрачные материалы пропускают или рассеивают эти сигналы по-неожиданному, делая восприятие глубины и положения объекта неточным.

В результате робот в реальном мире может столкнуться со стеклянной дверью или промахнуться мимо стеклянного кубка при попытке его захватить. Эта проблема особенно остра для робототехнических приложений в логистике, e-commerce и бытовой автоматизации, где стекло встречается повсеместно.

Что умеют новые модели Robbyant

LingBot-Depth 2.0 — это следующее поколение модели пространственного восприятия (spatial perception model), которое опирается на компьютерное зрение, а не только на аппаратные датчики. Модель обучена различать и воспринимать стекло, зеркала и полупрозрачные объекты, позволяя роботам строить более точную трёхмерную карту окружающего пространства.

LingBot-Vision — это фундаментальная модель компьютерного зрения, служащая основой для разработки других специализированных визуальных AI-систем. По аналогии с тем, как большие языковые модели типа GPT используются в качестве основы для создания специализированных ассистентов, LingBot-Vision может быть адаптирована для различных задач робототехники, от автоматизации склада до домашней робототехники.

• LingBot-Depth 2.0 — модель пространственного восприятия нового поколения для восприятия прозрачных объектов
• LingBot-Vision — фундаментальная модель компьютерного зрения для робототехники
• Целевая проблема: традиционные датчики не видят стекло и зеркала
• Подход: переход к компьютерному зрению вместо полной зависимости от ИК/лидара
• Разработчик: Robbyant (подразделение Ant Group, Китай)

Контекст: гонка в воплощённом AI

Запуск LingBot обозначает обострение глобальной конкуренции между AI-лабораториями по разработке способностей восприятия для физических роботов. По мере того как модели компьютерного зрения становятся всё мощнее (особенно мультимодальные модели типа GPT-4V или Claude 3.5 Vision), робототехнические компании начинают отходить от полной зависимости от специализированных аппаратных датчиков в сторону более универсальных систем восприятия на основе видения.

Это стратегически подходит Ant Group, которая имеет существенный опыт в логистике, e-commerce (через Alibaba) и финтехе. Все эти области требуют массовой робот-автоматизации, включая манипулирование мелкими предметами и навигацию в сложных окружениях.

Что это значит

Запуск LingBot-Depth 2.0 и LingBot-Vision показывает, что компьютерное зрение роботов достаточно созрело для решения реальных, специфичных инженерных проблем. Это может привести к более дешёвым и универсальным робототехническим системам, которые опираются на мощные AI-модели вместо дорогостоящих специализированных сенсоров. В перспективе роботы смогут работать в обычных бытовых и промышленных окружениях без специального оборудования.