Black Forest Labs выпустила открытую модель FLUX 3 Action на 7B для роботов

Black Forest Labs, студия, которую знают по генератору изображений FLUX, 22 сентября выпустила открытую world action модель FLUX 3 Action. В ней 7 млрд параметров. По данным официального блога компании, на рейтинге NVIDIA RoboLab-120 она превзошла Cosmos 3 Nano, прежнего лучшего представителя открытых моделей, хотя сама заметно компактнее.

Оригинальная публикация Jiqizhixin вышла под заголовком о команде Фей-Фей Ли и модели мира, где смена «底座» (базовой модели) резко подняла успех роботов. Доступный фрагмент текста при этом целиком посвящён релизу Black Forest Labs, а связь между двумя сюжетами в нём не раскрыта. Ниже только то, что подтверждается этим фрагментом.

Что известно о модели

FLUX 3 Action относится к классу world action моделей. Такие системы совмещают предсказание того, как изменится окружающая сцена, с генерацией действий робота. Обычно эти задачи решают разными компонентами, здесь их объединяют в одной модели.

Для Black Forest Labs это выход за пределы привычной территории. Компанию знали как разработчика генерации изображений, а теперь она вышла в физический ИИ. Задел у неё есть: опыт обучения больших визуальных моделей напрямую относится к тому, как машина «видит» и предсказывает сцену.

Основные параметры из доступных данных:

Почему сравнение с Cosmos важно

Cosmos входит в линейку моделей мира от NVIDIA, и эти модели стали для открытого сообщества точкой отсчёта в робототехнике. Обойти такую модель на бенчмарке самой NVIDIA сильный ход: сравнение идёт на площадке, которую задал главный поставщик железа для робототехники.

Важна и размерность. Семь миллиардов параметров помещаются на одну современную GPU. Это упрощает дообучение под конкретного робота и запуск на борту, где ограничены память и энергопотребление. Если превосходство подтвердится независимыми прогонами, получится аргумент в пользу того, что для манипуляций важнее качество визуального и физического представления сцены, чем размер модели.

Оговорки очевидны. Результат взят из блога самой компании, а RoboLab-120 измеряет успех в симуляции или на ограниченном наборе задач. Как модель поведёт себя на реальном оборудовании с шумом датчиков, износом и непредсказуемыми объектами, пока неясно.

Что проверить перед использованием

Команде, которая думает о применении FLUX 3 Action, стоит пройти несколько шагов:

• прочитать оригинальный блог и карточку модели: лицензия, веса, формат входных данных и действий;
• воспроизвести результат на RoboLab-120 на собственном железе, а не полагаться на заявленные цифры;
• проверить совместимость с вашим манипулятором и частотой управления: world action модели чувствительны к латентности;
• прогнать задачи вне бенчмарка, особенно с редкими объектами и плохим освещением;
• сравнить стоимость дообучения 7B-модели с более крупными альтернативами.

Если вас интересует именно заявленная в заголовке работа группы Фей-Фей Ли, ориентируйтесь на первоисточник: в доступном тексте её деталей нет, а выдумывать их было бы неправильно.