Роботы делятся опытом: флот из 96 машин поднял успех упаковки с 79,2% до 98,3%

Развёртывание робототехнических флотов масштаба десятков устройств требует решения базовой практической проблемы: каждый робот нуждается в контроле оператора при возникновении отказов. Исследователи представили Collective Experience Learning (CEL) — парадигму, в которой все роботы флота учатся на общем опыте выполнения задач, исключая необходимость постоянного человеческого вмешательства.

Архитектура CEL

Система состоит из двух ключевых компонент. Первый — алгоритм FERT (failure-guided experience retrieval fine-tuning). Когда робот встречает отказ, FERT анализирует контекст, в котором тот произошёл, и ищет в накопленной базе успешных траекторий всего флота релевантные сегменты. Действия из этих успешных примеров используются как сигнал для обновления политики робота, без необходимости собирать дополнительные демонстрации экспертов или требовать коррекции от оператора.

Вторая компонента — FATS (fault-tolerant asynchronous training system), спроектированная специально для реальности развёрнутых систем. FATS асинхронно координирует три процесса одновременно: сбор опыта с роботов, оптимизацию общей политики и распространение обновлённой политики назад на устройства. Асинхронная архитектура позволяет системе продолжать работу при отказе отдельных роботов или нарушении коммуникации.

Результаты на практике

Исследователи протестировали CEL на пяти реальных манипуляционных задачах. Результаты чётко демонстрируют эффект масштабирования: при увеличении флота и фиксированном времени сбора данных на одного робота успешность непрерывно растёт. На задаче многостадийной упаковки телефонов этот эффект максимально выраженный: расширение флота с 16 до 96 роботов подняло успешность с 86,7% до 98,3%. Исходная успешность политики до применения CEL составляла 79,2%.

На полном наборе из пяти задач CEL достигает успешности в диапазоне 93,3–99,2%. Все оценки проводились на роботах, исключённых из сбора данных для обучения, с 120 испытаниями на каждую задачу.

Экономика масштабирования

CEL решает критическую проблему развёртывания. Традиционный подход требует одного оператора на каждый новый робот для контроля и коррекции отказов. С CEL и FATS отказы от граждане становятся обучающими сигналами для общей политики, которая совершенствуется за счёт совокупного опыта всего флота. Каждый дополнительный робот вносит вклад в улучшение политики для всех остальных. Затраты на сбор опыта на устройство остаются постоянными, но больший флот просто накапливает больше разнообразного опыта, из которого FERT может извлекать полезные примеры. На материале телефонной упаковки это приводит к скачку от 79,2% успешности при инициализации к почти полной надёжности при максимальном масштабе.