YOLO Annotator: офлайн-разметчик с bbox, OBB и panoptic-сегментацией под GPL-3.0

Разметка данных обычно съедает больше времени, чем обучение модели, и автор YOLO Annotator проверил это на практике. В проекте по детекции дефектов дорожной инфраструктуры команда перешла от детекторов к сегментационным моделям и не нашла подходящего инструмента. Вместо него она написала свой: десктопный разметчик без сервера, который закрывает bbox, повёрнутые рамки, полигоны, маски, а также семантическую и panoptic-сегментацию. Код опубликован под лицензией GPL-3.0, экспорт рассчитан на YOLO, Detectron2 и Mask2Former.

Зачем понадобилась «середина»

Проект стартовал с детекции. Модели и опыт достались от предыдущей работы, но для задач с дорожными дефектами их не хватило. Трещины, выбоины и повреждения покрытия плохо описываются прямоугольником, поэтому команда обратилась к сегментации. Сразу встал вопрос, чем размечать.

Готовые решения автор делит на два лагеря. Серверные CVAT и Label Studio умеют почти всё, но их надо разворачивать и поддерживать. Они непросты в освоении и требовательны к железу. Десктопные вроде labelImg ставятся за минуту, но в основном рисуют только прямоугольники. Нужна была программа, которая запускается на ноутбуке, не требует инфраструктуры и при этом умеет полигональную разметку.

Как инструмент оброс функциями

Первая версия делала bbox и полигоны. Дальше требования копились по мере работы над проектом. Сначала понадобились повёрнутые рамки (OBB), затем маски, потом многопользовательский режим. Под конец добавили семантическую и panoptic-сегментацию. Каждое расширение тянуло за собой вопрос выгрузки: данные должны попадать в обучение без ручных конвертеров.

В анонсе на Хабре перечислены основные возможности:

• разметка bbox и повёрнутых рамок (OBB);
• полигональная разметка и маски;
• семантическая и panoptic-сегментация;
• многопользовательский режим;
• экспорт в форматы, которые принимают YOLO, Detectron2 и Mask2Former без доработки (в заголовке заявлена поддержка YOLO и COCO);
• запуск на ноутбуке, без развёртывания сервера;
• открытый код, лицензия GPL-3.0.

Внутреннее устройство программы автор разбирает в полной статье. В анонсе деталей архитектуры нет, как нет и замеров скорости разметки или сравнения с CVAT.

Что учесть при выборе

Проект выглядит как инструмент, выросший из реальной задачи, и это видно по набору функций. Ему нужны и OBB, и panoptic. Именно эти форматы часто ломают конвейер, когда разметчик умеет одно, а обучающий фреймворк ждёт другое. Если ваша команда небольшая, работает на ноутбуках и сталкивается с похожим зазором между labelImg и CVAT, разметчик стоит попробовать на пилотной выборке.

Перед внедрением проверьте три вещи.

• Лицензия. GPL-3.0 требует открывать производные работы при распространении. Для внутреннего использования это обычно не проблема, а для встраивания в коммерческий продукт её надо согласовать с юристами.
• Формат экспорта. Прогоните небольшой набор через ваш конвейер обучения, прежде чем размечать тысячи кадров. Особенно это касается panoptic: схемы категорий и идентификаторов экземпляров у Detectron2 и Mask2Former отличаются в деталях.
• Многопользовательский режим. Он реализован без центрального сервера. Уточните, как программа сводит разметку нескольких людей и разрешает конфликты, особенно если вам нужна проверка качества и согласованность между аннотаторами.

Для задач, где важны ролевой доступ, ревью и аудит правок на больших командах, серверные системы всё равно остаются логичным выбором. Для остальных случаев появился ещё один лёгкий вариант.