Freefield: открытая студия на ComfyUI с 120 приложениями для картинок, видео и звука

Freefield — это браузерная студия для генерации картинок, видео, VFX-эффектов и музыки. Всё собрано в одном интерфейсе. Внутри работает ComfyUI, популярный редактор, в котором нейросетевой пайплайн собирают из блоков-«нод», и модели с открытыми весами. Запустить студию можно на своей видеокарте или в облаке Modal. В каталоге около 120 приложений и шаблонов, и многие из них используют общие пайплайны. Код лежит на GitHub, есть и отдельная карта потребления видеопамяти.

Как это работает для пользователя

Схема простая. Выбираешь инструмент, загружаешь референс, задаёшь параметры. Студия сама запускает готовый workflow, то есть заранее настроенную цепочку нод. Руками собирать граф не нужно.

Две функции выделяются отдельно:

• Use in… передаёт результат в следующий инструмент. Картинку из генератора можно сразу отправить в видеомодель. • История хранит seed (число, от которого зависит случайность генерации) и все настройки. Удачный результат можно воспроизвести.

Любой workflow можно скачать и открыть нодами в ComfyUI. Если упрощённого интерфейса не хватает, можно перейти на полное управление.

Какие модели внутри

Каталог разбит по задачам. Названия моделей и их роли такие:

• FLUX 3 Klein, Z-Image, Qwen Image Edit — генерация и редактирование картинок, смена освещения (relight), работа с персонажами и товарами. • LTX-2.5, Wan, MiniMax H3 — видео: генерация, управление камерой, lipsync (синхронизация губ с речью) и замена персонажей. • Effects — отдельный раздел с 24 LoRA-эффектами. LoRA — небольшая надстройка над моделью, которая добавляет определённый визуальный приём. • MiniMax Music 3 и Stable Audio 3 — музыка и звуковые эффекты.

Один интерфейс закрывает почти весь путь от референса до ролика с саундтреком. Для небольшой студии, которая делает рекламу или контент для товаров, это удобно: не нужно держать десяток разных сервисов.

Сколько это весит и на каком железе работает

Интерфейс работает в браузере. Для локального backend нужно окружение ComfyUI/PyTorch под свою видеокарту. Параметры по режимам:

• Create Image — разрешение 1–2K. • LTX Image to Video — ролики 2–10 секунд, 24 кадра в секунду. • Effects — 480×832 или 832×480, 16 кадров в секунду, 3 или 5 секунд.

Автор ориентировался на RTX 3090 Ti с 24 ГБ видеопамяти для части задач. Пиковое потребление VRAM он измерил в опубликованных примерах на L40S с 48 ГБ:

• Create Image — 15,4 ГБ; • Cinema Studio Video — 44,3 ГБ.

Вторая цифра не помещается в 24 ГБ без дополнительных мер. Автор оговаривает, что замеры зависят от настроек и от того, как модели выгружаются из памяти. Весь каталог на 24 ГБ пока не проверен. Минимум оперативной памяти не указан. Покупать железо под этот проект стоит только после просмотра карты VRAM.

Пример скорости: эффект morph выдал готовое видео за 161 секунду от запуска. Замер сделан на backend с H100 самим автором, независимой проверки пока нет.

Веса загружаются пакетами:

• FLUX 3 — 17,8 ГБ; • LTX-2 — 66 ГБ.

Качать весь каталог не требуется. Достаточно тех пакетов, которые нужны для выбранных инструментов.

Кому это пригодится

Freefield не создаёт новых моделей. Он собирает существующие открытые в единую оболочку с готовыми сценариями. Выигрывают те, кто хочет работать локально или на арендованном GPU и не зависеть от закрытых сервисов с подпиской. Заодно сохраняется переход в ComfyUI: упрощённый интерфейс не запирает пользователя.

Есть и ограничения. Для видео нужна серьёзная видеопамять, а полная совместимость каталога с картой на 24 ГБ не подтверждена. Тот, кто хочет запускать всё на домашней машине, должен заранее проверить нужные режимы по карте VRAM. Облачный вариант через Modal снимает проблему железа, но тогда расходы считаются по времени использования GPU.