Black Forest Labs выпустила FLUX.3 Klein: 1024×1024 за 2 секунды на H100

Black Forest Labs выпустила FLUX.3 Image Klein, новую открытую модель генерации изображений. Hugging Face объявила о поддержке в Diffusers в день релиза. Одна модель закрывает text-to-image и image-to-image с несколькими референсами, а главная новинка — управление раскладкой через bounding box, которые записываются прямо в промпт. Дистиллированный чекпоинт выдаёт кадр 1024×1024 примерно за 2 секунды на NVIDIA H100.

Раскладка кадра прямо в промпте

К описанию сцены добавляется JSON-список регионов. У каждого есть идентификатор, рамка bbox и описание desc, а в основном тексте регион упоминается через тег вроде `<silhouette_1>`. Координаты записываются в порядке [y_min, x_min, y_max, x_max] в нормализованной шкале 0–1000, поэтому одна и та же рамка работает при любом разрешении.

Для редактирования схема расширена. Каждый регион получает src_bbox (откуда взять содержимое референса) и tgt_bbox (куда его поместить). Если рамки совпадают, область остаётся на месте. В примере разработчики сдвигают вязаного рыцаря вверх и влево, а фон, утёс, иглу, дракона и огонь фиксируют. Несколько референсов в промпте называются `<ref_image_0>`, `<ref_image_1>` и так далее в порядке передачи.

Скорость и память: что показали замеры

Замеры сделаны на одной H100 80GB без оффлоадинга, со средним по трём прогонам после прогрева, для distilled-чекпоинта на 16 шагах:

• Text-to-image, 1024×1024: 1,93 с, пик памяти 23,8 GiB
• Image-to-image с одним референсом 1024×1024: 3,87 с, 23,8 GiB
• Редактирование раскладки (рыцарь), референс 1360×768: 4,10 с, 23,8 GiB

Референс удваивает время из-за архитектуры. VAE Flux.2 сжимает изображение в 8 раз по каждой стороне до 32 каналов, затем каждый патч 2×2 упаковывается в токен со 128 каналами. Один токен покрывает 16×16 пикселей, а картинка 1024×1024 даёт 4 096 токенов. Референс добавляет столько же в каждый вызов трансформера: text-to-image — 4 256 токенов, image-to-image — 8 272, layout text-to-image — 4 336, layout image-to-image — 8 800.

Текстовый энкодер — Qwen3-VL. Модель берёт скрытые состояния восьми из 36 слоёв (4, 8, … 32) и склеивает их: каждый токен превращается в вектор 8 × 2560 = 20 480 измерений, который линейный слой проецирует в ширину трансформера, 3072.

Чекпоинты, квантизация и дообучение

В коллекции два открытых чекпоинта:

• black-forest-labs/flux-3-image-klein — дистиллированный по шагам, 16 шагов, без CFG
• black-forest-labs/flux-3-image-klein-base — базовый, 50 шагов, CFG; именно его предлагают дообучать

Трансформер доступен одним файлом в bf16 и в двух квантизованных форматах. fp8r (rowwise FP8) требует compute capability 8.9+ (Ada, Hopper, Blackwell). На других GPU веса деквантизуются на каждом шаге: память экономится, ускорения нет. nvfp4 даёт быстрые ядра на Blackwell и требует flashinfer-python и flashinfer-cubin одной версии. Загрузка идёт через from_single_file с BFLQuantizationConfig.

Пиковая память после загрузки и после инференса:

• nvfp4 (RTX 6000): 13,4 и 15,3 GiB
• fp8r (H100): 14,35 и 16,27 GiB
• bf16 (H100): 18,80 и 20,72 GiB

Пайплайн поставляется как Modular Diffusers: блоки можно убирать или добавлять свои. Для нехватки памяти есть квантизованный трансформер, отдельный запуск текстового энкодера с освобождением (он нужен один раз на картинку) и автоматический CPU-оффлоадинг через ComponentsManager (его авторы не бенчмаркали).

Для LoRA в diffusers есть два скрипта DreamBooth: train_dreambooth_lora_flux3_klein.py для генерации и train_dreambooth_lora_flux3_klein_img2img.py для редактирования на триплетах (референс, цель, инструкция). В примере по датасету 1920-raider-waite-tarot-public-domain стиль таро учится с триггером trtcrd: rank 16, lora_alpha 16, lr 1e-4, 1500 шагов, bf16, batch size 1. Экономят память флаги --gradient_checkpointing, --cache_latents и --use_8bit_adam. Можно обучать и через AI Toolkit от Ostris.

С чего начать

Установите свежие diffusers и transformers (`pip install -U diffusers transformers`), загрузите ModularPipeline из black-forest-labs/flux-3-image-klein в bfloat16 и вызовите пайплайн с prompt и output="images". Подробное описание сцены с объектом, местом, светом, композицией и стилем работает лучше короткой фразы. Для редактирования пишите промпт как подпись к желаемому результату с изменением. Для карт GPU поменьше берите fp8r или nvfp4. Попробовать модель можно и в Space на Hugging Face без установки.