Reflection выпустила Beam: открытая MoE-модель на 501B параметров под Apache 2.0

Reflection, новая американская лаборатория, выложила на Hugging Face свою первую модель Beam. Это MoE на 501 млрд параметров с 23 млрд активных на токен, текстовым входом, контекстом 1M токенов и лицензией Apache 2.0. Заточена она под кодинг и агентные задачи, а целевая аудитория понятна: команды, которым нужна модель фронтирного масштаба на собственном железе, в своём облаке и с возможностью дообучения под себя.

К релизу приложен собственный харнесс на Rust, открытый, как и сама модель. Reflection и Hugging Face вместе подготовили рецепты для инференса, SFT и RL, а поддержка в transformers, vLLM и SGLang есть с нулевого дня. Полнопараметрический RL предлагают гонять через Miles.

Где у Beam экономия, а где счёт за память

Классическая сделка разреженных MoE: считаешь как маленькая модель, платишь памятью как большая. В Beam 52 слоя, первые три плотные, остальные 49 заменены блоками из 256 экспертов, по 8 маршрутизируемых на токен. Каждый эксперт — SwiGLU MLP с промежуточным размером 2560, около 39M параметров, и все вместе они держат 98,4% весов. Общего эксперта нет. Маршрутизатор повторяет схему DeepSeek-V3 с ограничением по группам: сигмоидные оценки, 8 групп по 32 эксперта, 4 лучшие группы, затем top-8 внутри них. Выходы экспертов нормализуются и масштабируются на 2,5.

В BF16 чекпойнт весит около 1 ТБ. NVFP4 для Blackwell ужимает его примерно до 280 ГБ, часть параметров остаётся в BF16 ради точности. Для Hopper и Ampere есть FP8. Два B200 по 180 ГБ формально вмещают веса, но без места под KV-кэш, поэтому авторы советуют четыре B200 (720 ГБ). Подходят также узел 8×B200, два B300 по 288 ГБ и даже 8×RTX Pro 6000. На H200 нужно минимум 16 карт: на 8 GPU веса по 139 ГБ не оставляют места на 141 ГБ.

Гибридное внимание и необычные остатки

Кэш — вторая статья расходов, и тут Beam выглядит аккуратно. Из 52 слоёв 43 используют скользящее окно в 512 токенов с RoPE, и лишь 9 (каждый шестой плюс последний) смотрят на весь контекст без позиционного кодирования. Вместо него запрос умножается на медленно растущий скейлер (1 + (pos + 1) / 2048) ** 0.1, который работает как температура и не даёт softmax «размазываться» на длинной дистанции. Кэш растёт на 36 КиБ на токен вместо 208 КиБ. На полном контексте 1M это 36,08 ГиБ против 208 ГиБ, на 128K — 4,6 ГиБ против 26 ГиБ. Цифры даны на одну последовательность в BF16.

Внимание использует GQA с 48 query-головами и 8 KV-головами, RMSNorm на запросах и ключах, плюс обучаемый сигмоидный гейт на каждый канал головы. Самая необычная деталь — остаточный поток. На шаге k выход подслоя добавляется с весом 1/sqrt(k), а накопленный поток умножается на sqrt((k-1)/k). Сумма квадратов весов равна единице, масштаб потока постоянен, а после 104 сложений эмбеддинг и каждый подслой вносят одинаковый вклад. Логиты проходят через tanh-softcap на ±30 в FP32.

Что показывают бенчмарки и как это запускать

Цифры предоставила команда Reflection, для BF16 / FP8 / NVFP4:

• SWE-bench Verified: 81,6% / 80,2% / 80,7%
• SWE-bench Pro v1: 66,1% / 65,9% / 65,6%
• SWE-bench Pro v2-Hard: 76,5% / 78,4% / 78,6%
• SWE-bench Multilingual: 78,3% / 78,1% / 77,5%
• Terminal Bench v2.1: 80,1% / 78,9% / 78,2%
• DeepSWE v1.1: 43,3% / 43,0% / 42,7%
• AIME 2026: 97,7% / 98,0% / 97,5%
• GPQA Diamond: 90,6% / 90,3% / 89,3%
• LiveCodeBench: 88,3% / 88,1% / 87,4%
• HLE без инструментов: 36,0% / 36,0% / 34,8%; с инструментами: 51,1% во всех трёх
• MCP Atlas: 80,8% / 81,5% / 80,5%
• BrowseComp с управлением контекстом: 76,8% / 76,7% / 75,6%
• DeepSearchQA: 80,5% / 79,6% / 81,1%
• LongBench v2: 67,5% / 67,6% / 67,2%
• IFBench: 79,6% / 80,7% / 79,2%
• AA-LCR: 78,2% / 79,4% / 78,7%

Главный вывод из таблицы: переход на NVFP4 стоит в среднем доли процента, а вдвое меньший объём весов делает самогост-хостинг реальным.

У модели пять уровней рассуждения (low, medium по умолчанию, high, xhigh, max), опция preserve_thinking сохраняет рассуждения между ходами, а вызов инструментов использует отдельную XML-подобную грамматику. Токенизатор содержит шаблон ответа, и parse_response разделяет рассуждение, ответ и вызовы без регулярок, приводя аргументы к типам из схем инструментов. Для ускорения есть спекулятивный декодинг DFlash2: черновая модель предлагает до 15 токенов, Beam проверяет их за один проход.

На практике запуск такой. В vLLM BF16 поднимается с tensor-parallel-size 16 на двух узлах 8×H200, а в SGLang NVFP4 помещается на 4 B300 с контекстом 1 048 576. В transformers (версия 5.20.1 и выше) работает expert parallelism, где эксперты лежат по одному на устройство, а внимание, плотные слои и эмбеддинги реплицируются (8B параметров, 16 ГБ). Число устройств должно делить 256. Тем, у кого нет Blackwell, предлагают serverless Inference Providers. Reflection дополнительно раздаст $10 000 кредитов Hub за лучшие проекты: демо, квантизации, синтетические датасеты, RL-среды или бенчмарки.