BitNet b1.58: как тернарное квантование позволяет запустить 27B-модель без GPU

Несколько лет назад идея запустить 27B-параметровую модель на обычном ноутбуке без GPU казалась абсурдом. В 2024–2025 годах это стало реальностью — благодаря нетрадиционному квантованию: вместо аппроксимации весов сеть строится буквально на двух-трёх дискретных значениях.

Что такое нетрадиционное квантование

Обычное квантование снижает точность весов по шкале float32 → INT8 → INT4 → INT2, сохраняя непрерывный числовой диапазон. Нетрадиционный подход радикальнее: веса принимают только значения {-1, 0, 1} — это тернарное квантование. Microsoft Research разработала семейство BitNet, в котором каждый вес хранится в среднем в 1.58 бита.

• BitNet — архитектура с 1-битными весами при обучении, предложена Microsoft Research в 2023 году
• BitNet b1.58 — тернарная версия с весами {-1, 0, 1}, в среднем 1.58 бита на параметр, опубликована в марте 2024 года
• Gemma 27B в тернарном формате занимает 6–7 ГБ и работает на CPU-only ноутбуке
• llama.cpp поддерживает 1-битные форматы GGUF с марта 2024 года
• Умножения заменяются сложениями и вычитаниями — без нагрузки на FP-юниты процессора

Почему это не то же самое, что INT4

Классическое INT4-квантование — постобучающее сжатие: готовую float32-модель «дожимают» уже после тренировки, и качество при этом неизбежно падает, особенно на малых размерах. Нетрадиционное квантование работает иначе: сеть с самого начала обучается так, чтобы веса располагались в дискретных позициях. Это принципиально меняет характер потерь.

«Модель с весами {-1, 0, 1} при правильном обучении сопоставима с full-precision-аналогом по perplexity, при этом требует в 3–5 раз меньше оперативной памяти», — утверждается в техническом отчёте

Microsoft Research по BitNet b1.58.

По данным открытых бенчмарков, разрыв с float16-базелайном для моделей от 7B составляет 1–3% на большинстве задач — приемлемая цена за то, чтобы модель уместилась в RAM обычного ноутбука.

Что запускается на ноутбуке прямо сейчас

Наиболее показательный пример — модели класса 27B на MacBook с 32 ГБ унифицированной памяти или Windows-ноутбуке с обычным процессором без дискретного GPU. Скорость генерации на Apple M2 Pro для тернарной 27B составляет около 10–15 токенов в секунду — достаточно для большинства практических задач.

Важный нюанс: нетрадиционное квантование работает лучше всего на моделях, обученных с нуля в соответствующем режиме. Постфактум «затернарить» уже готовую модель — например, Llama 3 — без заметной просадки качества сложно: нужно либо дообучение, либо дистилляция через тернарного учителя.

Что это значит

Тернарное и 1-битное квантование сдвигает границу доступности: полноценные языковые модели размером 27B и выше перестают требовать серверного железа. Для корпоративных сценариев с требованиями к конфиденциальности данных это особенно актуально — локальный инференс без облака становится технически и экономически реальным.

Частые вопросы

Как запустить тернарную модель без GPU?

Тернарные и 1-битные модели в формате GGUF запускаются через llama.cpp на обычном процессоре. Достаточно 16–32 ГБ оперативной памяти для моделей от 7B до 27B — GPU не требуется.

Чем BitNet b1.58 отличается от INT4-квантования?

BitNet b1.58 обучается с тернарными весами с самого начала, а не получает их в результате постобучающего сжатия. Это даёт более предсказуемое качество и полностью убирает операции умножения из инференса.