Qwen3-8B на NPU Intel Core Ultra 5 226V: 10,7 ток/с при 15 Вт и тишина 24 дБ

Маркетинг Intel называет Core Ultra «ИИ-компьютером», но реальных сценариев для NPU обычно два: размытие фона в видеозвонке и Copilot. Автор разбора на Habr решил проверить другое: можно ли запустить на NPU полноценную LLM, сколько токенов в секунду она выдаст и сколько энергии съест. Подопытным стал мини-ПК Ninkear L20 на Intel Core Ultra 5 226V с 16 ГБ памяти LPDDR5X-8533 и рабочим диапазоном мощности 17-37 Вт. Ответ: Qwen3-8B в 4-битном сжатии работает на NPU со скоростью 10,7 токена в секунду при 15,4 Вт на весь кристалл.

Три вычислителя на одной шине памяти

Внутри Lunar Lake три блока для нейросетей. CPU на 8 ядер (4 производительных и 4 энергоэффективных) универсален, но на нейросетях медленный. iGPU Intel Arc 130V на архитектуре Xe2 с аппаратным умножением матриц самый быстрый для крупных моделей. NPU Intel AI Boost четвёртого поколения заявлен на 40 TOPS, считает INT8 и FP16 на низкой частоте и напряжении, но не умеет динамические формы, долго компилируется и поддерживает не все операции. Оперативная память у всех общая, копировать модель между устройствами не нужно, но шина одна, и при одновременной работе это заметно.

Токены, джоули и честное поражение NPU

Тест: Qwen3-8B INT4, OpenVINO GenAI 2026.4, промпт 77 токенов, ответ 256, жадная генерация, учитывается второй прогон. Мощность замерена по счётчику RAPL всего кристалла.

• Генерация: NPU 10,7 ток/с, GPU Arc 130V 21,2 ток/с, CPU 10,0 ток/с
• Первый токен: NPU 1,7 с, GPU 0,17 с, CPU 0,46 с
• Чтение промпта на 1329 токенов: NPU 360 ток/с, GPU 117 ток/с, CPU 130 ток/с
• Мощность кристалла: NPU 15,4 Вт, GPU 20,6 Вт, CPU 16,0 Вт
• Энергия на токен: NPU 1,52 Дж, GPU 1,01 Дж, CPU 1,64 Дж

Автор прямо признаёт: графика быстрее вдвое и экономичнее на токен. На задаче в 10 000 токенов (15-20 страниц) NPU тратит 15,6 минуты и 4,2 Вт·ч, графика 7,9 минуты и 2,8 Вт·ч. Разница в 1,4 Вт·ч меньше заряда одного телефона. Процессор равен NPU по генерации, но читает длинный промпт в 12 раз медленнее. По оценке автора, мини-ПК в 2-3 раза экономичнее на токен, чем компьютер с RTX 5070 Ti.

Где NPU всё-таки нужен

Сильная сторона NPU в фоне. Он добавляет к простою 1-2 Вт на фоновых задачах, при нагрузке NPU 99% процессор занят на 7%, графика на 2%. Вентилятор не раскручивается: 22-24 дБ против 33-34 дБ при работе графики и процессора. Если две нейросети запустить на одной графике, каждая замедляется вдвое. Если LLM перенести на NPU, нейросеть на графике сохраняет 92% скорости. Все три блока вместе потребляют 27,5 Вт при загрузке NPU 75%, графики 92%, процессора 62%.

Настройка и подводные камни

Стек на OpenVINO: установка драйверов (у автора NPU 32.0.100.5540, графика 32.0.101.8331), Python 3.12, пакеты openvino, openvino-genai, nncf, huggingface_hub. Для NPU нужны модели с суффиксом -int4-cw-ov: 4-битные симметричные веса с одним масштабом на канал. В GenAI достаточно задать MAX_PROMPT_LEN и MIN_RESPONSE_LEN. Первая компиляция долгая: Qwen3-8B 97 с, Depth Anything 30-40 с, ESRGAN 12 минут. С CACHE_DIR повторный запуск Qwen3-8B занимает 14,6 с.

С Qwen3-TTS (1,7 млрд параметров) вышло интереснее. Основная часть и вокодер NPU не принимает из-за динамических форм и KV-кэша, но предсказатель кодов, вызываемый 15 раз на кадр, автор переэкспортировал в статическую форму (вход 1×16×2048), и он заработал. Скорость RTF: всё на графике 1,73, графика плюс NPU 2,0-2,1, процессор плюс NPU 6,7, только процессор 8,8-9,9. Разборчивость по Whisper 95-100%.

В плагинах Intel для GIMP 3 NPU подходит для Super Resolution (sr_1033 за 46 мс, ESRGAN ×4 за 1,2 с) и сегментации deeplabv3 (19,5 мс), но SD 1.5 и SDXL Inpainting на нём не компилируются, а sseg-adas-0001 даёт неверный результат.

Практический вывод

NPU в Lunar Lake не заменяет графику: для интерактивного чата Arc 130V лучше. Но для ночной пакетной обработки фото, пересказа документов, озвучки книг и фоновых агентов он позволяет работать почти бесшумно, с 1-2 Вт сверху к простою, не занимая GPU и CPU. Главное условие: готовить модели под фиксированные формы и использовать кэш компиляции.