Qwen3.8-27B в IQ3 на RTX 5070 Ti набрал 91,1% и выдал 68,3 tok/s

Автор материала на Habr запустил Qwen3.8-27B в квантовании IQ3 на одной видеокарте RTX 5070 Ti и получил 91,1% успешно решённых задач из собственного набора. Сводный индекс — 82,3, скорость генерации — 68,3 токена в секунду в один поток при контексте 131K. Это первая часть цикла: затем локальный запуск сравнят с российскими облачными провайдерами по качеству и по цене в рублях.

Что измерили

В анонсе цифры привязаны к «моим задачам». Значит, перед нами авторский бенчмарк, а не публичный тест вроде тех, что гоняют лаборатории. Для практики это даже полезнее: свои задачи точнее показывают, пригодна ли модель для конкретной работы. Но сравнивать результат с таблицами лидербордов напрямую нельзя.

Итоговые параметры прогона:

• Модель: Qwen3.8-27B, квантование IQ3
• Железо: одна RTX 5070 Ti
• Доля успешно решённых задач: 91,1%
• Сводный индекс: 82,3
• Скорость: 68,3 tok/s, один поток
• Контекст: 131K токенов

Почему IQ3 и 131K вызывают споры

Автор пишет, что слышал много мнений вроде «131K мало» и «IQ3 глупый». Возражения понятны. IQ3 — это сжатие весов примерно до трёх бит на параметр, и у такого квантования есть репутация качества, которое просело. Контекст в 131K тоже кажется скромным на фоне моделей с окном в сотни тысяч и миллионы токенов.

Объяснение лежит в железе. У RTX 5070 Ti 16 ГБ видеопамяти GDDR7. Грубая прикидка: 27 млрд параметров при 3–3,5 бита на вес дают порядка 10–11 ГБ только на веса. Остаток уходит на KV-кэш, который растёт вместе с контекстом. Это моя оценка, точная цифра зависит от архитектуры модели и от того, квантован ли кэш. Но она показывает, почему связка «IQ3 плюс 131K» выглядит не случайной. Квант покрупнее вытеснил бы длинный контекст из памяти.

Скорость в 68,3 токена в секунду выше темпа чтения и достаточна для интерактивной работы: чата, правок кода, коротких агентных циклов.

Как использовать эти данные

Готовые числа автора лучше воспринимать как методику, а не как вердикт.

• Соберите 30–50 задач из своей реальной работы: код, разбор документов, извлечение данных. Заранее определите, что считается успехом.
• Прогоните одну модель в нескольких квантах, например IQ3 и что-то потяжелее, и в облаке. Фиксируйте процент успехов и скорость.
• Длинный контекст тестируйте отдельно: заполните окно до 100K и больше и проверьте, как падает качество.
• Считайте деньги честно. С одной стороны — цена карты, электричество и ваше время на обслуживание. С другой — рубли за миллион токенов и реальный объём трафика.

Если у вас один пользователь и задачи вписываются в 131K, локальная карта с 16 ГБ, судя по этим данным, может закрыть большую часть работы. Для нескольких параллельных потоков вывод стоит делать только после облачных цифр из второй части.