Локальные модели на видеокарте: тест Qwen и Gemma на Tesla V100
Tesla V100 из 2017 года справляется с современными LLM-моделями вроде Qwen35B и GPT-OSS-20B. Скорость генерации варьируется от 38 до 109 токенов в секунду в зависимости от модели. На тестах: создание сайтов, игр, обработка документов. Минимум 16 ГБ памяти, но 24 ГБ предпочтительнее для универсального использования.
AI-обработка оригинала Habr AI; редакция Hamidun News
Локальные модели ИИ можно запускать на видеокартах, выпущенных ещё в 2017 году. Мы протестировали пять популярных открытых моделей (от Qwen до Gemma) на Tesla V100 в пяти реальных сценариях — от генерации текста до создания кода и игр.
Какие нейросети для текста работают на V100?
В тесте использовались пять открытых моделей, включая Qwen и Gemma. Скорость работы составляет 38–109 токенов в секунду в зависимости от модели и квантования.
Можно ли использовать старый V100 для локальных нейросетей?
Да, согласно тесту, V100 работает с современными LLM для генерации текста, написания кода и других реальных сценариев.
Сколько токенов в секунду выдает
Tesla V100 при работе с локальными моделями? 38–109 токенов в секунду в зависимости от модели, размера и квантования.
- 29 окт. 2026 г.Liquid AI выпустила LFM3: шесть мультимодальных моделей на 2B с контекстом 256K
- 29 окт. 2026 г.pgvector против Qdrant: бенчмарк на 100 000 векторов размерности 1536
- 28 окт. 2026 г.AdaPRA поднял Qwen 80B на 24,5 пункта в data science-лидербордах
- 28 окт. 2026 г.Keystone убрал имя модели из кода: open-source LLM-шлюз добавляет 0,64 мс
Вопросы и ответы по материалу
Какие нейросети для текста работают на V100?
В тесте использовались пять открытых моделей, включая Qwen и Gemma. Скорость работы составляет 38–109 токенов в секунду в зависимости от модели и квантования.
Можно ли использовать старый V100 для локальных нейросетей?
Да, согласно тесту, V100 работает с современными LLM для генерации текста, написания кода и других реальных сценариев.
Сколько токенов в секунду выдает Tesla V100 при работе с локальными моделями?
38–109 токенов в секунду в зависимости от модели, размера и квантования.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.