Безопасность и правоHabr AI→ оригинал

Нейросеть Gemma 4 бесплатно на Kaggle: сжали с 62 до 18 ГБ

Google Gemma 4 31B, которая в float16 занимает около 62 ГБ, удалось прогнать через бесплатный Kaggle с лимитом диска 57,6 ГБ. Для этого модель квантовали в NF4 «на лету», разложили по двум T4 через device_map="auto", а после загрузки удалили кэш Hugging Face и сразу отправили результат в Hub. На выходе — 18,3 ГБ.

AI-обработка оригинала Habr AI; редакция Hamidun News
Нейросеть Gemma 4 бесплатно на Kaggle: сжали с 62 до 18 ГБ
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью

Google Gemma 4 — большую нейросеть на 31 млрд параметров удалось ужать с 62 ГБ до 18,3 ГБ и запустить бесплатно на Kaggle, хотя лимит диска там меньше исходного веса модели.

Где запустить Google Gemma 4 бесплатно?

На платформе Kaggle через квантование модели до 18,3 ГБ. Проблема в том, что диск Kaggle ограничен 57,6 ГБ, а оригинальная модель весит 62 ГБ — это решается квантованием на лету и выгрузкой в Hugging Face Hub.

Как сжать Google Gemma с 62 до 18,3 ГБ?

Через квантование в 4 бита, автоматическое удаление кэша во время выполнения и прямую выгрузку результата в Hugging Face Hub.

Можно ли запустить нейросеть бесплатно на Kaggle?

Да, Google Gemma 4 удалось ужать с 62 ГБ до 18,3 ГБ и запустить бесплатно на Kaggle, несмотря на ограничение дискового пространства в 57,6 ГБ.

Сюжет

Вопросы и ответы по материалу

Где запустить Google Gemma 4 бесплатно?

На платформе Kaggle через квантование модели до 18,3 ГБ. Проблема в том, что диск Kaggle ограничен 57,6 ГБ, а оригинальная модель весит 62 ГБ — это решается квантованием на лету и выгрузкой в Hugging Face Hub.

Как сжать Google Gemma с 62 до 18,3 ГБ?

Через квантование в 4 бита, автоматическое удаление кэша во время выполнения и прямую выгрузку результата в Hugging Face Hub.

Можно ли запустить нейросеть бесплатно на Kaggle?

Да, Google Gemma 4 удалось ужать с 62 ГБ до 18,3 ГБ и запустить бесплатно на Kaggle, несмотря на ограничение дискового пространства в 57,6 ГБ.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…