Как запустить нейросеть дешевле: Google TurboQuant оптимизирует память
Google показала TurboQuant — метод сжатия KV-кэша, который может уменьшить память для инференса минимум в шесть раз и ускорить расчёт внимания. Это особенно важно для локального запуска LLM и длинных диалогов. Речь не о весах модели, а о её рабочей памяти во время генерации. Но рост общих затрат на AI-инфраструктуру технология вряд ли остановит.
AI-обработка оригинала ZDNet AI; редакция Hamidun News
Google Research 24 марта разработала TurboQuant — алгоритм для локальных нейросетей, который уменьшает требования к памяти во время ответа.
Что такое KV-кэш в нейросетях?
Это рабочая память, в которой языковая модель хранит промежуточные ключи и значения для уже обработанных токенов. Чем длиннее диалог или документ, тем больше памяти занимает этот кэш, и тем дороже запуск модели.
- 29 окт. 2026 г.Anthropic в S-1 показала: 11 900 клиентов платят от $100 тысяч в год
- 29 окт. 2026 г.Google DeepMind нашла дефект softmax: градиент обнуляется при отрыве 16,6
- 28 окт. 2026 г.CNN 2015 года обошла GPT-6 Astra и Claude Fable 5.1 в диагностике рака кожи
- 28 окт. 2026 г.Google научила LLM «спать»: SLEEP закрепляет знания в весах, до 10 млн токенов
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.