Локальные LLM

Локальные LLM — это языковые модели, которые работают прямо на вашем железе: ноутбуке, ПК с видеокартой или домашнем сервере — без облака, подписок и передачи данных наружу. Ollama, llama.cpp и LM Studio плюс квантованные GGUF-версии Llama, Qwen и Gemma делают это доступным даже на видеокарте десятилетней давности. Здесь — все наши материалы о локальном запуске ИИ: гайды, тесты железа, квантизация и приватность.

Официальный сайт ↗332 материалов

В глоссарии:Локальный ИИ (on-device)Квантизация Модель с открытыми весами Видеопамять (VRAM)

Локальные LLM

GLiNER 2 показал, как компактные энкодеры догоняют LLM в NER и классификации

Ollama Cloud сравнили в code review: DeepSeek v3.1 оказалась сильнее Qwen и GPT-OSS

Zhipu AI выпустила GLM-OCR — компактную OCR-модель на 0,9 млрд параметров для документов

AMD RX580 запустила LLM дома: как победить ROCm, Ollama и добиться GPU inference

В Unity показали, как собрать голосовых неигровых персонажей с памятью и контекстом мира

Nvidia добавила к OpenClaw защитный стек NemoClaw для персональных AI-агентов

Mistral выпустила Small 4 — 119-миллиардную MoE-модель для reasoning, кода и мультимодальности

Nvidia превратила OpenClaw в корпоративную платформу с безопасностью и локальными ИИ-моделями

Claude и Ollama помогли селлеру Ozon за день обработать сертификаты и вернуть 1000 SKU

Ollama и LiteLLM: как превратить Python-скрипт в полноценный консольный LLM-чат

AI Independence Bench сравнил 49 моделей и измерил их устойчивость к давлению пользователя

Garage Eight: как AI меняет работу аналитиков и почему джун-позиции исчезают

Apple делает ставку не на гигантские модели, а на локальный ИИ в чипах серии M

KDnuggets выбрал 10 X-аккаунтов, за которыми стоит следить ради новостей о LLM

Как запустить DeepSeek на своём сервере: память, конфиги и полная приватность

Stable Diffusion XL дома: руководство для тех, кто считал это слишком сложным

Google представила TurboQuant: 6-кратное сжатие KV-кэша LLM без потери точности

Doka представила локального AI-агента для России без vpn, подписки и облака

MolmoWeb-4B от Ai2: веб-агент, который видит сайты как человек, без HTML-парсинга

Ботинок: консольный ИИ-агент для серверов, который работает локально и не требует много памяти

Qwen3.5: запуск reasoning-моделей в gguf и 4-битном формате через Colab

Microsoft GraphRAG и Ollama: как графовый RAG показал себя на локальных моделях

OpenClaw запустили на Wiren Board: как AI-агент управляет контроллером и пишет скрипты

Cursor выпустила TypeScript SDK для coding-агентов с облачными песочницами и оплатой по токенам

Автор Habr AI предложил строить детерминированный ИИ на MacBook Air вместо GPU-гонки