Локальные LLM
Локальные LLM — это языковые модели, которые работают прямо на вашем железе: ноутбуке, ПК с видеокартой или домашнем сервере — без облака, подписок и передачи данных наружу. Ollama, llama.cpp и LM Studio плюс квантованные GGUF-версии Llama, Qwen и Gemma делают это доступным даже на видеокарте десятилетней давности. Здесь — все наши материалы о локальном запуске ИИ: гайды, тесты железа, квантизация и приватность.
NEWarXiv cs.CVNemotron 3.5 Bolt сжали до 24 ГБ: 74B-модель выдаёт 84 токена в секунду
Habr AIИБ-инженер за 7 дней собрал MCP-сервер, который пугает ИИ-агента уязвимостями
Hugging Face BlogLiquid AI выпустила LFM2.5-24B-A2B: агент с 2B активных параметров
Latent Space (swyx)Инженер Thomson Reuters запустила офлайн-агента на Qwen3.5 9B в Гималаях
Latent Space (swyx)Moonshot выпустила Kimi K3.1 Pro: 2,8 трлн параметров и веса 4 ноября
NVIDIA AI BlogNVIDIA выпустила Nemotron 3.5 Super VL на 120B и модели Bolt для локальных агентов
Habr AIrwkv-quant: одна матрица в bf16 снимает 39% потерь при квантовании RWKV-7 2.9B
Habr AIGemma 26B дообучили на MacBook с 24 ГБ: офлайн-помощник дал 703 из 766
Moonshot выпустила Kimi K3.1 Pro: 2,8 трлн параметров и веса 4 ноября
Kimi K3.1 Pro на 2,8 трлн параметров вошла в топ-4 индекса Artificial Analysis с 55 баллами. Токены подешевели на треть, но задача стоит почти столько же, сколько у…
NVIDIA выпустила Nemotron 3.5 Super VL на 120B и модели Bolt для локальных агентов
NVIDIA открыла Nemotron 3.5 Super VL на 120 млрд параметров с пятикратным выигрышем в скорости и два Bolt: 74B-A9B влезает в 24 ГБ благодаря 2-битной квантизации.
rwkv-quant: одна матрица в bf16 снимает 39% потерь при квантовании RWKV-7 2.9B
Автор rwkv-quant выяснил, почему COMPRESSION на RWKV-7 2.9B теряет +4.04% перплексии против +2.85% на 1.5B: виновата одна матрица, а лечение стоит 0.5% файла.
Mochi 1 от Genmo: открытая видеомодель на 10 млрд параметров под Apache 2.0
ИИ-агенты декомпилировали шутер от первого лица, потратив 500 млрд токенов
Веса LLM заменяют рецептом: как 16 ГБ матриц пытаются свернуть в формулы
ThinkBit сжимает Qwen3-14B до 3,74 ГБ и держит 94,8 на MATH-500
Российских ИИ-агентов для кода уже 18, но «российский» значит три разные вещи
Перепись РуБенча насчитала 18 российских ИИ-агентов для разработки (10 для IDE/CLI и 8 билдеров): от GigaCode, SourceCraft и Kodik до T-Code, Koda и 1С:Напарника.
Matrix Game 4.0 выдаёт 60 FPS на одной игровой видеокарте и обходит конкурента Nvidia
Китайская интерактивная мировая модель Matrix Game 4.0 в реальном времени генерирует играбельную картинку на 60 FPS на одной потребительской видеокарте.
Moonshot выложила Kimi Vendor Verifier: 6 тестов для проверки провайдеров K2.6
Аудит POPE: выбор токенов «yes/no» сдвигает F1 LLaVA-1.5 на 6,13 пункта
TokenWorth учит ИИ-агентов забывать: лучший результат на трёх средах при минимуме токенов
T2Quant перераспределяет точность по шагам диффузионных LLM: до +6,7 п.п.
Moonshot выпустила Kimi K3 на 2,8 трлн параметров с контекстом 1 млн токенов
Moonshot представила Kimi K3: 2,8 трлн параметров, 16 активных экспертов из 896, контекст 1 млн токенов и цена $15 за миллион выходных токенов.
IF-MAP находит, каких агентов улучшать: вдвое больший прирост точности
Метод IF-MAP ранжирует агентов в LLM-системе по потенциалу улучшения: +3,81 п.п. от оптимизации промптов против 1,85 при равномерном выборе и до 65% экономии…