Локальные LLM
Локальные LLM — это языковые модели, которые работают прямо на вашем железе: ноутбуке, ПК с видеокартой или домашнем сервере — без облака, подписок и передачи данных наружу. Ollama, llama.cpp и LM Studio плюс квантованные GGUF-версии Llama, Qwen и Gemma делают это доступным даже на видеокарте десятилетней давности. Здесь — все наши материалы о локальном запуске ИИ: гайды, тесты железа, квантизация и приватность.
Техно-аквариум на две GTX 1660 Super: как я запустил Qwen 2.5 и встроил её в INFERNUM
Автор McCake собрал домашний ПК на двух GTX 1660 Super (12 ГБ VRAM), запустил Qwen 2.5 14B через Ollama и встроил её в интерактивный сайт INFERNUM с 5…
Qwen-Image-2.1 от Alibaba: 7 млрд параметров, 2K и запуск на MacBook Air с 16 ГБ
Команда Qwen выпустила Qwen-Image-2.1, diffusion transformer на 7 млрд параметров с выводом до 2K. Энтузиасты уже гоняют её локально на MacBook Air с 16 ГБ и без…
Ситхараман назвала Индию альтернативой США и Китаю для капитала в ИИ и чипах
Министр финансов Индии заявила, что страна может принять глобальный капитал наравне с США и Китаем. Аргументы: ИИ, полупроводники и зелёные технологии, за ними…
Qwen3.8-27B в IQ3 на RTX 5070 Ti набрал 91,1% и выдал 68,3 tok/s
«Мир Квестов» запустил ИИ-бота Квестошу и протестировал пять моделей на 12 гейтах
Qwen3.6-35B-A3B выдаёт 109 ток/с на RTX 5080 с RTX 3060 на PCIe Gen2 x4
Coral-KV сжимает KV-кэш видеомоделей на 37–48% и поднимает PSNR до 4,95 дБ
RunPod разобрал 4 метода квантизации: от FP16 до INT4 память падает в 4 раза
RunPod сопоставил post-training квантизацию, QAT, смешанную точность и динамическую квантизацию. Переход с FP16 на INT4 сокращает память весов вчетверо, но…
Агентный поиск на open-source моделях: кого нашёл, сколько потратил и где всё сломалось
Автор Habr потратил $20 на экспериментальную систему агентного поиска: протестировал шесть open-source моделей, обнаружил, что лучше всего работает gemma4 с простым…
The Verge запускает дневник про локальный ИИ: Hermes, Qwen и Mac Studio
Runpod собрал дайджест: Llama-2 с контекстом 32k токенов и SDXL 1.0 в открытом доступе
Runpod показала, как GuideLLM помогает выжать максимум из vLLM
Runpod показал, как поднять Serverless-воркер для GPU из GitHub-шаблона за три шага
Программист Сингатуллин подал в реестр ПО память для ИИ-агентов без интернета
Разработчик с 22-летним стажем подал заявку на включение в реестр российского ПО комплекса, который лечит «амнезию» ИИ-агентов в закрытых контурах без выхода в сеть.
«ФлексСофт» обещает нулевой Time-to-Market в финтехе за счёт AI-Native платформ
Гендиректор «ФлексСофт» Аркадий Лобас на форуме «Финтех Х10» заявил, что AI-Native архитектура и платформы сведут Time-to-Market в финансах к нулю. Цифр пока нет.