Perplexity опубликовала токенайзер для нейросетей: в 5 раз быстрее
Perplexity выложила открытый код переписанного токенайзера Unigram. Алгоритм работает в 5 раз быстрее, чем стандартные tokenizers от Hugging Face, и снижает нагрузку на процессор в production на 5-6x. Для AI-сервисов это критично: каждая миллисекунда экономии на токенизации = реальная экономия на серверах. Компании уже могут скачать код и интегрировать без доп. расходов.
AI-обработка оригинала MarkTechPost; редакция Hamidun News
Perplexity AI опубликовала открытый код токенайзера для нейросетей Unigram. По производительности это настоящий прорыв — новый алгоритм работает на 5x быстрее традиционного подхода и почти не нагружает процессор.
Зачем нужен быстрый токенайзер?
Токенайзер вызывается сотни миллионов раз в день на production-серверах. Задержка здесь складывается в серьёзные денежные потери.
- 28 окт. 2026 г.NVIDIA выпустила Nemotron 3.5 Super VL на 120B и модели Bolt для локальных агентов
- 28 окт. 2026 г.Goodfire: агентный анализ расшифровал нейроны, которые считали хаосом
- 28 окт. 2026 г.Modal привлекла $750 млн при оценке $15,75 млрд и дошла до $1 млрд ARR
- 26 окт. 2026 г.Getty Images объявила о банкротстве ради ухода в частные руки: акции упали на 68%
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.