Runpod показал, как развернуть Llama 3.1 8B на vLLM без своих серверов

Runpod опубликовал пошаговое руководство по развёртыванию Llama 3.1 8B Instruct на движке vLLM внутри своей Serverless-платформы. Модель на 8 млрд параметров с контекстом до 128 тысяч токенов превращается в API-эндпоинт, который просыпается под запросы и не требует арендованной видеокарты круглые сутки. Это инструкция, а не релиз нового продукта. Но тема практичная: именно так небольшие команды сегодня выводят открытые модели в продакшн, не строя собственную инфраструктуру.

Llama 3.1 вышла в июле 2024 года в трёх размерах: 8B, 70B и 405B. Версия на 8 млрд параметров самая доступная. В FP16 её веса занимают около 16 ГБ, поэтому она помещается на одну карту с 24 ГБ памяти. Запас под KV-кэш на длинных контекстах всё равно нужно закладывать отдельно.

Как устроена связка

vLLM на сегодня один из самых распространённых движков для инференса открытых моделей. Он построен на PagedAttention: память под KV-кэш выделяется блоками, как страницы в операционной системе, и фрагментация падает. Вместе с continuous batching, когда новые запросы подсаживаются в уже идущий батч, это повышает пропускную способность на одной карте. Бонус для разработчиков: сервер vLLM совместим с форматом OpenAI API, поэтому клиентский код меняется минимально.

Runpod Serverless добавляет слой управления. Модель упаковывается в контейнер-воркер, запросы попадают в очередь, платформа сама поднимает и гасит воркеры, а счёт идёт за время их работы с точностью до секунды. Для vLLM у Runpod есть готовый шаблон, который настраивается переменными окружения: название модели, токен Hugging Face, максимальная длина контекста.

Ключевые параметры схемы:

• Модель: Meta Llama 3.1 8B Instruct, около 8 млрд параметров.
• Контекст: до 128K токенов.
• Веса в FP16: порядка 16 ГБ.
• Движок: vLLM с PagedAttention и continuous batching.
• Интерфейс: OpenAI-совместимый API.
• Платформа: Runpod Serverless, автомасштабирование воркеров, в том числе до нуля.

Подводные камни

Главный из них холодный старт. Если воркер погашен, при первом запросе ему нужно загрузить около 16 ГБ весов в память GPU, и пользователь это почувствует. Смягчают проблему тремя способами: запекают модель в образ контейнера, используют кэширование на стороне платформы или держат хотя бы один активный воркер. Последний вариант съедает часть экономии, ради которой serverless и выбирают.

Второй момент касается доступа. Llama 3.1 распространяется по лицензии Meta, и модель на Hugging Face закрыта: нужно принять условия и передать воркеру токен. Третий связан с памятью. По умолчанию vLLM может резервировать место под весь 128K-контекст, поэтому max model len стоит ограничить реальными потребностями приложения. Тогда останется больше места под параллельные запросы.

Выгода serverless зависит от профиля нагрузки. Конкретных цен в материале нет, так что считать придётся самостоятельно по текущим тарифам Runpod. Ориентир простой: при редких и пиковых запросах посекундная оплата выигрывает у выделенной карты, при стабильно высокой загрузке выделенный сервер, как правило, выходит дешевле.

С чего начать

Для пробного запуска хватит короткой последовательности:

1. Принять лицензию Llama 3.1 на Hugging Face и создать токен доступа. 2. Создать Serverless-эндпоинт на шаблоне vLLM, указать модель и токен. 3. Выбрать GPU с запасом от 24 ГБ и ограничить максимальную длину контекста. 4. Настроить минимальное и максимальное число воркеров, а также время простоя до отключения. 5. Направить существующий OpenAI-клиент на новый эндпоинт и замерить задержку первого токена на холодном и тёплом воркере.

Если холодный старт критичен для вашего продукта, измерьте его до миграции, а не после. Для внутренних инструментов и фоновых задач он обычно терпим. Для чат-интерфейсов с живыми пользователями, скорее всего, придётся держать тёплый воркер.