Кэширование промптов

Кэширование промптов — функция на уровне инфраструктуры API, позволяющая провайдеру языковой модели сохранять вычисленный KV-кэш для стабильного префикса промпта и повторно использовать его в последующих запросах от того же клиента. В отличие от внутреннего KV-кэша, который живёт только в рамках одной сессии генерации, кэширование промптов работает между независимыми API-вызовами.

Клиент явно помечает стабильную часть промпта — системный промпт, загруженный документ, базу знаний — как кэшируемую. При первом запросе модель вычисляет и сохраняет KV-состояние для этого префикса. Последующие запросы с тем же префиксом пропускают prefill-вычисления для кэшированной части, снижая задержку и стоимость. Anthropic запустил prompt caching для Claude в августе 2024 года: кэшированные входящие токены стоят около 10% от обычной цены; аналогичный механизм (context caching) доступен в Google Gemini API.

Наибольшую выгоду кэширование даёт при паттернах с длинным неизменным контекстом: RAG-системы, где одна база знаний используется для тысяч вопросов; чат-боты с объёмными системными промптами; агентные пайплайны, многократно обращающиеся к одному документу. Экономия на входящих токенах достигает 80–90%, задержка prefill-фазы снижается кратно.

К 2026 году кэширование промптов доступно у большинства крупных провайдеров. Основные ограничения: кэш инвалидируется через 5–60 минут бездействия в зависимости от провайдера, любое изменение в кэшированном префиксе делает кэш недействительным для всего последующего текста, а минимальный кэшируемый блок составляет несколько сотен токенов. Проектирование промптов с учётом кэширования — отдельная инженерная практика.

Пример

“Чат-бот технической поддержки использует 8 000-токенный системный промпт с инструкциями и базой знаний; при включённом кэшировании в Anthropic API эти токены оплачиваются только при первом запросе за сессию, а все последующие обращения используют кэш, снижая расходы на входящие токены примерно на 90%.