Роутинг моделей

Роутинг моделей — архитектурный паттерн в AI-системах, при котором промежуточный слой (роутер) анализирует входящий запрос и направляет его к одной из нескольких моделей: мощной и дорогой для сложных задач или быстрой и дешёвой для простых. Цель — оптимизация соотношения качество/стоимость/латентность на уровне всего потока запросов, а не отдельного вызова.

Роутер принимает решение на основе признаков запроса: длины, лексической сложности, тематики, типа требуемого вывода. Простейшие роутеры используют эвристики (длина > N токенов → тяжёлая модель), более сложные — отдельную классификационную модель, обученную предсказывать, справится ли лёгкая модель с данным запросом без потери качества. Проект RouteLLM (Berkeley, 2024) показал, что грамотный роутинг позволяет сократить долю запросов к GPT-4-уровню моделям на 40–60% при сохранении более 95% от baseline quality на стандартных бенчмарках.

Экономический эффект роутинга существенен: разница в стоимости вызова между frontier-моделью (GPT-4o, Claude Opus) и быстрой (GPT-4o-mini, Claude Haiku) составляет 10–50× при сопоставимом качестве на простых задачах. Для систем с миллионами запросов в сутки это означает экономию в сотни тысяч долларов в месяц. Помимо стоимости, роутинг снижает среднюю латентность: простые запросы обрабатываются быстрыми моделями за 200–500 мс вместо 2–5 секунд у frontier-вариантов.

К 2026 году роутинг стал встроенной функцией ряда AI-платформ: AWS Bedrock, Azure AI Studio и ряд провайдеров предоставляют инструменты для настройки политик маршрутизации. Open-source решения — LiteLLM, Not Diamond, Martian — предлагают готовые роутеры с настраиваемыми стратегиями. Актуальный тренд — адаптивный роутинг на основе обратной связи: система обучается на результатах предыдущих запросов и постепенно уточняет пороги переключения между моделями в реальном времени.

Пример

“Платформа клиентской поддержки направляет простые запросы о статусе заказа к Claude Haiku (40 мс, минимальная стоимость), а сложные претензии с юридическими формулировками — к Claude Opus, автоматически снижая средний счёт за API на 60–70%.