LangChain подключил ScaleDown к Deep Agents для сжатия контекста

LangChain опубликовал материал о том, как подключить модели ScaleDown к Deep Agents, своему open-source каркасу для долгоживущих агентов. Задача у ScaleDown узкая: взять на себя три операции, которые в длинных сессиях съедают больше всего контекста. Это суммаризация истории, сжатие результатов инструментов и извлечение структурированных данных. Обещание сформулировано просто: быстрее и дешевле, чем гонять всё через основную модель. Конкретных бенчмарков в доступном описании нет, поэтому разбираем механику и риски, а не цифры.

Почему длинные агенты упираются в контекст

Агент, который работает часами, накапливает мусор. Каждый вызов инструмента возвращает вывод grep, кусок HTML, огромный JSON из API или лог сборки. Всё это остаётся в контексте и оплачивается заново на каждом следующем шаге. Растёт цена, растёт задержка, а качество рассуждений к сороковому шагу обычно падает: нужный факт тонет в шуме.

Deep Agents уже решает часть проблемы архитектурно: планирование, файловая система для выгрузки больших объектов, субагенты с изолированным контекстом. Остаётся суммаризация, и здесь возникает странная картина. Сжатие истории, по сути механическую работу, обычно выполняет та же дорогая модель, что и основное рассуждение.

Что предлагает ScaleDown

Судя по описанию, ScaleDown делает ставку на constrained decoding: генерация ограничивается схемой или грамматикой, и модель физически не может выйти за заданный формат. Для сжатия и извлечения данных это подходит. Ответ получается короткой и предсказуемой структурой, которую не нужно парсить с повторными попытками и валидировать при каждой ошибке. Специализированная модель при этом может быть заметно меньше универсальной, отсюда и ожидаемая экономия.

Что известно об интеграции:

• Связка работает через LangChain и Deep Agents.
• Суммаризация истории: длинная переписка заменяется компактной сводкой.
• Сжатие результатов инструментов: громоздкие ответы ужимаются до значимых полей.
• Извлечение данных: из неструктурированного вывода достаётся заданная схема.
• Заявленный эффект: ниже задержка и стоимость шага.
• Публичных метрик (степень сжатия, качество, цена за миллион токенов) в материале нет.

Где это может сломаться

Сжатие всегда теряет информацию. Если сводка выкинула деталь, которая понадобится на шаге 40, агент не узнает, что она существовала. Constrained decoding гарантирует формат ответа, но не его верность: корректный JSON с неверным содержимым остаётся неверным.

Есть и менее очевидный эффект. Переписывая историю, вы меняете префикс запроса и ломаете prompt caching у основной модели. Дешёвая сводка может в итоге обойтись дороже, чем кэшированный длинный контекст. Выигрыш зависит от провайдера, длины сессий и того, как часто вы пересобираете контекст.

Как подойти к проверке на практике

Начните не с интеграции, а с измерений. Возьмите трейсы реальных запусков и разложите токены по категориям: история, ответы инструментов, системные инструкции, рассуждения. Обычно львиная доля приходится на ответы инструментов, и именно с них разумно начинать.

Дальше три шага:

• Оставляйте оригинал в файловой системе агента, а в контекст кладите сжатую версию со ссылкой на полный файл. Тогда потерянную деталь можно будет перечитать.
• Сравнивайте варианты по доле успешно завершённых задач, а не только по стоимости токенов. Дешёвый агент, который чаще не доделывает работу, обходится дороже.
• Отдельно считайте эффект на кэш: сравните общий счёт с кэшем и без пересборки контекста.

Если на ваших трейсах сжатие тянет заметную долю бюджета, связка стоит эксперимента. Если контексты короткие, а сессии редкие, выгода, скорее всего, окажется в пределах погрешности.