Обучение в контексте (in-context learning)

Обучение в контексте (in-context learning, ICL) — механизм, при котором языковая модель адаптируется к конкретной задаче на основе нескольких пар «вход–выход», помещённых в контекст запроса. Модель не обучается в традиционном смысле — веса остаются неизменными; вместо этого она использует паттерны, заложенные в промпт, как неявные инструкции для нового примера.

ICL опирается на способность трансформерных архитектур к обобщению через механизм attention: модель «видит» входные примеры и их метки одновременно, выявляет закономерность и применяет её к новому запросу в рамках одного прямого прохода. Явление впервые систематически описано в статье GPT-3 компании OpenAI (2020), где было показано, что 175-миллиардная модель значительно улучшает результаты при добавлении 1–32 примеров в промпт. Качество ICL зависит от порядка примеров, их формата и репрезентативности; неудачный порядок может снизить accuracy на 20–30% по сравнению с оптимальным.

Практическая ценность ICL — скорость адаптации без дорогостоящего fine-tuning. Инженер может настроить модель под специфический формат вывода, предметную область или стиль ответа за минуты, составив несколько демонстрационных примеров. Это особенно важно в production-сценариях с быстро меняющимися требованиями, где переобучение модели нецелесообразно по времени или бюджету.

К 2026 году ICL стал неотъемлемой частью prompt engineering. Появились техники, усиливающие ICL: chain-of-thought prompting (добавление промежуточных рассуждений к примерам), automatic prompt optimization через фреймворки DSPy и AdalFlow, а также динамический отбор примеров через семантический поиск по библиотеке демонстраций. При длинных контекстах (128K–1M токенов) ICL конкурирует с fine-tuning по качеству на ряде узкоспециализированных задач.

Пример

“Разработчик передаёт в промпт пять пар «исходный JSON → отформатированный отчёт» и получает корректно оформленные отчёты для произвольных новых данных без изменения кода или весов модели.