Файнтюнинг (дообучение)

Файнтюнинг берёт фундаментальную модель, которая уже понимает язык, и продолжает её обучение на узком наборе данных — обычно от сотен до десятков тысяч примеров нужных вам входов и выходов. Веса модели сдвигаются в сторону вашей задачи: юридические формулировки, медицинское кодирование, тон бренда или строгий формат ответа вроде JSON.

Лучше всего он работает, когда нужно стабильное поведение, а не свежие знания. Учить модель новым фактам через файнтюнинг дорого и ненадёжно — факты устаревают, а галлюцинации остаются. А вот стиль, формат или политику принятия решений модель усваивает хорошо: эти паттерны повторяются в обучающих примерах.

На практике команды сравнивают три варианта: промпт-инжиниринг (дешевле всего, без обучения), RAG (свежие и приватные знания) и файнтюнинг (стабильное поведение и меньшая цена запроса — длинные инструкции переезжают из промпта в веса). Экономные методы вроде LoRA делают файнтюнинг доступным даже на одной видеокарте.

Пример

“Финтех дообучает небольшую модель на 5 000 размеченных чатов поддержки, чтобы она всегда относила запросы к 12 категориям и отвечала в тоне компании.