Дообучение (fine-tuning) – этап, на котором уже обученная модель (языковая, модель зрения, распознавания речи) продолжает обучение на наборе данных под конкретную задачу: классификацию обращений, ответы в стиле компании, распознавание отраслевых терминов, поиск дефектов.
Виды
- Полное дообучение всех весов модели – дорого для больших моделей.
- Эффективное дообучение части параметров (PEFT): LoRA, адаптеры, префиксы.
- Инструктивное дообучение языковых моделей на парах «инструкция – ответ».
- Дообучение с подкреплением по предпочтениям (RLHF, DPO).
Когда нужно, а когда нет
- Если задача решается подсказкой (промптом) и поиском по базе знаний (RAG), дообучение может быть не нужно.
- Дообучение оправдано для устойчивого формата и стиля ответов, узкой терминологии, ускорения и удешевления работы меньшей модели.
Что важно
- Качество и чистота обучающих данных.
- Оценка на отложенной выборке и сравнение с исходной моделью.
- Защита конфиденциальных данных при обучении.
- Лицензия базовой модели.