Трансферное обучение (Transfer Learning) – подход машинного обучения, при котором знания модели, полученные на большой общей задаче, переносятся на новую, более узкую. Например, сеть, обученная распознавать миллионы изображений, дообучается находить дефекты на конкретном производстве на нескольких тысячах снимков.
Как применяется
- Использование предобученной модели как извлекателя признаков с обучением только последних слоёв.
- Дообучение (fine-tuning) всей модели или её части на своих данных.
- Эффективные методы дообучения больших моделей (PEFT, LoRA).
Преимущества
- Меньше размеченных данных.
- Быстрее и дешевле обучение.
- Выше качество на небольших наборах данных.
Где применяется
- Компьютерное зрение на базе предобученных сетей.
- Обработка текстов на базе языковых моделей.
- Распознавание речи для отраслевой лексики.
Ограничения
Если новая задача сильно отличается от исходной, перенос даёт меньший эффект; важно учитывать лицензию предобученной модели.
