Переобучение (overfitting) – типичная проблема машинного обучения: модель запоминает особенности и шум обучающей выборки вместо общих закономерностей. На обучающих данных качество высокое, а на новых – заметно ниже. Противоположная проблема – недообучение (underfitting), когда модель слишком проста и плохо работает везде.
Признаки
- Большой разрыв между качеством на обучающей и валидационной выборках.
- Качество на валидации начинает падать при продолжении обучения.
Причины
- Слишком сложная модель для объёма данных.
- Мало данных или много шума.
- Утечка данных или подбор параметров под тестовую выборку.
Как бороться
- Больше данных и аугментация.
- Регуляризация (L1, L2, dropout).
- Упрощение модели, отбор признаков.
- Ранняя остановка обучения.
- Кросс-валидация и честная отложенная выборка.
