Регуляризация – набор приёмов в машинном обучении, которые препятствуют переобучению: к функции потерь добавляется штраф за сложность модели или в обучение вносятся ограничения и шум. В результате модель лучше работает на новых данных.
Основные методы
- L1-регуляризация (Lasso): штраф за сумму модулей весов, обнуляет часть весов и отбирает признаки.
- L2-регуляризация (Ridge, weight decay): штраф за сумму квадратов весов, делает веса меньше.
- Elastic Net – сочетание L1 и L2.
- Dropout – случайное отключение нейронов при обучении нейросети.
- Ранняя остановка обучения.
- Аугментация данных и ограничение глубины деревьев.
Как настраивать
Сила регуляризации – гиперпараметр. Её подбирают на валидационной выборке или кросс-валидацией: слишком слабая не спасает от переобучения, слишком сильная ведёт к недообучению.
