Гиперпараметры – параметры, которые определяют устройство модели и процесс обучения и не подбираются самим алгоритмом обучения. Например: скорость обучения, число эпох, размер батча, глубина деревьев и их количество в бустинге, сила регуляризации, число слоёв нейросети. В отличие от них, параметры модели (веса) настраиваются в ходе обучения.
Методы подбора
- Ручной подбор на основе опыта.
- Поиск по сетке (grid search).
- Случайный поиск (random search).
- Байесовская оптимизация и другие методы последовательного поиска.
- Ранняя остановка неперспективных вариантов.
Правила
- Подбирать гиперпараметры на валидационной выборке или кросс-валидацией, а не на тестовой.
- Фиксировать эксперименты: значения гиперпараметров, данные и метрики.
Инструменты
Библиотеки оптимизации гиперпараметров, AutoML-системы и ML-платформы с трекингом экспериментов автоматизируют подбор и сравнение вариантов.