Обучение с подкреплением (reinforcement learning, RL) – подход машинного обучения, в котором агент взаимодействует со средой: наблюдает состояние, выбирает действие, получает награду и переходит в новое состояние. Цель – найти стратегию, максимизирующую суммарную награду.
Основные понятия
- Агент, среда, состояние, действие, награда.
- Стратегия (policy) и функция ценности.
- Баланс исследования новых действий и использования известных.
Известные достижения
Программа AlphaGo (DeepMind) в 2016 году обыграла одного из сильнейших игроков в го. RL используется и при обучении больших языковых моделей: метод обучения с подкреплением на основе отзывов людей (RLHF) помогает согласовать ответы модели с ожиданиями пользователей.
Где применяется
- Робототехника и управление.
- Оптимизация технологических процессов и энергопотребления.
- Логистика, управление запасами, ценообразование.
- Рекомендательные системы.
Ограничения
Нужна среда для обучения – реальная или симулятор (цифровой двойник); обучение требует много попыток, а ошибки в реальной среде могут быть дорогими.
