Alertmanager – компонент системы мониторинга Prometheus, который принимает сработавшие оповещения и решает, кому и как их доставить. Prometheus вычисляет правила и отправляет оповещения, а Alertmanager отвечает за их обработку.
Функции
- Группировка: десятки однотипных оповещений объединяются в одно уведомление.
- Подавление (inhibition): при срабатывании важного оповещения второстепенные не отправляются.
- Тишина (silences): временное отключение оповещений на время работ.
- Маршрутизация по меткам: разные команды, каналы и срочность.
- Получатели: email, мессенджеры, вебхуки, системы дежурств и управления инцидентами.
Практики
- Оповещать о симптомах, влияющих на пользователей, а не о каждой метрике.
- Привязывать оповещения к инструкциям (runbook).
- Регулярно пересматривать шумные правила.
