RWB (Wildberries): AIOps-платформа управления алертами и утилизацией GPU
Описание проекта
Ядром выбрана KeepHQ: бэкенд на FastAPI, фронтенд на Next.js, обмен по WebSocket, хранение в PostgreSQL, развёртывание в Kubernetes через Helm Charts. Платформа встала прослойкой между мониторингом Grafana и оркестрацией алертов. Отслеживаются четыре категории GPU-метрик: вычислительная утилизация (графический движок, потоковые мультипроцессоры, тензорные ядра), использование памяти, физические параметры (температура, энергопотребление, троттлинг) и ошибки GPU.
Вендор и технология: RWB, платформа KeepHQ, интегрированная с Grafana и Kubernetes.
Задача
Одинаковые алерты срабатывали снова и снова, а ручные процессы — уведомления в каналы, еженедельные отчёты, личные сообщения — не масштабировались на сотни пользователей и тысячи сервисов. Контекст и история коммуникации терялись.
Цели внедрения
-
Убрать дубли алертов
-
сохранить контекст инцидента
-
вести историю коммуникации
-
стандартизировать обработку алертов
-
поднять утилизацию GPU-кластеров
Результаты
-
Результаты
-
Дедупликация 99% примерно из 400 000 событий
-
утилизация GPU выросла на 62% на одном кластере и примерно на 40% на остальных
-
более 800 пользователей исследовательского кластера
-
тысячи продовых сервисов в нескольких кластерах Kubernetes Нагрузка и масштаб
-
Компания более 10 000 сотрудников, 800+ пользователей исследовательского кластера, тысячи сервисов, около 400 000 событий Сроки
-
Публикация 20.08.2026