VK Дзен: LLM-анализ результатов A/B-тестов с учётом интересов авторов

Пайплайн собирает логи событий пользователей с привязкой к тестовым группам, фильтрует по словарю экспериментов, чтобы не считать лишнее, агрегирует данные по выбранным метрикам и параметрам, обновляет партиции новыми периодами, прогоняет данные через LLM для выводов и генерирует HTML-отчёт с настраиваемыми фильтрами. Отчёт включает распределение авторов и контента, финансовое влияние на авторов, изменения в рекомендательной системе, метрики на уровне публикаций и LLM-саммари с оценкой соответствия стратегии. Отчёты отдаются лёгкими HTML-страницами через бота в мессенджере, а не дашбордом — предыдущая попытка на DataLens не выдержала объёма данных.

Вендор и технология: VK, пайплайн с LLM-анализом и генерацией HTML-отчётов.

Стандартный A/B-анализ смотрит на бизнес-метрики и поведение пользователей, но упускает влияние на авторов контента. Возникает риск незаметно перекосить платформу в пользу отдельных категорий авторов и разрушить баланс экосистемы. BI-решение на DataLens не справилось с объёмом.

• Учесть влияние экспериментов на авторов контента

• заменить ручные ad hoc запросы автоматическим анализом

• унифицировать формат отчётов между продуктами

• ускорить принятие решений о раскатке

• снизить риск внешне успешных, но вредных для экосистемы изменений

• Результаты

• Числовых результатов не раскрыто

• качественные эффекты — автоматизация анализа вместо ручных запросов, единый формат отчётности по продуктам, ускорение решений о раскатке, снижение риска изменений, вредящих экосистеме авторов Нагрузка и масштаб

• Платформа Дзен, отчёты по всем экспериментам через мессенджер-бота Сроки

• Публикация 28.07.2026