Введение
A/B-тест (сплит-тест) – метод контролируемого эксперимента для сравнения двух вариантов: текущего (контрольного, вариант A) и изменённого (экспериментального, вариант B). Аудитория случайным образом делится на две равные группы, каждая из которых видит свой вариант. По итогам измерения целевой метрики принимается статистически обоснованное решение о том, какой вариант лучше.
A/B-тестирование – основа культуры data-driven принятия решений в продукте, маркетинге и UX. Оно позволяет отделить реальный эффект изменения от случайных колебаний данных.
История и контекст
Метод контролируемых экспериментов восходит к сельскохозяйственной статистике 1920-х годов (Рональд Фишер). В digital-среде A/B-тесты начали применяться в 1990-х: первым документально подтверждённым веб-экспериментом считается тест Hotmail (1997). Google провёл один из самых известных ранних экспериментов в 2000 году, тестируя количество результатов на странице поиска.
С распространением SaaS-инструментов (Optimizely, VWO, Google Optimize) в 2010-е годы A/B-тестирование стало доступным для любой компании. Amazon, Netflix и Booking.com превратили непрерывное тестирование в конкурентное преимущество, проводя тысячи экспериментов одновременно.
Как это работает
Корректно спроектированный A/B-тест включает следующие шаги:
- Формулировка гипотезы – чёткое описание изменения и ожидаемого эффекта: «Если добавить кнопку CTA выше сгиба, конверсия вырастет на 10%».
- Определение метрики – основная (primary metric) и guardrail-метрики, которые нельзя ухудшать.
- Расчёт размера выборки – через формулу статистической мощности (power) ≥80%, уровень значимости α=0.05. Минимальный детектируемый эффект (MDE) определяет нужный объём трафика.
- Рандомизация – случайное равномерное распределение пользователей по вариантам; одна и та же единица (пользователь или сессия) всегда попадает в одну группу.
- Проведение теста – эксперимент работает до достижения нужной выборки или заданного срока; нельзя останавливать тест досрочно при «хорошем» результате (peeking problem).
- Статистический анализ – t-тест, хи-квадрат или байесовские методы; проверка p-value и доверительного интервала для эффекта.
- Принятие решения – запуск победившего варианта, фиксация результата в базе знаний экспериментов.
Где применяется
- UX и продукт – тестирование элементов интерфейса, навигации, онбординга, ценовых страниц
- Email-маркетинг – темы писем, CTA, время отправки, персонализация
- Лендинги и конверсия – заголовки, изображения, формы, расположение блоков
- Поисковая реклама – варианты объявлений, расширения, посадочные страницы
- Ценообразование – тестирование ценовых точек, структуры тарифов, скидок
- Рекомендательные системы – алгоритмы рекомендаций товаров, контента, фидов
Преимущества и ограничения
Преимущества:
- Объективное, данными-подкреплённое принятие решений вместо интуиции
- Измеримость влияния любого изменения на бизнес-метрики
- Снижение риска негативных изменений при постепенном запуске
- Накопление базы знаний об аудитории через систематизированные эксперименты
Ограничения:
- Требует достаточного трафика для статистической значимости (проблема для малых сайтов)
- Тест измеряет краткосрочный эффект; долгосрочное влияние может отличаться
- Эффект Хоторна: пользователи могут вести себя иначе, зная об эксперименте
- Тестируется только одна переменная; сложные взаимодействия требуют многофакторных тестов (MVT)
Связь с другими понятиями
A/B-тест является фундаментальным инструментом оптимизации конверсии и неотделим от работы с bounce rate: тестирование landing pages напрямую влияет на показатель отказов. В email-маркетинге сплит-тесты – стандартная практика. CTR и конверсия в лид являются типичными метриками для A/B-экспериментов в рекламных кампаниях. Более продвинутые варианты – многовариантное тестирование (MVT) и байесовские A/B-тесты – предоставляют дополнительные возможности при больших объёмах трафика.
