Калькулятор A/B-теста
Два расчёта в одном месте: проверка результата уже проведённого теста и оценка нужной выборки до его запуска.
Что считает калькулятор
Значимость. Используется z-тест для разницы двух долей с объединённой оценкой доли. На выходе — конверсии вариантов, относительное изменение, z-статистика, двустороннее p-значение и 95-процентный доверительный интервал для разницы.
Размер выборки. Формула для сравнения двух долей при заданных уровне значимости и мощности. Результат — число посетителей на каждый вариант; для двух вариантов нужно вдвое больше.
Как читать результат
- p-значение — это не вероятность того, что вариант B лучше. Это вероятность увидеть такую или большую разницу, если на самом деле различий нет.
- Если интервал включает ноль, данных недостаточно, чтобы уверенно говорить о направлении эффекта.
- Не останавливайте тест в тот день, когда p-значение впервые стало меньше порога: многократные проверки по ходу теста завышают число ложных побед. Рассчитайте выборку заранее и дождитесь её.
- Тест лучше проводить целыми неделями, чтобы учесть недельный ритм трафика.
Больше о подготовке и ловушках — в руководстве «A/B-тесты без самообмана: выборка, длительность и подглядывание».