A/B-тест сравнивает два варианта страницы или сценария на случайно разделённой аудитории. Идея проста, но результаты легко исказить: слишком маленькая выборка, ранняя остановка и десяток показателей одновременно почти гарантируют ложные «победы».
До запуска
- Сформулируйте гипотезу. «Если сократить форму до трёх полей, доля заявок вырастет».
- Выберите один основной показатель. Остальные — дополнительные и для проверки побочных эффектов.
- Рассчитайте размер выборки. Он зависит от исходной конверсии, минимального эффекта, который вам интересен, уровня значимости и мощности. Рассчитать его можно в калькуляторе A/B-теста.
- Зафиксируйте длительность. Обычно это целое число недель, чтобы учесть различия между буднями и выходными.
Во время теста
Главное правило — не подглядывать и не останавливать тест, когда p-значение «случайно» опустилось ниже порога. При многократной проверке накопленная вероятность ложного срабатывания растёт: тест, остановленный в удачный момент, чаще всего показывает эффект, которого нет.
Как читать результат
- p-значение — вероятность увидеть такую или большую разницу, если на самом деле различий нет. Это не вероятность того, что вариант B лучше.
- Доверительный интервал показывает диапазон правдоподобных значений эффекта. Если он включает ноль, вывод неопределённый.
- Практическая значимость. Статистически значимая прибавка в 0,1 п. п. может не окупить стоимость внедрения.
Если вариантов больше двух
Чем больше сравнений, тем выше риск случайной «победы». Используйте поправки на множественные сравнения или хотя бы заранее договоритесь, какой вариант считается основным.
Чек-лист перед запуском
- Гипотеза и основной показатель записаны.
- Размер выборки и срок известны заранее.
- Аудитория делится случайно и каждый пользователь видит один вариант.
- Во время теста в продукте не вносят других заметных изменений.