Калькулятор значимости A/B теста

Что делает этот калькулятор?

Введите количество посетителей и конверсий для контрольной группы (A) и экспериментальной группы (B), и инструмент выполнит двухпропорциональный z-тест — стандартный статистический тест для сравнения двух коэффициентов конверсии. Он сообщает коэффициент конверсии для каждой группы, абсолютную и относительную разницу, z-оценку и p-значение, доверительный интервал для разницы и относительного прироста, а также простым языком определяет, является ли результат статистически значимым.

В основе всего лежит двухпропорциональный z-тест: объединённый коэффициент конверсии и стандартная ошибка используются для вычисления z-оценки и p-значения (статистический тест), тогда как необъединённая стандартная ошибка используется для доверительного интервала — это стандартная практика, поскольку доверительный интервал не должен предполагать равенство двух коэффициентов, как это делает нулевая гипотеза.

Как использовать

1. Введите посетителей и конверсии для контрольной (A) и экспериментальной (B) групп.
2. Выберите уровень доверия — 90%, 95% (обычный параметр по умолчанию) или 99%.
3. Выберите двусторонний, если вы просто хотите узнать, отличается ли B от A в любом направлении, или односторонний, если вы хотите узнать, превосходит ли B именно A.
4. Рассмотрите таблицу результатов: строка вывод простым языком сообщает, стоит ли доверять разнице, а строки ниже показывают цифры, лежащие в основе этого вывода.

Что означает «статистическая значимость»?

Это означает, что p-значение ниже выбранного порога значимости (1 − уровень доверия, например, 0,05 при уровне доверия 95%) — другими словами, если между A и B действительно нет разницы, такое большое расхождение вряд ли возникло бы случайно. Это не гарантия того, что B действительно лучше в долгосрочной перспективе, и ничего не говорит о том, насколько велик улучшение — всегда читайте прирост и его доверительный интервал вместе с p-значением.

Какой размер выборки мне нужен?

Фиксированного числа нет — он зависит от вашего базового коэффициента конверсии и размера эффекта, который вы пытаетесь обнаружить. Как правило, совокупная выборка менее ~1 000 посетителей редко достаточна для обнаружения чего-либо, кроме очень большого прироста; меньшие реальные различия требуют пропорционально больших выборок. Если калькулятор сообщает «недостаточно данных», продолжайте тест, а не прекращайте его раньше времени — повторный просмотр результатов и остановка при обнаружении значимости завышает ваш уровень ложноположительных результатов.

Односторонний vs. двусторонний — какой выбрать?

По умолчанию используйте двусторонний: он проверяет, отличается ли B от A в любом направлении, и является более безопасным вариантом, поскольку вариант всегда может показать худший результат. Односторонний используйте только когда у вас есть направляющая гипотеза, принятая до анализа данных (например, «B может быть только лучше, но не хуже») — односторонние тесты достигают значимости при меньших доказательствах, поэтому переключение на односторонний после просмотра данных — распространённый способ обмануть себя.

Почему доверительный интервал так же важен, как p-значение?

P-значение только говорит вам, является ли разница вероятной реальной; оно ничего не говорит о её размере. Доверительный интервал для относительного прироста показывает правдоподобный диапазон реального эффекта — «значимый» результат с ДИ от +2% до +54% значительно менее практически полезен, чем результат с ДИ от +22% до +34%, даже если оба проходят одинаковый порог p-значения.

Конфиденциальность

Все вычисления выполняются локально в вашем браузере — ваши данные никогда не отправляются на сервер.