Реклама мешает? Идти Без рекламы Сегодня 

Калькулятор статистической значимости A/B теста

ДанныеРазработчикМатематика

Реклама · УДАЛИТЬ?

ВХОД

Автоматический процесс

ВЫХОД

Клиентская сторона

Введите количество посетителей и конверсий, чтобы увидеть результат.

Обобщение теста

Реклама · УДАЛИТЬ?

Гид

Калькулятор статистической значимости A/B теста

Введите количество посетителей и конверсий для контроля (A) и варианта (B), и мгновенно определите, является ли разница между ними реальной или просто шумом. Калькулятор выполняет двухпропорциональный z-тест, рассчитывает p-значение, абсолютный и относительный рост, а также доверительный интервал для разницы, затем преобразует числа в ясное заключение: победитель, отсутствие различий или продолжение теста.

Использует тот же двухсреднепропорциональный z-тест, который работает в таких инструментах, как Optimizely, VWO и Convert. Все вычисления выполняются в браузере, поэтому ваши данные эксперимента никогда не покидают страницы.

Как использовать

Введите общее количество посетителей, которые увидели Контроль (A) и сколько из них конвертировалось.
Введите общее количество посетителей, которые увидели Вариант (B) и сколько из них конвертировалось.
Выберите уровень доверия (90%, 95% или 99%) и выберите односторонний или двухсторонний тест.
Посмотрите заключение в верхней части панели результатов и проверьте детализацию по p-значению, z-оценке, росту и доверительному интервалу.
Нажмите на любой из примеров предустановок внизу ввода, чтобы увидеть, как выглядит ясный победитель, граничный результат и тест с низкой трафиком.

Возможности

Двухпропорциональный z-тест — тест с объединённой дисперсией, стандарт для сравнения конверсий.
Точный p-значение — рассчитывается с использованием стандартного нормального CDF с высокоточной аппроксимацией erf.
Односторонний или двухсторонний — выбирайте в зависимости от того, интересует ли вас только случай, когда B превосходит A, или любое отличие.
Доверительные интервалы — как для абсолютной разницы (в процентах), так и для относительного роста.
Умные выводы — различают недостаток данных, отсутствие реального различия и различие, требующее дополнительных образцов.
Визуальный анализ — столбцы для показателей конверсии и обзор распределения трафика, чтобы заметить несбалансированные распределения.
100% клиентская сторона — все данные вашего эксперимента остаются в браузере, ничего не загружается.

Реклама · УДАЛИТЬ?

 Часто задаваемые вопросы

Что такое статистическая значимость в A/B-тесте?

Статистическая значимость — это вероятность того, что наблюдаемое различие между двумя вариантами вызвано реальным эффектом, а не случайностью. Традиционный порог — p-значение ниже 0.05, то есть вероятность того, что наблюдаемое различие появилось бы, если бы варианты были идентичны, менее 5%.
Что означает p-значение на самом деле?

P-значение — это вероятность наблюдать разницу, равную или большую, чем ту, что вы наблюдали, если варианты действительно работали одинаково. Малое p-значение (например, 0.01) означает, что результат будет очень маловероятным при нулевой гипотезе, что является доказательством того, что варианты ведут себя по-разному. P-значение не является вероятностью того, что B лучше, чем A.
Когда следует использовать односторонний или двухсторонний тест?

Используйте двухсторонний тест, если хотите обнаружить любое различие между A и B, включая случай, когда B работает хуже. Используйте односторонний тест, когда у вас есть направленная гипотеза (B лучше, чем A), определённая до начала эксперимента, и вы не будете действовать в противоположном направлении. Двухсторонний тест — более безопасный стандарт для большинства экспериментов по продукту.
Какова разница между абсолютным и относительным ростом?

Абсолютный рост — это чистое различие в показателях конверсии, выраженное в процентах (например, переход от 5% к 6% — это +1 процентный пункт абсолютного роста). Относительный рост выражает это изменение как процент от исходного показателя (переход от 5% к 6% — это +20% относительного роста). Относительный рост — это показатель, который обычно цитируют маркетологи, но абсолютный рост определяет финансовое влияние при заданном объёме трафика.