Калькулятор значимости A/B теста
Выполните двухпропорциональный z-тест результатов вашего A/B теста. Введите количество посетителей и конверсий для контрольной и экспериментальной группы, чтобы получить коэффициенты конверсии, z-оценку, p-значение, статистическую значимость, относительный прирост и доверительный интервал.
Ввод
Контроль (A)
Вариант (B)
Настройки теста
Вывод
| Показатель | Значение |
|---|---|
| No data yet | |
Другие способы использовать этот инструмент
REST API
curl -X POST https://api.iotools.cloud/v1/tool/ab-test-significance-calculator \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"controlVisitors": "5000",
"controlConversions": "250",
"variantVisitors": "5000",
"variantConversions": "320",
"confidenceLevel": "95",
"tailType": "two"
}'Подставьте свой собственный ключ из аккаунта. Поля инструмента — это тело запроса, без обёртки.
Спросите у ИИ-агента
Use the IOTools `ab-test-significance-calculator` tool (A/B Test Significance Calculator) on this input:
YOUR_INPUT_HEREВставьте это любому агенту, подключённому к MCP-серверу IOTools, и добавьте свой ввод.
Виджет для встраивания
<iframe
src="https://iotools.cloud/embed/ab-test-significance-calculator/"
width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
title="Калькулятор значимости A/B теста — iotools.cloud"
sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
allow="clipboard-write"
style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>Вставьте это на свою страницу — бесплатно, без ключа, нужна лишь обратная ссылка.
| Стоимость вызова API/MCP | От 5 кредитов |
|---|---|
| Нужно больше кредитов? | Посмотреть тарифы |
Также доступно через
Руководства
Что делает этот калькулятор?
Введите количество посетителей и конверсий для контрольной группы (A) и экспериментальной группы (B), и инструмент выполнит двухпропорциональный z-тест — стандартный статистический тест для сравнения двух коэффициентов конверсии. Он сообщает коэффициент конверсии для каждой группы, абсолютную и относительную разницу, z-оценку и p-значение, доверительный интервал для разницы и относительного прироста, а также простым языком определяет, является ли результат статистически значимым.
В основе всего лежит двухпропорциональный z-тест: объединённый коэффициент конверсии и стандартная ошибка используются для вычисления z-оценки и p-значения (статистический тест), тогда как необъединённая стандартная ошибка используется для доверительного интервала — это стандартная практика, поскольку доверительный интервал не должен предполагать равенство двух коэффициентов, как это делает нулевая гипотеза.
Как использовать
- Введите посетителей и конверсии для контрольной (A) и экспериментальной (B) групп.
- Выберите уровень доверия — 90%, 95% (обычный параметр по умолчанию) или 99%.
- Выберите двусторонний, если вы просто хотите узнать, отличается ли B от A в любом направлении, или односторонний, если вы хотите узнать, превосходит ли B именно A.
- Рассмотрите таблицу результатов: строка вывод простым языком сообщает, стоит ли доверять разнице, а строки ниже показывают цифры, лежащие в основе этого вывода.
Что означает «статистическая значимость»?
Это означает, что p-значение ниже выбранного порога значимости (1 − уровень доверия, например, 0,05 при уровне доверия 95%) — другими словами, если между A и B действительно нет разницы, такое большое расхождение вряд ли возникло бы случайно. Это не гарантия того, что B действительно лучше в долгосрочной перспективе, и ничего не говорит о том, насколько велик улучшение — всегда читайте прирост и его доверительный интервал вместе с p-значением.
Какой размер выборки мне нужен?
Фиксированного числа нет — он зависит от вашего базового коэффициента конверсии и размера эффекта, который вы пытаетесь обнаружить. Как правило, совокупная выборка менее ~1 000 посетителей редко достаточна для обнаружения чего-либо, кроме очень большого прироста; меньшие реальные различия требуют пропорционально больших выборок. Если калькулятор сообщает «недостаточно данных», продолжайте тест, а не прекращайте его раньше времени — повторный просмотр результатов и остановка при обнаружении значимости завышает ваш уровень ложноположительных результатов.
Односторонний vs. двусторонний — какой выбрать?
По умолчанию используйте двусторонний: он проверяет, отличается ли B от A в любом направлении, и является более безопасным вариантом, поскольку вариант всегда может показать худший результат. Односторонний используйте только когда у вас есть направляющая гипотеза, принятая до анализа данных (например, «B может быть только лучше, но не хуже») — односторонние тесты достигают значимости при меньших доказательствах, поэтому переключение на односторонний после просмотра данных — распространённый способ обмануть себя.
Почему доверительный интервал так же важен, как p-значение?
P-значение только говорит вам, является ли разница вероятной реальной; оно ничего не говорит о её размере. Доверительный интервал для относительного прироста показывает правдоподобный диапазон реального эффекта — «значимый» результат с ДИ от +2% до +54% значительно менее практически полезен, чем результат с ДИ от +22% до +34%, даже если оба проходят одинаковый порог p-значения.
Конфиденциальность
Все вычисления выполняются локально в вашем браузере — ваши данные никогда не отправляются на сервер.