Anúncios incomodam? Ir Sem anúncios Hoje 

Calculadora de Significância Estatística para Teste A/B

DadosDesenvolvedorMatemática

ANUNCIADO Remover?

ENTRADA

Processo Automático

SAÍDA

Lado cliente

ANUNCIADO Remover?

Guia

Calculadora de significância estatística em teste A/B

Calculadora de Significância Estatística para Teste A/B

Insira o número total de visitantes que viram a experiência do Controle (A) e quantos desses convertidos. Insira o número total de visitantes que viram a experiência da Variante (B) e quantos desses convertidos. Escolha um nível de confiança (90%, 95% ou 99%) e escolha um teste unicaudal ou bicaudal. Leia o veredicto no topo do painel de resultados e verifique o detalhamento para o valor p, z-score, aumento e intervalo de confiança.

Utiliza o mesmo teste de z com variância combinada que alimenta os calculadores de significância por trás de ferramentas como o Optimizely, VWO e Convert. Todos os cálculos são feitos no navegador, então os números do seu experimento nunca saem da página.

Como usar

Entre com o número total de visitantes que viram a Controle (A) e quantos desses convertidos.
Entre com o número total de visitantes que viram a Variante (B) e quantos desses convertidos.
Escolha um nível de confiança (90%, 95%, ou 99%) e escolha um teste unicaudal ou bicaudal.
Leia o veredicto no topo do painel de resultados e verifique o detalhamento para o valor p, z-score, aumento e intervalo de confiança.
Clique em qualquer um dos presétos de exemplo no final das entradas para ver como um claro vencedor, um resultado em borda e um teste com baixa tráfego se apresentam.

Características

Teste de z para duas proporções — teste de significância com variância combinada, o padrão para comparar taxas de conversão.
Valor p exato — calculado a partir da função de distribuição acumulada normal usando uma aproximação precisa do erf.
Unicaudal ou bicaudal — escolha com base em se você só se importa com B vencendo A ou com qualquer diferença.
Intervalos de confiança — tanto para a diferença absoluta (em pontos percentuais) quanto para o aumento relativo.
Veredictos inteligentes — distingue entre falta de dados, sem diferença real e uma diferença que exige mais amostras.
Breakdown visual — barras para as taxas de conversão e uma visão geral do tráfego, para que você possa perceber alocações desequilibradas.
100% do lado do cliente — os números do seu experimento permanecem no navegador, nada é enviado para o servidor.

ANUNCIADO Remover?

 Perguntas frequentes

O que é significância estatística em um teste A/B?

A significância estatística é a probabilidade de que a diferença observada entre dois variantes seja causada por um efeito real e não por sorte. O limite convencional é um valor p abaixo de 0.05, o que significa menos de uma chance em 5% de que a diferença observada aparecesse se as variantes realmente fossem idênticas.
O que significa exatamente o valor p?

O valor p é a probabilidade de ver uma diferença tão grande quanto a que você observou (ou maior) se as duas variantes realmente tivessem o mesmo desempenho. Um valor p pequeno (por exemplo, 0.01) significa que o resultado seria muito improvável sob a hipótese nula, o que é indício de que as variantes se comportam de forma diferente. O valor p não é a probabilidade de que B seja melhor que A.
Quando devo usar um teste unicaudal em vez de bicaudal?

Use um teste bicaudal quando deseja detectar qualquer diferença entre A e B, incluindo o caso de B ter desempenho pior. Use um teste unicaudal quando tem uma hipótese direcional (B é melhor que A) definida antes de rodar o experimento e você não agiria com um resultado no sentido oposto. O teste bicaudal é a opção mais segura para a maioria dos experimentos de produto.
Qual é a diferença entre aumento absoluto e aumento relativo?

O aumento absoluto é a diferença bruta nas taxas de conversão expressa em pontos percentuais (por exemplo, de 5% para 6% é um aumento absoluto de +1 ponto percentual). O aumento relativo expressa essa mudança como uma porcentagem da taxa original (de 5% para 6% é um aumento relativo de +20%). O aumento relativo é o número que os marketing geralmente citam, mas o aumento absoluto é o que determina o impacto em dólares em um volume específico de tráfego.