Calculadora de Significância de Teste A/B

O que esta calculadora faz?

Insira o número de visitantes e conversões para um controle (A) e uma variante (B), e esta ferramenta executa um teste z de duas proporções — o teste estatístico padrão para comparar duas taxas de conversão. Ela relata a taxa de conversão de cada lado, a diferença absoluta e relativa, um z-score e p-value, um intervalo de confiança para a diferença e o incremento relativo, e um veredicto em linguagem simples se o resultado é estatisticamente significativo.

Tudo é um teste z de duas proporções nos bastidores: a taxa de conversão combinada e o erro padrão são usados para calcular o z-score e o p-value (o teste de hipótese), enquanto um erro padrão não combinado é usado para o intervalo de confiança — a convenção padrão, já que o intervalo não deve assumir que as duas taxas são iguais da mesma forma que a hipótese nula.

Como usar

1. Insira visitantes e conversões para o Controle (A) e a Variante (B).
2. Escolha um nível de confiança — 90%, 95% (o padrão comum) ou 99%.
3. Escolha bicaudal se você só quer saber se B difere de A em qualquer direção, ou unicaudal se quer especificamente saber se B supera A.
4. Leia a tabela de resultados: a linha de veredicto diz em linguagem simples se você deve confiar na diferença, e as linhas abaixo mostram os números por trás dessa conclusão.

O que significa "estatisticamente significante" aqui?

Significa que o p-value está abaixo do limiar de significância escolhido (1 − nível de confiança, por exemplo, 0,05 a 95% de confiança) — em outras palavras, se realmente não houvesse diferença entre A e B, uma diferença tão grande seria improvável de aparecer por acaso. Não é uma garantia de que B é realmente melhor a longo prazo, e não diz nada sobre quão grande é a melhoria — sempre leia o incremento e seu intervalo de confiança junto com o p-value.

Que tamanho de amostra eu preciso?

Não há um número fixo — depende da sua taxa de conversão de referência e do tamanho do efeito que você está tentando detectar. Como regra geral, uma amostra combinada inferior a ~1.000 visitantes raramente é suficiente para detectar qualquer coisa além de uma melhoria muito grande; diferenças reais menores precisam de amostras proporcionalmente maiores. Se a calculadora disser "dados insuficientes", continue o teste em vez de parar prematuramente — olhar repetidamente para os resultados e parar assim que você vê significância infla sua taxa de falso positivo.

Unicaudal vs. bicaudal — qual devo escolher?

Use bicaudal por padrão: testa se B difere de A, em qualquer direção, e é a escolha mais segura, pois uma variante pode sempre ter desempenho inferior. Use unicaudal apenas quando você tem uma hipótese direcional decidida antes de olhar os dados (por exemplo, "B só pode ser melhor, nunca pior") — testes unicaudais atingem significância com menos evidências, então mudar para unicaudal depois de ver os dados é uma maneira comum de se enganar.

Por que o intervalo de confiança é tão importante quanto o p-value?

Um p-value só diz se uma diferença é provavelmente real; não diz nada sobre seu tamanho. O intervalo de confiança para o incremento relativo mostra a faixa plausível do efeito real — um resultado "significante" com um IC de +2% a +54% é muito menos acionável do que um com IC de +22% a +34%, mesmo que ambos ultrapassem a mesma barra de p-value.

Privacidade

Todos os cálculos são executados localmente no seu navegador — seus números nunca são enviados a um servidor.