crosstabs.
Abrir navegação
AbrirAbrir o espaço de trabalho

Ferramentas de pesquisa · Teste de significância

Teste z de duas proporções

Verifique se dois percentuais ou taxas de conversão de amostras independentes diferem mais do que o erro amostral explica, e planeje o tamanho do próximo teste.

Usar a ferramenta Abrir o espaço de trabalho

Compare duas proporções online

Para cada grupo, informe os sucessos e o tamanho da amostra (ou o percentual e n) e escolha um teste bilateral ou unilateral. Você também pode abrir um arquivo de pesquisa e comparar dois grupos diretamente; o arquivo não sai do seu navegador.

Informe cada grupo como
Grupo A (controle / referência)
Grupo B (variante / comparação)

Nível de significância α = 0,05. Os intervalos são bilaterais neste nível.

Ou compare dois grupos de um arquivo de pesquisa

Escolha a pergunta, as respostas que contam e a coluna que separa os dois grupos. Contagens sem ponderação; o arquivo fica nesta aba.

CSV, Excel, SPSS, Stata, SAS, R, Parquet, SQLite ou JSON. O arquivo é lido nesta aba do navegador e nunca é enviado. Para Triple-S, selecione juntos o arquivo de metadados .sss ou .xml e o arquivo de dados.

Diferença B − A

+3,0 p.p.

Estatisticamente significativo com 95% de confiança (p = 0,050): a diferença é maior do que o erro amostral sozinho costuma produzir.

A = 12,0% · B = 15,0%

z = (p_B − p_A) / √(p̄(1 − p̄)(1/n_A + 1/n_B)) = 0,0300 / 0,0153 = 1,963

Resultados do teste

Resultados do teste z de duas proporções
EstatísticaValor
Proporção A12,00% (120/1000)
Proporção B15,00% (150/1000)
Diferença B − A+3,00 p.p.
Proporção combinada13,50%
z (erro padrão combinado)1,963
Valor-p (teste z) · Bilateral: B ≠ Ap = 0,050
χ² = z² (gl = 1, sem correção de continuidade)3,854 · p = 0,050
IC da diferença – Wald não combinado (95%)+0,01 p.p. … +5,99 p.p.
IC da diferença – escore híbrido de Newcombe (Wilson) (95%)+0,00 p.p. … +6,00 p.p.
Aumento relativo (B ÷ A − 1)+25,0%
h de Cohen0,088 (desprezível)
Valor-p do teste exato de Fisher · Bilateral: B ≠ Ap = 0,058

O teste z com proporção combinada e o qui-quadrado de Pearson na tabela 2×2 são o mesmo teste: z² = χ² sem correção de continuidade, com o mesmo valor-p bilateral.

Poder e tamanho de amostra para uma diferença-alvo

Planeje a próxima onda ou verifique se este teste conseguiria detectar a diferença que importa para você. Usa o nível de confiança e a hipótese alternativa acima.

%
p.p.

De 12,0% para 15,0%.

%
Poder e tamanho de amostra
n necessário por grupo — Aproximação normal (Fleiss), como na calculadora de tamanho de amostra2.036
n necessário por grupo — Com correção de continuidade2.102
n necessário por grupo — Arco-seno / h de Cohen (statsmodels NormalIndPower)2.031
Cohen's h0,088
Poder da amostra atual (n = 1000 e 1000)50,2%

Grupos de tamanhos diferentes ou várias comparações? Use a calculadora de tamanho de amostra.

01

Erro padrão combinado no teste, separado no intervalo

Sob a hipótese nula os dois grupos têm a mesma proporção, por isso o teste usa o erro padrão calculado com a proporção combinada. O intervalo de confiança descreve a diferença observada e, na forma mais simples, usa o erro padrão não combinado (intervalo de Wald).

Com amostras pequenas ou proporções extremas, o intervalo híbrido de Newcombe, montado a partir de dois intervalos de Wilson, é a melhor opção; a calculadora mostra os dois. Se alguma frequência esperada ficar abaixo de cerca de 5, relate o valor-p do teste exato de Fisher.

  • x, n: sucessos e tamanho da amostra de cada grupo, p = x ÷ n; p̄ = (x_A + x_B) ÷ (n_A + n_B).
  • z² é o χ² de Pearson da tabela 2×2 (sem correção de continuidade, gl = 1).
  • h de Cohen = 2·asin√p_B − 2·asin√p_A (0,2 pequeno, 0,5 médio, 0,8 grande); aumento relativo = p_B ÷ p_A − 1.
02

Exemplo (dados sintéticos)

No tracker sintético de uma marca de snacks (dados de exemplo gerados por programa, não respondentes reais), 115 de 203 respondentes de 18 a 34 anos (grupo B) têm intenção de compra “top 2” para o sabor limão com pimenta, ou seja, 56,7%; entre os de 55 anos ou mais (grupo A) são 51 de 179 = 28,5%.

A diferença é de 28,2 pontos percentuais; proporção combinada 43,5%, z = 5,54, p < 0,001 (χ² = 30,70). O intervalo de Newcombe de 95% da diferença vai de 18,3 a 37,2 pontos, o aumento relativo é de +99% e h de Cohen = 0,58.

Para detectar uma diferença menor, de 5 pontos, sobre a mesma base de 28,5%, com 80% de poder e α = 0,05 (bilateral), seriam necessários cerca de 1.342 respondentes por grupo.

03

Os grupos precisam ser independentes

O teste supõe que ninguém pertence aos dois grupos.

  • Comparar dois subgrupos de uma pesquisa (mulheres e homens) ou duas variantes de um teste A/B.
  • Planejar o tamanho de amostra da próxima onda ou do próximo teste.
  • Não para um subgrupo contra o total do qual faz parte: compare-o com “todos os demais”.
  • Não para duas respostas das mesmas pessoas ou a mesma amostra medida duas vezes: use o teste de McNemar.
  • Não para mais de dois grupos ou categorias: use o teste qui-quadrado.
04

Como ler o resultado

Um valor-p menor que α significa que, se as proporções fossem iguais na população, uma diferença desse tamanho seria incomum. O intervalo de confiança mostra o tamanho plausível da diferença e o h de Cohen sua relevância prática: com amostras muito grandes, diferenças mínimas ficam significativas. Decida por um teste unilateral antes de olhar os dados e não interrompa um teste A/B assim que p < 0,05: olhar os resultados várias vezes infla a taxa de falsos positivos.

Referências

Leituras recomendadas

  • Newcombe, R. G. (1998). Interval estimation for the difference between independent proportions: comparison of eleven methods. Statistics in Medicine, 17(8), 873–890.

  • Fleiss, J. L., Levin, B., & Paik, M. C. (2003). Statistical Methods for Rates and Proportions (3rd ed.). Hoboken, NJ: Wiley.

  • Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum.

  • statsmodels — proportions_ztest
  • SciPy — scipy.stats.fisher_exact

Perguntas frequentes

Dúvidas comuns

O teste z de duas proporções e o qui-quadrado são o mesmo teste?

Com dois grupos e um resultado sim/não, sim: o teste z com proporção combinada e o qui-quadrado de Pearson da tabela 2×2 satisfazem z² = χ² e têm o mesmo valor-p bilateral, desde que não se aplique a correção de Yates. O teste z ainda tem direção e permite testes unilaterais.

Quando usar o teste exato de Fisher?

Quando alguma frequência esperada da tabela 2×2 fica abaixo de cerca de 5, por exemplo com amostras pequenas ou eventos raros. Fisher é exato, mas um pouco conservador; seu valor-p costuma ser um pouco maior que o do teste z.

Posso comparar dois percentuais da mesma pergunta?

Sim, se vierem de respondentes diferentes (mulheres e homens na mesma pergunta). Não, se forem duas respostas das mesmas pessoas ou um subgrupo contra o total: as amostras se sobrepõem e o erro padrão fica errado.

Qual a diferença entre erro padrão combinado e não combinado?

O combinado assume a hipótese nula de proporções iguais e é usado no teste. O não combinado usa a proporção de cada grupo, descreve a diferença observada e é usado no intervalo de Wald.

Quantos usuários preciso por variante num teste A/B?

Depende da taxa de base, do menor efeito que importa, de α e do poder. Use a parte de poder desta página: subir de 10% para 12% com α = 0,05 e 80% de poder exige alguns milhares de usuários por grupo; diferenças maiores exigem menos.

Outras ferramentas de pesquisa de mercado

Calculadora de margem de erroMargem de erro de um percentual com intervalos de Wilson e exato, efeito de desenho e correção para população finita.Calculadora de teste tTeste t de Welch, de Student, pareado e de uma amostra a partir de resumos ou dados brutos, com d de Cohen.Calculadora de ANOVAANOVA de um fator com F de Welch, η², ω², Tukey HSD e Kruskal–Wallis.

Leve os resultados para as tabelas cruzadas

Abra o mesmo arquivo no espaço de trabalho do Crosstabs para montar tabelas com banners, ponderação e testes de significância. Grátis, sem cadastro, e os dados continuam no seu navegador.

Abrir o espaço de trabalho

· Versão em inglês desta página