검정에는 합동, 구간에는 비합동 표준오차
귀무가설은 두 그룹의 비율이 같다고 보므로 검정 통계량은 합동 비율로 표준오차를 계산합니다. 신뢰구간은 관측된 차이를 나타내며, 가장 단순한 형태는 비합동 표준오차를 씁니다(Wald 구간).
표본이 작거나 비율이 극단적이면 두 Wilson 구간을 결합한 Newcombe 혼합 점수 구간이 더 좋은 기본값이며, 이 계산기는 두 가지를 모두 보여줍니다. 기대빈도가 5보다 작은 칸이 있으면 Fisher 정확 검정의 p-값을 보고하세요.
- x, n: 각 그룹의 성공 수와 표본 크기, p = x ÷ n. p̄ = (x_A + x_B) ÷ (n_A + n_B).
- z²는 2×2 표의 Pearson χ²입니다(연속성 보정 없음, 자유도 1).
- Cohen's h = 2·asin√p_B − 2·asin√p_A(0.2 작음, 0.5 중간, 0.8 큼). 상대 상승률 = p_B ÷ p_A − 1.
계산 예시(합성 데이터)
스낵 브랜드 합성 트래킹 데이터(프로그램으로 만든 예시이며 실제 응답자가 아닙니다)에서 18–34세(그룹 B) 203명 중 115명이 라임 칠리 맛 구매 의향 상위 2개 응답을 골라 56.7%였고, 55세 이상(그룹 A)은 179명 중 51명으로 28.5%였습니다.
차이는 28.2%p, 합동 비율 43.5%, z = 5.54, p < .001(χ² = 30.70)입니다. 차이의 95% Newcombe 신뢰구간은 18.3~37.2%p, 상대 상승률은 +99%, Cohen's h = 0.58입니다.
같은 기준 비율 28.5%에서 5%p의 더 작은 차이를 검정력 80%, α = 0.05(양측)로 찾아내려면 그룹당 약 1,342명이 필요합니다.
두 그룹은 서로 독립이어야 합니다
이 검정은 두 그룹에 동시에 속한 응답자가 없다고 가정합니다.
- 설문의 두 하위 그룹(여성과 남성)이나 A/B 테스트의 두 변형을 비교할 때.
- 다음 조사나 테스트의 표본 크기를 계획할 때.
- 하위 그룹과 그 그룹이 속한 전체를 비교할 때는 쓰지 마세요. '나머지 모두'와 비교하세요.
- 같은 사람의 두 응답이나 같은 표본을 두 번 측정한 데이터에는 쓰지 마세요. McNemar 검정을 쓰세요.
- 그룹이나 범주가 셋 이상이면 쓰지 마세요. 카이제곱 검정을 쓰세요.
결과 읽는 법
p-값이 α보다 작다는 것은 모집단의 두 비율이 같다면 이만큼 큰 차이는 드물다는 뜻입니다. 신뢰구간으로 차이의 그럴듯한 크기를, Cohen's h로 실질적 의미를 판단하세요. 표본이 매우 크면 아주 작은 차이도 유의하게 나옵니다. 단측 검정은 데이터를 보기 전에 정하고, A/B 테스트를 p < 0.05가 되자마자 멈추지 마세요. 중간 결과를 반복해서 보면 위양성률이 높아집니다.