検定には併合、区間には非併合の標準誤差
帰無仮説では 2 グループの割合が等しいとするので、検定統計量は併合した割合で標準誤差を計算します。信頼区間は観測された差を表すもので、最も簡単な形では非併合の標準誤差を使います（Wald 区間）。
サンプルが小さいときや割合が極端なときは、2 つの Wilson 区間を組み合わせた Newcombe のハイブリッドスコア区間のほうが適切です。この計算ツールは両方を表示します。期待度数が 5 未満のセルがある場合は、Fisher の正確検定の p 値を報告してください。
- x、n：各グループの該当数とサンプルサイズ、p = x ÷ n。p̄ = (x_A + x_B) ÷ (n_A + n_B)。
- z² は 2×2 表の Pearson の χ²（連続性補正なし、自由度 1）。
- Cohen の h = 2·asin√p_B − 2·asin√p_A（0.2 小、0.5 中、0.8 大）。相対リフト = p_B ÷ p_A − 1。
計算例（合成データ）
スナックブランドの合成トラッキングデータ（プログラムで生成したサンプルで、実在の回答者ではありません）では、18–34 歳（グループ B）の 203 人中 115 人がライム＆チリ味の購入意向トップ 2 で 56.7%、55 歳以上（グループ A）は 179 人中 51 人で 28.5% です。
差は 28.2 ポイント、併合した割合は 43.5%、z = 5.54、p < .001（χ² = 30.70）です。差の 95% Newcombe 信頼区間は 18.3〜37.2 ポイント、相対リフトは +99%、Cohen の h = 0.58 です。
同じ基準値 28.5% から 5 ポイントの小さな差を、検出力 80%・α = 0.05（両側）で検出するには、1 グループあたり約 1,342 人が必要です。
2 つのグループは独立でなければならない
この検定は、両方のグループに属する回答者がいないことを前提にしています。
- 調査の 2 つのサブグループ（女性と男性）や、A/B テストの 2 つのバリエーションを比べる。
- 次回調査や次のテストのサンプルサイズを計画する。
- サブグループとそれを含む全体の比較には使わない：「それ以外の人」と比べます。
- 同じ人の 2 つの回答や、同じ標本を 2 回測ったデータには使わない：McNemar 検定を使います。
- 3 グループ以上や 3 カテゴリー以上には使わない：カイ二乗検定を使います。
結果の読み方
p 値が α より小さいとは、母集団の割合が等しいならこれほど大きな差はめったに生じない、という意味です。信頼区間で差の大きさのもっともらしい範囲を、Cohen の h で実務上の意味を判断してください。サンプルが非常に大きいと、ごく小さな差でも有意になります。片側検定はデータを見る前に決め、A/B テストを p < 0.05 になった時点で止めないでください。何度も途中経過を見ると偽陽性率が上がります。