检验用合并标准误,区间用非合并标准误
原假设认为两组的总体比例相同,因此检验统计量使用合并比例计算标准误。置信区间描述的是实际观察到的差异,最简单的形式使用非合并标准误 √(p_A(1 − p_A)/n_A + p_B(1 − p_B)/n_B),即 Wald 区间。
Wald 区间在样本小或比例极端时表现不佳;由两个 Wilson 区间组合而成的 Newcombe 混合得分区间是更好的默认选择,本计算器同时给出两者。任一单元格的期望频数小于约 5 时,正态近似不可靠,请报告 Fisher 精确检验的 P 值。
公式与符号
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)),p̄ = (x_A + x_B) ÷ (n_A + n_B)
- x、n:每组的成功数和样本量,p = x ÷ n。
- p̄:合并比例,即原假设下两组共同的比例。
- z²:2×2 表的 Pearson χ²(不做连续性校正,df = 1)。
- Cohen's h = 2·asin√p_B − 2·asin√p_A(0.2 为小、0.5 为中、0.8 为大)。
- 相对提升 = p_B ÷ p_A − 1。
示例(合成数据)
在合成零食品牌追踪数据中(程序生成的示例数据,不是真实受访者),18–34 岁受访者(B 组)对青柠辣椒口味的购买意向前两项占比为 115/203 = 56.7%,55 岁及以上受访者(A 组)为 51/179 = 28.5%。
差异为 28.2 个百分点;合并比例 43.5%,z = 5.54,p < .001(χ² = 30.70)。差异的 95% Newcombe 置信区间为 18.3 至 37.2 个百分点,相对提升 +99%,Cohen's h = 0.58。
若要在相同的 28.5% 基线上以 80% 检验效能、α = 0.05(双侧)检测 5 个百分点的较小差异,每组约需 1,342 人。
两组必须相互独立
本检验假设没有受访者同时属于两组。不要用它比较子群与其所属的总体,也不要比较同一批人的两道题答案或同一样本的两次测量:这些样本相互重叠,标准误会出错。子群应与“其余所有人”比较;同一批人前后两次的是/否结果请使用 McNemar 检验。
多于两组或答案多于两类时,请使用卡方检验或交叉表的列比例显著性字母。
如何解释
P 值小于 α 表示差异在统计上显著:如果两组的总体比例相同,出现这么大的差距是不寻常的。用置信区间判断差异可能的大小,用 Cohen's h 判断实际意义——样本很大时,很小的差异也会显著。单侧检验要在看数据之前决定;A/B 测试也不要一越过 P < 0.05 就立即停止,反复查看会抬高假阳性率。