打开导航
打开分析工作区

显著性检验

两比例 z 检验计算器

判断两个独立样本的百分比或转化率差异是否超出抽样误差,并规划下一次测试需要的样本量。

在线检验两个比例的差异

输入每组的成功数和样本量(或百分比和样本量),选择双侧或单侧检验。也可以打开问卷数据文件,直接比较两组受访者;文件不会离开你的浏览器。

每组的输入方式
A 组(对照 / 基线)
B 组(实验 / 比较组)

显著性水平 α = 0.05。置信区间均为该水平下的双侧区间。

或者从问卷数据文件比较两组

选择题目、计为“是”的选项,以及划分两组的列。使用未加权频数;文件只在当前浏览器标签页中读取。

支持 CSV、Excel、SPSS、Stata、SAS、R、Parquet、SQLite 或 JSON。文件只在当前浏览器标签页中读取,不会上传。 Triple-S 数据请同时选择 .sss 或 .xml 元数据文件及其数据文件。

差异 B − A

+3.0 个百分点

在 95% 置信水平下差异显著(p = .050):差距大于通常由抽样误差造成的范围。

A = 12.0% · B = 15.0%

z = (p_B − p_A) / √(p̄(1 − p̄)(1/n_A + 1/n_B)) = 0.0300 / 0.0153 = 1.963

检验结果

两比例 z 检验结果
统计量数值
A 组比例12.00% (120/1000)
B 组比例15.00% (150/1000)
差异 B − A+3.00 个百分点
合并比例13.50%
z(合并标准误)1.963
P 值(z 检验) · 双侧:B ≠ Ap = .050
χ² = z²(df = 1,无连续性校正)3.854 · p = .050
差异置信区间 — 非合并 Wald (95%)+0.01 个百分点 … +5.99 个百分点
差异置信区间 — Newcombe 混合得分(Wilson) (95%)+0.00 个百分点 … +6.00 个百分点
相对提升(B ÷ A − 1)+25.0%
Cohen's h0.088 (可忽略)
Fisher 精确检验 P 值 · 双侧:B ≠ Ap = .058

合并方差的两比例 z 检验与 2×2 表的 Pearson 卡方检验是同一个检验:不做连续性校正时 z² = χ²,双侧 P 值相同。

目标差异的检验效能与样本量

规划下一轮调查,或检查本次检验能否发现你关心的差异。使用上方的置信水平和备择假设。

%
个百分点

从 12.0% 到 15.0%。

%
检验效能与样本量
每组所需样本量 — 正态近似(Fleiss),与样本量计算器一致2,036
每组所需样本量 — 含连续性校正2,102
每组所需样本量 — 反正弦 / Cohen's h(statsmodels NormalIndPower)2,031
Cohen's h0.088
当前样本(n = 1000 和 1000)的检验效能50.2%

两组规模不等或有多重比较?请使用 样本量计算器。

01

检验用合并标准误,区间用非合并标准误

原假设认为两组的总体比例相同,因此检验统计量使用合并比例计算标准误。置信区间描述的是实际观察到的差异,最简单的形式使用非合并标准误 √(p_A(1 − p_A)/n_A + p_B(1 − p_B)/n_B),即 Wald 区间。

Wald 区间在样本小或比例极端时表现不佳;由两个 Wilson 区间组合而成的 Newcombe 混合得分区间是更好的默认选择,本计算器同时给出两者。任一单元格的期望频数小于约 5 时,正态近似不可靠,请报告 Fisher 精确检验的 P 值。

02

公式与符号

z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)),p̄ = (x_A + x_B) ÷ (n_A + n_B)

  • x、n:每组的成功数和样本量,p = x ÷ n。
  • p̄:合并比例,即原假设下两组共同的比例。
  • z²:2×2 表的 Pearson χ²(不做连续性校正,df = 1)。
  • Cohen's h = 2·asin√p_B − 2·asin√p_A(0.2 为小、0.5 为中、0.8 为大)。
  • 相对提升 = p_B ÷ p_A − 1。
03

示例(合成数据)

在合成零食品牌追踪数据中(程序生成的示例数据,不是真实受访者),18–34 岁受访者(B 组)对青柠辣椒口味的购买意向前两项占比为 115/203 = 56.7%,55 岁及以上受访者(A 组)为 51/179 = 28.5%。

差异为 28.2 个百分点;合并比例 43.5%,z = 5.54,p < .001(χ² = 30.70)。差异的 95% Newcombe 置信区间为 18.3 至 37.2 个百分点,相对提升 +99%,Cohen's h = 0.58。

若要在相同的 28.5% 基线上以 80% 检验效能、α = 0.05(双侧)检测 5 个百分点的较小差异,每组约需 1,342 人。

04

两组必须相互独立

本检验假设没有受访者同时属于两组。不要用它比较子群与其所属的总体,也不要比较同一批人的两道题答案或同一样本的两次测量:这些样本相互重叠,标准误会出错。子群应与“其余所有人”比较;同一批人前后两次的是/否结果请使用 McNemar 检验。

多于两组或答案多于两类时,请使用卡方检验或交叉表的列比例显著性字母。

05

如何解释

P 值小于 α 表示差异在统计上显著:如果两组的总体比例相同,出现这么大的差距是不寻常的。用置信区间判断差异可能的大小,用 Cohen's h 判断实际意义——样本很大时,很小的差异也会显著。单侧检验要在看数据之前决定;A/B 测试也不要一越过 P < 0.05 就立即停止,反复查看会抬高假阳性率。

方法来源

参考资料与复核入口

  • Newcombe, R. G. (1998). Interval estimation for the difference between independent proportions: comparison of eleven methods. Statistics in Medicine, 17(8), 873–890.

  • Fleiss, J. L., Levin, B., & Paik, M. C. (2003). Statistical Methods for Rates and Proportions (3rd ed.). Hoboken, NJ: Wiley.

  • Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum.

  • statsmodels — proportions_ztest
  • SciPy — scipy.stats.fisher_exact

常见问题

先确认方法,再解释结果。

两比例 z 检验和卡方检验是同一个检验吗?

对于两组、是/否结果的情形是的。合并方差的 z 检验与 2×2 表的 Pearson 卡方检验满足 z² = χ²,双侧 P 值相同,前提是卡方检验不使用 Yates 连续性校正。z 检验还带有方向,因此可以做单侧检验。

什么时候改用 Fisher 精确检验?

当 2×2 表中任一期望频数小于约 5 时,例如样本较小或事件罕见。Fisher 检验以边际合计为条件,是精确检验;它略为保守,P 值通常比 z 检验稍大。

可以比较同一道调查题中的两个百分比吗?

如果两个百分比来自两组不同的受访者(例如男性和女性回答同一道题),可以。如果是同一批人的两个答案(品牌 A 与品牌 B 的认知度),或者子群与总体比较,就不可以:样本重叠,标准误是错的。

合并标准误和非合并标准误有什么区别?

合并标准误假设原假设成立、两组比例相同,因此用于检验统计量;非合并标准误使用各组自己的比例,描述观察到的差异,因此用于 Wald 置信区间。

A/B 测试每组需要多少用户?

取决于基线转化率、值得检测的最小提升、α 和检验效能。可以使用本页的检验效能部分:例如从 10% 提升到 12%,在 α = 0.05、检验效能 80% 时每组需要数千名用户;差异越大,所需样本越少。

在完整数据上运行同样的分析。

源文件在浏览器本地处理,无需注册。基础交叉分析支持中文;部分专业功能和文档导出说明仍为英文。

打开工作区