01
kappa 怎么计算
pₒ 是对角线上个案所占的比例，即观察一致率。pₑ 是两位评分者按各自的边际分布独立分类时预期的一致率。kappa 把“超出随机的一致”与“可能的最大超出量”相比。
- κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₑ = Σ(行合计ᵢ × 列合计ᵢ) ÷ n²
- Landis 与 Koch（1977）的参考：≤ 0.20 轻微、0.21–0.40 一般、0.41–0.60 中等、0.61–0.80 高度、> 0.80 几乎完全一致。
02
示例
计算器打开时的矩阵是 [[20, 5], [10, 15]]（n = 50）。两位评分者在 pₒ = 0.700 的个案上一致，随机预期一致率为 pₑ = 0.500。得到 κ = 0.400，95% 置信区间 [0.146, 0.654]，z = 2.89，P = .004：按 Landis 与 Koch 的参考属于“一般”，但明显高于随机水平。
03
什么时候用，什么时候不用
kappa 是两人双编码开放题、诊断分类时的标准一致性指标。
- 适用：两位编码员把同一批开放题回答归入同一套编码。
- 适用：正式编码前检验编码表是否清晰。
- 不适用：三位及以上评分者，应使用 Fleiss' kappa 或 Krippendorff's alpha。
- 不适用：只看 kappa 而不看分布；某一类别极其常见时，一致率很高 kappa 也可能偏低（kappa 悖论）。