kappa 的計算方式
pₒ 是對角線上個案的比例。pₑ 是兩位評分者在相同邊際分配下獨立分類時預期的一致率。kappa 把超出隨機的一致程度,與可能的最大超出量相比。
- κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₑ = Σ (列總和ᵢ · 欄總和ᵢ) ÷ n²
- Landis 與 Koch(1977)的參考:≤ 0.20 輕微、0.21–0.40 尚可、0.41–0.60 中等、0.61–0.80 高度、> 0.80 幾乎完全。
範例
計算器開啟時的矩陣為 [[20, 5], [10, 15]](n = 50)。評分者在 pₒ = 0.700 的個案上一致,隨機預期為 pₑ = 0.500。得到 κ = 0.400,95% 信賴區間 [0.146, 0.654],z = 2.89,P = .004:屬於「尚可」的一致性,明顯高於隨機。
什麼時候使用,什麼時候不要用
kappa 是兩人編碼開放題或診斷時的標準指標。
- 兩位編碼者把相同個案歸入相同類別。
- 正式分析前驗證編碼表。
- 評分者超過兩位時不要用:請使用 Fleiss' kappa 或 Krippendorff's alpha。
- 類別分布極不平均時,即使一致率很高,kappa 也可能偏低(kappa 悖論)。