開啟導覽
開啟開啟工作區

市場研究工具 · 評分者間一致性

Cohen's kappa 計算器

兩位評分者或編碼者的一致程度,超出隨機預期多少?

線上計算 kappa

輸入一致性矩陣:列 = 評分者 A,欄 = 評分者 B,一致的個案在對角線上。可以新增類別或重新命名。

一致性矩陣 列 = 評分者 A,欄 = 評分者 B。一致的評分位於對角線上。
評分者 A ↓ / 評分者 B → 總計
Yes25
No25
總計302050

Cohen's kappa (κ)

0.400

fair 一致性(Landis & Koch)· 95% 信賴區間 0.146 至 0.654 · p = .004 相較於 κ = 0

κ = 0.40, 95% 信賴區間 [0.15, 0.65], N = 50

觀察一致率 (pₒ)0.700
機會一致率 (pₑ)0.500
κ 的標準誤0.1296
01

kappa 的計算方式

pₒ 是對角線上個案的比例。pₑ 是兩位評分者在相同邊際分配下獨立分類時預期的一致率。kappa 把超出隨機的一致程度,與可能的最大超出量相比。

  • κ = (pₒ − pₑ) ÷ (1 − pₑ)
  • pₑ = Σ (列總和ᵢ · 欄總和ᵢ) ÷ n²
  • Landis 與 Koch(1977)的參考:≤ 0.20 輕微、0.21–0.40 尚可、0.41–0.60 中等、0.61–0.80 高度、> 0.80 幾乎完全。
02

範例

計算器開啟時的矩陣為 [[20, 5], [10, 15]](n = 50)。評分者在 pₒ = 0.700 的個案上一致,隨機預期為 pₑ = 0.500。得到 κ = 0.400,95% 信賴區間 [0.146, 0.654],z = 2.89,P = .004:屬於「尚可」的一致性,明顯高於隨機。

03

什麼時候使用,什麼時候不要用

kappa 是兩人編碼開放題或診斷時的標準指標。

  • 兩位編碼者把相同個案歸入相同類別。
  • 正式分析前驗證編碼表。
  • 評分者超過兩位時不要用:請使用 Fleiss' kappa 或 Krippendorff's alpha。
  • 類別分布極不平均時,即使一致率很高,kappa 也可能偏低(kappa 悖論)。

參考資料

延伸閱讀

  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.

  • Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.

  • scikit-learn — sklearn.metrics.cohen_kappa_score

常見問題

常見問題

kappa 多少算好?

依 Landis 與 Koch,高於 0.60 為高度一致,高於 0.80 幾乎完全一致。開放題編碼通常以至少 0.70 為目標。

為什麼 kappa 比一致百分比低?

因為它扣除了隨機預期的一致。兩個類別同樣常見時,兩位評分者光靠猜測也會在約一半的個案上一致。

什麼是 kappa 悖論?

某個類別非常常見時,pₑ 會大幅上升,即使一致百分比很高,kappa 也可能偏低。請同時報告 pₒ。

計算器會算加權 kappa 嗎?

不會,它計算未加權的 Cohen's kappa。類別有順序時,加權 kappa 可能更合適。

資料會上傳到伺服器嗎?

不會。輸入的數值只在目前的瀏覽器分頁中計算,不會傳送到任何伺服器。

分析你自己的問卷資料檔

開啟 CSV、Excel 或 SPSS(.sav)檔案,直接在瀏覽器中開始分析。免費、不需要帳號,你的資料不會離開你的電腦。

開啟完整工作區

· 英文版