ナビゲーションを開く
開くワークスペースを開く

リサーチツール · 評価者間の一致

Cohen のカッパ係数の計算ツール

2 人の評価者やコーダーは、偶然で期待される以上にどれだけ一致しているでしょうか。

カッパ係数をオンラインで計算

一致表を入力してください:行 = 評価者 A、列 = 評価者 B、一致は対角線上です。カテゴリーの追加や名前の変更もできます。

一致行列 行 = 評価者A、列 = 評価者B。一致は対角線上に表れます。
評価者A ↓ / 評価者B → 合計
Yes25
No25
合計302050

Cohen のカッパ係数(κ)

0.400

fair 一致度(Landis & Koch)· 95% 信頼区間 0.146 ~ 0.654 · p = .004 対 κ = 0

κ = 0.40, 95%信頼区間 [0.15, 0.65], N = 50

観測一致率(pₒ)0.700
偶然一致率(pₑ)0.500
κの標準誤差0.1296
01

カッパ係数の計算方法

pₒ は対角線上のケースの割合です。pₑ は、2 人が同じ周辺分布で独立に分類した場合に期待される一致率です。カッパ係数は、一致の上積みを可能な最大の上積みに対する比で表します。

  • κ = (pₒ − pₑ) ÷ (1 − pₑ)
  • pₑ = Σ (行合計ᵢ · 列合計ᵢ) ÷ n²
  • Landis と Koch(1977)の目安:0.20 以下 わずか、0.21〜0.40 まずまず、0.41〜0.60 中程度、0.61〜0.80 かなり、0.80 超 ほぼ完全。
02

計算例

計算ツールは一致表 [[20, 5], [10, 15]](n = 50)で開きます。評価者の一致率は pₒ = 0.700、偶然で期待される一致率は pₑ = 0.500 です。κ = 0.400、95% 信頼区間 [0.146, 0.654]、z = 2.89、p = .004 となり、偶然を明らかに上回る「まずまず」の一致です。

03

使う場面と使わない場面

自由回答のコーディングや診断を 2 人で行うときの標準的な指標です。

  • 2 人のコーダーが同じケースを同じカテゴリーに分類するとき。
  • 本分析の前にコードフレームを検証するとき。
  • 評価者が 3 人以上なら使わない:Fleiss のカッパや Krippendorff のアルファを使います。
  • カテゴリーの頻度が大きく偏ると、一致率が高くてもカッパが低くなることがあります(カッパのパラドックス)。

参考文献

参考文献・関連資料

  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.

  • Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.

  • scikit-learn — sklearn.metrics.cohen_kappa_score

よくある質問

よくある質問

どのくらいのカッパなら良いですか?

Landis と Koch によると 0.60 を超えればかなりの一致、0.80 を超えればほぼ完全です。自由回答のコーディングでは 0.70 以上を目標にすることがよくあります。

なぜカッパは一致率より低いのですか?

偶然の一致を差し引くからです。頻度の等しい 2 カテゴリーなら、当て推量でも約半分は一致します。

カッパのパラドックスとは?

あるカテゴリーが非常に多いと pₑ が大きくなり、一致率が高くてもカッパが小さくなる現象です。pₒ もあわせて報告してください。

重み付きカッパも計算できますか?

いいえ、このツールは重みなしの Cohen のカッパを計算します。順序のあるカテゴリーには重み付きカッパのほうが適する場合があります。

データはアップロードされますか?

いいえ。入力した値はこのブラウザーのタブ内だけで計算され、サーバーには送信されません。

調査データ全体をブラウザーで分析しましょう

クロス集計、ウェイト付け、有意差検定、編集可能なレポート出力まで、すべて無料でアカウント登録も不要です。ファイルはお使いのブラウザー内で処理され、アップロードされません。

データファイルを開く

· 英語版を読む