カッパ係数の計算方法
pₒ は対角線上のケースの割合です。pₑ は、2 人が同じ周辺分布で独立に分類した場合に期待される一致率です。カッパ係数は、一致の上積みを可能な最大の上積みに対する比で表します。
- κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₑ = Σ (行合計ᵢ · 列合計ᵢ) ÷ n²
- Landis と Koch(1977)の目安:0.20 以下 わずか、0.21〜0.40 まずまず、0.41〜0.60 中程度、0.61〜0.80 かなり、0.80 超 ほぼ完全。
計算例
計算ツールは一致表 [[20, 5], [10, 15]](n = 50)で開きます。評価者の一致率は pₒ = 0.700、偶然で期待される一致率は pₑ = 0.500 です。κ = 0.400、95% 信頼区間 [0.146, 0.654]、z = 2.89、p = .004 となり、偶然を明らかに上回る「まずまず」の一致です。
使う場面と使わない場面
自由回答のコーディングや診断を 2 人で行うときの標準的な指標です。
- 2 人のコーダーが同じケースを同じカテゴリーに分類するとき。
- 本分析の前にコードフレームを検証するとき。
- 評価者が 3 人以上なら使わない:Fleiss のカッパや Krippendorff のアルファを使います。
- カテゴリーの頻度が大きく偏ると、一致率が高くてもカッパが低くなることがあります(カッパのパラドックス)。