01
kappa 계산 방법
pₒ는 대각선에 있는 사례의 비율입니다. pₑ는 두 평가자가 같은 주변 분포로 독립적으로 분류했을 때 기대되는 일치율입니다. kappa는 일치의 초과분을 가능한 최대 초과분에 대한 비율로 나타냅니다.
- κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₑ = Σ (행 합계ᵢ · 열 합계ᵢ) ÷ n²
- Landis와 Koch(1977) 기준: 0.20 이하 약간, 0.21~0.40 보통, 0.41~0.60 중간, 0.61~0.80 상당, 0.80 초과 거의 완전.
02
계산 예시
계산기는 일치 행렬 [[20, 5], [10, 15]](n = 50)로 열립니다. 평가자의 일치율은 pₒ = 0.700, 우연히 기대되는 일치율은 pₑ = 0.500입니다. κ = 0.400, 95% 신뢰구간 [0.146, 0.654], z = 2.89, p = .004로, 우연을 뚜렷하게 넘는 '보통' 수준의 일치입니다.
03
쓸 때와 쓰지 말아야 할 때
kappa는 두 사람이 주관식 응답이나 진단을 코딩할 때의 표준 지표입니다.
- 두 코더가 같은 사례를 같은 범주로 분류할 때.
- 본 분석 전에 코드북을 검증할 때.
- 평가자가 셋 이상이면 쓰지 마세요. Fleiss' kappa나 Krippendorff's alpha를 쓰세요.
- 범주 빈도가 크게 치우치면 일치율이 높아도 kappa가 낮을 수 있습니다(kappa 역설).