01
So wird Kappa berechnet
pₒ ist der Anteil der Fälle auf der Diagonale. pₑ ist die Übereinstimmung, die bei unabhängigen Urteilen mit denselben Randverteilungen zu erwarten wäre. Kappa setzt den Überschuss ins Verhältnis zum maximal möglichen Überschuss.
- κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₑ = Σ (Zeilensummeᵢ · Spaltensummeᵢ) ÷ n²
- Einordnung nach Landis & Koch (1977): ≤ 0,20 gering, 0,21–0,40 ausreichend, 0,41–0,60 mittelmäßig, 0,61–0,80 beträchtlich, > 0,80 fast vollkommen.
02
Rechenbeispiel
Der Rechner öffnet mit der Matrix [[20, 5], [10, 15]] (n = 50). Die Beurteiler stimmen in pₒ = 0,700 der Fälle überein, zufällig erwartet wären pₑ = 0,500. Daraus folgt κ = 0,400, 95-%-KI [0,146; 0,654], z = 2,89, p = 0,004 – eine ausreichende Übereinstimmung, die deutlich über dem Zufall liegt.
03
Wann verwenden – und wann nicht
Kappa ist das Standardmaß für die Codierung offener Antworten oder Diagnosen durch zwei Personen.
- Zwei Codierer, die dieselben Fälle in dieselben Kategorien einordnen.
- Prüfung eines Codeplans vor der Feldauswertung.
- Nicht für mehr als zwei Beurteiler – dafür Fleiss’ Kappa oder Krippendorffs Alpha.
- Bei sehr ungleich verteilten Kategorien kann Kappa trotz hoher Übereinstimmung niedrig ausfallen (Kappa-Paradox).