01
Come si calcola il kappa
pₒ è la quota di casi sulla diagonale. pₑ è l’accordo atteso se i due valutatori classificassero in modo indipendente con le stesse distribuzioni marginali. Il kappa rapporta l’eccesso di accordo all’eccesso massimo possibile.
- κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₑ = Σ (totale di rigaᵢ · totale di colonnaᵢ) ÷ n²
- Riferimenti di Landis e Koch (1977): ≤ 0,20 lieve, 0,21–0,40 discreto, 0,41–0,60 moderato, 0,61–0,80 sostanziale, > 0,80 quasi perfetto.
02
Esempio
Il calcolatore si apre con la matrice [[20, 5], [10, 15]] (n = 50). I valutatori concordano in pₒ = 0,700 dei casi, mentre per caso ci si aspetterebbe pₑ = 0,500. Ne risulta κ = 0,400, IC al 95% [0,146; 0,654], z = 2,89, p = 0,004: un accordo discreto, nettamente superiore al caso.
03
Quando usarlo e quando no
Il kappa è la misura standard per la codifica di risposte aperte o diagnosi da parte di due persone.
- Due codificatori che classificano gli stessi casi nelle stesse categorie.
- Validare un piano di codifica prima dell’analisi dei dati.
- Non per più di due valutatori: usa il kappa di Fleiss o l’alfa di Krippendorff.
- Con categorie molto squilibrate il kappa può essere basso nonostante un accordo elevato (paradosso del kappa).