crosstabs.
Ouvrir la navigation
OuvrirOuvrir l’espace de travail

Outils d'études de marché · Accord inter-juges

Calculateur du kappa de Cohen

Deux juges ou codeurs sont-ils d’accord au-delà de ce que le hasard laisserait attendre ?

Lancer l'outil Ouvrir l'espace de travail complet

Calculer le kappa en ligne

Saisissez la matrice d’accord : lignes = juge A, colonnes = juge B, accords sur la diagonale. Vous pouvez ajouter et renommer des catégories.

Matrice de concordance Lignes = évaluateur A, colonnes = évaluateur B. La concordance se situe sur la diagonale.
Évaluateur A ↓ / Évaluateur B → Total
Yes25
No25
Total302050

Kappa de Cohen (κ)

0,400

fair accord (Landis & Koch) · IC à 95% 0,146 à 0,654 · p = 0,004 par rapport à κ = 0

κ = 0,40, IC à 95 % [0,15; 0,65], N = 50

Accord observé (pₒ)0,700
Accord dû au hasard (pₑ)0,500
Erreur standard de κ0,1296
01

Calcul du kappa

pₒ est la part des cas sur la diagonale. pₑ est l’accord attendu si les deux juges classaient indépendamment, avec les mêmes répartitions marginales. Kappa rapporte l’excédent d’accord à l’excédent maximal possible.

  • κ = (pₒ − pₑ) ÷ (1 − pₑ)
  • pₑ = Σ (total de ligneᵢ · total de colonneᵢ) ÷ n²
  • Repères de Landis et Koch (1977) : ≤ 0,20 faible, 0,21–0,40 passable, 0,41–0,60 modéré, 0,61–0,80 important, > 0,80 presque parfait.
02

Exemple

Le calculateur s’ouvre sur la matrice [[20, 5], [10, 15]] (n = 50). Les juges sont d’accord dans pₒ = 0,700 des cas, alors que le hasard en prévoirait pₑ = 0,500. On obtient κ = 0,400, IC à 95 % [0,146 ; 0,654], z = 2,89, p = 0,004 : un accord passable, nettement supérieur au hasard.

03

Quand l’utiliser, et quand l’éviter

Le kappa est la mesure de référence pour le codage de réponses ouvertes ou de diagnostics par deux personnes.

  • Deux codeurs classant les mêmes cas dans les mêmes catégories.
  • Valider un plan de codes avant l’exploitation des données.
  • Pas pour plus de deux juges : utilisez le kappa de Fleiss ou l’alpha de Krippendorff.
  • Avec des catégories très déséquilibrées, le kappa peut être faible malgré un fort accord (paradoxe du kappa).

Sources

Pour aller plus loin

  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.

  • Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.

  • scikit-learn — sklearn.metrics.cohen_kappa_score

FAQ

Questions fréquentes

Quelle valeur de kappa est bonne ?

Selon Landis et Koch, au-delà de 0,60 l’accord est important et au-delà de 0,80 presque parfait. Pour le codage de réponses ouvertes, on vise souvent au moins 0,70.

Pourquoi le kappa est-il plus bas que le pourcentage d’accord ?

Parce qu’il retranche l’accord attendu par hasard. Avec deux catégories également fréquentes, deux juges tombent d’accord dans environ la moitié des cas rien qu’en devinant.

Qu’est-ce que le paradoxe du kappa ?

Quand une catégorie est très fréquente, pₑ augmente fortement et le kappa peut rester faible malgré un fort pourcentage d’accord. Rapportez alors aussi pₒ.

Le calculateur donne-t-il un kappa pondéré ?

Non, il calcule le kappa non pondéré de Cohen. Pour des catégories ordonnées, un kappa pondéré peut être plus approprié.

Mes données sont-elles envoyées ?

Non. Toutes les saisies sont calculées uniquement dans cet onglet du navigateur ; rien n’est envoyé à un serveur.

Outils associés

V de CramérForce d’association de 0 à 1 pour un tableau de toute taille.Coefficient phiCorrélation signée entre deux variables binaires d’un tableau 2×2.Odds ratio (rapport des cotes)Odds ratio d’un tableau 2×2 avec intervalle de confiance à 95 %.

Analysez votre propre fichier d'enquête

Ouvrez un fichier CSV, Excel ou SPSS (.sav) et lancez l'analyse directement dans votre navigateur. Gratuit, sans compte : vos données ne quittent jamais votre ordinateur.

Ouvrir l'espace de travail complet

· Version anglaise