Un bon plan de codes
Le plan de codes (grille de codification, taxonomie) définit les thèmes à distinguer et la façon de les reconnaître. Il naît généralement de la lecture des 100 à 200 premières réponses, puis ne s’enrichit plus que de manière contrôlée.
- Chaque code a un nom court et une description avec des règles d’inclusion et d’exclusion.
- Les codes se recoupent le moins possible ; si une réponse évoque plusieurs thèmes, on recourt au codage multiple.
- Les catégories résiduelles comme « Autre » et « Ne sait pas / sans réponse » sont des codes à part entière et restent marginales.
- Des regroupements (nets) rassemblent des codes voisins, par exemple « Livraison » pour « en retard » et « arrivé froid ».
- Un nuage de mots ne remplace pas un plan de codes : il compte des mots, pas des significations.
Le déroulement dans Crosstabs
Le codage des réponses ouvertes fonctionne dans un projet local enregistré et garde la trace de chaque décision. Sans action d’IA, les textes des réponses ne quittent pas le navigateur.
- 1.Enregistrer le projet. Enregistrez l’analyse comme projet local et choisissez la variable qui contient les réponses ouvertes.
- 2.Construire le plan de codes. Saisissez les thèmes, un par ligne, ou réutilisez un plan de codes existant. Indiquez si une réponse peut recevoir un ou plusieurs thèmes.
- 3.Affecter. Affectez les réponses manuellement ; chaque décision est journalisée avec la personne qui l’a vérifiée et l’horodatage.
- 4.Vérifier et valider. Confirmez que la relecture est complète et validez le codage.
- 5.Appliquer. Les codes validés sont repris comme variables dans le projet. Annuler restaure l’état exact des données avant l’application.
Quand une IA peut participer au codage
En option, une IA peut proposer des thèmes ou pré-coder les réponses. Les réponses d’une seule question sont alors envoyées à OpenAI via le serveur de crosstabs.com – uniquement après votre confirmation explicite de cette exécution. Ce qui revient, ce sont des propositions, pas des résultats définitifs.
La responsabilité des définitions de codes, de l’exhaustivité de l’affectation, de la validation, de l’interprétation et du traitement des contenus sensibles reste la vôtre. Examinez les propositions de l’IA comme celles d’un second codeur – et vérifiez au préalable si les réponses contiennent des données personnelles.
Mesurer l’accord avec le kappa de Cohen
Un plan de codes fait ses preuves lorsque deux personnes codent indépendamment les mêmes réponses. Le simple taux d’accord surestime la qualité, car il inclut les jugements concordants par hasard. Le kappa de Cohen retire cette part due au hasard.
Codez pour cela un sous-échantillon deux fois – au moins 30 réponses, davantage si possible – et calculez kappa pour chaque code à partir du tableau 2×2 « code attribué oui/non » des deux personnes. Landis et Koch (1977) qualifient les valeurs de 0,61 à 0,80 d’accord substantiel et celles au-delà de 0,80 d’accord presque parfait ; précisez la description des codes faibles.
Formule
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- Où
- pₒ
- accord observé, la part des jugements identiques
- pₑ
- accord attendu par hasard, calculé à partir des marges
Analyser les codes
Avec le codage multiple, une question ouverte codée est une question à réponses multiples : pour chaque code, rapportez la part des répondants qui le citent, avec le nombre de répondants comme base. Les parts peuvent totaliser plus de 100 %, et les tests se font code par code entre groupes indépendants.
Exemple chiffré
Exemple : double codage du code « Délai de livraison »
Deux personnes codent indépendamment 60 réponses à la question de ce qui améliorerait un service de livraison. Pour le code « Délai de livraison », elles sont d’accord dans 53 cas et en désaccord dans 7 : accord observé pₒ = 0,883.
Les marges donnent un accord attendu par hasard de pₑ = 0,540. On obtient donc κ = (0,883 − 0,540) ÷ (1 − 0,540) = 0,746, avec un intervalle de confiance à 95 % de 0,57 à 0,92. Selon Landis et Koch, l’accord est substantiel – mais l’intervalle est large. Précisez la description du code et codez davantage de réponses en double avant de vous y fier.
| Codeur B : oui | Codeur B : non | |
|---|---|---|
| Codeuse A : oui | 18 | 4 |
| Codeuse A : non | 3 | 35 |
Double codage synthétique à visée illustrative. Kappa et intervalle de confiance calculés avec la même fonction que le calculateur de kappa de Crosstabs.