Un buon piano dei codici
Il piano dei codici (codebook, tassonomia) stabilisce quali temi si distinguono e come si riconoscono. Di solito nasce dalla lettura delle prime 100–200 risposte e in seguito viene ampliato solo in modo controllato.
- Ogni codice ha un nome breve e una descrizione con regole di inclusione ed esclusione.
- I codici si sovrappongono il meno possibile; se una risposta cita più temi, si applica la codifica multipla.
- Categorie residue come “Altro” e “non so / non risponde” sono codici a sé e vanno tenute piccole.
- Le macrocategorie (net) raggruppano codici affini, per esempio “Consegna” per “in ritardo” e “arrivato freddo”.
- Una nuvola di parole non sostituisce un piano dei codici: conta parole, non significati.
Il flusso di lavoro in Crosstabs
La codifica delle risposte aperte lavora in un progetto locale salvato e registra ogni decisione. Senza un'azione di IA i testi delle risposte non lasciano il browser.
- 1.Salvate il progetto. Salvate l'analisi come progetto locale e scegliete la variabile con le risposte aperte.
- 2.Create il piano dei codici. Inserite i temi, uno per riga, oppure riutilizzate un piano dei codici esistente. Stabilite se una risposta può ricevere uno o più temi.
- 3.Assegnate. Assegnate le risposte manualmente; ogni decisione viene registrata con revisore e data e ora.
- 4.Rivedete e approvate. Confermate che la revisione è completa e approvate la codifica.
- 5.Applicate. I codici approvati vengono aggiunti al progetto come variabili. Annulla ripristina esattamente lo stato dei dati precedente all'applicazione.
Quando un'IA può partecipare alla codifica
In via facoltativa un'IA può proporre temi o precodificare le risposte. Per farlo le risposte di una sola domanda vengono inviate a OpenAI tramite il server di crosstabs.com, solo dopo che avete confermato esplicitamente quell'esecuzione. Tornano proposte, non risultati definitivi.
La responsabilità per le definizioni dei codici, la completezza dell'assegnazione, l'approvazione, l'interpretazione e la gestione dei contenuti sensibili resta vostra. Valutate le proposte dell'IA come quelle di un secondo codificatore, e verificate prima se le risposte contengono dati personali.
Misurare l'accordo con il kappa di Cohen
Se un piano dei codici regge lo si vede quando due persone codificano in modo indipendente le stesse risposte. La semplice percentuale di accordo sopravvaluta la qualità, perché conta anche i giudizi che coincidono per caso. Il kappa di Cohen elimina questa quota casuale.
Codificate due volte un sottocampione, almeno 30 risposte e meglio di più, e calcolate il kappa per ogni codice dalla tabella 2×2 “codice assegnato sì/no” delle due persone. Landis e Koch (1977) definiscono i valori da 0,61 a 0,80 un accordo sostanziale e quelli sopra 0,80 un accordo quasi perfetto; i codici deboli vanno precisati nella descrizione.
Formula
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- Dove
- pₒ
- accordo osservato, la quota di giudizi uguali
- pₑ
- accordo atteso per caso, dalle distribuzioni marginali
Analizzare i codici
Con la codifica multipla una domanda aperta codificata è una domanda a risposta multipla: riportate per ogni codice la quota di intervistati che lo menziona, con il numero di rispondenti come base. Le quote possono sommare più del 100%, e il test si fa per codice tra gruppi indipendenti.
Esempio svolto
Esempio: doppia codifica del codice “Tempi di consegna”
Due persone codificano in modo indipendente 60 risposte alla domanda su che cosa migliorerebbe un servizio di consegna. Per il codice “Tempi di consegna” concordano in 53 casi e discordano in 7: accordo osservato pₒ = 0,883.
Dalle distribuzioni marginali risulta un accordo casuale pₑ = 0,540. Quindi κ = (0,883 − 0,540) ÷ (1 − 0,540) = 0,746, intervallo di confidenza al 95% da 0,57 a 0,92. Secondo Landis e Koch è un accordo sostanziale, ma l'intervallo è ampio. Precisate la descrizione del codice e codificate due volte più risposte prima di basarvi su di esso.
| Codificatore B: sì | Codificatore B: no | |
|---|---|---|
| Codificatrice A: sì | 18 | 4 |
| Codificatrice A: no | 3 | 35 |
Doppia codifica sintetica a scopo illustrativo. Kappa e intervallo di confidenza calcolati con la stessa funzione del calcolatore del kappa di Crosstabs.