Ein guter Codeplan
Der Codeplan (Codebuch, Taxonomie) legt fest, welche Themen unterschieden werden und woran man sie erkennt. Er entsteht meist aus einer Durchsicht der ersten 100 bis 200 Antworten und wird danach nur noch kontrolliert erweitert.
- Jeder Code hat einen kurzen Namen und eine Beschreibung mit Ein- und Ausschlussregeln.
- Codes überschneiden sich möglichst nicht; wo eine Antwort mehrere Themen nennt, gilt Mehrfachcodierung.
- Restkategorien wie „Sonstiges“ und „weiß nicht / keine Angabe“ sind eigene Codes und werden klein gehalten.
- Oberbegriffe (Netze) fassen verwandte Codes zusammen, etwa „Lieferung“ für „zu spät“ und „kalt angekommen“.
- Ein Wortwolken-Diagramm ersetzt keinen Codeplan: Es zählt Wörter, keine Bedeutungen.
Der Ablauf in Crosstabs
Die Open-End-Codierung arbeitet in einem gespeicherten lokalen Projekt und hält jede Entscheidung fest. Ohne KI-Aktion verlassen die Antworttexte den Browser nicht.
- 1.Projekt speichern. Speichern Sie die Analyse als lokales Projekt und wählen Sie die Variable mit den offenen Antworten.
- 2.Codeplan anlegen. Tragen Sie die Themen ein, eines pro Zeile, oder verwenden Sie einen vorhandenen Codeplan erneut. Legen Sie fest, ob eine Antwort ein oder mehrere Themen erhalten darf.
- 3.Zuordnen. Ordnen Sie die Antworten manuell zu; jede Entscheidung wird mit prüfender Person und Zeitpunkt protokolliert.
- 4.Prüfen und freigeben. Bestätigen Sie, dass die Durchsicht vollständig ist, und geben Sie die Codierung frei.
- 5.Anwenden. Die freigegebenen Codes werden als Variablen ins Projekt übernommen. Rückgängig machen stellt den exakten Datenstand vor der Übernahme wieder her.
Wann eine KI mitcodieren darf
Optional kann eine KI Themen vorschlagen oder Antworten vorcodieren. Dafür werden die Antworten genau einer Frage über den Server von crosstabs.com an OpenAI gesendet – erst nachdem Sie diesen Lauf ausdrücklich bestätigt haben. Zurück kommen Vorschläge, keine fertigen Ergebnisse.
Die Verantwortung für Codedefinitionen, Vollständigkeit der Zuordnung, Freigabe, Interpretation und den Umgang mit sensiblen Inhalten bleibt bei Ihnen. Prüfen Sie KI-Vorschläge wie die einer zweiten Codiererin – und prüfen Sie vorher, ob die Antworten personenbezogene Angaben enthalten.
Übereinstimmung messen mit Cohens Kappa
Ob ein Codeplan trägt, zeigt sich, wenn zwei Personen dieselben Antworten unabhängig codieren. Die bloße Übereinstimmungsquote überschätzt die Qualität, weil auch zufällig übereinstimmende Urteile mitzählen. Cohens Kappa rechnet diesen Zufallsanteil heraus.
Codieren Sie dafür eine Teilstichprobe doppelt – mindestens 30 Antworten, besser mehr – und berechnen Sie Kappa je Code aus der 2×2-Tabelle „Code vergeben ja/nein“ beider Personen. Landis und Koch (1977) bezeichnen Werte von 0,61 bis 0,80 als substanzielle, über 0,80 als fast vollkommene Übereinstimmung; schwache Codes präzisieren Sie in der Beschreibung.
Formel
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- Dabei gilt
- pₒ
- beobachtete Übereinstimmung, der Anteil gleicher Urteile
- pₑ
- bei Zufall erwartete Übereinstimmung aus den Randverteilungen
Codes auswerten
Bei Mehrfachcodierung ist eine codierte offene Frage eine Mehrfachantwortfrage: Berichten Sie je Code den Anteil der Befragten, die ihn nennen, mit der Zahl der Antwortenden als Basis. Die Anteile dürfen sich zu mehr als 100 % addieren, und getestet wird je Code zwischen unabhängigen Gruppen.
Rechenbeispiel
Beispiel: doppelte Codierung des Codes „Lieferzeit“
Zwei Personen codieren unabhängig 60 Antworten auf die Frage, was einen Lieferdienst verbessern würde. Beim Code „Lieferzeit“ stimmen sie in 53 Fällen überein und in 7 nicht: beobachtete Übereinstimmung pₒ = 0,883.
Aus den Randverteilungen ergibt sich eine zufällige Übereinstimmung von pₑ = 0,540. Damit ist κ = (0,883 − 0,540) ÷ (1 − 0,540) = 0,746, 95-%-Konfidenzintervall 0,57 bis 0,92. Nach Landis und Koch ist das eine substanzielle Übereinstimmung – aber das Intervall ist breit. Präzisieren Sie die Codebeschreibung und codieren Sie mehr Antworten doppelt, bevor Sie sich darauf stützen.
| Codierer B: ja | Codierer B: nein | |
|---|---|---|
| Codiererin A: ja | 18 | 4 |
| Codiererin A: nein | 3 | 35 |
Synthetische Doppelcodierung zur Illustration. Kappa und Konfidenzintervall mit derselben Funktion berechnet wie im Kappa-Rechner von Crosstabs.