よいコード表
コード表（コードブック、分類体系）は、どのテーマを区別し、何を手がかりに判断するかを定めます。たいていは最初の 100〜200 件の回答を読んで作り、その後は管理しながら少しずつ追加します。
- 各コードには短い名前と、含める・含めないの基準を書いた説明を付けます。
- コードはなるべく重ならないようにし、1 つの回答が複数のテーマに触れる場合は複数コードを付けます。
- 「その他」や「わからない・無回答」などの残余カテゴリも独立したコードとし、小さく保ちます。
- 上位概念（ネット）で関連コードをまとめます。たとえば「遅れた」と「冷めて届いた」を「配達」に。
- ワードクラウドはコード表の代わりになりません。数えているのは単語であって、意味ではありません。
Crosstabs での流れ
オープンエンドコーディングは保存したローカルプロジェクトの中で動き、すべての判断を記録します。AI の操作をしない限り、回答文がブラウザの外に出ることはありません。
- 1.プロジェクトを保存する。 分析をローカルプロジェクトとして保存し、自由回答の変数を選びます。
- 2.コード表を作る。 テーマを 1 行に 1 つずつ入力するか、既存のコード表を再利用します。1 つの回答に付けられるテーマが 1 つか複数かを決めます。
- 3.割り当てる。 回答を手作業で割り当てます。各判断は確認者と日時とともに記録されます。
- 4.確認して承認する。 見直しが完了したことを確認し、コーディングを承認します。
- 5.適用する。 承認したコードが変数としてプロジェクトに取り込まれます。元に戻すと、取り込み前の正確なデータ状態が復元されます。
AI にコーディングを手伝わせてよいとき
必要に応じて、AI にテーマを提案させたり、回答を事前にコーディングさせたりできます。その場合、1 つの設問の回答が crosstabs.com のサーバー経由で OpenAI に送られます。送信はあなたがその実行を明示的に承認した後だけです。返ってくるのは提案であって、完成した結果ではありません。
コードの定義、割り当ての網羅性、承認、解釈、機微な内容の扱いに対する責任はあなたに残ります。AI の提案は 2 人目のコーダーの判断と同じように確認し、事前に回答に個人情報が含まれていないか確かめてください。
Cohen のカッパ係数で一致度を測る
コード表が機能するかどうかは、2 人が同じ回答を独立にコーディングしたときにわかります。単純な一致率は品質を過大評価します。偶然一致した判断も数えてしまうからです。Cohen のカッパ係数はこの偶然の分を取り除きます。
部分標本を二重にコーディングし（最低 30 件、できればもっと多く）、コードごとに 2 人の「付けた／付けない」の 2×2 表からカッパを計算します。Landis と Koch（1977）は 0.61〜0.80 を「かなりの一致」、0.80 超を「ほぼ完全な一致」としています。弱いコードは説明を明確にします。
計算式
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- 記号の意味
- pₒ
- 観測一致率。判断が一致した割合
- pₑ
- 周辺分布から求めた偶然による期待一致率
コードを集計する
複数コードを付ける場合、コーディング済みの自由回答は複数回答の設問です。コードごとに、それに触れた回答者の割合を、回答者数をベースにして報告します。割合の合計は 100% を超えてかまわず、検定はコードごとに独立したグループ間で行います。
計算例
計算例：コード「配達時間」の二重コーディング
2 人が、宅配サービスの改善点を尋ねた設問の回答 60 件を独立にコーディングしました。コード「配達時間」について、2 人の判断は 53 件で一致し、7 件で不一致でした。観測一致率 pₒ = 0.883 です。
周辺分布から求めた偶然の一致率は pₑ = 0.540。したがって κ = (0.883 − 0.540) ÷ (1 − 0.540) = 0.746、95% 信頼区間は 0.57〜0.92 です。Landis と Koch の基準では「かなりの一致」ですが、区間は広めです。結果に頼る前に、コードの説明を明確にし、二重コーディングする回答を増やしましょう。
| コーダー B：付けた | コーダー B：付けない | |
|---|---|---|
| コーダー A：付けた | 18 | 4 |
| コーダー A：付けない | 3 | 35 |
説明用の合成二重コーディングデータ。カッパと信頼区間は Crosstabs のカッパ係数計算ツールと同じ関数で算出しています。