好的編碼簿
編碼簿（代碼表、分類架構）規定要區分哪些主題，以及如何判斷。通常先讀過前 100 到 200 則回答再建立，之後只在控管下逐步擴充。
- 每個代碼都有簡短名稱，以及寫明納入與排除規則的說明。
- 代碼之間盡量不重疊；一則回答提到多個主題時就多重編碼。
- 「其他」與「不知道／拒答」等剩餘類別也是獨立代碼，並盡量保持很小。
- 用上層類別（net）整合相關代碼，例如把「送太慢」與「送到時已經冷掉」歸入「外送」。
- 文字雲不能取代編碼簿：它計算的是字詞，不是意義。
在 Crosstabs 中的流程
開放式編碼在已儲存的本機專案中運作，並記錄每一個決定。除非你執行 AI 動作，回答文字不會離開瀏覽器。
- 1.儲存專案。 把分析儲存為本機專案，並選擇含有開放題回答的變數。
- 2.建立編碼簿。 逐行輸入主題，或重複使用既有的編碼簿。設定每則回答只能有一個主題，還是可以有多個。
- 3.歸類。 以人工方式歸類回答；每個決定都會記錄審核人與時間。
- 4.審核並核准。 確認審閱已完成，然後核准這次編碼。
- 5.套用。 核准的代碼會以變數形式加入專案。復原會還原到套用前的確切資料狀態。
什麼時候可以讓 AI 協助編碼
你可以選擇讓 AI 建議主題或預先編碼。這時，單一題目的回答會經由 crosstabs.com 的伺服器傳送給 OpenAI，而且只有在你明確確認這次執行之後才會傳送。回傳的是建議，不是完成的結果。
代碼定義、歸類是否完整、核准、解讀，以及敏感內容的處理，責任都在你身上。請像對待第二位編碼者的判斷一樣審查 AI 的建議，並事先確認回答中是否含有個人資料。
用 Cohen's kappa 衡量一致性
編碼簿是否可靠，要讓兩個人獨立為同一批回答編碼才看得出來。單純的一致率會高估品質，因為碰巧一致的判斷也算在內。Cohen's kappa 會扣除這部分的機率。
請雙重編碼一個子樣本（至少 30 則，越多越好），並依每個代碼兩人「有給／沒給」的 2×2 表計算 kappa。Landis 與 Koch（1977）把 0.61 到 0.80 稱為高度一致，0.80 以上稱為幾乎完全一致；表現較弱的代碼請把說明寫得更明確。
公式
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- 其中
- pₒ
- 觀察一致率，判斷相同的比例
- pₑ
- 由邊際分布算出的機率期望一致率
分析代碼
多重編碼時，已編碼的開放題就是一題複選題：每個代碼報告提到它的受訪者比例，並以作答人數為基數。比例加總可以超過 100%，檢定則逐一代碼在獨立群體之間進行。
計算範例
計算範例：代碼「送達時間」的雙重編碼
兩個人獨立為 60 則回答編碼，題目是「外送服務哪裡需要改進」。對代碼「送達時間」，兩人有 53 則判斷一致，7 則不一致：觀察一致率 pₒ = 0.883。
由邊際分布算出的機率一致率為 pₑ = 0.540。因此 κ = (0.883 − 0.540) ÷ (1 − 0.540) = 0.746，95% 信賴區間為 0.57 到 0.92。依 Landis 與 Koch 的標準屬於高度一致，但區間偏寬。在倚賴結果之前，請把代碼說明寫得更精確，並增加雙重編碼的回答數。
| 編碼者 B：有給 | 編碼者 B：沒給 | |
|---|---|---|
| 編碼者 A：有給 | 18 | 4 |
| 編碼者 A：沒給 | 3 | 35 |
說明用的合成雙重編碼資料。kappa 與信賴區間以 Crosstabs 的 Cohen's kappa 計算器所用的同一個函數算出。