中文如何斷詞
工具使用瀏覽器內建的 Intl.Segmenter 斷詞。它依循 Unicode 詞邊界規則,並為中文、日文和泰文內建詞典,所以沒有空格的中文也能切成詞,而不是把整句當成一個詞。斷詞結果取決於瀏覽器的詞典,少數複合詞可能被切成單字;遇到這種情況,可勾選「加入雙詞片語」,或在關鍵詞上下文中核對。
停用詞表收錄中文常用虛詞與代名詞(的、了、是、我們、這個、因為等),簡體與繁體寫法都有。自動模式下,每則回答依文字類型選擇詞表:含假名的用日文詞表,含韓文字母的用韓文詞表,其餘漢字用中文詞表;英文等拉丁文字則依命中停用詞最多的語言判斷。
計算公式
提及占比 = 提到該詞至少一次的回答權重總和 ÷ 有文字回答的權重總和(不加權時權重皆為 1)。同一則回答重複提到只計一次;「提及次數」另列全部出現次數。
區隔比較對每個詞使用合併變異數的兩比例 z 檢定:z = (p₁ − p₂) ÷ √(p̄(1 − p̄)(1/n₁ + 1/n₂)),p₁ 為該區隔的提及占比,p₂ 為其他所有區隔合併後的占比,p̄ 為合併占比。使用權重時,n 取 Kish 有效樣本數 (Σw)² ÷ Σw²,屬於近似方法。
分析範例
點選「使用範例資料」會載入一份合成的外送服務調查:480 位受訪者回答「您認為我們的外送服務最需要改進的一點是什麼?」,其中 464 位填寫了文字。依預設設定(自動中文停用詞、每個詞至少 2 則回答),提及最多的詞是「配送」:135 則回答(29.1%)提到它,共出現 139 次;其次是「訂單」(19.4%)和「服務」(18.3%)。
依顧客類型比較,會員(n = 121)有 28.1% 的回答提到「會員」,其他顧客只有 4.7%:z = 7.15,p < .001。這就是該區隔的特徵詞。
點選這個詞、閱讀該區隔的原始回答,才能把「提得多」變成可以報告的結論:他們具體在抱怨什麼。
適用與不適用的情境
詞頻回答的是「大家用了哪些詞」,而不是「大家是什麼意思」。
- 建立編碼架構之前,快速瀏覽大量開放題回答。
- 找出某個區隔、某一波次或某個市場明顯更常用的詞。
- 中文、日文、韓文等多語言的短回答,而且不想上傳到任何伺服器。
- 報告意義或情緒:詞頻忽略否定與語境(「不慢」也會計入「慢」),這時應該做編碼。
- 回答很少(約 30 則以下),詞與詞之間的差異多半是雜訊。
- 長篇文字,主題模型或人工編碼更合適。
如何解讀結果
看提及占比,而不是字級:出現在 20% 回答中的詞是常見話題,2% 只是細節。引用任何詞之前,先點開閱讀背後的回答。區隔比較中的 ▲ 表示該區隔在 p < .05 水準下顯著更常提到這個詞;詞很多時會有一些差異只因偶然而顯著,應優先關注差異大、說得通、且 CSV 中 Benjamini–Hochberg q 值仍小的詞。下一步可以用開放題編碼把反覆出現的話題整理成主題與編碼變數。