中文怎么分词
工具使用浏览器自带的 Intl.Segmenter 按词切分。它遵循 Unicode 词边界规则,并为中文、日文和泰文内置词典,所以没有空格的中文也能切成词,而不是把整句当成一个词。切分结果取决于浏览器的词典,个别复合词(如“客服”)可能被切成单字;遇到这种情况,可勾选“加入双词短语”,或在关键词上下文中核对。
停用词表包含中文常用虚词和代词(的、了、是、我们、这个、因为等),同时收录简体和繁体写法。自动模式下,每条回答按文字类型选择词表:含假名的回答用日文词表,含韩文字母的用韩文词表,其余汉字用中文词表;英文等拉丁文字按命中停用词最多的语言判断。
计算公式
提及占比 = 提到该词至少一次的回答的权重之和 ÷ 有文字回答的权重之和(不加权时权重均为 1)。同一条回答重复提到某词只计一次;“提及次数”另列全部出现次数。
细分群体比较对每个词使用合并方差的两比例 z 检验:z = (p₁ − p₂) ÷ √(p̄(1 − p̄)(1/n₁ + 1/n₂)),其中 p₁ 是该群体的提及占比,p₂ 是其他所有群体合并后的占比,p̄ 为合并占比。使用权重时,n 取 Kish 有效样本量 (Σw)² ÷ Σw²,属于近似方法。
分析示例
点击“使用示例数据”会加载一份合成外卖服务调查:480 名受访者回答“您认为我们的外卖服务最需要改进的一点是什么?”,其中 464 人填写了文字。按默认设置(自动中文停用词、每个词至少 2 条回答),提及最多的词是“配送”:135 条回答(29.1%)提到它,共出现 139 次;其次是“订单”(19.4%)和“服务”(18.3%)。
按客户类型比较,会员(n = 121)中有 28.1% 的回答提到“会员”,其他客户只有 4.7%:z = 7.15,p < .001。这就是该群体的特征词。
点击这个词,阅读该群体的原始回答,才能把“提得多”变成可以汇报的结论:他们具体在抱怨什么。
适用与不适用的场景
词频回答的是“大家用了哪些词”,而不是“大家是什么意思”。
- 适用:建立编码框架之前,快速通读大量开放题回答。
- 适用:找出某个细分群体、某一波次或某个市场明显更常用的词。
- 适用:中文、日文、韩文等多语言短回答,而且不想上传到任何服务器。
- 不适用:报告含义或情感——词频会忽略否定和语境(“不慢”也会计入“慢”),这时应该做编码。
- 不适用:回答很少(约 30 条以下),词与词之间的差异大多是噪声。
- 不适用:长篇文本,主题模型或人工编码更合适。
如何解读结果
看提及占比,而不是字号:出现在 20% 回答中的词是常见话题,2% 只是细节。引用任何一个词之前,先点开阅读它背后的回答。细分比较中的 ▲ 表示该群体在 p < .05 水平下显著更常提到这个词;词很多时会有一些差异仅因偶然而显著,应优先关注差异大、说得通、并且 CSV 中 Benjamini–Hochberg q 值仍然较小的词。
下一步可以在开放题编码工具中把反复出现的话题整理成主题和编码变量,再与其他题目做交叉分析。