跳至内容
打开导航
打开分析工作区

问卷数据质量

问卷数据清洗工具

上传问卷数据,自动标记答题过快、矩阵题直线作答、重复提交、大面积空白、开放题乱填或复制粘贴、近似重复、IP/设备 ID 重复以及未通过注意力检查的样本,逐行说明标记原因,再下载清洗后的文件。全部在浏览器本地完成。

在线清洗问卷数据

打开 CSV、Excel、SPSS、Stata、SAS 或 JSON 文件(或使用示例数据),选择作答时长列、矩阵题列、受访者 ID 列,以及开放题、技术标识和注意力检查题所在的列。每条规则都可以单独关闭;原始文件不会被修改,也不会上传。

支持 CSV、Excel、SPSS、Stata、SAS、R、Parquet、SQLite 或 JSON。文件只在当前浏览器标签页中读取,不会上传。 Triple-S 数据请同时选择 .sss 或 .xml 元数据文件及其数据文件。

01

四条质量检查规则

答题过快:以作答时长的中位数作为认真作答所需时间的基准。时长低于中位数的一定比例(默认 33%),或低于你设定的最短秒数(取两者中较大者)的样本会被标记。时长为空或不是数字的行不会被判为答题过快。

直线作答:在你选择的矩阵题中,如果所有已作答题目的答案完全相同,且至少作答了 3 题(可调整),该行会被标记。工具同时显示“最长连续相同答案”,作为较弱的辅助信号,因为长矩阵中部分直线作答很常见。

重复样本:同一受访者 ID 再次出现时,第一次出现的记录保留,之后的每一次都会被标记。勾选“整行完全重复”后,即使 ID 被重新生成,也能发现重复提交。

不完整问卷:某一行中空白单元格占全部列的比例超过阈值(默认 50%)时被标记。跳题造成的空白是正常的,问卷逻辑较复杂时应适当提高阈值。

02

开放题、近似重复、技术标识与注意力检查

低质量开放题:对所选开放题的每条回答按固定顺序检查——无效回答(如“n/a”“idk”“nothing”“.”“good”“不知道”)、没有任何文字(如“12345”)、回答过短(少于 2 个字母)、键盘乱敲(任意单词内同一行 QWERTY 键位上连续 5 个相邻键,如“asdfg”;或整条回答只有一个词且为 4 个相邻键,如“hjkl”,因此“property”“Bewertung”不会被误判)、字符重复(同一字符重复,如“kkkk”;键盘连键或无元音片段重复两遍,如“asdasd”“sdsd”;或任意片段重复三遍及以上,如“jkjkjkjk”)、元音过少(6 个以上字母中元音不足 10%,或连续 7 个辅音音素——“sch”“ch”“th”“sz”等组合按一个音计,位于两个辅音之间的 r、l 按元音计,因此德语长复合词和捷克语“Strč prst skrz krk”不会被标记),以及字符多样性异常偏低(16 个字符以上、在本列中稳健 z 值 ≤ −3.5 且归一化熵低于 0.45 的回答;“Mississippi”“banana banana”这类较短的真实回答不参与此项判断)。

按文字系统区分:键盘乱敲、元音和长度这几条只针对以拉丁字母为主的回答,中文、日文、韩文、俄文、阿拉伯文、希伯来文、希腊文、泰文和天城文回答不会被这些规则误判,只接受与文字无关的检查(无效回答、无文字、整条重复、熵离群值和复制粘贴)。

复制粘贴:同一列中,忽略大小写、空格、标点和不可见字符后完全相同、长度至少 30 个字符(汉字按 2 计)的回答,若出现在至少 3 名受访者(大文件中为该列回答数的 0.5%)中,组内每一行都会被标记——这是“刷单农场”的典型特征。无效回答属于较弱信号:会列出原因,但默认保留在清洗后的文件中,勾选相应选项后才会移除。灵敏度可选低、标准、高,分别放宽或收紧以上阈值;即使是高灵敏度,也不会把一部约 23.6 万词的英语词典中的任何单词判为键盘乱敲或元音过少。

近似重复样本:在所选列中,只比较两行都作答的列,若相同答案的比例 ≥ 95%(可调整),保留较早的一行、标记较晚的一行;两行至少要共同作答所选列的一半(不少于 3 列),所选列数不足时结果会直接说明。为避免两两比较带来的 O(n²) 开销,工具对答案做哈希分桶:k 列中最多相差 d = ⌊(1 − 阈值)·k⌋ 列时,把列分成 d + 1 段可保证真正的近似重复至少在一整段上完全相同;列数较少时改用每一组 k − d 列作为键。空白单元格会与该列出现过的每个值匹配,因此空白不会让近似重复漏网;空白过多的行则直接与所有行比较。单个分桶超过 400 行时改为排序后只比较相邻行,比较总数上限为 200 万次;触发上限时结果会注明可能有遗漏。

重复的技术标识:对 IP 地址、设备或指纹 ID、邮箱、样本库 ID 等列,逐列标记之后再次出现的相同值(保留首次出现),可选择忽略大小写和首尾空格。“N/A”“-”“unknown”“0.0.0.0”或回环地址等占位值不计为重复,IP 地址按规范形式比较(去掉前导零和端口,“2001:db8::1”与“2001:0db8:0:0:0:0:0:1”视为相同)。更宽松的选项会把同一 /24 网段的 IPv4 地址或同一 /64 的 IPv6 地址视为重复。办公室、学校和移动网络常共用地址,因此这只是需要复核的信号。

注意力检查:指定一道或多道陷阱题及其正确答案(如“请选择非常同意”),可以填编码,也可以填值标签——文件带有值标签时“5”和“Strongly agree”都能识别。多个可接受答案用逗号或分号分隔,答案本身含逗号时加双引号;若某个正确答案在该列中从未出现,结果会给出提醒。未通过的题数达到设定值即标记。默认不把空白视为未通过,因为跳题逻辑可能跳过了该题。

03

判定公式

答题过快:作答时长 < max(p × 时长中位数, 最短秒数),其中 p 默认为 0.33,最短秒数可不填。

直线作答:已作答题数 ≥ m 且所有已作答题目的答案相同(标准差为 0),m 默认为 3。

不完整:空白单元格数 ÷ 全部列数 > 阈值,阈值默认为 0.50。

近似重复:相同答案数 ÷ 两行都作答的列数 ≥ s,s 默认为 0.95,且两行都作答的列数不少于所选列的一半。

复制粘贴:同一列中规范化后相同、长度 ≥ 30 的回答出现在 ≥ max(3, 该列回答数的 0.5%) 行;熵离群值:长度 ≥ 16 的回答,字符熵 ÷ 该长度下的最大熵,在本列中稳健 z ≤ −3.5 且低于 0.45。

之所以用中位数而不是平均数:作答时长通常右偏,少数人把问卷挂在后台几个小时,会把平均数拉高,从而误判大量正常样本;中位数不受这类极端值影响。

04

示例:用示例数据跑一遍

内置的合成零食品牌追踪数据共有 600 行(596 名生成的受访者加上 4 条完全重复的提交)。使用默认设置,选择 duration_sec、8 道 brand_grid_* 矩阵题和 respondent_id:

作答时长中位数为 520 秒,答题过快的阈值为 0.33 × 520 = 171.6 秒,共有 26 行低于该阈值;38 行在 8 道品牌矩阵题上答案完全相同;4 行重复了之前出现过的受访者 ID;0 行空白比例超过 50%。

仅用这四条规则时,合计 54 行被标记,其中 14 行同时属于答题过快和直线作答,所以各规则的标记数相加(68)大于 54。清洗后的文件保留 546 行。

示例数据还包含开放题 like_most_oe、ip_address、device_id 和要求选 5 的 attention_check。开启全部检查后:17 行开放题质量低(10 条乱码、7 行复制粘贴同一句话),另有 6 条无效回答作为较弱信号列出但保留,其中的中文、日文、韩文、俄文、阿拉伯文和西班牙文回答均未被标记;4 行为近似重复(即上述重复提交);11 行重复了之前出现过的 IP 地址(8)或设备 ID(7);46 行未通过注意力检查,其中多数是把矩阵题答案照搬过来的直线作答者。

八条规则合计标记 80 行,其中 47 行触发两条及以上规则,清洗后的文件保留 520 行;保留的行中有 5 行只带有无效回答这一较弱信号。若勾选“同时移除开放题只有无效回答问题的行”,则标记 85 行、保留 515 行。

05

什么时候使用,什么时候要谨慎

建议在对在线样本库或自填式问卷做交叉分析之前使用,这类数据最容易出现答题过快和直线作答;也适用于检查执行方交付的文件中是否混有重复录入或测试样本。

  • 不要把它当成自动删除步骤:请先复核被标记的行,尤其是只触发一条规则的样本。
  • 题目较少、属于事实类题目,或受访者确实对所有品牌评价都高时,答案一致可能是真实的。
  • 电话访问(CATI)或访员面访的数据,作答时长反映的是访员节奏而不是受访者,不宜套用答题过快规则。
  • 这些检查只能看到文件中的数据,不能替代问卷平台端的防作弊措施(验证码、设备指纹、样本库身份验证);措辞通顺的 AI 生成回答也不会被当作乱码。
  • 在方法说明或客户报告中,写明每条规则的阈值和剔除数量,方便读者判断清洗是否改变了样本结构。
06

如何解读标记结果

只触发一条规则,是需要人工查看的信号;同时触发两条或以上规则,通常是敷衍作答或作弊的有力证据。“下载全部数据(含标记列)”会保留每一行,并新增 flag_speeder、flag_straightliner、flag_duplicate、flag_incomplete 列;运行了新检查时,还会加上对应的 flag_open_end、flag_near_duplicate、flag_identifier、flag_attention 列和 flag_rule_count(触发规则数),最后是 flag_reasons,便于在表格软件中逐条复核。导出文件中的列名和原因说明保持英文,便于与其他工具和脚本对接。

清洗完成后,可以把文件导入 Crosstabs 工作区生成交叉表,或先用值标签映射工具把数字编码转换为选项文字。

常见问题

先确认方法,再解释结果。

为什么用作答时长的中位数,而不是平均数?

作答时长是右偏分布:少数人把问卷开着几个小时,会大幅拉高平均数,导致过多正常样本被判为答题过快。中位数不受这些长尾影响,取它的固定比例(常见为三分之一到二分之一)作为基准更稳定。

直线作答的人一定是在敷衍吗?

不一定。真心喜欢所有品牌的人可能每一项都打 5 分。直线作答在长矩阵、正反向题混排的矩阵中更可疑,与答题过快同时出现时更可疑。可以结合最长连续相同答案和重叠数量判断;短矩阵可提高最少作答题数。

重复样本保留哪一条?

按文件中的顺序保留第一次出现的记录,之后同一受访者 ID(或整行完全相同)的记录都会被标记。如果文件顺序与提交顺序不同,请先按提交时间排序,以保留最早的回答。

工具会删除我文件里的数据吗?

不会。原始文件保持不变,也不会离开你的设备。“下载清洗后的 CSV”不包含被已勾选规则标记的行(只带有较弱信号、即开放题无效回答的行默认保留,除非你选择移除);“下载全部数据(含标记列)”保留所有行并附加标记列。

空白单元格如何处理?

答题过快和直线作答规则会忽略空白:时长为空的行不会被判为答题过快,直线作答只比较已作答的题目。不完整规则统计的正是空白单元格;整行重复检查会把空白也纳入精确比较。开放题、技术标识和注意力检查题的空白会被跳过,近似重复只比较两行都作答的列。

开放题乱码检查会误判中文回答吗?

不会因为“元音过少”之类的规则误判。工具按 Unicode 文字系统识别每条回答,键盘乱敲、元音和长度规则只用于以拉丁字母为主的回答;中文、日文、韩文等回答只接受无效回答、无文字、整条重复、熵离群值和复制粘贴这些与文字无关的检查。“好”“不知道”“没有”这类回答属于较弱的无效回答信号:默认只列出、不删除,也可以关闭。

这是 AI 或机器人检测吗?

不是。每项检查都是公开、固定的规则,结果可复现,并且只在浏览器本地运行,不会把文字发送给任何模型或服务器。它能发现敷衍和自动化作答的常见特征,但措辞通顺的 AI 生成回答不会被当作乱码,建议与问卷平台端的防护措施配合使用。

在完整数据上运行同样的分析。

源文件在浏览器本地处理,无需注册。基础交叉分析支持中文;部分专业功能和文档导出说明仍为英文。

打开工作区