問卷資料清理工具

作答過快：以作答時間的中位數作為認真作答所需時間的基準。作答時間低於中位數的一定比例（預設 33%），或低於你設定的最短秒數（取兩者中較大者）的樣本會被標記。作答時間空白或不是數字的列不會被判為作答過快。

直線作答：在你選擇的矩陣題中，如果所有已作答題目的答案完全相同，且至少作答 3 題（可調整），該列就會被標記。工具同時顯示「最長連續相同答案」作為較弱的輔助訊號，因為在很長的矩陣題中，部分直線作答相當常見。

重複樣本：同一個受訪者 ID 再次出現時，保留第一次出現的紀錄，之後的每一次都會被標記。勾選「整列完全重複」後，即使 ID 被重新產生，也能找出重複提交。

未完成問卷：某一列空白儲存格占全部欄位的比例超過門檻（預設 50%）時會被標記。跳題造成的空白是正常的，問卷邏輯較複雜時應適度提高門檻。

低品質開放題：所選開放題的每一則回答依固定順序檢查——無效回答（例如「n/a」「idk」「nothing」「.」「good」「不知道」）、完全沒有文字（例如「12345」）、回答過短（少於 2 個字母）、鍵盤亂打（任一單字中有同一排 QWERTY 鍵位上連續 5 個相鄰鍵，如「asdfg」；或整則回答只有一個字且為 4 個相鄰鍵，如「hjkl」，所以「property」「Bewertung」不會被誤判）、字元重複（同一字元重複，如「kkkk」；鍵盤連鍵或沒有母音的片段重複兩次，如「asdasd」「sdsd」；或任一片段重複三次以上，如「jkjkjkjk」）、母音過少（6 個以上字母中母音不到 10%，或連續 7 個子音音素——「sch」「ch」「th」「sz」等組合算一個音，夾在兩個子音之間的 r、l 視為母音，因此德文長複合字和捷克語「Strč prst skrz krk」不會被標記），以及字元多樣性異常偏低（16 個字元以上、在該欄中穩健 z 值 ≤ −3.5 且標準化熵低於 0.45 的回答；「Mississippi」「banana banana」這類較短的真實回答不參與這項判斷）。

依文字系統區分：鍵盤亂打、母音和長度這幾條只針對以拉丁字母為主的回答；中文、日文、韓文、俄文、阿拉伯文、希伯來文、希臘文、泰文和天城文的回答不會被這些規則誤判，只接受與文字無關的檢查（無效回答、沒有文字、整則重複、熵離群值和複製貼上）。

複製貼上：同一欄中，忽略大小寫、空格、標點和不可見字元後完全相同、長度至少 30 個字元（中日韓文字算 2 個）的回答，若出現在至少 3 位受訪者（大型檔案則為該欄回答數的 0.5%）中，組內每一列都會被標記——這是「刷題農場」的典型特徵。無效回答屬於較弱的訊號：會列出原因，但預設保留在清理後的檔案中，勾選對應選項後才會移除。靈敏度可選低、標準、高，分別放寬或收緊上述門檻；即使是高靈敏度，也不會把一部約 23.6 萬字的英文辭典中的任何單字判為鍵盤亂打或母音過少。

近似重複樣本：在所選的欄中，只比較兩列都有作答的欄；相同答案的比例 ≥ 95%（可調整）時，保留較早的一列、標記較晚的一列。兩列至少要共同作答所選欄的一半（不少於 3 欄），所選欄數不夠時結果會直接說明。為了避免兩兩比較的 O(n²) 成本，工具以雜湊分桶：k 欄中最多相差 d = ⌊(1 − 門檻)·k⌋ 欄時，把欄位分成 d + 1 段，就能保證真正的近似重複至少在一整段上完全相同；欄數較少時改以每一組 k − d 欄當作鍵。空白儲存格會與該欄出現過的每個值相符，因此空白不會讓近似重複漏網；空白過多的列則直接與所有列比較。單一分桶超過 400 列時，改為排序後只比較相鄰列，比較總數上限為 200 萬次；觸及上限時結果會註明可能有遺漏。

重複的技術識別碼：對 IP 位址、裝置或指紋 ID、電子郵件、樣本庫 ID 等欄位，逐欄標記之後再次出現的相同值（保留第一次出現），並可選擇忽略大小寫和前後空格。「N/A」「-」「unknown」「0.0.0.0」或迴路位址等預留位置值不算重複；IP 位址以標準形式比較（去掉前置零和連接埠，「2001:db8::1」與「2001:0db8:0:0:0:0:0:1」視為相同）。較寬鬆的選項會把同一個 /24 網段的 IPv4 位址或同一個 /64 的 IPv6 位址視為重複。辦公室、學校和行動網路常共用位址，所以這只是需要複核的訊號。

注意力檢查：指定一道或多道陷阱題及其正確答案（例如「請選擇非常同意」），可以填編碼，也可以填值標籤——檔案有值標籤時，「5」和「Strongly agree」都能辨識。多個可接受的答案以逗號或分號分隔，答案本身含逗號時加上雙引號；若某個正確答案在該欄中從未出現，結果會提醒你。未通過的題數達到設定值即標記。預設不把空白視為未通過，因為跳題邏輯可能略過了這一題。

作答過快：作答時間 < max(p × 作答時間中位數, 最短秒數)，其中 p 預設為 0.33，最短秒數可不填。

直線作答：已作答題數 ≥ m 且所有已作答題目的答案相同（標準差為 0），m 預設為 3。

未完成：空白儲存格數 ÷ 全部欄數 > 門檻，門檻預設為 0.50。

近似重複：相同答案數 ÷ 兩列都有作答的欄數 ≥ s，s 預設為 0.95，且兩列都有作答的欄數不少於所選欄的一半。

複製貼上：同一欄中標準化後相同、長度 ≥ 30 的回答出現在 ≥ max(3, 該欄回答數的 0.5%) 列；熵離群值：長度 ≥ 16 的回答，其字元熵 ÷ 該長度下的最大熵，在該欄中穩健 z ≤ −3.5 且低於 0.45。

之所以用中位數而不是平均數：作答時間通常右偏，少數人把問卷開在背景好幾個小時，會把平均數拉高，結果誤判大量正常樣本；中位數不受這類極端值影響。

內建的合成零食品牌追蹤資料共有 600 列（596 位產生的受訪者加上 4 筆完全重複的提交）。使用預設設定，選擇 duration_sec、8 道 brand_grid_* 矩陣題和 respondent_id：

作答時間中位數為 520 秒，作答過快的門檻為 0.33 × 520 = 171.6 秒，共有 26 列低於這個門檻；38 列在 8 道品牌矩陣題上答案完全相同；4 列重複了先前出現過的受訪者 ID；0 列空白比例超過 50%。

只用這四條規則時，合計 54 列被標記，其中 14 列同時屬於作答過快和直線作答，所以各規則的標記數相加（68）會大於 54。清理後的檔案保留 546 列。

範例資料還包含開放題 like_most_oe、ip_address、device_id，以及要求選 5 的 attention_check。開啟全部檢查後：17 列開放題品質低（10 則亂碼、7 列複製貼上同一句話），另有 6 則無效回答列為較弱訊號但保留，其中的中文、日文、韓文、俄文、阿拉伯文和西班牙文回答都沒有被標記；4 列為近似重複（也就是上述的重複提交）；11 列重複了先前出現過的 IP 位址（8）或裝置 ID（7）；46 列未通過注意力檢查，其中多數是把矩陣題答案照搬過來的直線作答者。

八條規則合計標記 80 列，其中 47 列觸發兩條以上規則，清理後的檔案保留 520 列；保留的列中有 5 列只帶有無效回答這個較弱訊號。若勾選「同時移除開放題問題只有無效回答的列」，則標記 85 列、保留 515 列。

建議在對線上樣本庫或自填式問卷做交叉分析之前使用，這類資料最容易出現作答過快和直線作答；也適合檢查執行廠商交付的檔案裡是否混有重複輸入或測試樣本。

只觸發一條規則，是需要人工查看的訊號；同時觸發兩條以上規則，通常是敷衍作答或作弊的有力證據。「下載全部資料（含標記欄）」會保留每一列，並新增 flag_speeder、flag_straightliner、flag_duplicate、flag_incomplete 欄；執行了新檢查時，還會加上對應的 flag_open_end、flag_near_duplicate、flag_identifier、flag_attention 欄和 flag_rule_count（觸發規則數），最後是 flag_reasons，方便在試算表中逐筆複核。匯出檔案中的欄名和原因說明維持英文，方便與其他工具和程式銜接。

清理完成後，可以把檔案匯入 Crosstabs 工作區產生交叉表，或先用值標籤對應工具把數字編碼轉成選項文字。