Pulizia dei dati di indagine

Troppo veloci (speeder): la durata mediana è il riferimento del tempo necessario per rispondere con attenzione. Viene segnalata ogni riga più veloce di una percentuale della mediana (33% per impostazione predefinita) o di una soglia minima in secondi, se la imposti; vale il maggiore dei due limiti. Le righe senza durata numerica non vengono mai considerate troppo veloci.

Risposte in linea retta (straight-lining): nelle colonne di griglia che selezioni, una riga viene segnalata se tutti gli item con risposta hanno la stessa risposta e gli item con risposta sono almeno 3 (valore modificabile). Lo strumento mostra anche la sequenza identica più lunga, come segnale più debole, perché nelle griglie lunghe un po' di linea retta è normale.

Duplicati: quando lo stesso ID intervistato ricompare, la prima occorrenza viene mantenuta e ogni ripetizione successiva viene segnalata. Con l'opzione delle copie esatte di intere righe trovi anche gli invii ripetuti a cui è stato assegnato un nuovo ID.

Interviste incomplete: una riga viene segnalata quando la quota di celle vuote supera la soglia (50% per impostazione predefinita). I vuoti dovuti ai filtri del questionario sono normali: con molti salti, alza la soglia.

Risposte aperte di bassa qualità: ogni risposta delle colonne aperte selezionate viene controllata in un ordine fisso. Si cercano non risposte (“n/a”, “idk”, “niente”, “.”, “bene”), testo senza lettere (“12345”), risposte troppo brevi e tasti battuti a caso: cinque tasti adiacenti della stessa fila QWERTY dentro una parola, come “asdfg”, o una risposta di una sola parola fatta di quattro tasti adiacenti, come “hjkl”, per cui parole vere come “property” non vengono segnalate. Si cercano anche caratteri ripetuti (“kkkk”, “asdasd”, “jkjkjkjk”), troppo poche vocali e una varietà di caratteri insolitamente bassa rispetto alle altre risposte della stessa colonna.

Le regole su tasti, vocali e lunghezza valgono solo per le risposte in alfabeto latino. Le risposte in cinese, giapponese, coreano, russo, arabo, ebraico, greco, thai o devanagari ricevono solo i controlli indipendenti dalla scrittura: non risposte, assenza di lettere, ripetizioni, varietà anomala e copia-incolla.

Copia e incolla: risposte identiche nella stessa colonna, dopo aver ignorato maiuscole, spazi e punteggiatura, lunghe almeno 30 caratteri e date da almeno 3 intervistati (lo 0,5% delle risposte della colonna nei file grandi) vengono segnalate tutte: è il segno tipico delle “fabbriche” di risposte. Le non risposte sono un segnale debole: vengono elencate ma restano nel file pulito, a meno che tu scelga di rimuoverle. La sensibilità bassa, standard o alta allenta o stringe queste soglie.

Quasi duplicati: nelle colonne selezionate si confrontano solo le colonne a cui entrambe le righe hanno risposto; se la quota di risposte identiche è almeno del 95% (valore modificabile), la riga precedente resta e quella successiva viene segnalata. Le due righe devono condividere almeno metà delle colonne selezionate (minimo 3). Per evitare un confronto di tutte le coppie, le risposte vengono raggruppate con chiavi hash che garantiscono di trovare i veri quasi duplicati; i gruppi molto grandi vengono confrontati solo con le righe vicine e, se si raggiunge il limite di confronti, il risultato lo dice.

Identificativi tecnici ripetuti: per colonne come indirizzo IP, ID dispositivo o fingerprint, email o ID panel, viene segnalato ogni valore già visto (mantenendo la prima occorrenza). Segnaposto come “N/A”, “-”, “unknown” o “0.0.0.0” non contano come ripetizioni e gli indirizzi IP sono confrontati in forma canonica. Un'opzione più ampia considera ripetuti anche gli IPv4 dello stesso blocco /24 o gli IPv6 dello stesso /64. Uffici, scuole e reti mobili condividono spesso gli indirizzi: è un segnale da rivedere.

Controlli di attenzione: indica una o più domande trappola e la risposta attesa (ad esempio “seleziona Completamente d'accordo”), come codice o come etichetta del valore. Più risposte accettate vanno separate da virgole o punti e virgola; se una risposta attesa non compare mai nella colonna, lo strumento te lo segnala. Per impostazione predefinita una risposta vuota non conta come errore, perché un filtro potrebbe aver saltato la domanda.

Troppo veloce: durata < max(p × durata mediana, soglia in secondi), con p = 0,33 per impostazione predefinita e soglia in secondi facoltativa.

Linea retta: item con risposta ≥ m e stessa risposta in tutti gli item con risposta (deviazione standard pari a 0), con m = 3 per impostazione predefinita.

Incompleta: celle vuote ÷ colonne totali > soglia, con soglia = 0,50 per impostazione predefinita. Quasi duplicato: risposte identiche ÷ colonne con risposta in entrambe le righe ≥ s, con s = 0,95.

Perché la mediana e non la media: le durate hanno una coda lunga a destra. Pochi intervistati che lasciano il questionario aperto per ore alzano la media e farebbero segnalare troppi casi validi; la mediana non risente di questi valori estremi.

Il tracker sintetico di un marchio di snack incluso nello strumento ha 600 righe, comprese alcune copie esatte di invii precedenti. Con le impostazioni predefinite, scegli duration_sec, le 8 colonne di griglia brand_grid_* e respondent_id.

La durata mediana è di 520 secondi, quindi la soglia per i troppo veloci è 0,33 × 520 = 171,6 secondi: 26 righe sono sotto questa soglia. 38 righe danno la stessa risposta a tutte le 8 affermazioni sul marchio, 4 righe ripetono un ID intervistato già visto e 0 righe hanno più del 50% di celle vuote.

Con queste quattro regole vengono segnalate in tutto 54 righe; 14 sono sia troppo veloci sia in linea retta, per questo la somma delle segnalazioni per regola (68) supera 54. Il file pulito mantiene 546 righe.

I dati di esempio contengono anche la domanda aperta like_most_oe, ip_address, device_id e un attention_check che chiede di selezionare 5. Attivando tutti i controlli, 17 righe hanno risposte aperte di bassa qualità (10 risposte senza senso e 7 righe con la stessa frase copiata), mentre 6 non risposte vengono elencate come segnale debole ma mantenute. 4 righe sono quasi duplicati, 11 righe ripetono un indirizzo IP (8) o un ID dispositivo (7) già visto e 46 righe non superano il controllo di attenzione.

Le otto regole insieme segnalano 80 righe, di cui 47 attivano due o più regole; il file pulito mantiene 520 righe, e 5 di queste hanno solo il segnale debole di una non risposta. Se scegli di rimuovere anche le righe il cui unico problema è una non risposta, le righe segnalate diventano 85 e quelle mantenute 515.

Usalo prima di creare le tabelle incrociate su dati da panel online o questionari autocompilati, dove speeder e risposte in linea retta sono più frequenti, oppure per controllare che il file consegnato dall'istituto di rilevazione non contenga duplicati o interviste di prova.

Una sola regola attivata è un segnale da controllare a mano; due o più regole insieme sono di solito una prova forte di risposte disattente o fraudolente. Il download con le colonne di segnalazione mantiene ogni riga e aggiunge flag_speeder, flag_straightliner, flag_duplicate, flag_incomplete, le colonne dei nuovi controlli (flag_open_end, flag_near_duplicate, flag_identifier, flag_attention), flag_rule_count e flag_reasons, così puoi rivedere ogni caso in un foglio di calcolo. Nomi delle colonne e motivi esportati restano in inglese per facilitare l'uso con altri strumenti e script.

Dopo la pulizia puoi aprire il file nell'area di lavoro di Crosstabs per creare le tabelle, oppure trasformare prima i codici numerici in etichette con lo strumento di mappatura delle etichette.