Outil de nettoyage des données d'enquête

Répondants trop rapides : la durée médiane d'interview sert de référence pour un remplissage sérieux. Une ligne est signalée si sa durée est inférieure à une fraction de la médiane (33 % par défaut) ou à un plancher en secondes que vous fixez, la plus grande des deux limites s'appliquant. Une ligne sans durée ou avec une durée non numérique n'est jamais considérée comme trop rapide.

Réponses en ligne droite : dans la grille choisie, une ligne est signalée si toutes les réponses données sont identiques et qu'au moins 3 items (réglable) ont été renseignés. L'outil indique aussi la plus longue série de réponses identiques, signal plus faible, car une ligne droite partielle est fréquente dans les longues grilles.

Doublons : lorsqu'un même identifiant de répondant réapparaît, la première occurrence est conservée et chaque occurrence suivante est signalée. Cochez « copies exactes de lignes complètes » pour repérer aussi les soumissions en double dont l'identifiant a été régénéré.

Interviews incomplètes : une ligne est signalée lorsque la part de cellules vides dépasse un seuil (50 % par défaut) de l'ensemble des colonnes. Les vides dus aux filtres sont normaux : relevez le seuil si votre questionnaire comporte beaucoup de filtres.

Réponses ouvertes de faible qualité : chaque réponse des questions ouvertes choisies passe une série de contrôles dans un ordre fixe : non-réponse (« n/a », « idk », « rien », « . », « bien »…), absence de lettres (« 12345 »), réponse trop courte (moins de 2 lettres), frappe au hasard (5 touches adjacentes d'une même rangée QWERTY dans un mot, comme « asdfg », ou une réponse d'un seul mot de 4 touches adjacentes, comme « hjkl », de sorte que « property » ou « Bewertung » ne sont pas signalés), caractères répétés (« kkkk », un fragment de touches voisines ou sans voyelle répété deux fois comme « asdasd » ou « sdsd », ou tout fragment répété trois fois ou plus comme « jkjkjkjk »), trop peu de voyelles (moins de 10 % de voyelles sur 6 lettres ou plus, ou 7 sons consonantiques d'affilée, les groupes comme « sch », « ch », « th » ou « sz » comptant pour un son et r ou l entre deux consonnes comptant comme voyelle, si bien que les longs mots composés allemands ou le tchèque « Strč prst skrz krk » passent), et variété de caractères anormalement faible (réponses de 16 caractères ou plus dont le z robuste dans la colonne est ≤ −3,5 et l'entropie normalisée inférieure à 0,45 ; les vraies réponses courtes comme « Mississippi » ou « banana banana » ne sont pas concernées).

Selon l'écriture : les règles de frappe au hasard, de voyelles et de longueur ne s'appliquent qu'aux réponses majoritairement en alphabet latin. Les réponses en chinois, japonais, coréen, russe, arabe, hébreu, grec, thaï ou devanagari ne passent que les contrôles indépendants de l'écriture (non-réponse, absence de lettres, répétition, entropie aberrante et copier-coller).

Copier-coller : dans une même colonne, des réponses identiques après neutralisation de la casse, des espaces, de la ponctuation et des caractères invisibles, longues d'au moins 30 caractères (un idéogramme comptant pour 2) et données par au moins 3 répondants (0,5 % des réponses de la colonne pour les gros fichiers) sont toutes signalées : c'est la signature typique d'une « ferme à clics ». Les non-réponses sont un signal faible : elles sont listées mais conservées par défaut dans le fichier nettoyé, sauf si vous cochez l'option pour les retirer. La sensibilité (faible, standard, élevée) assouplit ou resserre ces seuils ; même en sensibilité élevée, aucun mot d'un dictionnaire anglais d'environ 236 000 mots n'est signalé comme frappe au hasard ou manque de voyelles.

Quasi-doublons : sur les colonnes choisies, seules les colonnes renseignées par les deux lignes sont comparées ; si la part de réponses identiques atteint 95 % (réglable), la ligne la plus ancienne est conservée et la suivante signalée. Les deux lignes doivent avoir au moins la moitié des colonnes choisies en commun (et au moins 3) ; si trop peu de colonnes sont choisies, le résultat le dit. Pour éviter le coût O(n²) des comparaisons par paires, l'outil répartit les réponses par hachage : avec k colonnes et au plus d = ⌊(1 − seuil)·k⌋ différences, découper les colonnes en d + 1 blocs garantit qu'un vrai quasi-doublon est identique sur au moins un bloc entier ; avec peu de colonnes, chaque groupe de k − d colonnes sert de clé. Une cellule vide correspond à toute valeur de sa colonne, si bien que les vides ne masquent pas un quasi-doublon ; les lignes trop vides sont comparées à toutes les autres. Au-delà de 400 lignes dans un groupe, seules les lignes voisines après tri sont comparées, avec un plafond total de 2 millions de comparaisons ; le résultat signale alors que des cas ont pu être manqués.

Identifiants techniques répétés : pour les colonnes d'adresse IP, d'identifiant d'appareil ou d'empreinte, d'e-mail ou d'identifiant panel, chaque valeur déjà vue est signalée colonne par colonne (la première occurrence est conservée), avec l'option d'ignorer la casse et les espaces autour. Les valeurs de remplissage comme « N/A », « - », « unknown », « 0.0.0.0 » ou une adresse de bouclage ne comptent pas comme répétitions, et les adresses IP sont comparées sous forme canonique (zéros initiaux et port retirés ; « 2001:db8::1 » et « 2001:0db8:0:0:0:0:0:1 » sont identiques). Une option plus souple traite comme répétées les adresses IPv4 d'un même bloc /24 ou IPv6 d'un même /64. Bureaux, écoles et réseaux mobiles partagent souvent des adresses : c'est un signal à vérifier, pas une preuve.

Contrôles d'attention : indiquez une ou plusieurs questions pièges et leur bonne réponse (par exemple « Veuillez choisir Tout à fait d'accord »), sous forme de code ou de libellé de valeur ; si le fichier contient des libellés, « 5 » comme « Strongly agree » sont reconnus. Séparez plusieurs réponses acceptées par des virgules ou des points-virgules, et mettez entre guillemets une réponse qui contient une virgule ; si une bonne réponse n'apparaît jamais dans sa colonne, l'outil vous prévient. Une ligne est signalée lorsque le nombre de contrôles échoués atteint le seuil choisi. Par défaut, une réponse vide ne compte pas comme un échec, car un filtre a pu sauter la question.

Trop rapide : durée < max(p × durée médiane, plancher en secondes), avec p = 0,33 par défaut et un plancher facultatif.

Ligne droite : nombre d'items renseignés ≥ m et toutes les réponses renseignées identiques (écart type nul), avec m = 3 par défaut.

Incomplet : cellules vides ÷ nombre total de colonnes > seuil, 0,50 par défaut.

Quasi-doublon : réponses identiques ÷ colonnes renseignées par les deux lignes ≥ s, avec s = 0,95 par défaut, et au moins la moitié des colonnes choisies renseignées par les deux lignes.

Copier-coller : réponses identiques après normalisation, d'au moins 30 caractères, présentes dans ≥ max(3 ; 0,5 % des réponses de la colonne) lignes ; entropie aberrante : réponses d'au moins 16 caractères dont l'entropie rapportée à l'entropie maximale pour cette longueur a un z robuste ≤ −3,5 dans la colonne et reste inférieure à 0,45.

Pourquoi la médiane et non la moyenne : les durées d'interview sont asymétriques à droite. Quelques répondants laissent le questionnaire ouvert pendant des heures, ce qui gonfle la moyenne et ferait passer de nombreux répondants normaux pour trop rapides ; la médiane n'est pas sensible à ces valeurs extrêmes.

Le baromètre synthétique intégré compte 600 lignes (596 répondants générés plus 4 soumissions recopiées à l'identique). Avec les réglages par défaut, en choisissant duration_sec, les 8 items de grille brand_grid_* et respondent_id :

la durée médiane est de 520 secondes, le seuil de rapidité de 0,33 × 520 = 171,6 secondes, et 26 lignes passent sous ce seuil ; 38 lignes donnent exactement la même réponse aux 8 items de la grille ; 4 lignes répètent un identifiant déjà vu ; 0 lignes ont plus de 50 % de cellules vides.

Avec ces quatre règles seulement, 54 lignes sont signalées, dont 14 à la fois trop rapides et en ligne droite : la somme des signalements par règle (68) dépasse donc 54. Le fichier nettoyé conserve 546 lignes.

Les données d'exemple contiennent aussi la question ouverte like_most_oe, ip_address, device_id et un attention_check qui demande de choisir 5. Avec tous les contrôles activés : 17 lignes ont une réponse ouverte de faible qualité (10 réponses incohérentes, 7 lignes avec la même phrase copiée-collée), et 6 non-réponses sont listées comme signal faible mais conservées ; les réponses en chinois, japonais, coréen, russe, arabe et espagnol ne sont pas signalées. 4 lignes sont des quasi-doublons (les soumissions recopiées ci-dessus) ; 11 lignes répètent une adresse IP (8) ou un identifiant d'appareil (7) déjà vu ; 46 lignes échouent au contrôle d'attention, pour la plupart des répondants en ligne droite qui ont reproduit leur réponse de grille.

Les huit règles signalent 80 lignes au total, dont 47 déclenchent au moins deux règles, et le fichier nettoyé conserve 520 lignes ; parmi elles, 5 ne portent que le signal faible d'une non-réponse. Si vous cochez « Retirer aussi les lignes dont le seul problème de réponse ouverte est une non-réponse », 85 lignes sont signalées et 515 conservées.

Utilisez l'outil avant de produire des tris croisés sur des données d'access panel en ligne ou de questionnaires auto-administrés, les plus exposées aux répondants trop rapides et aux réponses en ligne droite ; il sert aussi à vérifier qu'un fichier livré par un prestataire terrain ne contient ni doublons ni interviews de test.

Une seule règle déclenchée est un signal à examiner manuellement ; deux règles ou plus sont généralement une forte présomption de réponses bâclées ou frauduleuses. « Télécharger toutes les lignes avec les colonnes de signalement » conserve chaque ligne et ajoute les colonnes flag_speeder, flag_straightliner, flag_duplicate et flag_incomplete ; lorsque les nouveaux contrôles ont été lancés, s'y ajoutent flag_open_end, flag_near_duplicate, flag_identifier, flag_attention et flag_rule_count (nombre de règles déclenchées), puis flag_reasons, pour une revue ligne par ligne dans un tableur. Les noms de colonnes et les motifs exportés restent en anglais pour faciliter l'enchaînement avec d'autres outils et scripts.

Une fois le nettoyage fait, importez le fichier dans l'espace de travail Crosstabs pour produire vos tris croisés, ou passez d'abord par l'outil d'étiquetage pour remplacer les codes numériques par le texte des réponses.