Herramienta de limpieza de datos de encuestas

Respuestas demasiado rápidas: la mediana de la duración sirve de referencia del tiempo necesario para responder con atención. Se marcan las entrevistas por debajo de un porcentaje de esa mediana (33 % por defecto) o por debajo de un mínimo de segundos que tú fijes, el mayor de los dos. Las filas sin duración o con una duración no numérica nunca se marcan como rápidas.

Respuestas en línea recta: en las columnas de batería que elijas, se marca la fila si todas las respuestas dadas son idénticas y hay al menos 3 ítems respondidos (ajustable). La herramienta muestra también la racha idéntica más larga como señal secundaria, porque en baterías largas es habitual cierta repetición.

Duplicados: cuando un ID de encuestado vuelve a aparecer, se conserva la primera aparición y se marcan todas las siguientes. Con «copias exactas de filas completas» activado también detectas envíos repetidos aunque se haya generado un ID nuevo.

Entrevistas incompletas: se marca una fila cuando la proporción de celdas vacías supera un umbral (50 % por defecto). Los vacíos por filtros de la encuesta son normales, así que sube el umbral si el cuestionario tiene mucha lógica de saltos.

Abiertas de baja calidad: cada respuesta de las columnas de texto elegidas pasa por una serie fija de comprobaciones: no respuestas («n/a», «no sé», «nada», «.», «bien»), ausencia de letras («12345»), respuestas demasiado cortas (menos de 2 letras), tecleo aleatorio (5 teclas contiguas de una misma fila QWERTY dentro de una palabra, como «asdfg», o una respuesta de una sola palabra formada por 4 teclas contiguas, como «hjkl», de modo que «property» o «Bewertung» no se marcan), caracteres repetidos («kkkk», «asdasd», «jkjkjkjk»), muy pocas vocales (menos del 10 % en 6 letras o más, o 7 consonantes seguidas contando grupos como «sch», «ch» o «th» como un solo sonido, para no marcar compuestos alemanes ni frases checas) y una variedad de caracteres inusualmente baja (respuestas de 16 caracteres o más con un z robusto ≤ −3,5 en su columna y una entropía normalizada inferior a 0,45).

Según el sistema de escritura: las reglas de tecleo, vocales y longitud solo se aplican a respuestas mayoritariamente en alfabeto latino. Las respuestas en chino, japonés, coreano, ruso, árabe, hebreo, griego, tailandés o devanagari no se marcan por estas reglas y solo pasan por las comprobaciones independientes de la escritura (no respuesta, sin letras, repetición completa, entropía atípica y copiar y pegar).

Copiar y pegar: dentro de una columna, las respuestas idénticas tras ignorar mayúsculas, espacios, puntuación y caracteres invisibles, de al menos 30 caracteres y repetidas por al menos 3 encuestados (o el 0,5 % de las respuestas de la columna en archivos grandes) se marcan en todas sus filas: es la huella típica de las granjas de encuestas. Las no respuestas son una señal débil: se listan con su motivo pero se conservan en el archivo depurado salvo que actives la opción de eliminarlas. La sensibilidad baja, estándar o alta afloja o endurece estos umbrales; ni siquiera en alta se marca como tecleo aleatorio o falta de vocales ninguna palabra de un diccionario inglés de unas 236 000 palabras.

Casi duplicados: en las columnas elegidas se comparan solo las columnas que ambas filas respondieron; si la proporción de respuestas idénticas es ≥ 95 % (ajustable), se conserva la fila anterior y se marca la posterior. Las dos filas deben compartir al menos la mitad de las columnas elegidas (y nunca menos de 3). Para evitar el coste O(n²) de comparar todos los pares, la herramienta agrupa las respuestas por bloques con hash: si dos filas difieren como mucho en d = ⌊(1 − umbral)·k⌋ de k columnas, dividir las columnas en d + 1 bloques garantiza que un casi duplicado real coincide en un bloque completo. Las celdas vacías encajan con cualquier valor de su columna, así que los vacíos no esconden duplicados; un grupo de más de 400 filas pasa a compararse solo con sus vecinos ordenados, con un tope de 2 millones de comparaciones, y el resultado avisa si pudo dejar casos fuera.

Identificadores técnicos repetidos: en columnas de dirección IP, ID de dispositivo o de huella digital, correo electrónico o ID de panel, se marca cada valor que vuelve a aparecer (se conserva el primero), con opción de ignorar mayúsculas y espacios. Valores de relleno como «N/A», «-», «unknown», «0.0.0.0» o las direcciones de loopback no cuentan, y las IP se comparan en forma canónica («2001:db8::1» y «2001:0db8:0:0:0:0:0:1» son la misma). La opción más amplia trata como repetidas las IPv4 del mismo bloque /24 o las IPv6 del mismo /64. Oficinas, universidades y redes móviles comparten direcciones, así que es una señal para revisar.

Controles de atención: indica una o varias preguntas trampa y su respuesta esperada («selecciona Muy de acuerdo»), con el código o con la etiqueta de valor: si el archivo trae etiquetas, sirven tanto «5» como «Muy de acuerdo». Separa varias respuestas aceptadas con comas o puntos y comas; si una respuesta esperada no aparece nunca en su columna, la herramienta te avisa. Se marca la fila al alcanzar el número de controles fallidos que fijes. Por defecto una respuesta vacía no cuenta como fallo, porque un filtro puede haber saltado la pregunta.

Demasiado rápida: duración < máx(p × mediana de la duración, mínimo de segundos), con p = 0,33 por defecto y el mínimo opcional.

En línea recta: ítems respondidos ≥ m y todas las respuestas idénticas (desviación típica 0), con m = 3 por defecto.

Incompleta: celdas vacías ÷ total de columnas > umbral, 0,50 por defecto.

Casi duplicado: respuestas idénticas ÷ columnas respondidas por ambas filas ≥ s, con s = 0,95 por defecto y al menos la mitad de las columnas elegidas respondidas por ambas.

Copiar y pegar: respuestas normalizadas idénticas de 30 caracteres o más en ≥ máx(3, 0,5 % de las respuestas de la columna) filas; entropía atípica: respuestas de 16 caracteres o más cuya entropía ÷ la máxima posible para esa longitud tiene un z robusto ≤ −3,5 en la columna y queda por debajo de 0,45.

Por qué la mediana y no la media: la duración suele tener una cola larga a la derecha. Unas pocas personas que dejan la encuesta abierta durante horas inflan la media y harían que se marcaran demasiadas entrevistas normales; la mediana no se ve afectada por esos extremos.

El tracking sintético de snacks incluido tiene 600 filas (596 encuestados generados más 4 envíos duplicados exactos). Con la configuración por defecto, eligiendo duration_sec, las 8 columnas de batería brand_grid_* y respondent_id:

La mediana de la duración es de 520 segundos, así que el umbral de rapidez es 0,33 × 520 = 171,6 segundos y 26 filas quedan por debajo; 38 filas dan la misma respuesta en los 8 ítems de la batería de marca; 4 filas repiten un ID de encuestado anterior y 0 filas superan el 50 % de vacíos.

Solo con estas cuatro reglas se marcan 54 filas en total; 14 de ellas son a la vez rápidas y en línea recta, por eso la suma de marcas por regla (68) es mayor que 54. El archivo depurado conserva 546 filas.

Los datos de ejemplo incluyen además la abierta like_most_oe, ip_address, device_id y un attention_check que pide marcar 5. Con todas las comprobaciones activadas: 17 filas tienen abiertas de baja calidad (10 textos sin sentido y 7 filas con la misma frase copiada), y otras 6 no respuestas aparecen como señal débil pero se conservan; ninguna de las respuestas en chino, japonés, coreano, ruso, árabe o español se marca. 4 filas son casi duplicados (los envíos repetidos de antes), 11 filas repiten una dirección IP (8) o un ID de dispositivo (7) ya vistos, y 46 filas fallan el control de atención, la mayoría encuestados en línea recta que copiaron su respuesta de la batería.

Las ocho reglas marcan 80 filas, 47 de ellas por dos o más reglas, y el archivo depurado conserva 520 filas; 5 de las filas conservadas solo tienen la señal débil de una no respuesta. Si activas «Eliminar también las filas cuyo único problema en abiertas es una no respuesta», se marcan 85 filas y se conservan 515.

Úsala antes de cruzar datos de paneles online o de cuestionarios autoadministrados, donde más abundan las respuestas rápidas y en línea recta, y también para comprobar si el archivo que entrega el campo incluye registros duplicados o de prueba.

Una sola regla activada es una señal para revisar a mano; dos o más suelen ser una prueba sólida de respuestas descuidadas o fraudulentas. «Descargar todas las filas con columnas de marca» conserva todas las filas y añade flag_speeder, flag_straightliner, flag_duplicate y flag_incomplete; si ejecutaste las comprobaciones nuevas, también flag_open_end, flag_near_duplicate, flag_identifier, flag_attention y flag_rule_count (número de reglas activadas), y al final flag_reasons, para revisar caso a caso en una hoja de cálculo. Los nombres de columna y los motivos del archivo exportado se mantienen en inglés para que encajen con otras herramientas y scripts.

Después de la limpieza puedes llevar el archivo al espacio de trabajo de Crosstabs para generar tablas cruzadas, o pasar antes por el mapeador de etiquetas para convertir los códigos numéricos en texto.