Un buen libro de códigos
El libro de códigos (plan de códigos, taxonomía) fija qué temas se distinguen y cómo se reconocen. Suele surgir de una lectura de las primeras 100 a 200 respuestas y después solo se amplía de forma controlada.
- Cada código tiene un nombre breve y una descripción con reglas de inclusión y de exclusión.
- Los códigos no se solapan en lo posible; si una respuesta menciona varios temas, se aplica codificación múltiple.
- Las categorías residuales como «Otros» y «No sabe / no contesta» son códigos propios y se mantienen pequeñas.
- Los códigos agrupados (nets) reúnen códigos afines, por ejemplo «Entrega» para «llegó tarde» y «llegó frío».
- Una nube de palabras no sustituye a un libro de códigos: cuenta palabras, no significados.
El proceso en Crosstabs
La codificación abierta trabaja en un proyecto local guardado y registra cada decisión. Sin una acción de IA, los textos de las respuestas no salen del navegador.
- 1.Guarda el proyecto. Guarda el análisis como proyecto local y elige la variable con las respuestas abiertas.
- 2.Crea el libro de códigos. Escribe los temas, uno por línea, o reutiliza un libro de códigos existente. Decide si una respuesta puede recibir uno o varios temas.
- 3.Asigna. Asigna las respuestas a mano; cada decisión queda registrada con la persona que revisa y la fecha y hora.
- 4.Revisa y aprueba. Confirma que la revisión está completa y aprueba la codificación.
- 5.Aplica. Los códigos aprobados se incorporan al proyecto como variables. Deshacer restaura el estado exacto de los datos anterior a la aplicación.
Cuándo puede codificar una IA
De forma opcional, una IA puede proponer temas o precodificar respuestas. Para ello, las respuestas de una sola pregunta se envían a través del servidor de crosstabs.com a OpenAI, solo después de que confirmes expresamente esa ejecución. Lo que vuelve son propuestas, no resultados definitivos.
La responsabilidad de las definiciones de los códigos, la asignación completa, la aprobación, la interpretación y el tratamiento de contenidos sensibles sigue siendo tuya. Revisa las propuestas de la IA como las de una segunda codificadora y comprueba antes si las respuestas contienen datos personales.
Medir el acuerdo con la kappa de Cohen
Si un libro de códigos funciona se ve cuando dos personas codifican las mismas respuestas de forma independiente. El simple porcentaje de acuerdo sobrestima la calidad, porque también cuenta los acuerdos por azar. La kappa de Cohen descuenta esa parte aleatoria.
Para ello, codifica dos veces una submuestra (al menos 30 respuestas, mejor más) y calcula la kappa por código a partir de la tabla 2×2 «código asignado sí/no» de ambas personas. Landis y Koch (1977) califican los valores de 0,61 a 0,80 como acuerdo considerable y los superiores a 0,80 como casi perfecto; precisa en la descripción los códigos débiles.
Fórmula
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- Donde
- pₒ
- acuerdo observado, la proporción de juicios iguales
- pₑ
- acuerdo esperado por azar a partir de las distribuciones marginales
Analizar los códigos
Con codificación múltiple, una pregunta abierta codificada es una pregunta de respuesta múltiple: informa, por código, de la proporción de encuestados que lo mencionan, con el número de quienes respondieron como base. Las proporciones pueden sumar más del 100 %, y la prueba se hace por código entre grupos independientes.
Ejemplo resuelto
Ejemplo: doble codificación del código «Tiempo de entrega»
Dos personas codifican de forma independiente 60 respuestas a la pregunta de qué mejoraría un servicio de reparto. En el código «Tiempo de entrega» coinciden en 53 casos y discrepan en 7: acuerdo observado pₒ = 0,883.
A partir de las distribuciones marginales, el acuerdo por azar es pₑ = 0,540. Por tanto, κ = (0,883 − 0,540) ÷ (1 − 0,540) = 0,746, con un intervalo de confianza del 95 % de 0,57 a 0,92. Según Landis y Koch es un acuerdo considerable, pero el intervalo es amplio. Precisa la descripción del código y codifica dos veces más respuestas antes de apoyarte en él.
| Codificador B: sí | Codificador B: no | |
|---|---|---|
| Codificadora A: sí | 18 | 4 |
| Codificadora A: no | 3 | 35 |
Doble codificación sintética con fines ilustrativos. Kappa e intervalo de confianza calculados con la misma función que la calculadora de kappa de Crosstabs.