crosstabs.
Abrir navegación
AbrirAbrir el espacio de trabajo

Herramientas de investigación · Acuerdo entre evaluadores

Calculadora de kappa de Cohen

¿Qué grado de acuerdo tienen dos evaluadores o codificadores más allá de lo que cabría esperar por azar?

Usar la herramienta Abrir el espacio de trabajo

Calcula kappa en línea

Introduce la matriz de acuerdo: filas = evaluador A, columnas = evaluador B, acuerdos en la diagonal. Puedes añadir y renombrar categorías.

Matriz de concordancia Filas = evaluador A, columnas = evaluador B. La concordancia se sitúa en la diagonal.
Evaluador A ↓ / Evaluador B → Total
Yes25
No25
Total302050

Kappa de Cohen (κ)

0,400

fair concordancia (Landis & Koch) · IC del 95% 0,146 a 0,654 · p = 0,004 frente a κ = 0

κ = 0,40, IC del 95% [0,15; 0,65], N = 50

Concordancia observada (pₒ)0,700
Concordancia por azar (pₑ)0,500
Error estándar de κ0,1296
01

Cómo se calcula kappa

pₒ es la proporción de casos en la diagonal. pₑ es el acuerdo esperado si ambos evaluadores clasificaran de forma independiente con las mismas distribuciones marginales. Kappa relaciona el exceso de acuerdo con el máximo exceso posible.

  • κ = (pₒ − pₑ) ÷ (1 − pₑ)
  • pₑ = Σ (total de filaᵢ · total de columnaᵢ) ÷ n²
  • Referencias de Landis y Koch (1977): ≤ 0,20 leve, 0,21–0,40 aceptable, 0,41–0,60 moderado, 0,61–0,80 considerable, > 0,80 casi perfecto.
02

Ejemplo

La calculadora se abre con la matriz [[20, 5], [10, 15]] (n = 50). Los evaluadores coinciden en pₒ = 0,700 de los casos, mientras que por azar se esperaría pₑ = 0,500. Resulta κ = 0,400, IC del 95 % [0,146; 0,654], z = 2,89, p = 0,004: un acuerdo aceptable, claramente superior al azar.

03

Cuándo usarla y cuándo no

Kappa es la medida estándar para la codificación de respuestas abiertas o diagnósticos por dos personas.

  • Dos codificadores que clasifican los mismos casos en las mismas categorías.
  • Validar un libro de códigos antes de analizar los datos.
  • No para más de dos evaluadores: usa la kappa de Fleiss o el alfa de Krippendorff.
  • Con categorías muy desequilibradas, kappa puede ser baja pese a un acuerdo alto (paradoja de kappa).

Bibliografía

Referencias y lecturas recomendadas

  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.

  • Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.

  • scikit-learn — sklearn.metrics.cohen_kappa_score

Preguntas frecuentes

Preguntas frecuentes

¿Qué valor de kappa es bueno?

Según Landis y Koch, por encima de 0,60 el acuerdo es considerable y por encima de 0,80 casi perfecto. En codificación de respuestas abiertas se suele buscar al menos 0,70.

¿Por qué kappa es menor que el porcentaje de acuerdo?

Porque descuenta el acuerdo esperado por azar. Con dos categorías igual de frecuentes, dos evaluadores coinciden en la mitad de los casos solo adivinando.

¿Qué es la paradoja de kappa?

Si una categoría es muy frecuente, pₑ sube mucho y kappa puede quedar baja aunque el porcentaje de acuerdo sea alto. Informa también pₒ.

¿Calcula la calculadora kappa ponderada?

No, calcula la kappa de Cohen sin ponderar. Para categorías ordenadas puede ser más adecuada una kappa ponderada.

¿Se suben mis datos?

No. Todo lo que introduces se calcula solo en esta pestaña del navegador; nada se envía a un servidor.

Otras herramientas de investigación de mercados

V de CramérFuerza de asociación de 0 a 1 para tablas de cualquier tamaño.Coeficiente phiCorrelación con signo entre dos variables dicotómicas de una tabla 2×2.Odds ratio (razón de momios)Odds ratio de una tabla 2×2 con intervalo de confianza del 95 %.

¿Necesitas tablas cruzadas completas?

Abre tus datos de encuesta en el espacio de trabajo de Crosstabs para crear tablas cruzadas con pruebas de significación, ponderación y preguntas de respuesta múltiple. Gratis, sin registro y con los archivos procesados en tu navegador.

Abrir el espacio de trabajo

· Versión en inglés