crosstabs.
Abrir navegação
AbrirAbrir o espaço de trabalho

Ferramentas de pesquisa · Concordância entre avaliadores

Calculadora do kappa de Cohen

Quanto dois avaliadores ou codificadores concordam além do que o acaso faria esperar?

Usar a ferramenta Abrir o espaço de trabalho

Calcule o kappa online

Informe a matriz de concordância: linhas = avaliador A, colunas = avaliador B, concordâncias na diagonal. Você pode adicionar e renomear categorias.

Matriz de concordância Linhas = avaliador A, colunas = avaliador B. A concordância está na diagonal.
Avaliador A ↓ / Avaliador B → Total
Yes25
No25
Total302050

Kappa de Cohen (κ)

0,400

fair concordância (Landis & Koch) · IC de 95% 0,146 a 0,654 · p = 0,004 vs κ = 0

κ = 0,40, IC de 95% [0,15; 0,65], N = 50

Concordância observada (pₒ)0,700
Concordância ao acaso (pₑ)0,500
Erro padrão de κ0,1296
01

Como o kappa é calculado

pₒ é a proporção de casos na diagonal. pₑ é a concordância esperada se os dois avaliadores classificassem de forma independente, com as mesmas distribuições marginais. O kappa relaciona o excesso de concordância ao excesso máximo possível.

  • κ = (pₒ − pₑ) ÷ (1 − pₑ)
  • pₑ = Σ (total da linhaᵢ · total da colunaᵢ) ÷ n²
  • Referências de Landis e Koch (1977): ≤ 0,20 leve, 0,21–0,40 razoável, 0,41–0,60 moderada, 0,61–0,80 substancial, > 0,80 quase perfeita.
02

Exemplo

A calculadora abre com a matriz [[20, 5], [10, 15]] (n = 50). Os avaliadores concordam em pₒ = 0,700 dos casos, enquanto o acaso levaria a pₑ = 0,500. Resulta κ = 0,400, IC de 95% [0,146; 0,654], z = 2,89, p = 0,004: uma concordância razoável, claramente acima do acaso.

03

Quando usar e quando não usar

O kappa é a medida padrão para a codificação de respostas abertas ou diagnósticos por duas pessoas.

  • Dois codificadores classificando os mesmos casos nas mesmas categorias.
  • Validar um livro de códigos antes da análise dos dados.
  • Não para mais de dois avaliadores: use o kappa de Fleiss ou o alfa de Krippendorff.
  • Com categorias muito desequilibradas, o kappa pode ser baixo apesar de alta concordância (paradoxo do kappa).

Referências

Leituras recomendadas

  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.

  • Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.

  • scikit-learn — sklearn.metrics.cohen_kappa_score

Perguntas frequentes

Dúvidas comuns

Que valor de kappa é bom?

Segundo Landis e Koch, acima de 0,60 a concordância é substancial e acima de 0,80 quase perfeita. Na codificação de respostas abertas, costuma-se buscar pelo menos 0,70.

Por que o kappa é menor que a porcentagem de concordância?

Porque desconta a concordância esperada por acaso. Com duas categorias igualmente frequentes, dois avaliadores concordam em cerca de metade dos casos só chutando.

O que é o paradoxo do kappa?

Se uma categoria é muito frequente, pₑ sobe muito e o kappa pode ficar baixo mesmo com alta porcentagem de concordância. Relate também pₒ.

A calculadora calcula kappa ponderado?

Não, ela calcula o kappa de Cohen não ponderado. Para categorias ordenadas, um kappa ponderado pode ser mais adequado.

Meus dados são enviados?

Não. Tudo o que você digita é calculado só nesta aba do navegador; nada é enviado a um servidor.

Outras ferramentas de pesquisa de mercado

V de CramérForça de associação de 0 a 1 para tabelas de qualquer tamanho.Coeficiente phiCorrelação com sinal entre duas variáveis dicotômicas de uma tabela 2×2.Razão de chances (odds ratio)Odds ratio de uma tabela 2×2 com intervalo de confiança de 95%.

Leve os resultados para as tabelas cruzadas

Abra o mesmo arquivo no espaço de trabalho do Crosstabs para montar tabelas com banners, ponderação e testes de significância. Grátis, sem cadastro, e os dados continuam no seu navegador.

Abrir o espaço de trabalho

· Versão em inglês desta página