Um bom plano de códigos
O plano de códigos (livro de códigos, taxonomia) define quais temas são distinguidos e como reconhecê-los. Ele costuma nascer da leitura das primeiras 100 a 200 respostas e, depois disso, só é ampliado de forma controlada.
- Cada código tem um nome curto e uma descrição com regras de inclusão e exclusão.
- Os códigos se sobrepõem o mínimo possível; quando uma resposta cita vários temas, vale a codificação múltipla.
- Categorias residuais como “Outros” e “não sabe / não respondeu” são códigos próprios e devem ficar pequenas.
- Agrupamentos (nets) reúnem códigos relacionados, como “Entrega” para “atrasou” e “chegou fria”.
- Uma nuvem de palavras não substitui um plano de códigos: ela conta palavras, não significados.
O fluxo no Crosstabs
A codificação de respostas abertas funciona em um projeto local salvo e registra cada decisão. Sem uma ação de IA, os textos das respostas não saem do navegador.
- 1.Salve o projeto. Salve a análise como projeto local e escolha a variável com as respostas abertas.
- 2.Monte o plano de códigos. Digite os temas, um por linha, ou reutilize um plano de códigos existente. Defina se uma resposta pode receber um ou vários temas.
- 3.Atribua. Atribua as respostas manualmente; cada decisão é registrada com o revisor e o horário.
- 4.Revise e aprove. Confirme que a revisão está completa e aprove a codificação.
- 5.Aplique. Os códigos aprovados entram no projeto como variáveis. Desfazer restaura exatamente o estado dos dados antes da aplicação.
Quando uma IA pode ajudar a codificar
Opcionalmente, uma IA pode sugerir temas ou pré-codificar respostas. Para isso, as respostas de exatamente uma pergunta são enviadas pelo servidor do crosstabs.com à OpenAI — somente depois que você confirma essa execução de forma explícita. Voltam sugestões, não resultados prontos.
A responsabilidade pelas definições dos códigos, pela completude da atribuição, pela aprovação, pela interpretação e pelo tratamento de conteúdo sensível continua sendo sua. Revise as sugestões da IA como as de um segundo codificador — e verifique antes se as respostas contêm dados pessoais.
Medir a concordância com o kappa de Cohen
Um plano de códigos se prova quando duas pessoas codificam as mesmas respostas de forma independente. A simples taxa de concordância superestima a qualidade, porque conta também os acordos por acaso. O kappa de Cohen desconta essa parcela aleatória.
Para isso, codifique duas vezes uma subamostra — pelo menos 30 respostas, de preferência mais — e calcule o kappa por código a partir da tabela 2×2 “código atribuído sim/não” das duas pessoas. Landis e Koch (1977) chamam valores de 0,61 a 0,80 de concordância substancial e acima de 0,80 de quase perfeita; códigos fracos você deixa mais precisos na descrição.
Fórmula
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- Onde
- pₒ
- concordância observada, a proporção de julgamentos iguais
- pₑ
- concordância esperada por acaso, a partir das distribuições marginais
Analisar os códigos
Com codificação múltipla, uma pergunta aberta codificada é uma pergunta de múltipla resposta: informe, por código, a parcela de entrevistados que o mencionam, com o número de respondentes como base. As parcelas podem somar mais de 100%, e o teste é feito por código entre grupos independentes.
Exemplo resolvido
Exemplo: dupla codificação do código “Prazo de entrega”
Duas pessoas codificam de forma independente 60 respostas à pergunta sobre o que melhoraria um serviço de entrega. No código “Prazo de entrega”, elas concordam em 53 casos e discordam em 7: concordância observada pₒ = 0,883.
Das distribuições marginais resulta uma concordância por acaso de pₑ = 0,540. Logo, κ = (0,883 − 0,540) ÷ (1 − 0,540) = 0,746, intervalo de confiança de 95% de 0,57 a 0,92. Segundo Landis e Koch, é uma concordância substancial — mas o intervalo é largo. Deixe a descrição do código mais precisa e codifique mais respostas duas vezes antes de se apoiar nele.
| Codificador B: sim | Codificador B: não | |
|---|---|---|
| Codificadora A: sim | 18 | 4 |
| Codificadora A: não | 3 | 35 |
Dupla codificação sintética para ilustração. Kappa e intervalo de confiança calculados com a mesma função da calculadora de kappa do Crosstabs.