좋은 코드북
코드북(코드 프레임, 분류 체계)은 어떤 주제를 구분하고 각 주제를 어떻게 알아보는지 정합니다. 보통 처음 100–200개 응답을 훑어보며 만들고, 그 뒤로는 통제된 방식으로만 확장합니다.
- 각 코드에는 짧은 이름과 포함·제외 규칙이 담긴 설명이 있습니다.
- 코드끼리는 가능한 한 겹치지 않게 하고, 한 응답이 여러 주제를 말하면 복수 코딩합니다.
- “기타”나 “모름/무응답” 같은 잔여 범주는 별도 코드로 두고 작게 유지합니다.
- 상위 범주(넷)는 관련 코드를 묶습니다. 예를 들어 “배송”은 “늦게 도착”과 “식은 채 도착”을 묶습니다.
- 워드 클라우드는 코드북을 대신할 수 없습니다. 단어를 셀 뿐 의미를 세지 않습니다.
Crosstabs에서의 작업 순서
개방형 코딩은 저장된 로컬 프로젝트 안에서 작동하며 모든 결정을 기록합니다. AI 작업을 실행하지 않는 한 응답 텍스트는 브라우저 밖으로 나가지 않습니다.
- 1.프로젝트 저장. 분석을 로컬 프로젝트로 저장하고 주관식 응답이 들어 있는 변수를 고릅니다.
- 2.코드북 작성. 주제를 한 줄에 하나씩 입력하거나 기존 코드북을 다시 씁니다. 한 응답에 주제를 하나만 줄지 여러 개 줄지 정합니다.
- 3.배정. 응답을 직접 배정합니다. 모든 결정이 검토자와 시각과 함께 기록됩니다.
- 4.검토와 승인. 검토가 끝났음을 확인하고 코딩을 승인합니다.
- 5.적용. 승인된 코드가 프로젝트 변수로 들어갑니다. 실행 취소하면 적용 직전의 데이터 상태로 정확히 돌아갑니다.
AI가 함께 코딩해도 되는 경우
원하면 AI가 주제를 제안하거나 응답을 미리 코딩할 수 있습니다. 이때는 정확히 한 문항의 응답이 crosstabs.com 서버를 거쳐 OpenAI로 전송되며, 그 실행을 명시적으로 확인한 뒤에만 전송됩니다. 돌아오는 것은 완성된 결과가 아니라 제안입니다.
코드 정의, 배정의 완전성, 승인, 해석, 민감한 내용의 처리에 대한 책임은 사용자에게 남습니다. AI 제안은 두 번째 코더의 판정처럼 검토하고, 그 전에 응답에 개인정보가 들어 있지 않은지 확인하십시오.
Cohen의 카파로 일치도 측정
코드북이 제대로 작동하는지는 두 사람이 같은 응답을 독립적으로 코딩해 보면 드러납니다. 단순 일치율은 우연히 일치한 판정까지 세므로 품질을 과대평가합니다. Cohen의 카파는 이 우연 부분을 빼고 계산합니다.
하위 표본을 이중 코딩하십시오. 최소 30개, 가능하면 더 많이 코딩하고, 두 사람의 “코드 부여 예/아니요” 2×2 표로 코드마다 카파를 계산합니다. Landis와 Koch(1977)는 0.61–0.80을 상당한 일치, 0.80 초과를 거의 완벽한 일치로 봅니다. 약한 코드는 설명을 더 분명하게 다듬으십시오.
공식
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- 기호 설명
- pₒ
- 관측 일치도, 같은 판정의 비율
- pₑ
- 주변 분포에서 계산한 우연 일치도
코드 분석하기
복수 코딩을 했다면 코딩된 주관식 문항은 복수 응답 문항입니다. 코드마다 그 코드를 언급한 응답자의 비율을 응답자 수를 베이스로 보고하십시오. 비율의 합은 100%를 넘을 수 있고, 검정은 코드마다 독립 집단 사이에서 합니다.
계산 예제
예제: “배송 시간” 코드의 이중 코딩
두 사람이 배달 서비스 개선점을 묻는 문항의 응답 60개를 독립적으로 코딩했습니다. “배송 시간” 코드에서 53건은 일치하고 7건은 일치하지 않았습니다. 관측 일치도 pₒ = 0.883입니다.
주변 분포에서 계산한 우연 일치도는 pₑ = 0.540입니다. 따라서 κ = (0.883 − 0.540) ÷ (1 − 0.540) = 0.746, 95% 신뢰구간은 0.57–0.92입니다. Landis와 Koch 기준으로는 상당한 일치이지만 구간이 넓습니다. 이 코드에 기대기 전에 설명을 다듬고 더 많은 응답을 이중 코딩하십시오.
| 코더 B: 예 | 코더 B: 아니요 | |
|---|---|---|
| 코더 A: 예 | 18 | 4 |
| 코더 A: 아니요 | 3 | 35 |
설명용 합성 이중 코딩 데이터입니다. 카파와 신뢰구간은 Crosstabs 카파 계산기와 같은 함수로 계산했습니다.