어떤 F를 보고할까
일반 F 검정은 모분산이 같다고 가정합니다. Welch 분산분석은 각 그룹에 n/s²의 가중치를 주고 분모 자유도를 조정하므로, 분산이 다를 때(특히 작은 그룹의 흩어짐이 클 때)도 정확합니다. Brown–Forsythe F도 강건한 대안입니다. 흩어짐이 비슷하면 세 결과가 일치하므로 Welch를 보고해도 잃는 것이 거의 없습니다.
원자료를 쓰면 Levene 등분산 검정과 Kruskal–Wallis H 검정도 보여줍니다. 후자는 정규성을 가정하지 않고 평균 순위를 비교하므로 치우친 점수나 짧은 척도에 알맞습니다. 그룹이 두 개뿐이면 F는 Student t의 제곱입니다.
- η² = 집단 간 제곱합 ÷ 전체 제곱합. 소표본에서는 크게 나오므로 비중심 F 분포로 신뢰구간을 구합니다.
- ω² = (집단 간 제곱합 − (k − 1) × 집단 내 평균제곱) ÷ (전체 제곱합 + 집단 내 평균제곱), 편향이 더 작습니다.
- Tukey HSD는 스튜던트화 범위 분포에 기반하며, 그룹 크기가 다르면 Tukey–Kramer 방법을 씁니다.
계산 예시: 네 가지 포장 콘셉트의 구매 의향
합성 데이터: 응답자 120명을 네 그룹으로 나누어 각 그룹이 포장 콘셉트 하나를 구매 의향(0–100)으로 평가했습니다.
분산분석: F(3, 116) = 6.71, p < .001. Welch F(3, 64.0) = 6.79, p < .001로 결론이 같습니다. Levene 검정은 p = .941로 흩어짐이 비슷합니다. 포장 콘셉트가 분산의 η² = .15를 설명합니다(95% 신뢰구간 [.04, .25], ω² = .12).
Tukey HSD는 α = 0.05에서 6쌍 중 2쌍에서 유의한 차이를 찾았습니다: 콘셉트 A와 콘셉트 B(p = .006), 콘셉트 B와 콘셉트 C(p < .001). 순위 기반 Kruskal–Wallis 검정도 같은 결론입니다: H(3) = 17.17, p < .001.
쓸 때와 쓰지 말아야 할 때
각 응답자는 한 그룹에만 속해야 하며, 결과 변수가 그룹 안에서 대체로 정규분포를 따르거나 그룹이 충분히 커야 합니다(약 20 이상).
- 독립된 세 개 이상의 그룹(콘셉트, 세그먼트, 지역, 광고 셀)의 수치 결과를 비교할 때.
- t-검정을 여러 번 하는 대신 전체 검정과 오류율을 통제한 쌍별 비교를 할 때.
- 같은 응답자가 모든 콘셉트를 평가했다면 쓰지 마세요. 반복측정 모형이 필요합니다.
- 두 개 이상의 요인을 함께 볼 때는 쓰지 마세요. 이원분산분석이나 일반선형모형을 쓰세요.
- 범주형 결과 변수에는 쓰지 마세요. 카이제곱 검정을 쓰세요.
해석과 보고
F가 유의하다는 것(p < 0.05)은 평균이 모두 같지는 않다는 뜻일 뿐 어느 그룹이 다른지는 알려주지 않습니다. 그것을 보여주는 것이 Tukey HSD이며, p-값과 구간은 이미 조정되어 있습니다. η²가 약 0.01, 0.06, 0.14이면 작은, 중간, 큰 효과로 봅니다(Cohen의 대략적인 관례). 소표본에서는 ω²를 우선하세요. 일반 F와 Welch F의 결론이 다르면 Welch를 따르세요.
보고 예시: F(3, 116) = 6.71, p < .001, η² = .15; Welch F(3, 64.0) = 6.79, p < .001.