어떤 t-검정을 고를까
독립표본 t-검정은 광고 노출 응답자와 비노출 응답자처럼 서로 다른 사람들의 두 그룹을 비교합니다. 대응표본 t-검정은 같은 사람의 두 측정값(제품 사용 전과 후 등)의 차이를 분석하므로 개인 간 차이가 제거되어 보통 검정력이 더 높습니다. 단일표본 t-검정은 평균을 목표값, 벤치마크, 척도의 중간점과 비교합니다.
Student t-검정은 분산을 합동해 모분산이 같을 때만 정확합니다. Welch t-검정은 분산을 따로 추정하고 자유도를 조정합니다. 분산이 같으면 두 결과가 거의 같지만, 분산과 그룹 크기가 다르면 Student가 크게 어긋날 수 있습니다. 그래서 이 계산기는 Welch를 중심으로 보여주고 Student를 비교용으로 함께 표시합니다.
- Welch: t = (x̄₁ − x̄₂) ÷ √(s₁²/n₁ + s₂²/n₂), 자유도는 Welch–Satterthwaite 근사.
- 대응표본: t = 차이의 평균 ÷ (차이의 표준편차 ÷ √n), 자유도 n − 1.
- Cohen's d = 평균 차이 ÷ 합동 표준편차(대응표본은 d_z). Hedges' g는 소표본 편향을 보정하며, 구간은 비중심 t 분포에서 구합니다.
계산 예시: 광고 테스트의 브랜드 호감도
합성 데이터: 광고에 노출된 42명과 통제 집단 40명이 브랜드를 평가했습니다(0–100). 평균은 각각 63.14(표준편차 13.69)와 55.52(표준편차 18.54)입니다.
Welch t-검정: t(71.6) = 2.11, p = .038. 광고 노출 집단이 7.62점 높고 95% 신뢰구간은 [0.42, 14.82]입니다. Student 검정도 비슷하고(t(80) = 2.12, p = .037), Brown–Forsythe는 p = .174입니다. Hedges' g = 0.46, 95% 신뢰구간 [0.03, 0.90]로 구간이 넓어, 그룹당 약 40명으로는 효과 크기를 아직 정밀하게 추정하기 어렵다는 것을 보여줍니다.
대응표본 예시에서는 30명이 제품 사용 전과 후에 점수를 매겼고 평균 3.67점 올랐습니다: t(29) = −3.10, p = .004, d_z = −0.57.
쓸 때와 쓰지 말아야 할 때
t-검정은 연속형(또는 그에 가까운) 결과 변수에 쓰며, 관측값이 서로 독립이고 각 그룹 안에서 값이 대체로 정규분포를 따르거나 그룹이 충분히 커야 합니다(약 30 이상).
- 독립된 두 그룹의 점수, 금액, 시간 등을 비교할 때.
- 같은 사람의 두 측정값이나 짝지은 설계.
- 그룹이 셋 이상이면 쓰지 마세요. t-검정을 여러 번 하지 말고 일원분산분석을 쓰세요.
- 예/아니요 결과에는 쓰지 마세요. 비율을 비교하세요(z-검정, 카이제곱, McNemar 검정).
- 가중 데이터나 복잡한 표본 설계에는 쓰지 마세요. 공식은 단순 무작위 표본을 가정합니다.
해석과 보고
p < 0.05는 모평균이 같다면 이만한 차이가 나오기 어렵다는 뜻이지, 차이가 크거나 중요하다는 뜻은 아닙니다. 신뢰구간으로 차이의 그럴듯한 크기를 판단하고, Cohen's d(대략 0.2 작음, 0.5 중간, 0.8 큼, Cohen의 대략적인 관례)로 효과를 설명하세요. 그룹당 약 20명 미만이면 Hedges' g를 우선하세요.
보고 예시: Welch t(71.6) = 2.11, p = .038, 평균 차이 = 7.62, 95% CI [0.42, 14.82], Hedges' g = 0.46.