Gepoolt für den Test, ungepoolt für das Intervall
Unter der Nullhypothese haben beide Gruppen denselben Anteil, daher nutzt der Test den gepoolten Standardfehler. Das Konfidenzintervall beschreibt die beobachtete Differenz und nutzt in der einfachsten Form den ungepoolten Standardfehler (Wald-Intervall).
Bei kleinen Stichproben oder extremen Anteilen ist das Newcombe-Hybrid-Score-Intervall aus zwei Wilson-Intervallen die bessere Wahl; der Rechner zeigt beide. Liegt eine erwartete Häufigkeit unter etwa 5, berichten Sie den p-Wert des exakten Tests nach Fisher.
- x, n: Erfolge und Stichprobengröße je Gruppe, p = x ÷ n; p̄ = (x_A + x_B) ÷ (n_A + n_B).
- z² ist Pearsons χ² der 2×2-Tafel (ohne Stetigkeitskorrektur, df = 1).
- Cohens h = 2·asin√p_B − 2·asin√p_A (0,2 klein, 0,5 mittel, 0,8 groß); relativer Uplift = p_B ÷ p_A − 1.
Rechenbeispiel (synthetische Daten)
Im synthetischen Snackmarken-Tracker (programmgenerierte Beispieldaten, keine echten Befragten) haben 115 von 203 Befragten zwischen 18 und 34 Jahren (Gruppe B) Top-2-Kaufbereitschaft für die Sorte Limette-Chili, also 56,7%; bei den ab 55-Jährigen (Gruppe A) sind es 51 von 179 = 28,5%.
Die Differenz beträgt 28,2 Prozentpunkte; gepoolter Anteil 43,5%, z = 5,54, p < 0,001 (χ² = 30,70). Das 95-%-Newcombe-Intervall der Differenz reicht von 18,3 bis 37,2 Prozentpunkten, der relative Uplift beträgt +99%, Cohens h = 0,58.
Um beim selben Basisanteil von 28,5% eine kleinere Differenz von 5 Prozentpunkten mit 80 % Teststärke und α = 0,05 (zweiseitig) zu erkennen, bräuchte man rund 1.342 Befragte pro Gruppe.
Die Gruppen müssen unabhängig sein
Der Test setzt voraus, dass niemand zu beiden Gruppen gehört.
- Zwei Teilgruppen einer Umfrage (Frauen vs. Männer) oder zwei Varianten eines A/B-Tests vergleichen.
- Fallzahl für die nächste Welle oder den nächsten Test planen.
- Nicht für eine Teilgruppe gegen die Gesamtheit, zu der sie gehört – vergleichen Sie mit „allen anderen“.
- Nicht für zwei Antworten derselben Personen oder dieselbe Stichprobe zweimal: dafür der McNemar-Test.
- Nicht für mehr als zwei Gruppen oder Antwortkategorien: dafür der Chi-Quadrat-Test.
So lesen Sie das Ergebnis
Ein p-Wert unter α heißt: Wären die Anteile in der Grundgesamtheit gleich, wäre ein so großer Abstand ungewöhnlich. Das Konfidenzintervall zeigt die plausible Größe der Differenz, Cohens h ihre praktische Bedeutung – bei sehr großen Stichproben werden auch winzige Unterschiede signifikant. Legen Sie einen einseitigen Test vor dem Blick auf die Daten fest, und brechen Sie einen A/B-Test nicht ab, sobald p < 0,05 erreicht ist: Wiederholtes Nachsehen erhöht die Fehlerrate.