Ein Prozentwert, vier Konfidenzintervalle
Das übliche ± ist das Wald-Intervall. Bei großen Stichproben und mittleren Anteilen ist es in Ordnung, bei kleinem n oder Anteilen nahe 0 % oder 100 % liegt die tatsächliche Überdeckung jedoch deutlich unter den nominalen 95 %; bei 0 % behauptet es sogar, es gebe keine Unsicherheit.
Das Wilson-Score-Intervall behebt das und ist der empfohlene Standard. Clopper–Pearson invertiert den exakten Binomialtest, garantiert die Überdeckung und ist etwas breiter. Agresti–Coull addiert z²/2 Ja- und Nein-Antworten und wendet dann die Wald-Formel an; das Ergebnis liegt nahe bei Wilson.
- Fehlertoleranz = z · √(deff · p(1 − p) ÷ n) · √((N − n) ÷ (N − 1))
- z: kritischer Wert, 1,645 bei 90 %, 1,960 bei 95 %, 2,576 bei 99 %; p: beobachteter Anteil (zur Planung 0,5).
- deff: Designeffekt; bei reiner Gewichtung Kish-deff = n·Σw² ÷ (Σw)², effektives n = n ÷ deff.
- N: Grundgesamtheit; der letzte Faktor ist die Endlichkeitskorrektur und entfällt bei sehr großen Grundgesamtheiten.
Rechenbeispiel (synthetische Daten)
Im synthetischen Snackmarken-Tracker dieser Website (programmgenerierte Beispieldaten, keine echten Befragten) sind 149 von 596 Befragten Promotoren (Weiterempfehlung 9–10), also p = 25,0%.
Bei 95 % Konfidenz ist die Fehlertoleranz 1,960 × √(0,250 × 0,750 ÷ 596) = ±3,5%. Das Wilson-Intervall ist 21,7% – 28,6%, das exakte Clopper–Pearson-Intervall 21,6% – 28,7%; bei dieser Stichprobengröße liegen die Methoden dicht beieinander.
Sind die Daten gewichtet und beträgt der Designeffekt 1,5, sinkt das effektive n auf 397 und die Fehlertoleranz steigt auf ±4,3%.
Wann verwenden – und wann nicht
Die Fehlertoleranz beschreibt den Stichprobenfehler eines einzelnen Anteils aus einer Zufallsstichprobe.
- Genauigkeit eines Umfrage- oder Wahlumfrageergebnisses angeben.
- Zeigen, warum kleine Teilgruppen viel größere Fehlertoleranzen haben als die Gesamtstichprobe.
- Abschätzen, wie viel effektive Stichprobe die Gewichtung kostet.
- Nicht für den Vergleich zweier Prozentwerte: Die einzelnen Fehlertoleranzen sind nicht die der Differenz – nutzen Sie den z-Test für zwei Anteile.
- Nicht für Mittelwerte oder Skalen-Durchschnitte: Dafür braucht es die Standardabweichung statt p(1 − p).
- Nicht als Maß für Abdeckungs- oder Selbstselektionsfehler bei nicht zufälligen Online-Stichproben.
So lesen Sie das Ergebnis
Ein 95-%-Konfidenzintervall bedeutet: Bei wiederholten Stichproben würden etwa 95 % der so berechneten Intervalle den wahren Anteil enthalten. Zwei Prozentwerte derselben Umfrage können signifikant verschieden sein, obwohl sich ihre Intervalle überlappen (und umgekehrt) – testen Sie die Differenz direkt.