Im Herbst 1936 machte sich eine amerikanische Zeitschrift, der Literary Digest, daran, die Präsidentschaftswahl vorherzusagen, und zwar auf die einfachste Weise: indem sie alle fragte. Sie verschickte rund zehn Millionen Stimmzettel. Etwa 2,4 Millionen kamen zurück, die größte Umfrage, die es je gegeben hatte, und sie deuteten auf einen bequemen Sieg des Republikaners Alf Landon.
Franklin Roosevelt gewann 46 der 48 Bundesstaaten. Ein junger Meinungsforscher namens George Gallup hatte es mit einer Stichprobe, die meist mit etwa 50.000 angegeben wird, richtig vorhergesagt. Der Digest stellte binnen zwei Jahren sein Erscheinen ein.
Die Episode gilt als Geburtsstunde der modernen Meinungsforschung, und ihre Lehre ist bis heute nicht überall angekommen. Wer eine Umfrage verschickt, fragt früher oder später, wie viele Antworten genug sind. Das ist eine gute Frage mit einer exakten Antwort. Sie ist allerdings die zweite Frage, und der Literary Digest zeigt, was denen passiert, die die erste nie stellen.
Was eine Antwort einbringt
Fang mit dem exakten Teil an. Eine Umfrage fragt einige deiner Kunden, um etwas über alle zu erfahren, und eine andere Handvoll hätte ein wenig anders geantwortet. Die Fehlerspanne sagt, um wie viel.
Angenommen, die Hälfte deiner Befragten sagt, sie sei zufrieden. Bei 100 Antworten ergibt die Formel 0,098, also etwa zehn Punkte. Der wahre Wert liegt irgendwo zwischen 40 % und 60 %.
| Antworten | Fehlerspanne nach oben und unten |
|---|---|
| 50 | etwa 14 Punkte |
| 100 | etwa 10 Punkte |
| 400 | etwa 5 Punkte |
| 1.000 | etwa 3 Punkte |
| 2.400 | etwa 2 Punkte |
Die Tabelle zeigt ein Muster, das Beachtung verdient. Von zehn auf fünf Punkte zu kommen, kostet 300 weitere Antworten. Von fünf auf zweieinhalb kostet weitere 1.200. Weil die Stichprobengröße unter einer Wurzel steht, wird Präzision zu einem steil steigenden Preis erkauft: Um den Fehler zu halbieren, musst du die Stichprobe vervierfachen. Deshalb hören landesweite Umfragen bei etwa tausend auf. Die nächsten tausend brächten fast nichts.
Das dreht auch die Frage um. Die nützliche lautet nicht „Wie viele brauche ich?“, sondern „Wie genau muss ich sein?“ Wenn die Entscheidung bei 55 % dieselbe wäre wie bei 65 %, sind hundert Antworten reichlich. Wenn du zeigen willst, dass die Zufriedenheit von 70 % auf 74 % gestiegen ist, verlangst du von jeder Umfrage eine Spanne von etwa zwei Punkten und brauchst Tausende. Werte, die aus zwei Prozentzahlen gebildet werden, wie der NPS, brauchen noch mehr, wie wir in Sagt der NPS Wachstum voraus? zeigen.
Wenn du wenige Kunden hast
Die üblichen Tabellen gehen davon aus, dass du aus einer riesigen Grundgesamtheit ziehst, einem Land voller Wähler. Ein Unternehmen mit 500 Kunden ist besser dran. Sobald du von einem großen Teil der Leute gehört hast, um die es dir geht, bleibt weniger, worüber du unsicher sein kannst, und die Anforderung sinkt.
Für fünf Punkte Spielraum braucht eine sehr große Grundgesamtheit etwa 384 Antworten. Ein Kundenstamm von 2.000 braucht etwa 322. Bei 1.000 Kunden sind es 278 und bei 500 sind es 217. Der Prozentsatz steigt natürlich, je kleiner der Kundenstamm wird. Zweihundertsiebzehn von 500 ist eine Rücklaufquote, die kaum eine Umfrage erreicht, und das ist ein Grund, warum ein kleines B2B-Unternehmen mit Interviews oft besser fährt als mit einem Fragebogen. Vierzig Antworten von 300 Accounts ergeben keinen Prozentwert, der den Druck lohnt. Vierzig Gespräche sagen dir sehr viel.
Die kleinste Gruppe, die dich interessiert
Der häufigste Fehler bei der Stichprobengröße ist, für die Schlagzeile zu planen und dann die Aufschlüsselung zu berichten.
Pew Research, das seine Rechnungen veröffentlicht, liefert ein Beispiel. In seiner Referenzumfrage 2026 unter 5.511 erwachsenen Amerikanern lag die Spanne für die gesamte Stichprobe bei 1,8 Punkten. Für die 880 hispanischen Erwachsenen lag sie bei 4,7. Für die 229 Männer zwischen 18 und 29 bei 8,0. Es ist dieselbe Umfrage mit derselben Sorgfalt, und die letzte Zahl ist mehr als viermal so unscharf wie die erste. Pews eigene Regel lautet, dass eine Gruppe mit weniger als 100 Interviews gar nicht ausgewiesen wird.
Deine Umfrage ist genauso gebaut. Vierhundert Antworten klingen üppig, bis sie in Enterprise und Self-Service geteilt werden, dann in neu und etabliert, und das Diagramm, auf das es ankommt, auf 31 Leuten ruht. Jede Gruppe, die du vergleichen willst, ist eine eigene Umfrage und braucht ihre eigene Stichprobe. Entscheide vor dem Versand, welche Vergleiche du anstellst, such die kleinste Gruppe darunter und plane für sie.
Was keine Stichprobengröße kaufen kann
Jetzt die erste Frage, die der Literary Digest übersprungen hat. Alles oben setzt voraus, dass die Leute, die geantwortet haben, eine faire Auswahl aus denen sind, über die du etwas wissen willst. Die Formel hat keinen Term für den Fall, dass sie es nicht sind.
Die Stimmzettel des Digest gingen an Namen aus Listen von Autobesitzern, Telefonteilnehmern und Clubmitgliedern, mitten in der Weltwirtschaftskrise. Und von diesen antwortete weniger als jeder Vierte. Eine spätere Analyse kam zu dem Schluss, dass sowohl die Liste als auch der Rücklauf verzerrt waren, und zwei Verzerrungen zusammen ergaben einen Erdrutschsieg für den Falschen. Zwei Millionen zusätzliche Stimmzettel korrigierten nichts. Sie ließen die falsche Antwort nur unangreifbar aussehen.
Falls das wie ein Risiko der 1930er wirkt, nimm 2021. Eine amerikanische Umfrage über Facebook sammelte rund 250.000 Antworten pro Woche und überschätzte den Anteil geimpfter Erwachsener um 17 Prozentpunkte. Ein sorgfältig rekrutiertes Panel von etwa tausend lag nah dran. Die Statistiker, die die große Umfrage untersuchten, schätzten, dass eine Viertelmillion Antworten nach Berücksichtigung der Verzerrung etwa so viel Information trug wie eine Zufallsstichprobe von zehn.
Der Grund ist recht einfach. Die Fehlerspanne misst das Losglück, und Glück gleicht sich aus, wenn die Stichprobe wächst. Eine Schlagseite bei denen, die antworten, gleicht sich nicht aus. Sie wiederholt sich in jeder weiteren Antwort, sodass eine größere Stichprobe dieselbe falsche Gruppe nur genauer beschreibt.
Bei einer Kundenumfrage ist die Schlagseite selten rätselhaft. Es antworten die, die deine E-Mails öffnen, und das sind meist die, die das Produkt nutzen. Wie du mit den Kundendaten, die du schon hast, siehst, wer fehlt, ist Thema von Nonresponse-Bias.
Arbeite also in der richtigen Reihenfolge. Frag zuerst, wer eingeladen wird und wer vermutlich antwortet, und vergleiche beides, wenn die Antworten da sind. Frag dann, wie präzise du sein musst, für die kleinste Gruppe, über die du berichten willst, und lass das die Zahl bestimmen. Nenn die Spanne neben jeder Zahl. Und wo die Zahlen nicht zu haben sind, sag es und geh mit Leuten reden, eine Aufgabe mit eigener Arithmetik.
Gallup schlug den Literary Digest nicht, weil er mit einer kleinen Zahl besonders clever war. Er schlug ihn, weil ihm wichtig war, wer in der Stichprobe steckte. Der Digest hatte das, bei zehn Millionen Stimmzetteln im Postausgang, nicht für nötig gehalten.
So hilft dir Diaform
Diaform ändert die Arithmetik nicht: Eine Fehlerspanne hängt davon ab, wie viele Leute antworten, egal in welchem Tool. Es hilft bei dem, was Größe nicht reparieren kann. In den Tarifen ab Pro verknüpfen persönliche Einladungslinks jedes Gespräch mit einem Kunden, sodass du siehst, welche Segmente geantwortet haben und welche nicht, und per CSV-Export kannst du die Befragten neben die Liste der Eingeladenen legen. Wo die Zahlen klein sind, machen die Rückfragen des KI-Interviewers vierzig Gespräche so ergiebig, dass es sich lohnt, jedes einzeln zu lesen. Es gibt einen 14-tägigen kostenlosen Test.
