In de herfst van 1936 nam een Amerikaans tijdschrift, de Literary Digest, zich voor de presidentsverkiezing te voorspellen door het simpelweg aan iedereen te vragen. Het verstuurde zo’n tien miljoen stembiljetten. Ongeveer 2,4 miljoen kwamen terug, de grootste peiling die ooit was gehouden, en ze wezen op een ruime overwinning voor de Republikein Alf Landon.
Franklin Roosevelt won 46 van de 48 staten. Een jonge opiniepeiler genaamd George Gallup had het, met een steekproef die meestal op ongeveer 50.000 wordt geschat, goed voorspeld. De Digest hield binnen twee jaar op te bestaan.
De episode geldt als de geboorte van de moderne opiniepeiling, en de les is nog altijd niet breed doorgedrongen. Iedereen die een enquête verstuurt, vraagt vroeg of laat hoeveel reacties genoeg zijn. Het is een goede vraag met een precies antwoord. Het is ook de tweede vraag, en de Literary Digest is wat er gebeurt met mensen die de eerste nooit stellen.
Wat een reactie oplevert
Begin met het precieze deel. Een enquête ondervraagt een deel van je klanten om iets over hen allemaal te weten te komen, en een ander handjevol zou net iets anders hebben geantwoord. De foutmarge zegt hoeveel.
Stel dat de helft van je respondenten zegt tevreden te zijn. Bij 100 reacties geeft de formule 0,098, ofwel ongeveer tien punten. Het werkelijke cijfer ligt ergens tussen 40% en 60%.
| Reacties | Foutmarge, naar boven en beneden |
|---|---|
| 50 | ongeveer 14 punten |
| 100 | ongeveer 10 punten |
| 400 | ongeveer 5 punten |
| 1.000 | ongeveer 3 punten |
| 2.400 | ongeveer 2 punten |
De tabel heeft een vorm die het opmerken waard is. Van tien punten naar vijf kost 300 reacties extra. Van vijf naar tweeënhalf kost er nog eens 1.200. Omdat de steekproefgrootte onder een wortelteken staat, wordt nauwkeurigheid gekocht tegen een snel stijgende prijs: om de fout te halveren moet je de steekproef verviervoudigen. Daarom stoppen landelijke peilingen rond de duizend. De volgende duizend leveren bijna niets op.
Het keert ook de vraag om. De nuttige vraag is niet “hoeveel heb ik er nodig?” maar “hoe precies moet ik zijn?” Als de beslissing bij 55% dezelfde zou zijn als bij 65%, zijn honderd reacties ruim voldoende. Als je wilt aantonen dat de tevredenheid van 70% naar 74% is gestegen, vraag je van elke enquête een marge van ongeveer twee punten, en heb je er duizenden nodig. Scores die uit twee percentages worden opgebouwd, zoals NPS, vragen nog meer, zoals we laten zien in voorspelt NPS groei?.
Als je weinig klanten hebt
De gebruikelijke tabellen gaan ervan uit dat je een steekproef trekt uit een enorme populatie, een land vol kiezers. Een bedrijf met 500 klanten staat er beter voor. Zodra je van een groot deel van de mensen om wie het gaat hebt gehoord, blijft er minder over om onzeker over te zijn, en daalt de eis.
Voor vijf punten marge heeft een heel grote populatie ongeveer 384 reacties nodig. Een klantenbestand van 2.000 heeft er ongeveer 322 nodig. Bij 1.000 klanten zijn het er 278, en bij 500 zijn het er 217. Het percentage stijgt natuurlijk naarmate het bestand krimpt. Tweehonderdzeventien van de 500 is een respons die weinig enquêtes halen, en dat is één reden waarom een klein B2B-bedrijf vaak beter af is met interviews dan met een vragenlijst. Veertig antwoorden uit 300 accounts leveren geen percentage op dat het afdrukken waard is. Veertig gesprekken vertellen je heel veel.
De kleinste groep waar het je om gaat
De meest gemaakte fout met steekproefgrootte is plannen voor het totaalcijfer en vervolgens de uitsplitsing rapporteren.
Pew Research, dat zijn berekeningen publiceert, biedt een illustratie. In zijn referentie-enquête van 2026 onder 5.511 Amerikaanse volwassenen was de marge voor de hele steekproef 1,8 punt. Voor de 880 volwassenen met een Latijns-Amerikaanse achtergrond was die 4,7. Voor de 229 mannen van 18 tot 29 jaar was die 8,0. Het is dezelfde enquête, met dezelfde zorg uitgevoerd, en het laatste cijfer is ruim vier keer zo onscherp als het eerste. Pews eigen regel is dat een groep met minder dan 100 interviews helemaal niet wordt gerapporteerd.
Jouw enquête zit net zo in elkaar. Vierhonderd reacties klinken ruim, tot ze worden verdeeld in enterprise en selfservice, dan in nieuw en gevestigd, en de grafiek waar het om draait op 31 mensen blijkt te rusten. Elke groep die je wilt vergelijken, is een enquête op zich en heeft een eigen steekproef nodig. Bepaal vóór het versturen welke vergelijkingen je gaat maken, zoek de kleinste groep daartussen en plan daarvoor.
Wat geen steekproefgrootte kan kopen
Nu de eerste vraag, die de Literary Digest oversloeg. Alles hierboven gaat ervan uit dat de mensen die antwoordden een eerlijke trekking zijn uit de mensen over wie je iets wilt weten. De formule heeft geen term voor wat er gebeurt als dat niet zo is.
De stembiljetten van de Digest gingen naar namen uit lijsten van autobezitters, telefoonabonnees en clubleden, midden in de crisisjaren. En van hen antwoordde minder dan een op de vier. Een latere analyse concludeerde dat zowel de lijst als de respons scheef was, en twee scheeftrekkingen samen leverden een verpletterende overwinning op voor de verkeerde man. Twee miljoen extra stembiljetten corrigeerden niets. Ze lieten het verkeerde antwoord alleen onaantastbaar lijken.
Als dat een gevaar van de jaren dertig lijkt, kijk dan naar 2021. Een Amerikaanse enquête via Facebook verzamelde ongeveer 250.000 reacties per week, en overschatte het aandeel gevaccineerde volwassenen met 17 procentpunten. Een zorgvuldig geworven panel van ongeveer duizend kwam dicht in de buurt. De statistici die de grote enquête onderzochten, schatten dat een kwart miljoen reacties, als je de vertekening meerekende, ongeveer evenveel informatie bevatte als een aselecte steekproef van tien.
De reden is eenvoudig genoeg. De foutmarge meet het toeval van de trekking, en toeval middelt zich uit naarmate de steekproef groeit. Een scheefheid in wie er antwoordt, middelt zich niet uit. Ze herhaalt zich in elke extra reactie, zodat een grotere steekproef dezelfde verkeerde groep alleen maar nauwkeuriger beschrijft.
Bij een klantenquête is die scheefheid zelden een raadsel. De mensen die antwoorden, zijn degenen die je e-mails openen, en dat zijn meestal degenen die het product gebruiken. Hoe je met de klantgegevens die je al hebt ziet wie er ontbreekt, is het onderwerp van non-responsbias.
Werk dus in de juiste volgorde. Vraag eerst wie er wordt uitgenodigd en wie er waarschijnlijk antwoordt, en vergelijk die twee wanneer de antwoorden binnenkomen. Vraag daarna hoe nauwkeurig je moet zijn, voor de kleinste groep waarover je wilt rapporteren, en laat dat het aantal bepalen. Vermeld de marge naast elk cijfer. En waar de aantallen niet te halen zijn, zeg dat dan en ga met mensen praten, een taak met een eigen rekensom.
Gallup versloeg de Literary Digest niet door slim te zijn met een klein getal. Hij versloeg het tijdschrift door zich te bekommeren om wie er in de steekproef zat, iets wat de Digest, met tien miljoen stembiljetten te versturen, niet nodig had gevonden.
Hoe Diaform helpt
Diaform verandert de rekensom niet: een foutmarge hangt af van hoeveel mensen antwoorden, in welke tool dan ook. Het helpt bij wat omvang niet kan herstellen. Vanaf het Pro-abonnement koppelen persoonlijke uitnodigingslinks elk gesprek aan een klant, zodat je ziet welke segmenten hebben geantwoord en welke niet, en met de CSV-export leg je de respondenten naast de lijst met genodigden. Waar de aantallen klein zijn, maken de doorvragen van de AI-interviewer veertig gesprekken het waard om één voor één te lezen. Er is een gratis proefperiode van 14 dagen.
