Stikprøvestørrelse i undersøgelser: Hvor mange svar skal du bruge?

I efteråret 1936 satte et amerikansk tidsskrift, Literary Digest, sig for at forudsige præsidentvalget ved det enkle kneb at spørge alle. Det udsendte omkring ti millioner stemmesedler. Cirka 2,4 millioner kom tilbage, den største måling, der nogensinde var foretaget, og de pegede på en komfortabel sejr til republikaneren Alf Landon.

Franklin Roosevelt vandt 46 af de 48 stater. En ung meningsmåler ved navn George Gallup havde, med en stikprøve, der som regel sættes til omkring 50.000, ramt rigtigt. Digest lukkede inden for to år.

Episoden huskes som den moderne meningsmålings fødsel, og dens lære er stadig ikke trængt bredt igennem. Alle, der sender en undersøgelse ud, spørger før eller siden, hvor mange svar der er nok. Det er et godt spørgsmål med et præcist svar. Det er også det andet spørgsmål, og Literary Digest er, hvad der sker for dem, der aldrig stiller det første.

Hvad et svar køber

Begynd med den præcise del. En undersøgelse spørger nogle af dine kunder for at lære noget om dem alle, og en anden håndfuld ville have svaret lidt anderledes. Fejlmarginen siger hvor meget.

Antag, at halvdelen af dine svarpersoner siger, at de er tilfredse. Med 100 svar giver formlen 0,098, altså omkring ti point. Det sande tal ligger et sted mellem 40 % og 60 %.

Tabellen har en form, der er værd at lægge mærke til. At komme fra ti point til fem koster 300 svar mere. At komme fra fem til to et halvt koster yderligere 1.200. Fordi stikprøvestørrelsen står under et kvadratrodstegn, købes præcision til en stejlt stigende pris: For at halvere fejlen skal du firedoble stikprøven. Derfor stopper landsdækkende målinger ved omkring tusind. De næste tusind ville næsten ingenting købe.

Det vender også spørgsmålet om. Det nyttige er ikke »hvor mange skal jeg bruge?«, men »hvor præcis skal jeg være?« Hvis beslutningen ville være den samme ved 55 % som ved 65 %, er hundrede svar rigeligt. Hvis du håber at vise, at tilfredsheden steg fra 70 % til 74 %, beder du hver undersøgelse om en margin på omkring to point, og så skal du bruge tusinder. Scorer, der bygges af to procenttal, såsom NPS, kræver endnu flere, som vi viser i om NPS forudsiger vækst.

Når du har få kunder

De sædvanlige tabeller antager, at du trækker fra en enorm population, et land af vælgere. En virksomhed med 500 kunder står bedre. Når du har hørt fra en stor del af de mennesker, du interesserer dig for, er der mindre tilbage at være usikker på, og kravet falder.

For fem points margin kræver en meget stor population omkring 384 svar. En kundebase på 2.000 kræver omkring 322. Med 1.000 kunder er det 278, og med 500 er det 217. Procentdelen stiger selvfølgelig, når basen skrumper. To hundrede og sytten ud af 500 er en svarprocent, få undersøgelser opnår, og det er én grund til, at en lille B2B-virksomhed ofte er bedre tjent med interviews end med et spørgeskema. Fyrre svar fra 300 konti giver dig ikke en procentdel, der er værd at trykke. Fyrre samtaler fortæller dig en hel del.

Den mindste gruppe, du går op i

Den almindeligste fejl med stikprøvestørrelse er at planlægge efter hovedtallet og derefter rapportere opdelingen.

Pew Research, som offentliggør sine udregninger, giver en illustration. I referenceundersøgelsen fra 2026 blandt 5.511 voksne amerikanere var marginen for hele stikprøven 1,8 point. For de 880 voksne med latinamerikansk baggrund var den 4,7. For de 229 mænd mellem 18 og 29 år var den 8,0. Det er den samme undersøgelse, udført med samme omhu, og det sidste tal er mere end fire gange så usikkert som det første. Pews egen regel er, at en gruppe med færre end 100 interviews slet ikke rapporteres.

Din undersøgelse har samme opbygning. Fire hundrede svar lyder rigeligt, indtil de deles i enterprise og selvbetjening, derefter i nye og etablerede, og det diagram, der betyder noget, viser sig at hvile på 31 personer. Hver gruppe, du vil sammenligne, er en undersøgelse for sig og kræver sin egen stikprøve. Beslut inden udsendelsen, hvilke sammenligninger du vil lave, find den mindste gruppe blandt dem, og planlæg efter den.

Hvad ingen stikprøvestørrelse kan købe

Nu til det første spørgsmål, det, Literary Digest sprang over. Alt ovenfor forudsætter, at de mennesker, der svarede, er et fair udtræk af dem, du vil vide noget om. Formlen har intet led for, hvad der sker, når de ikke er det.

Digests stemmesedler gik til navne taget fra lister over bilejere, telefonabonnenter og klubmedlemmer, midt under depressionen. Og af dem svarede færre end hver fjerde. En senere analyse konkluderede, at både listen og svarene var skæve, og to skævheder tilsammen gav en jordskredssejr til den forkerte mand. To millioner ekstra stemmesedler rettede intet. De fik bare det forkerte svar til at se uangribeligt ud.

Hvis det virker som en fare fra 1930’erne, så se på 2021. En amerikansk undersøgelse via Facebook indsamlede omkring 250.000 svar om ugen og overvurderede andelen af vaccinerede voksne med 17 procentpoint. Et omhyggeligt rekrutteret panel på omkring tusind kom tæt på. Statistikerne, der gennemgik den store undersøgelse, anslog, at en kvart million svar, når der blev taget højde for skævheden, rummede omtrent lige så megen information som en tilfældig stikprøve på ti.

Grunden er enkel nok. Fejlmarginen måler udtrækkets tilfældighed, og tilfældighed udligner sig, når stikprøven vokser. En skævhed i, hvem der svarer, udligner sig ikke. Den gentages i hvert ekstra svar, så en større stikprøve kun beskriver den samme forkerte flok mere nøjagtigt.

I en kundeundersøgelse er skævheden sjældent en gåde. De, der svarer, er dem, der åbner dine e-mails, og det er som regel dem, der bruger produktet. Hvordan du ser, hvem der mangler, ved hjælp af de kundedata, du allerede har, er emnet for bortfaldsbias.

Arbejd derfor i den rigtige rækkefølge. Spørg først, hvem der bliver inviteret, og hvem der sandsynligvis svarer, og sammenlign de to, når svarene kommer. Spørg derefter, hvor præcis du skal være, for den mindste gruppe, du vil rapportere om, og lad det bestemme antallet. Angiv marginen ved siden af hvert tal. Og hvor tallene ikke kan skaffes, så sig det, og gå ud og tal med folk, en opgave med sit eget regnestykke.

Gallup slog ikke Literary Digest ved at være snedig med et lille tal. Han slog det ved at gå op i, hvem der var i stikprøven, hvilket Digest, med ti millioner stemmesedler at poste, ikke havde fundet nødvendigt.

Sådan hjælper Diaform

Diaform ændrer ikke regnestykket: En fejlmargin afhænger af, hvor mange der svarer, uanset værktøj. Diaform hjælper med det, som størrelsen ikke kan rette op på. Fra Pro-planen og op knytter personlige invitationslinks hver samtale til en kunde, så du kan se, hvilke segmenter der svarede, og hvilke der ikke gjorde, og med CSV-eksport kan du lægge svarpersonerne ved siden af listen over inviterede. Hvor tallene er små, gør AI-interviewerens opfølgende spørgsmål fyrre samtaler værd at læse én for én. Der er en gratis prøveperiode på 14 dage.