Utvalgsstørrelse i spørreundersøkelser: Hvor mange svar trenger du?

Høsten 1936 satte et amerikansk tidsskrift, Literary Digest, seg fore å forutsi presidentvalget med det enkle grepet å spørre alle. Det sendte ut rundt ti millioner stemmesedler. Omtrent 2,4 millioner kom tilbake, den største målingen som noen gang var gjort, og de pekte mot en komfortabel seier til republikaneren Alf Landon.

Franklin Roosevelt vant 46 av de 48 delstatene. En ung meningsmåler ved navn George Gallup hadde, med et utvalg som vanligvis anslås til rundt 50 000, truffet riktig. Digest ble lagt ned i løpet av to år.

Episoden huskes som den moderne meningsmålingens fødsel, og lærdommen har fortsatt ikke sunket ordentlig inn. Alle som sender ut en undersøkelse, spør før eller siden hvor mange svar som er nok. Det er et godt spørsmål med et presist svar. Det er også det andre spørsmålet, og Literary Digest er det som skjer med dem som aldri stiller det første.

Hva et svar kjøper

Begynn med den presise delen. En undersøkelse spør noen av kundene dine for å lære noe om alle, og en annen håndfull ville ha svart litt annerledes. Feilmarginen sier hvor mye.

Anta at halvparten av respondentene dine sier at de er fornøyde. Med 100 svar gir formelen 0,098, altså rundt ti poeng. Det sanne tallet ligger et sted mellom 40 % og 60 %.

Tabellen har en form det er verdt å merke seg. Å komme fra ti poeng til fem koster 300 svar til. Å komme fra fem til to og et halvt koster ytterligere 1200. Fordi utvalgsstørrelsen står under et rottegn, kjøpes presisjon til en bratt stigende pris: For å halvere feilen må du firedoble utvalget. Derfor stopper nasjonale målinger ved rundt tusen. De neste tusen ville nesten ikke kjøpt noe.

Det snur også spørsmålet. Det nyttige er ikke «hvor mange trenger jeg?», men «hvor nøyaktig må jeg være?» Hvis beslutningen ville vært den samme ved 55 % som ved 65 %, er hundre svar mer enn nok. Hvis du håper å vise at tilfredsheten steg fra 70 % til 74 %, ber du hver undersøkelse om en margin på rundt to poeng, og da trenger du tusenvis. Scorer som bygges av to prosenttall, som NPS, krever enda flere, slik vi viser i om NPS forutsier vekst.

Når du har få kunder

De vanlige tabellene forutsetter at du trekker fra en enorm populasjon, et land fullt av velgere. En bedrift med 500 kunder er bedre stilt. Når du har hørt fra en stor del av menneskene du bryr deg om, er det mindre igjen å være usikker på, og kravet synker.

For fem poengs margin krever en svært stor populasjon rundt 384 svar. En kundebase på 2000 krever rundt 322. Med 1000 kunder er det 278, og med 500 er det 217. Prosentandelen øker selvsagt når basen krymper. To hundre og sytten av 500 er en svarprosent få undersøkelser oppnår, og det er én grunn til at en liten B2B-bedrift ofte er bedre tjent med intervjuer enn med et spørreskjema. Førti svar fra 300 kontoer gir deg ikke en prosentandel det er verdt å trykke. Førti samtaler forteller deg en god del.

Den minste gruppen du bryr deg om

Den vanligste feilen med utvalgsstørrelse er å planlegge for hovedtallet og så rapportere oppdelingen.

Pew Research, som publiserer regnestykkene sine, gir en illustrasjon. I referanseundersøkelsen fra 2026 blant 5511 voksne amerikanere var marginen for hele utvalget 1,8 poeng. For de 880 voksne med latinamerikansk bakgrunn var den 4,7. For de 229 mennene mellom 18 og 29 år var den 8,0. Det er den samme undersøkelsen, gjort med samme omhu, og det siste tallet er mer enn fire ganger så løst som det første. Pews egen regel er at en gruppe med færre enn 100 intervjuer ikke rapporteres i det hele tatt.

Undersøkelsen din er bygd opp på samme måte. Fire hundre svar høres rikelig ut, helt til de deles i enterprise og selvbetjening, deretter i nye og etablerte, og diagrammet som betyr noe, viser seg å hvile på 31 personer. Hver gruppe du vil sammenligne, er en undersøkelse for seg og trenger sitt eget utvalg. Bestem før utsendelsen hvilke sammenligninger du skal gjøre, finn den minste gruppen blant dem, og planlegg for den.

Hva ingen utvalgsstørrelse kan kjøpe

Nå til det første spørsmålet, det Literary Digest hoppet over. Alt over forutsetter at de som svarte, er et rettferdig uttrekk av dem du vil vite noe om. Formelen har ikke noe ledd for hva som skjer når de ikke er det.

Stemmesedlene til Digest gikk til navn hentet fra lister over bileiere, telefonabonnenter og klubbmedlemmer, midt under depresjonen. Og av dem svarte færre enn én av fire. En senere analyse konkluderte med at både listen og svarene var skjeve, og to skjevheter til sammen ga en skredseier til feil mann. To millioner ekstra stemmesedler rettet ingenting. De fikk bare det gale svaret til å se uangripelig ut.

Hvis det virker som en fare fra 1930-tallet, se på 2021. En amerikansk undersøkelse via Facebook samlet inn rundt 250 000 svar i uka og overvurderte andelen vaksinerte voksne med 17 prosentpoeng. Et omhyggelig rekruttert panel på rundt tusen kom nær. Statistikerne som gransket den store undersøkelsen, anslo at en kvart million svar, når skjevheten var tatt med i regningen, inneholdt omtrent like mye informasjon som et tilfeldig utvalg på ti.

Grunnen er enkel nok. Feilmarginen måler tilfeldigheten i uttrekket, og tilfeldighet jevner seg ut når utvalget vokser. En skjevhet i hvem som svarer, jevner seg ikke ut. Den gjentas i hvert nytt svar, slik at et større utvalg bare beskriver den samme skjeve gruppen mer nøyaktig.

I en kundeundersøkelse er skjevheten sjelden noen gåte. De som svarer, er de som åpner e-postene dine, og det er som regel de som bruker produktet. Hvordan du ser hvem som mangler, ved hjelp av kundedataene du allerede har, er temaet for frafallsskjevhet.

Arbeid derfor i riktig rekkefølge. Spør først hvem som blir invitert, og hvem som sannsynligvis svarer, og sammenlign de to når svarene kommer. Spør deretter hvor presis du må være, for den minste gruppen du vil rapportere om, og la det bestemme antallet. Oppgi marginen ved siden av hvert tall. Og der tallene ikke lar seg skaffe, si det, og gå og snakk med folk, en oppgave med sitt eget regnestykke.

Gallup slo ikke Literary Digest ved å være smart med et lite tall. Han slo det ved å bry seg om hvem som var i utvalget, noe Digest, med ti millioner stemmesedler å poste, ikke hadde funnet nødvendig.

Slik hjelper Diaform

Diaform endrer ikke regnestykket: En feilmargin avhenger av hvor mange som svarer, uansett verktøy. Den hjelper med det størrelse ikke kan rette opp. På Pro-planen og oppover knytter personlige invitasjonslenker hver samtale til en kunde, slik at du ser hvilke segmenter som svarte og hvilke som ikke gjorde det, og med CSV-eksport kan du legge respondentene ved siden av listen over inviterte. Der tallene er små, gjør oppfølgingsspørsmålene til AI-intervjueren førti samtaler verdt å lese én for én. Det finnes en gratis prøveperiode på 14 dager.