Urvalsstorlek i enkäter: hur många svar behöver du?

Hösten 1936 föresatte sig en amerikansk tidskrift, Literary Digest, att förutsäga presidentvalet genom det enkla greppet att fråga alla. Den skickade ut omkring tio miljoner valsedlar. Ungefär 2,4 miljoner kom tillbaka, den största mätning som någonsin hade gjorts, och de pekade på en bekväm seger för republikanen Alf Landon.

Franklin Roosevelt vann 46 av de 48 delstaterna. En ung opinionsmätare vid namn George Gallup hade, med ett urval som brukar anges till omkring 50 000, förutsagt rätt. Digest lades ner inom två år.

Episoden minns man som den moderna opinionsmätningens födelse, och dess lärdom har fortfarande inte riktigt sjunkit in. Alla som skickar ut en enkät frågar förr eller senare hur många svar som räcker. Det är en bra fråga med ett exakt svar. Det är också den andra frågan, och Literary Digest är vad som händer med dem som aldrig ställer den första.

Vad ett svar köper

Börja med den exakta delen. En enkät frågar några av dina kunder för att lära sig något om alla, och en annan handfull skulle ha svarat lite annorlunda. Felmarginalen säger hur mycket.

Anta att hälften av dina svarande säger att de är nöjda. Med 100 svar ger formeln 0,098, alltså omkring tio procentenheter. Det sanna värdet ligger någonstans mellan 40 % och 60 %.

Tabellen har en form som är värd att lägga märke till. Att ta sig från tio procentenheter till fem kostar 300 svar till. Att ta sig från fem till två och en halv kostar ytterligare 1 200. Eftersom urvalsstorleken står under ett rottecken köps precision till ett brant stigande pris: för att halvera felet måste du fyrdubbla urvalet. Därför stannar nationella mätningar vid ungefär tusen. Nästa tusen skulle knappt köpa någonting.

Det vänder också på frågan. Den användbara är inte ”hur många behöver jag?” utan ”hur exakt måste jag vara?” Om beslutet vore detsamma vid 55 % som vid 65 % räcker hundra svar gott. Om du hoppas kunna visa att nöjdheten steg från 70 % till 74 % begär du av varje enkät en marginal på omkring två procentenheter, och då behöver du tusentals. Mått som byggs av två procenttal, som NPS, kräver ännu fler, vilket vi visar i förutsäger NPS tillväxt?.

När du har få kunder

De vanliga tabellerna utgår från att du drar ur en enorm population, ett land av väljare. Ett företag med 500 kunder har det bättre. När du har hört från en stor del av de människor du bryr dig om finns det mindre kvar att vara osäker på, och kravet sjunker.

För fem procentenheters marginal kräver en mycket stor population omkring 384 svar. En kundbas på 2 000 kräver omkring 322. Med 1 000 kunder är det 278, och med 500 är det 217. Procentandelen stiger förstås när basen krymper. Tvåhundrasjutton av 500 är en svarsfrekvens som få enkäter når, och det är ett skäl till att ett litet B2B-företag ofta är mer betjänt av intervjuer än av ett frågeformulär. Fyrtio svar från 300 konton ger dig ingen procentsiffra värd att trycka. Fyrtio samtal berättar en hel del.

Den minsta gruppen du bryr dig om

Det vanligaste misstaget med urvalsstorlek är att planera för rubriksiffran och sedan redovisa uppdelningen.

Pew Research, som publicerar sina uträkningar, ger en illustration. I referensundersökningen 2026 bland 5 511 vuxna amerikaner var marginalen för hela urvalet 1,8 procentenheter. För de 880 vuxna med latinamerikansk bakgrund var den 4,7. För de 229 männen mellan 18 och 29 år var den 8,0. Det är samma undersökning, gjord med samma omsorg, och den sista siffran är mer än fyra gånger så stor som den första. Pews egen regel är att en grupp med färre än 100 intervjuer inte redovisas alls.

Din enkät är uppbyggd på samma sätt. Fyrahundra svar låter fullt tillräckligt, tills de delas upp i enterprise och självbetjäning, sedan i nya och etablerade, och diagrammet som spelar roll visar sig vila på 31 personer. Varje grupp du tänker jämföra är en enkät för sig och behöver sitt eget urval. Bestäm före utskicket vilka jämförelser du ska göra, hitta den minsta gruppen bland dem och planera för den.

Vad ingen urvalsstorlek kan köpa

Nu till den första frågan, den som Literary Digest hoppade över. Allt ovan förutsätter att de som svarade är ett rättvisande urval av dem du vill veta något om. Formeln har ingen term för vad som händer när de inte är det.

Digests valsedlar gick till namn hämtade från listor över bilägare, telefonabonnenter och klubbmedlemmar, mitt under depressionen. Och av dem svarade färre än var fjärde. En senare analys drog slutsatsen att både listan och svaren var skeva, och två skevheter tillsammans gav en jordskredsseger för fel man. Två miljoner extra valsedlar rättade ingenting. De fick bara fel svar att se oantastligt ut.

Om det verkar vara en fara från 1930-talet, tänk på 2021. En amerikansk enkät via Facebook samlade in omkring 250 000 svar i veckan och överskattade andelen vaccinerade vuxna med 17 procentenheter. En omsorgsfullt rekryterad panel på omkring tusen kom nära. Statistikerna som granskade den stora enkäten uppskattade att en kvarts miljon svar, när snedvridningen räknats in, bar ungefär lika mycket information som ett slumpmässigt urval på tio.

Skälet är enkelt nog. Felmarginalen mäter slumpen i dragningen, och slump jämnar ut sig när urvalet växer. En lutning i vilka som svarar jämnar inte ut sig. Den upprepas i varje nytt svar, så att ett större urval bara beskriver samma felaktiga skara mer exakt.

I en kundenkät är lutningen sällan någon gåta. De som svarar är de som öppnar dina mejl, och det brukar vara de som använder produkten. Hur du ser vilka som saknas, med hjälp av kunddata du redan har, är ämnet för bortfallsbias.

Arbeta alltså i rätt ordning. Fråga först vilka som bjuds in och vilka som troligen svarar, och jämför de två när svaren kommer. Fråga sedan hur exakt du måste vara, för den minsta gruppen du tänker redovisa, och låt det bestämma antalet. Ange marginalen bredvid varje siffra. Och där siffrorna inte går att få fram, säg det och gå och prata med folk, en uppgift med sin egen aritmetik.

Gallup slog inte Literary Digest genom att vara fiffig med ett litet tal. Han slog den genom att bry sig om vilka som fanns i urvalet, något som Digest, med tio miljoner valsedlar att posta, inte hade ansett nödvändigt.

Så hjälper Diaform

Diaform ändrar inte aritmetiken: en felmarginal beror på hur många som svarar, oavsett verktyg. Den hjälper med det som storlek inte kan rätta till. Från Pro-planen och uppåt knyter personliga inbjudningslänkar varje samtal till en kund, så att du ser vilka segment som svarade och vilka som inte gjorde det, och med CSV-export kan du lägga de svarande bredvid listan över inbjudna. Där siffrorna är små gör AI-intervjuarens följdfrågor fyrtio samtal värda att läsa ett i taget. Det finns en gratis provperiod på 14 dagar.