Kyselyn otoskoko: kuinka monta vastausta tarvitset?

Syksyllä 1936 amerikkalainen aikakauslehti Literary Digest päätti ennustaa presidentinvaalin yksinkertaisella keinolla: kysymällä kaikilta. Se postitti noin kymmenen miljoonaa äänestyslippua. Noin 2,4 miljoonaa palasi, suurin siihen mennessä tehty mielipidemittaus, ja ne viittasivat republikaani Alf Landonin selvään voittoon.

Franklin Roosevelt voitti 46 osavaltiota 48:sta. Nuori mielipidetutkija George Gallup oli osunut oikeaan otoksella, jonka kooksi arvioidaan yleensä noin 50 000. Digest lakkasi ilmestymästä kahden vuoden kuluessa.

Tapaus muistetaan nykyaikaisen mielipidetutkimuksen syntynä, eikä sen opetus ole vieläkään mennyt laajalti perille. Jokainen kyselyn lähettäjä kysyy ennemmin tai myöhemmin, kuinka monta vastausta riittää. Se on hyvä kysymys, ja siihen on täsmällinen vastaus. Se on myös toinen kysymys, ja Literary Digest näyttää, miten käy niille, jotka eivät koskaan kysy ensimmäistä.

Mitä yksi vastaus ostaa

Aloita täsmällisestä osasta. Kysely kysyy osalta asiakkaistasi saadakseen tietää jotain kaikista, ja toinen kourallinen olisi vastannut hieman toisin. Virhemarginaali kertoo, kuinka paljon.

Oletetaan, että puolet vastaajistasi sanoo olevansa tyytyväisiä. Sadalla vastauksella kaava antaa 0,098 eli noin kymmenen prosenttiyksikköä. Todellinen luku on jossain 40 %:n ja 60 %:n välillä.

Taulukon muotoon kannattaa kiinnittää huomiota. Kymmenestä viiteen pääseminen vaatii 300 vastausta lisää. Viidestä kahteen ja puoleen pääseminen vaatii vielä 1 200. Koska otoskoko on neliöjuuren alla, tarkkuutta ostetaan jyrkästi nousevalla hinnalla: virheen puolittamiseksi otos on nelinkertaistettava. Siksi valtakunnalliset mittaukset pysähtyvät noin tuhanteen. Seuraava tuhat ei ostaisi juuri mitään.

Se myös kääntää kysymyksen ympäri. Hyödyllinen kysymys ei ole ”kuinka monta tarvitsen?” vaan ”kuinka tarkka minun pitää olla?” Jos päätös olisi sama 55 %:lla ja 65 %:lla, sata vastausta riittää hyvin. Jos toivot voivasi osoittaa, että tyytyväisyys nousi 70 %:sta 74 %:iin, vaadit kummaltakin kyselyltä noin kahden prosenttiyksikön marginaalia ja tarvitset tuhansia. Kahdesta prosenttiluvusta rakennetut tunnusluvut, kuten NPS, vaativat vielä enemmän, kuten näytämme artikkelissa siitä, ennustaako NPS kasvua.

Kun asiakkaita on vähän

Tavalliset taulukot olettavat, että poimit otoksen valtavasta perusjoukosta, kokonaisen maan äänestäjistä. 500 asiakkaan yritys on paremmassa asemassa. Kun olet kuullut suurta osaa niistä ihmisistä, joista olet kiinnostunut, epävarmuutta on jäljellä vähemmän ja tarvittava määrä pienenee.

Viiden prosenttiyksikön marginaaliin hyvin suuri perusjoukko vaatii noin 384 vastausta. 2 000 asiakkaan kanta vaatii noin 322. 1 000 asiakkaalla luku on 278 ja 500:lla 217. Osuus tietenkin kasvaa, kun kanta pienenee. Kaksisataaseitsemäntoista 500:sta on vastausprosentti, johon harva kysely yltää, ja se on yksi syy siihen, että pientä B2B-yritystä palvelevat usein paremmin haastattelut kuin kyselylomake. Neljäkymmentä vastausta 300 asiakkuudesta ei anna prosenttilukua, jota kannattaisi julkaista. Neljäkymmentä keskustelua kertoo paljon.

Pienin ryhmä, jolla on sinulle väliä

Yleisin otoskokovirhe on suunnitella kokonaistuloksen mukaan ja raportoida sitten erittely.

Pew Research, joka julkaisee laskelmansa, tarjoaa esimerkin. Sen vuoden 2026 vertailukyselyssä, johon vastasi 5 511 amerikkalaista aikuista, koko otoksen marginaali oli 1,8 prosenttiyksikköä. 880 latinotaustaisella aikuisella se oli 4,7. 229:llä 18-29-vuotiaalla miehellä se oli 8,0. Kysely on sama ja tehty samalla huolella, ja viimeinen luku on yli neljä kertaa epätarkempi kuin ensimmäinen. Pew’n oma sääntö on, että alle 100 haastattelun ryhmää ei raportoida lainkaan.

Kyselysi on rakenteeltaan samanlainen. Neljäsataa vastausta kuulostaa runsaalta, kunnes ne jaetaan enterprise- ja itsepalveluasiakkaisiin, sitten uusiin ja vakiintuneisiin, ja tärkein kaavio osoittautuu lepäävän 31 ihmisen varassa. Jokainen ryhmä, jota aiot vertailla, on oma kyselynsä ja tarvitsee oman otoksensa. Päätä ennen lähettämistä, mitä vertailuja teet, etsi niistä pienin ryhmä ja suunnittele sen mukaan.

Mitä mikään otoskoko ei osta

Nyt ensimmäinen kysymys, se, jonka Literary Digest ohitti. Kaikki edellä sanottu olettaa, että vastanneet ovat reilu poiminta niistä, joista haluat tietää. Kaavassa ei ole termiä sille, mitä tapahtuu, kun he eivät ole.

Digestin äänestysliput lähetettiin nimille, jotka oli poimittu autonomistajien, puhelintilaajien ja kerhojen jäsenten luetteloista keskellä suurta lamaa. Ja heistä vastasi harvempi kuin joka neljäs. Myöhempi analyysi päätteli, että sekä luettelo että vastaukset olivat vinossa, ja kaksi vinoumaa yhdessä tuotti murskavoiton väärälle miehelle. Kaksi miljoonaa lisälippua ei korjannut mitään. Ne vain saivat väärän vastauksen näyttämään kiistattomalta.

Jos se vaikuttaa 1930-luvun vaaralta, katso vuotta 2021. Facebookin kautta tehty amerikkalainen kysely keräsi noin 250 000 vastausta viikossa ja yliarvioi rokotettujen aikuisten osuuden 17 prosenttiyksiköllä. Huolella rekrytoitu noin tuhannen hengen paneeli pääsi lähelle. Suurta kyselyä tutkineet tilastotieteilijät arvioivat, että vinouma huomioiden neljännesmiljoona vastausta sisälsi suunnilleen yhtä paljon tietoa kuin kymmenen hengen satunnaisotos.

Syy on yksinkertainen. Virhemarginaali mittaa poiminnan sattumaa, ja sattuma tasoittuu otoksen kasvaessa. Vinous siinä, ketkä vastaavat, ei tasoitu. Se toistuu jokaisessa uudessa vastauksessa, joten suurempi otos vain kuvaa samaa väärää joukkoa tarkemmin.

Asiakaskyselyssä vinous on harvoin arvoitus. Vastaajat ovat niitä, jotka avaavat sähköpostisi, ja he ovat yleensä niitä, jotka käyttävät tuotetta. Se, miten näet sinulla jo olevasta asiakasdatasta, ketkä puuttuvat, on aiheena artikkelissa vastauskadon harha.

Etene siis oikeassa järjestyksessä. Kysy ensin, ketkä kutsutaan ja ketkä todennäköisesti vastaavat, ja vertaa näitä kahta, kun vastaukset saapuvat. Kysy sitten, kuinka tarkka sinun pitää olla pienimmän raportoitavan ryhmän kohdalla, ja anna sen määrätä luku. Ilmoita marginaali jokaisen luvun vieressä. Ja missä lukuja ei ole saatavissa, sano se ja mene puhumaan ihmisten kanssa, ja silläkin on oma matematiikkansa.

Gallup ei voittanut Literary Digestiä käsittelemällä pientä lukua nokkelasti. Hän voitti sen välittämällä siitä, keitä otoksessa oli, mitä Digest, jolla oli kymmenen miljoonaa lippua postitettavana, ei ollut pitänyt tarpeellisena.

Miten Diaform auttaa

Diaform ei muuta matematiikkaa: virhemarginaali riippuu siitä, kuinka moni vastaa, työkalusta riippumatta. Se auttaa siinä, mitä koko ei korjaa. Pro-paketista ylöspäin henkilökohtaiset kutsulinkit yhdistävät jokaisen keskustelun asiakkaaseen, joten näet, mitkä segmentit vastasivat ja mitkä eivät, ja CSV-viennillä voit asettaa vastaajat kutsuttujen listan rinnalle. Kun luvut ovat pieniä, AI-haastattelijan tarkentavat kysymykset tekevät neljästäkymmenestä keskustelusta yksitellen lukemisen arvoisia. Voit aloittaa 14 päivän ilmaisen kokeilun.