U jesen 1936. američki časopis Literary Digest naumio je predvidjeti predsjedničke izbore na najjednostavniji način: tako da pita sve. Poslao je oko deset milijuna glasačkih listića. Vratilo ih se otprilike 2,4 milijuna, što je bila najveća anketa ikad provedena, i upućivali su na uvjerljivu pobjedu republikanca Alfa Landona.
Franklin Roosevelt pobijedio je u 46 od 48 saveznih država. Mladi istraživač javnog mnijenja George Gallup, s uzorkom koji se obično procjenjuje na oko 50 000 ljudi, pogodio je ishod. Digest se ugasio u roku od dvije godine.
Ta se epizoda pamti kao rođenje modernog ispitivanja javnog mnijenja, a njezina pouka još nije široko usvojena. Svatko tko pošalje anketu prije ili poslije upita koliko je odgovora dovoljno. To je dobro pitanje s preciznim odgovorom. Ono je ujedno drugo pitanje, a Literary Digest pokazuje što se događa onima koji nikad ne postave prvo.
Što donosi jedan odgovor
Počnite s preciznim dijelom. Anketa pita neke od vaših kupaca kako bi doznala nešto o svima, a neka druga šačica odgovorila bi malo drukčije. Margina pogreške govori koliko.
Pretpostavimo da polovica vaših ispitanika kaže da je zadovoljna. Uz 100 odgovora formula daje 0,098, odnosno oko deset postotnih bodova. Stvarna vrijednost je negdje između 40 % i 60 %.
| Odgovori | Margina pogreške na svaku stranu |
|---|---|
| 50 | oko 14 bodova |
| 100 | oko 10 bodova |
| 400 | oko 5 bodova |
| 1000 | oko 3 boda |
| 2400 | oko 2 boda |
Tablica ima oblik koji vrijedi uočiti. Spustiti se s deset bodova na pet stoji 300 odgovora više. Spustiti se s pet na dva i pol stoji još 1200. Budući da je veličina uzorka pod korijenom, preciznost se kupuje po strmo rastućoj cijeni: da biste pogrešku prepolovili, uzorak morate učetverostručiti. Zato se nacionalne ankete zaustavljaju na otprilike tisuću. Sljedeća tisuća ne bi kupila gotovo ništa.
To ujedno preokreće pitanje. Korisno pitanje nije „koliko ih trebam?“, nego „koliko precizan moram biti?“ Ako bi odluka bila ista uz 55 % kao i uz 65 %, stotinu odgovora je i više nego dovoljno. Ako se nadate pokazati da je zadovoljstvo poraslo sa 70 % na 74 %, od svake ankete tražite marginu od oko dva boda i trebat će vam tisuće. Pokazatelji sastavljeni od dvaju postotaka, poput NPS-a, traže još više, kako pokazujemo u tekstu predviđa li NPS rast?.
Kad imate malo kupaca
Uobičajene tablice pretpostavljaju da uzorak izvlačite iz goleme populacije, cijele zemlje birača. Tvrtka s 500 kupaca u boljem je položaju. Kad ste čuli velik dio ljudi do kojih vam je stalo, ostaje manje toga u što niste sigurni, pa potreban uzorak pada.
Za marginu od pet bodova vrlo velika populacija treba oko 384 odgovora. Baza od 2000 kupaca treba oko 322. Uz 1000 kupaca to je 278, a uz 500 to je 217. Udio, naravno, raste kako se baza smanjuje. Dvjesto sedamnaest od 500 stopa je odgovora koju malo koja anketa postigne, i to je jedan od razloga zašto maloj B2B tvrtki često bolje služe intervjui nego upitnik. Četrdeset odgovora od 300 klijenata neće vam dati postotak vrijedan objave. Četrdeset razgovora reći će vam jako mnogo.
Najmanja skupina do koje vam je stalo
Najčešća pogreška s veličinom uzorka jest planirati za ukupni rezultat, a zatim izvještavati o raščlambi.
Pew Research, koji objavljuje svoje izračune, nudi primjer. U njegovoj referentnoj anketi iz 2026. među 5511 odraslih Amerikanaca margina za cijeli uzorak iznosila je 1,8 boda. Za 880 odraslih hispanskog podrijetla iznosila je 4,7. Za 229 muškaraca u dobi od 18 do 29 godina iznosila je 8,0. To je ista anketa, provedena s istom pažnjom, a zadnji je broj više od četiri puta labaviji od prvoga. Pewovo je pravilo da se skupina s manje od 100 intervjua uopće ne iskazuje.
Vaša anketa ima istu građu. Četiristo odgovora zvuči obilno, sve dok se ne podijele na enterprise i samoposlužne korisnike, zatim na nove i dugogodišnje, a grafikon koji je važan ne ostane počivati na 31 osobi. Svaka skupina koju namjeravate uspoređivati anketa je za sebe i treba vlastiti uzorak. Prije slanja odlučite koje ćete usporedbe raditi, pronađite među njima najmanju skupinu i planirajte za nju.
Što nijedna veličina uzorka ne može kupiti
Sada prvo pitanje, ono koje je Literary Digest preskočio. Sve gore navedeno pretpostavlja da su ljudi koji su odgovorili pošteno izvučeni iz onih o kojima želite nešto znati. Formula nema član za ono što se događa kad nisu.
Listići Digesta poslani su na imena s popisa vlasnika automobila, telefonskih pretplatnika i članova klubova, usred Velike depresije. A od njih nije odgovorio ni svaki četvrti. Kasnija analiza zaključila je da su iskrivljeni bili i popis i odgovori, a dva iskrivljenja zajedno dala su uvjerljivu pobjedu pogrešnom čovjeku. Dva milijuna dodatnih listića nisu ispravila ništa. Samo su učinila da pogrešan odgovor izgleda neoborivo.
Ako se to čini opasnošću tridesetih godina, uzmite 2021. Američka anketa provedena preko Facebooka prikupljala je oko 250 000 odgovora tjedno i precijenila je udio cijepljenih odraslih za 17 postotnih bodova. Pažljivo regrutiran panel od oko tisuću ljudi bio je blizu istine. Statističari koji su ispitali veliku anketu procijenili su da je, kad se uzme u obzir njezina pristranost, četvrt milijuna odgovora nosilo otprilike onoliko informacija koliko slučajan uzorak od deset ljudi.
Razlog je prilično jednostavan. Margina pogreške mjeri sreću izvlačenja, a sreća se ujednači kako uzorak raste. Nagib u tome tko odgovara ne ujednači se. Ponavlja se u svakom dodatnom odgovoru, pa veći uzorak samo točnije opisuje istu pogrešnu skupinu.
U anketi među kupcima taj nagib rijetko je zagonetka. Odgovaraju oni koji otvaraju vaše e-poruke, a to su obično oni koji koriste proizvod. Kako iz podataka o kupcima koje već imate vidjeti tko nedostaje, tema je teksta o pristranosti zbog neodaziva.
Radite zato pravim redom. Najprije pitajte tko će biti pozvan i tko će vjerojatno odgovoriti, pa to dvoje usporedite kad odgovori stignu. Zatim pitajte koliko precizni morate biti za najmanju skupinu o kojoj namjeravate izvještavati i neka to odredi broj. Uz svaku brojku navedite marginu. A gdje se brojevi ne mogu dobiti, recite to i pođite razgovarati s ljudima, što ima vlastitu računicu.
Gallup nije pobijedio Literary Digest time što je bio domišljat s malim brojem. Pobijedio ga je time što mu je bilo stalo do toga tko je u uzorku, što Digest, s deset milijuna listića za slanje, nije smatrao potrebnim.
Kako pomaže Diaform
Diaform ne mijenja računicu: margina pogreške ovisi o tome koliko ljudi odgovori, u kojem god alatu odgovarali. Pomaže s onim što veličina ne može popraviti. Od plana Pro naviše osobne pozivnice povezuju svaki razgovor s kupcem, pa vidite koji su segmenti odgovorili, a koji nisu, a izvoz u CSV omogućuje vam da ispitanike stavite uz popis pozvanih. Gdje su brojevi mali, potpitanja AI intervjuera čine četrdeset razgovora vrijednima čitanja jedan po jedan. Dostupno je besplatno probno razdoblje od 14 dana.
