Na jeseň roku 1936 sa americký časopis Literary Digest rozhodol predpovedať prezidentské voľby jednoduchým spôsobom: opýtať sa všetkých. Rozposlal zhruba desať miliónov hlasovacích lístkov. Vrátilo sa ich asi 2,4 milióna, čo bol najväčší prieskum, aký sa kedy uskutočnil, a ukazovali na pohodlné víťazstvo republikána Alfa Landona.
Franklin Roosevelt vyhral v 46 zo 48 štátov. Mladý výskumník verejnej mienky George Gallup to so vzorkou, ktorá sa zvyčajne udáva okolo 50 000 ľudí, odhadol správne. Digest do dvoch rokov zanikol.
Na tú epizódu sa spomína ako na zrod moderných prieskumov a jej poučenie sa dodnes veľmi neujalo. Každý, kto posiela prieskum, sa skôr či neskôr opýta, koľko odpovedí stačí. Je to dobrá otázka s presnou odpoveďou. Je to tiež až druhá otázka a Literary Digest ukazuje, čo sa stane tým, čo si nikdy nepoložia tú prvú.
Čo jedna odpoveď prinesie
Začnite tou presnou časťou. Prieskum sa pýta niektorých vašich zákazníkov, aby sa dozvedel niečo o všetkých, a iná hŕstka by odpovedala trochu inak. Štatistická chyba hovorí, o koľko.
Povedzme, že polovica vašich respondentov povie, že je spokojná. Pri 100 odpovediach dá vzorec 0,098, teda asi desať bodov. Skutočná hodnota je niekde medzi 40 % a 60 %.
| Odpovede | Štatistická chyba na každú stranu |
|---|---|
| 50 | asi 14 bodov |
| 100 | asi 10 bodov |
| 400 | asi 5 bodov |
| 1 000 | asi 3 body |
| 2 400 | asi 2 body |
Tabuľka má tvar, ktorý stojí za povšimnutie. Dostať sa z desiatich bodov na päť stojí 300 odpovedí navyše. Dostať sa z piatich na dva a pol stojí ďalších 1 200. Keďže veľkosť vzorky stojí pod odmocninou, presnosť sa kupuje za strmo rastúcu cenu: aby ste chybu znížili na polovicu, musíte vzorku zoštvornásobiť. Preto sa celoštátne prieskumy zastavujú zhruba pri tisícke. Ďalšia tisícka by nekúpila skoro nič.
Obracia to aj samotnú otázku. Užitočná neznie „koľko ich potrebujem?“, ale „aký presný musím byť?“ Ak by rozhodnutie bolo rovnaké pri 55 % aj pri 65 %, sto odpovedí bohato stačí. Ak chcete ukázať, že spokojnosť vzrástla zo 70 % na 74 %, žiadate od každého prieskumu odchýlku okolo dvoch bodov a budete potrebovať tisíce. Skóre zložené z dvoch percent, ako je NPS, potrebujú ešte viac, ako ukazujeme v článku predpovedá NPS rast?.
Keď máte málo zákazníkov
Bežné tabuľky predpokladajú, že vyberáte z obrovskej populácie, z celej krajiny voličov. Firma s 500 zákazníkmi je na tom lepšie. Len čo ste počuli veľkú časť ľudí, na ktorých vám záleží, zostáva menej neistoty a potrebný počet klesá.
Na odchýlku päť bodov potrebuje veľmi veľká populácia asi 384 odpovedí. Základňa 2 000 zákazníkov potrebuje asi 322. Pri 1 000 zákazníkoch je to 278 a pri 500 je to 217. Podiel, samozrejme, rastie, ako sa základňa zmenšuje. Dvesto sedemnásť z 500 je miera odpovedí, akú dosiahne máloktorý prieskum, a to je jeden z dôvodov, prečo malej B2B firme často poslúžia lepšie rozhovory než dotazník. Štyridsať odpovedí z 300 účtov vám nedá percento, ktoré by stálo za vytlačenie. Štyridsať rozhovorov vám povie naozaj veľa.
Najmenšia skupina, na ktorej vám záleží
Najčastejšia chyba pri veľkosti vzorky je plánovať pre celkové číslo a potom referovať o členení na skupiny.
Pew Research, ktorý svoje výpočty zverejňuje, ponúka ilustráciu. V jeho referenčnom prieskume z roku 2026 medzi 5 511 dospelými Američanmi bola odchýlka pre celú vzorku 1,8 bodu. Pre 880 dospelých hispánskeho pôvodu to bolo 4,7. Pre 229 mužov vo veku 18 až 29 rokov to bolo 8,0. Je to ten istý prieskum, urobený s rovnakou starostlivosťou, a posledné číslo je viac než štyrikrát menej presné než prvé. Vlastné pravidlo Pew znie, že skupina s menej než 100 rozhovormi sa vôbec neuvádza.
Váš prieskum má rovnakú stavbu. Štyristo odpovedí sa zdá veľa, kým sa nerozdelia na enterprise a samoobslužných zákazníkov, potom na nových a zavedených, a graf, na ktorom záleží, nezostane stáť na 31 ľuďoch. Každá skupina, ktorú chcete porovnávať, je prieskum sám osebe a potrebuje vlastnú vzorku. Rozhodnite pred odoslaním, aké porovnania budete robiť, nájdite medzi nimi najmenšiu skupinu a plánujte pre ňu.
Čo si žiadnou veľkosťou vzorky nekúpite
Teraz prvá otázka, tá, ktorú Literary Digest preskočil. Všetko vyššie predpokladá, že ľudia, ktorí odpovedali, sú poctivým výberom z tých, o ktorých chcete niečo vedieť. Vzorec nemá nijaký člen pre prípad, že nie sú.
Lístky Digestu šli na mená zo zoznamov majiteľov áut, telefónnych účastníkov a členov klubov, uprostred hospodárskej krízy. A z nich odpovedal menej než každý štvrtý. Neskoršia analýza dospela k záveru, že skreslený bol zoznam aj odpovede, a dve skreslenia dokopy vyrobili drvivé víťazstvo nesprávneho muža. Dva milióny lístkov navyše nič nenapravili. Len spôsobili, že zlá odpoveď vyzerala nenapadnuteľne.
Ak to pôsobí ako riziko tridsiatych rokov, vezmite rok 2021. Americký prieskum vedený cez Facebook zbieral asi 250 000 odpovedí týždenne a nadhodnotil podiel zaočkovaných dospelých o 17 percentuálnych bodov. Starostlivo zostavený panel so zhruba tisíckou ľudí sa trafil blízko. Štatistici, ktorí veľký prieskum preskúmali, odhadli, že po započítaní skreslenia nieslo štvrť milióna odpovedí asi toľko informácie ako náhodná vzorka desiatich ľudí.
Dôvod je celkom jednoduchý. Štatistická chyba meria šťastie pri výbere a šťastie sa s rastúcou vzorkou vyrovná. Vychýlenie v tom, kto odpovedá, sa nevyrovná. Opakuje sa v každej ďalšej odpovedi, takže väčšia vzorka len presnejšie opíše ten istý nesprávny dav.
Pri zákazníckom prieskume býva to vychýlenie málokedy záhadou. Odpovedajú tí, čo otvárajú vaše e-maily, a to bývajú tí, čo produkt používajú. Ako z údajov o zákazníkoch, ktoré už máte, spoznať, kto chýba, je téma článku o skreslení spôsobenom neodpovedaním.
Pracujte teda v správnom poradí. Najprv sa opýtajte, kto bude pozvaný a kto pravdepodobne odpovie, a keď odpovede dorazia, oboje porovnajte. Potom sa opýtajte, akí presní musíte byť pri najmenšej skupine, o ktorej chcete referovať, a nechajte to určiť počet. Pri každom čísle uvádzajte odchýlku. A kde sa čísla získať nedajú, povedzte to a choďte sa s ľuďmi rozprávať, čo má vlastnú aritmetiku.
Gallup neporazil Literary Digest tým, že šikovne narábal s malým číslom. Porazil ho tým, že mu záležalo na tom, kto vo vzorke je, čo Digest s desiatimi miliónmi lístkov na odoslanie nepovažoval za potrebné.
Ako pomáha Diaform
Diaform aritmetiku nemení: štatistická chyba závisí od toho, koľko ľudí odpovie, nech je nástroj akýkoľvek. Pomáha s tým, čo veľkosť nenapraví. V plánoch Pro a vyšších prepájajú osobné pozývacie odkazy každú konverzáciu so zákazníkom, takže vidíte, ktoré segmenty odpovedali a ktoré nie, a export do CSV vám umožní položiť respondentov vedľa zoznamu pozvaných. Kde sú čísla malé, vďaka doplňujúcim otázkam AI anketára stojí štyridsať konverzácií za to, aby ste ich prečítali jednu po druhej. K dispozícii je 14-dňová skúšobná verzia zadarmo.
