Na podzim roku 1936 se americký časopis Literary Digest rozhodl předpovědět prezidentské volby jednoduchým způsobem: zeptat se všech. Rozeslal zhruba deset milionů hlasovacích lístků. Vrátilo se jich asi 2,4 milionu, což byl největší průzkum, jaký kdy proběhl, a ukazovaly na hladké vítězství republikána Alfa Landona.
Franklin Roosevelt vyhrál ve 46 ze 48 států. Mladý výzkumník veřejného mínění George Gallup to se vzorkem, jehož velikost se obvykle udává kolem 50 000 lidí, odhadl správně. Digest do dvou let zanikl.
Na tu epizodu se vzpomíná jako na zrod moderních průzkumů veřejného mínění a její poučení se dodnes příliš nevžilo. Každý, kdo posílá průzkum, se dřív nebo později zeptá, kolik odpovědí stačí. Je to dobrá otázka s přesnou odpovědí. Je to také otázka druhá a Literary Digest ukazuje, co se stane těm, kdo si nikdy nepoloží tu první.
Co jedna odpověď přinese
Začněte tou přesnou částí. Průzkum se ptá některých vašich zákazníků, aby se dozvěděl něco o všech, a jiná hrstka by odpověděla trochu jinak. Statistická chyba říká, o kolik.
Dejme tomu, že polovina vašich respondentů řekne, že je spokojená. Při 100 odpovědích dá vzorec 0,098, tedy asi deset bodů. Skutečná hodnota je někde mezi 40 % a 60 %.
| Odpovědi | Statistická chyba na každou stranu |
|---|---|
| 50 | asi 14 bodů |
| 100 | asi 10 bodů |
| 400 | asi 5 bodů |
| 1 000 | asi 3 body |
| 2 400 | asi 2 body |
Tabulka má tvar, kterého stojí za to si všimnout. Dostat se z deseti bodů na pět stojí 300 odpovědí navíc. Dostat se z pěti na dva a půl stojí dalších 1 200. Protože velikost vzorku stojí pod odmocninou, kupuje se přesnost za strmě rostoucí cenu: abyste chybu snížili na polovinu, musíte vzorek zčtyřnásobit. Proto se celostátní průzkumy zastavují zhruba u tisíce. Další tisíc by nekoupil skoro nic.
Obrací to i samotnou otázku. Užitečná nezní „kolik jich potřebuji?“, ale „jak přesný musím být?“ Pokud by rozhodnutí bylo stejné při 55 % i při 65 %, sto odpovědí bohatě stačí. Pokud chcete ukázat, že spokojenost vzrostla ze 70 % na 74 %, žádáte po každém průzkumu odchylku kolem dvou bodů a budete potřebovat tisíce. Skóre složená ze dvou procent, jako je NPS, potřebují ještě víc, jak ukazujeme v článku předpovídá NPS růst?.
Když máte málo zákazníků
Běžné tabulky předpokládají, že vybíráte z obrovské populace, z celé země voličů. Firma s 500 zákazníky je na tom lépe. Jakmile jste slyšeli velkou část lidí, na kterých vám záleží, zbývá méně nejistoty a požadavek klesá.
Pro odchylku pět bodů potřebuje velmi velká populace asi 384 odpovědí. Základna 2 000 zákazníků potřebuje asi 322. Při 1 000 zákaznících je to 278 a při 500 je to 217. Podíl samozřejmě roste, jak se základna zmenšuje. Dvě stě sedmnáct z 500 je návratnost, které dosáhne málokterý průzkum, a to je jeden z důvodů, proč malé B2B firmě často poslouží lépe rozhovory než dotazník. Čtyřicet odpovědí z 300 účtů vám nedá procento, které by stálo za otištění. Čtyřicet rozhovorů vám řekne opravdu hodně.
Nejmenší skupina, na které vám záleží
Nejčastější chyba u velikosti vzorku je plánovat pro celkové číslo a pak uvádět výsledky v členění na skupiny.
Pew Research, který své výpočty zveřejňuje, nabízí ilustraci. V jeho referenčním průzkumu z roku 2026 mezi 5 511 dospělými Američany byla odchylka pro celý vzorek 1,8 bodu. Pro 880 dospělých hispánského původu to bylo 4,7. Pro 229 mužů ve věku 18 až 29 let to bylo 8,0. Je to stejný průzkum, provedený se stejnou péčí, a poslední číslo je víc než čtyřikrát méně přesné než první. Vlastní pravidlo Pew zní, že skupina s méně než 100 rozhovory se vůbec neuvádí.
Váš průzkum má stejnou stavbu. Čtyři sta odpovědí zní jako dost, dokud se nerozdělí na enterprise a samoobslužné zákazníky, pak na nové a zavedené, a graf, na kterém záleží, nezůstane stát na 31 lidech. Každá skupina, kterou hodláte porovnávat, je průzkum sám o sobě a potřebuje vlastní vzorek. Rozhodněte před odesláním, jaká srovnání budete dělat, najděte mezi nimi nejmenší skupinu a plánujte pro ni.
Co si žádnou velikostí vzorku nekoupíte
Teď první otázka, ta, kterou Literary Digest přeskočil. Všechno výše předpokládá, že lidé, kteří odpověděli, jsou poctivým výběrem z těch, o kterých chcete něco vědět. Vzorec nemá žádný člen pro případ, že nejsou.
Lístky Digestu šly na jména ze seznamů majitelů aut, telefonních účastníků a členů klubů, uprostřed hospodářské krize. A z nich odpověděl méně než každý čtvrtý. Pozdější analýza došla k závěru, že zkreslený byl seznam i odpovědi, a dvě zkreslení dohromady vyrobila drtivé vítězství nesprávného muže. Dva miliony lístků navíc nic nenapravily. Jen způsobily, že špatná odpověď vypadala nenapadnutelně.
Pokud to působí jako riziko třicátých let, vezměte rok 2021. Americký průzkum vedený přes Facebook sbíral asi 250 000 odpovědí týdně a nadhodnotil podíl očkovaných dospělých o 17 procentních bodů. Pečlivě sestavený panel o zhruba tisíci lidech se trefil blízko. Statistici, kteří velký průzkum prozkoumali, odhadli, že po započtení zkreslení neslo čtvrt milionu odpovědí asi tolik informace jako náhodný vzorek deseti lidí.
Důvod je docela prostý. Statistická chyba měří náhodu při výběru a náhoda se s rostoucím vzorkem vyrovná. Vychýlení v tom, kdo odpovídá, se nevyrovná. Opakuje se v každé další odpovědi, takže větší vzorek jen přesněji popíše stejný nesprávný dav.
U zákaznického průzkumu bývá to vychýlení málokdy záhadou. Odpovídají ti, kdo otevírají vaše e-maily, a to bývají ti, kdo produkt používají. Jak z dat o zákaznících, která už máte, poznat, kdo chybí, je téma článku o zkreslení způsobeném neodpovídáním.
Pracujte tedy ve správném pořadí. Nejdřív se zeptejte, kdo bude pozván a kdo pravděpodobně odpoví, a až odpovědi dorazí, obojí porovnejte. Pak se zeptejte, jak přesní musíte být u nejmenší skupiny, o které chcete referovat, a nechte to určit počet. U každého čísla uvádějte statistickou chybu. A kde se čísla získat nedají, řekněte to a běžte s lidmi mluvit, což má vlastní aritmetiku.
Gallup neporazil Literary Digest tím, že si chytře poradil s malým číslem. Porazil ho tím, že mu záleželo na tom, kdo ve vzorku je, což Digest s deseti miliony lístků k odeslání nepovažoval za nutné.
Jak pomáhá Diaform
Diaform aritmetiku nemění: statistická chyba závisí na tom, kolik lidí odpoví, ať je nástroj jakýkoli. Pomáhá s tím, co velikost nespraví. V tarifech Pro a vyšších propojují osobní zvací odkazy každou konverzaci se zákazníkem, takže vidíte, které segmenty odpověděly a které ne, a export do CSV vám umožní položit respondenty vedle seznamu pozvaných. Kde jsou čísla malá, díky doplňujícím otázkám AI tazatele stojí čtyřicet konverzací za to, abyste je přečetli jednu po druhé. K dispozici je 14denní zkušební verze zdarma.
