Jesienią 1936 roku amerykański magazyn Literary Digest postanowił przewidzieć wynik wyborów prezydenckich w najprostszy sposób: pytając wszystkich. Rozesłał około dziesięciu milionów kart do głosowania. Wróciło mniej więcej 2,4 miliona, co było największym sondażem w dziejach, i wskazywały one na pewne zwycięstwo republikanina Alfa Landona.
Franklin Roosevelt wygrał w 46 z 48 stanów. Młody badacz opinii George Gallup, z próbą szacowaną zwykle na około 50 000 osób, przewidział to trafnie. Digest przestał się ukazywać w ciągu dwóch lat.
Ten epizod pamięta się jako narodziny nowoczesnych sondaży, a jego lekcja wciąż nie jest powszechnie przyswojona. Każdy, kto wysyła ankietę, prędzej czy później pyta, ile odpowiedzi wystarczy. To dobre pytanie z precyzyjną odpowiedzią. Jest też pytaniem drugim, a Literary Digest pokazuje, co spotyka tych, którzy nigdy nie zadają pierwszego.
Co daje jedna odpowiedź
Zacznij od części precyzyjnej. Ankieta pyta część Twoich klientów, żeby dowiedzieć się czegoś o wszystkich, a inna garstka odpowiedziałaby trochę inaczej. Margines błędu mówi, o ile.
Załóżmy, że połowa Twoich respondentów mówi, że jest zadowolona. Przy 100 odpowiedziach wzór daje 0,098, czyli około dziesięciu punktów. Prawdziwa wartość leży gdzieś między 40% a 60%.
| Odpowiedzi | Margines błędu w każdą stronę |
|---|---|
| 50 | około 14 punktów |
| 100 | około 10 punktów |
| 400 | około 5 punktów |
| 1000 | około 3 punktów |
| 2400 | około 2 punktów |
Tabela ma kształt, na który warto zwrócić uwagę. Zejście z dziesięciu punktów do pięciu kosztuje 300 dodatkowych odpowiedzi. Zejście z pięciu do dwóch i pół kosztuje kolejne 1200. Ponieważ wielkość próby stoi pod pierwiastkiem, precyzję kupuje się po stromo rosnącej cenie: żeby zmniejszyć błąd o połowę, trzeba próbę zwiększyć czterokrotnie. Dlatego sondaże ogólnokrajowe zatrzymują się na mniej więcej tysiącu. Następny tysiąc nie kupiłby prawie nic.
To też odwraca pytanie. Przydatne pytanie brzmi nie „ilu potrzebuję?”, lecz „jak dokładny muszę być?”. Jeśli decyzja byłaby taka sama przy 55% i przy 65%, sto odpowiedzi wystarczy z nawiązką. Jeśli chcesz pokazać, że zadowolenie wzrosło z 70% do 74%, wymagasz od każdej ankiety marginesu około dwóch punktów i potrzebujesz tysięcy. Wskaźniki zbudowane z dwóch wartości procentowych, takie jak NPS, wymagają jeszcze więcej, co pokazujemy w tekście czy NPS przewiduje wzrost?.
Kiedy masz niewielu klientów
Typowe tabele zakładają, że losujesz z ogromnej populacji, z kraju pełnego wyborców. Firma z 500 klientami jest w lepszym położeniu. Gdy wysłuchasz już dużej części ludzi, na których Ci zależy, zostaje mniej niepewności i wymagana próba maleje.
Dla pięciu punktów marginesu bardzo duża populacja wymaga około 384 odpowiedzi. Baza 2000 klientów wymaga około 322. Przy 1000 klientów to 278, a przy 500 to 217. Odsetek rośnie oczywiście, gdy baza się kurczy. Dwieście siedemnaście z 500 to odsetek odpowiedzi, który osiąga mało która ankieta, i to jeden z powodów, dla których małej firmie B2B często lepiej służą wywiady niż kwestionariusz. Czterdzieści odpowiedzi od 300 klientów firmowych nie da Ci odsetka wartego druku. Czterdzieści rozmów powie Ci bardzo dużo.
Najmniejsza grupa, na której Ci zależy
Najczęstszy błąd przy wielkości próby to planowanie pod wynik ogólny, a potem raportowanie wyników w podziale na grupy.
Pew Research, który publikuje swoje rachunki, daje przykład. W jego badaniu referencyjnym z 2026 roku wśród 5511 dorosłych Amerykanów margines dla całej próby wynosił 1,8 punktu. Dla 880 dorosłych Latynosów wynosił 4,7. Dla 229 mężczyzn w wieku od 18 do 29 lat wynosił 8,0. To ta sama ankieta, przeprowadzona z tą samą starannością, a ostatnia liczba jest ponad cztery razy mniej dokładna niż pierwsza. Zasada samego Pew głosi, że grupy liczącej mniej niż 100 wywiadów w ogóle się nie raportuje.
Twoja ankieta ma tę samą budowę. Czterysta odpowiedzi wygląda na dużo, dopóki nie podzieli się ich na klientów enterprise i samoobsługowych, potem na nowych i starych klientów, a wykres, o który chodzi, nie okaże się oparty na 31 osobach. Każda grupa, którą zamierzasz porównywać, jest osobną ankietą i potrzebuje własnej próby. Zdecyduj przed wysyłką, jakie porównania zrobisz, znajdź wśród nich najmniejszą grupę i planuj pod nią.
Czego nie kupi żadna wielkość próby
Teraz pytanie pierwsze, to, które Literary Digest pominął. Wszystko powyżej zakłada, że ludzie, którzy odpowiedzieli, są uczciwie wylosowaną próbą tych, o których chcesz coś wiedzieć. Wzór nie ma składnika na sytuację, w której tak nie jest.
Karty Digestu trafiły do osób z list właścicieli samochodów, abonentów telefonicznych i członków klubów, w samym środku wielkiego kryzysu. A z nich odpowiedział mniej niż co czwarty. Późniejsza analiza wykazała, że zarówno lista, jak i odpowiedzi były skrzywione, a dwa skrzywienia razem dały miażdżące zwycięstwo niewłaściwego kandydata. Dwa miliony dodatkowych kart niczego nie skorygowały. Sprawiły tylko, że błędna odpowiedź wyglądała na niepodważalną.
Jeśli wydaje się to zagrożeniem z lat 30., weź rok 2021. Amerykańska ankieta prowadzona za pośrednictwem Facebooka zbierała około 250 000 odpowiedzi tygodniowo i zawyżyła odsetek zaszczepionych dorosłych o 17 punktów procentowych. Starannie zrekrutowany panel liczący około tysiąca osób był blisko prawdy. Statystycy, którzy zbadali dużą ankietę, oszacowali, że po uwzględnieniu jej obciążenia ćwierć miliona odpowiedzi niosło mniej więcej tyle informacji, co losowa próba dziesięciu osób.
Powód jest dość prosty. Margines błędu mierzy przypadek w losowaniu, a przypadek się uśrednia, gdy próba rośnie. Przechył w tym, kto odpowiada, się nie uśrednia. Powtarza się w każdej kolejnej odpowiedzi, więc większa próba tylko dokładniej opisuje tę samą niewłaściwą grupę.
W ankiecie wśród klientów ten przechył rzadko jest zagadką. Odpowiadają ci, którzy otwierają Twoje e-maile, a to zwykle ci, którzy korzystają z produktu. Jak zobaczyć, kogo brakuje, na podstawie danych o klientach, które już masz, opisujemy w tekście o błędzie braku odpowiedzi.
Pracuj więc we właściwej kolejności. Najpierw zapytaj, kto zostanie zaproszony i kto prawdopodobnie odpowie, i porównaj jedno z drugim, gdy przyjdą odpowiedzi. Potem zapytaj, jak precyzyjny musisz być dla najmniejszej grupy, o której chcesz raportować, i niech to ustali liczbę. Podawaj margines przy każdej wartości. A tam, gdzie liczb nie da się zdobyć, powiedz to i idź porozmawiać z ludźmi, co ma własną arytmetykę.
Gallup nie pokonał Literary Digest sprytem przy małej liczbie. Pokonał go tym, że obchodziło go, kto jest w próbie, czego Digest, mając do wysłania dziesięć milionów kart, nie uznał za konieczne.
Jak pomaga Diaform
Diaform nie zmienia arytmetyki: margines błędu zależy od tego, ile osób odpowie, niezależnie od narzędzia. Pomaga w tym, czego wielkość próby nie naprawi. W planach Pro i wyższych osobiste linki z zaproszeniem wiążą każdą rozmowę z klientem, więc widzisz, które segmenty odpowiedziały, a które nie, a eksport do CSV pozwala zestawić respondentów z listą zaproszonych. Tam, gdzie liczby są małe, pytania pogłębiające ankietera AI sprawiają, że czterdzieści rozmów warto przeczytać jedna po drugiej. Dostępny jest 14-dniowy darmowy okres próbny.
