Nell’autunno del 1936 una rivista americana, il Literary Digest, si propose di prevedere le elezioni presidenziali con il semplice espediente di chiedere a tutti. Spedì circa dieci milioni di schede. Ne tornarono indietro circa 2,4 milioni, il più grande sondaggio mai realizzato, e indicavano una comoda vittoria del repubblicano Alf Landon.
Franklin Roosevelt vinse in 46 dei 48 stati. Un giovane sondaggista di nome George Gallup, con un campione che di solito si stima intorno alle 50.000 persone, ci aveva visto giusto. Il Digest chiuse nel giro di due anni.
L’episodio è ricordato come la nascita del sondaggio moderno, e la sua lezione è ancora poco assimilata. Chiunque invii un sondaggio prima o poi chiede quante risposte bastino. È una buona domanda con una risposta precisa. È anche la seconda domanda, e il Literary Digest è ciò che succede a chi non si fa mai la prima.
Che cosa compra una risposta
Comincia dalla parte precisa. Un sondaggio interroga alcuni dei tuoi clienti per sapere qualcosa di tutti, e un’altra manciata avrebbe risposto in modo un po’ diverso. Il margine di errore dice di quanto.
Supponi che metà dei tuoi intervistati si dica soddisfatta. Con 100 risposte la formula dà 0,098, cioè circa dieci punti. Il valore vero sta da qualche parte tra il 40% e il 60%.
| Risposte | Margine di errore, in più o in meno |
|---|---|
| 50 | circa 14 punti |
| 100 | circa 10 punti |
| 400 | circa 5 punti |
| 1.000 | circa 3 punti |
| 2.400 | circa 2 punti |
La tabella ha una forma che vale la pena notare. Passare da dieci punti a cinque richiede 300 risposte in più. Passare da cinque a due e mezzo ne richiede altre 1.200. Poiché la dimensione del campione sta sotto una radice quadrata, la precisione si compra a un prezzo che sale ripidamente: per dimezzare l’errore devi quadruplicare il campione. Ecco perché i sondaggi nazionali si fermano intorno a mille persone. Il migliaio successivo non comprerebbe quasi nulla.
Questo capovolge anche la domanda. Quella utile non è “quante me ne servono?” ma “quanto devo essere esatto?”. Se la decisione sarebbe la stessa al 55% e al 65%, cento risposte bastano e avanzano. Se speri di dimostrare che la soddisfazione è salita dal 70% al 74%, stai chiedendo a ogni sondaggio un margine di circa due punti, e te ne serviranno migliaia. I punteggi costruiti con due percentuali, come l’NPS, ne richiedono ancora di più, come mostriamo dove ci chiediamo se l’NPS predice la crescita.
Quando hai pochi clienti
Le solite tabelle presuppongono che tu stia campionando da una popolazione vastissima, un paese di elettori. Un’azienda con 500 clienti è in una posizione più felice. Una volta che hai sentito una grossa parte delle persone che ti interessano, resta meno su cui essere incerti, e il numero necessario scende.
Per cinque punti di margine, una popolazione molto grande richiede circa 384 risposte. Una base di 2.000 clienti ne richiede circa 322. Con 1.000 clienti sono 278, e con 500 sono 217. La percentuale sale man mano che la base si restringe, naturalmente. Duecentodiciassette su 500 è un tasso di risposta che pochi sondaggi raggiungono, ed è uno dei motivi per cui una piccola azienda B2B è spesso servita meglio dalle interviste che da un questionario. Quaranta risposte da 300 account non ti daranno una percentuale che valga la pena pubblicare. Quaranta conversazioni ti diranno moltissimo.
Il gruppo più piccolo che ti interessa
L’errore più comune con la dimensione del campione è pianificare per il dato complessivo e poi riportare i risultati per sottogruppo.
Pew Research, che pubblica i propri conti, offre un esempio. Nel suo sondaggio di riferimento del 2026 su 5.511 adulti americani, il margine per l’intero campione era di 1,8 punti. Per gli 880 adulti ispanici era di 4,7. Per i 229 uomini tra i 18 e i 29 anni era di 8,0. È lo stesso sondaggio, condotto con la stessa cura, e l’ultimo dato è oltre quattro volte meno preciso del primo. La regola di Pew è che un gruppo con meno di 100 interviste non viene riportato affatto.
Il tuo sondaggio ha la stessa struttura. Quattrocento risposte sembrano abbondanti, finché non vengono divise tra enterprise e self-service, poi tra nuovi e consolidati, e il grafico che conta finisce per poggiare su 31 persone. Ogni gruppo che intendi confrontare è un sondaggio a sé e ha bisogno del proprio campione. Decidi prima dell’invio quali confronti farai, trova il gruppo più piccolo tra questi e pianifica per quello.
Che cosa nessuna dimensione può comprare
Ora la prima domanda, quella che il Literary Digest ha saltato. Tutto quanto sopra presuppone che le persone che hanno risposto siano un’estrazione imparziale di quelle di cui vuoi sapere. La formula non ha un termine per ciò che accade quando non lo sono.
Le schede del Digest andarono a nomi presi da elenchi di proprietari di automobili, abbonati al telefono e soci di club, nel mezzo della Grande Depressione. E di quelli rispose meno di uno su quattro. Un’analisi successiva concluse che sia l’elenco sia le risposte erano sbilanciati, e due sbilanciamenti insieme produssero una vittoria schiacciante per l’uomo sbagliato. Due milioni di schede in più non corressero nulla. Fecero soltanto sembrare inattaccabile la risposta sbagliata.
Se sembra un rischio degli anni Trenta, considera il 2021. Un sondaggio americano condotto tramite Facebook raccoglieva circa 250.000 risposte alla settimana, e sovrastimò di 17 punti percentuali la quota di adulti vaccinati. Un panel di circa mille persone, reclutato con cura, ci andò vicino. Gli statistici che esaminarono il grande sondaggio stimarono che, una volta tenuto conto della distorsione, un quarto di milione di risposte portava più o meno tanta informazione quanto un campione casuale di dieci.
Il motivo è abbastanza semplice. Il margine di errore misura la fortuna dell’estrazione, e la fortuna si compensa quando il campione cresce. Uno sbilanciamento in chi risponde non si compensa. Si ripete in ogni risposta aggiuntiva, così che un campione più grande descrive soltanto con più esattezza la stessa folla sbagliata.
In un sondaggio tra i clienti lo sbilanciamento è raramente misterioso. Risponde chi apre le tue email, e di solito è chi usa il prodotto. Come vedere chi manca, usando i dati sui clienti che hai già, è l’argomento del bias di non risposta.
Lavora quindi nell’ordine giusto. Chiediti prima chi sarà invitato e chi probabilmente risponderà, e confronta i due gruppi quando arrivano le risposte. Poi chiediti quanto devi essere preciso, per il gruppo più piccolo di cui intendi riportare i risultati, e lascia che sia questo a fissare il numero. Indica il margine accanto a ogni dato. E dove i numeri non si possono avere, dillo e vai a parlare con le persone, un compito che ha un’aritmetica tutta sua.
Gallup non batté il Literary Digest per essere stato abile con un numero piccolo. Lo batté perché gli importava chi ci fosse nel campione, cosa che il Digest, con dieci milioni di schede da spedire, non aveva ritenuto necessaria.
Come ti aiuta Diaform
Diaform non cambia l’aritmetica: un margine di errore dipende da quante persone rispondono, qualunque sia lo strumento. Aiuta con ciò che la dimensione non può sistemare. Dal piano Pro in su, i link di invito personali legano ogni conversazione a un cliente, così puoi vedere quali segmenti hanno risposto e quali no, e l’esportazione CSV ti permette di mettere gli intervistati accanto all’elenco degli invitati. Dove i numeri sono piccoli, le domande di approfondimento dell’intervistatore IA fanno sì che quaranta conversazioni meritino di essere lette una per una. C’è una prova gratuita di 14 giorni.
