A un gruppo di studenti furono poste una volta due domande. Quanto sei felice della tua vita in generale? E quanti appuntamenti galanti hai avuto il mese scorso?
In quest’ordine, le risposte non avevano quasi nulla a che fare l’una con l’altra. Gli studenti che uscivano molto non erano, nel complesso, più felici di quelli che restavano a casa. Poi i ricercatori posero a un altro gruppo le stesse due domande al contrario. Prima gli appuntamenti, poi la felicità. Ora le due risposte si muovevano insieme in modo netto, con una correlazione di 0,66, e chiunque avesse letto i risultati avrebbe concluso che la contentezza di uno studente dipendesse soprattutto dall’amore.
Nulla, nelle vite degli studenti, distingueva i due gruppi. Cambiava ciò a cui stavano pensando pochi secondi prima. Invitato a tirare le somme della propria esistenza, il secondo gruppo consultò l’indizio più vicino, che il questionario aveva appena fornito.
Chi studia i sondaggi lo chiama effetto dell’ordine. Significa che una domanda non viene mai posta da sola. Viene posta dopo quella precedente, e ne eredita lo stato d’animo.
Dieci punti per un presidente
L’effetto non riguarda solo gli studenti e la loro vita sentimentale. Il Pew Research ha l’abitudine di inserire piccoli esperimenti nei suoi sondaggi, inviando a metà campione le domande in un ordine e all’altra metà in un altro, e pubblica ciò che succede.
Nel dicembre 2008 Pew chiese agli americani se fossero soddisfatti o insoddisfatti di come andavano le cose nel paese. Interpellati a freddo, il 78% si disse insoddisfatto. Interpellati subito dopo una domanda su come George W. Bush stesse svolgendo il suo incarico, lo disse l’88%. La domanda sul gradimento aveva spostato di dieci punti l’umore della nazione. I giudizi su Bush, per inciso, non cambiavano qualunque domanda venisse prima.
A volte una domanda precedente allontana da sé la risposta successiva. Nel 2003 Pew chiese se si dovesse permettere alle coppie gay e lesbiche di stipulare accordi legali con i diritti del matrimonio. Il 37% era favorevole. Tra chi era stato prima interpellato sul matrimonio in sé, lo era il 45%. Avendo avuto modo di esprimersi sul passo più grande, alcuni intervistati erano più disposti ad accettare quello più piccolo.
E a volte la attira verso di sé. Nel novembre 2008 fu chiesto se i leader repubblicani dovessero collaborare con il nuovo presidente o tenergli testa. Il 66% disse collaborare. Quando la domanda veniva dopo un’altra che chiedeva se i leader democratici dovessero collaborare con i repubblicani, la cifra era l’81%. Le persone avevano appena approvato la cooperazione in una direzione e non se la sentivano di negarla nell’altra.
La dimostrazione più antica è dello stesso tipo, e più vistosa. Nel 1948 fu chiesto agli americani se si dovessero ammettere reporter comunisti negli Stati Uniti e se si dovessero ammettere reporter americani nei paesi comunisti. Quale domanda venisse prima cambiò di 37 punti la risposta sui reporter comunisti.
Perché succede
Nessuno di quegli intervistati era distratto. Trattavano il questionario come si tratta qualsiasi conversazione, in cui ciò che è appena stato detto pesa su ciò che si dice dopo.
Due abitudini fanno gran parte del lavoro. La prima è che le persone rispondono a partire da ciò che hanno in mente. Pochi di noi portano con sé una cifra definita della propria soddisfazione per il paese, o per un software. La mettiamo insieme su richiesta, con quello che c’è più vicino, e la domanda precedente è sempre vicina.
La seconda è una questione di buone maniere. In una conversazione non ci si ripete. Chi viene interpellato prima sul proprio matrimonio e poi sulla vita in generale può intendere la seconda domanda come “a parte il matrimonio”, e lasciarlo fuori. Così una domanda specifica può gonfiare la risposta generale che la segue oppure rimpicciolirla, a seconda di come l’intervistato interpreta la coppia di domande. La sintesi che Pew fa della ricerca è che le persone tendono a evitare la ridondanza escludendo la domanda più specifica dalla valutazione generale.
Esiste una versione per le domande aperte, ed è quella che conta di più per chi raccoglie feedback. Se le domande chiuse su un argomento vengono prima, riferisce Pew, gli intervistati sono “molto più propensi a menzionare concetti o considerazioni sollevati in quelle domande” quando arriva la domanda aperta. Chiedi alle persone di valutare la tua reportistica, le tue integrazioni e la tua assistenza, poi invitale a dire con parole loro che cosa dovresti migliorare, e ti parleranno di reportistica, integrazioni e assistenza. Hai scritto la loro risposta al posto loro.
Dove si nasconde in un sondaggio tra i clienti
Gli esperimenti riguardano la politica, e nessuno ne ha condotti di equivalenti sui sondaggi di prodotto, quindi ciò che segue è una deduzione. Ma il meccanismo non dipende dall’argomento, e i punti in cui colpirebbe sono facili da trovare.
Il punteggio complessivo è quello ovvio. Una domanda sulla soddisfazione o sulla raccomandazione posta dopo una sezione su bug, interruzioni o un ticket di assistenza recente è rivolta a qualcuno che è appena stato accompagnato tra le tue mancanze. Posta dopo un elenco di funzionalità che gli piacciono, è rivolta a qualcuno di umore migliore. Nessuna delle due è l’opinione spontanea del cliente.
Il sondaggio di monitoraggio è il caso costoso. Un team aggiunge due domande su una nuova funzionalità, le mette verso l’inizio, e tre mesi dopo il punteggio di soddisfazione si è mosso. Qualcosa è cambiato, e può darsi che sia stato il questionario. Il consiglio di Pew in proposito è schietto: quando segui un dato nel tempo, bada che il contesto sia lo stesso ogni volta che lo chiedi.
Il prezzo è un terzo caso. Chiedi quanto pagherebbe qualcuno dopo avergli fatto elencare tutto ciò che il prodotto fa per lui, e gli hai messo in testa il valore. Chiedilo dopo una sezione sulle frustrazioni, e gli hai messo in testa l’opposto. Con quanta facilità un prezzo segue l’ultimo numero visto lo descriviamo nell’articolo sui sondaggi sui prezzi.
Mettere le domande in ordine
I rimedi discendono dal meccanismo, e nessuno è complicato.
Poni la domanda generale prima di quelle particolari. La valutazione complessiva viene per prima, quando l’opinione del cliente è ancora sua, e le domande su consegna, prezzo e assistenza vengono dopo. Poni le domande aperte prima di quelle chiuse sullo stesso argomento, così che ciò che le persone offrono spontaneamente sia quello che avevano in mente e non quello che c’era nel tuo elenco.
Tieni fermo l’ordine in tutto ciò che ripeti. Qualunque cosa preceda la tua domanda chiave questo trimestre dovrebbe precederla anche il prossimo. Se serve una domanda nuova, mettila dopo.
Dove presenti un elenco, di funzionalità da valutare o di motivi tra cui scegliere, mescolalo per ogni intervistato. Le prime voci di un elenco ricevono più attenzione delle ultime, e mescolare distribuisce il vantaggio. Lascia alla fine i dati personali, dimensione dell’azienda, ruolo e il resto, a meno che non ti servano per decidere chi vede quali domande. Secondo Pew un questionario, come una conversazione, dovrebbe essere raggruppato per argomento e svolgersi in un ordine logico, cominciando da qualcosa che l’intervistato trova interessante.
E tienilo breve, perché un effetto che ha bisogno di una domanda precedente ha meno materiale quando ce ne sono poche. Conta anche la formulazione di ogni singola domanda, argomento che trattiamo parlando di domande tendenziose.
L’ordine non si può eliminare. Qualcosa deve venire per primo. Gli studenti dell’esperimento avrebbero pensato a qualcosa prima di valutare la propria vita, e l’unica scelta dei ricercatori era se fornirlo loro. Lo stesso vale per ogni sondaggio che invii: quando un cliente arriva alla tua domanda più importante, gli hai già detto a che cosa pensare.
Come ti aiuta Diaform
Diaform pone le tue domande una alla volta in una chat, nell’ordine che stabilisci, quindi sei tu a decidere che cosa ha in mente il cliente quando arriva la domanda importante. Puoi aprire con la domanda complessiva e lasciare che l’intervistatore IA approfondisca la risposta prima che emergano i dettagli. Una conversazione ha un ordine come qualsiasi questionario, e gli approfondimenti aggiungono un contesto proprio, quindi le cautele qui sopra valgono ancora. C’è una prova gratuita di 14 giorni.
