Nel 1929 un sociologo di nome Stuart Rice pubblicò un breve articolo su alcuni vecchi fascicoli. Anni prima, dodici investigatori avevano intervistato una lunga serie di uomini indigenti che chiedevano un alloggio per la notte, e avevano annotato per ciascuno la causa della sua sventura. I richiedenti erano stati assegnati agli investigatori più o meno nell’ordine in cui arrivavano, perciò ogni investigatore avrebbe dovuto incontrare lo stesso miscuglio di uomini, con lo stesso miscuglio di guai.
I fascicoli raccontavano un’altra storia. Le cause dell’indigenza sembravano dipendere da chi aveva tenuto la penna. Nella versione tramandata dai manuali, un investigatore era un convinto proibizionista, e i suoi uomini erano stati rovinati in gran parte dall’alcol. Un altro era socialista, e i suoi erano stati rovinati dalle condizioni dell’industria. Cosa ancora più inquietante, i racconti che gli uomini facevano di sé pendevano dalla stessa parte. La sintesi di Rice fu che l’indagine rivelava un trasferimento del bias individuale degli investigatori ai richiedenti, e una corrispondente distorsione nelle risposte. Lo chiamò bias contagioso.
Nessuno aveva falsificato nulla. Due uomini onesti avevano posto domande oneste a persone nella stessa difficoltà e avevano scritto ciò che sentivano. Ciascuno aveva trovato ciò che si aspettava di trovare, e in qualche modo aveva persuaso i suoi soggetti a trovarlo anche loro.
Le interviste ai clienti sono condotte, di regola, da persone che hanno sul prodotto opinioni più forti di quelle che gli investigatori di Rice avevano sull’alcol.
Quanto aggiunge un intervistatore
Gli studiosi dei sondaggi hanno passato il secolo trascorso da allora a misurare l’effetto, e hanno un numero. Prendi tutta la variazione nelle risposte a una domanda e chiediti quale quota dipenda da chi, tra gli intervistatori, si è trovato a porla. Nei sondaggi faccia a faccia, la quota è risultata compresa tra circa lo 0,5% e circa il 10%.
Sembra rassicurante finché non si moltiplica. Il danno dipende da quante interviste conduce ciascun intervistatore, perché tutti quelli intervistati dalla stessa persona ne condividono l’inclinazione. Se l’intervistatore spiega il 5% della variazione e ciascuno fa venti interviste, il campione vale circa la metà della sua dimensione nominale. Duecento interviste portano l’informazione di un centinaio. Più lavoro fa ciascun intervistatore, meno vale ogni intervista in più.
L’effetto non si distribuisce in modo uniforme. Una sintesi della ricerca l’ha trovato concentrato dove ci si aspetterebbe. È maggiore per le opinioni che per i fatti e maggiore per le questioni delicate che per quelle neutre. È massimo dove l’intervistatore ha margine per aiutare: per spiegare, riformulare, decidere quando una risposta è completa e quando insistere.
Quest’ultima categoria descrive abbastanza bene un’intervista a un cliente. Un intervistatore di sondaggi legge una domanda fissa e spunta una casella. Una product manager che parla con un cliente riformula la domanda sul momento, sceglie quale osservazione seguire e quale lasciar cadere, e decide che cosa finisce negli appunti. Ognuna di queste scelte è un varco.
Tre vie d’ingresso
Il bias entra in tre punti.
Il primo è la semplice presenza dell’intervistatore. Le persone adattano ciò che dicono a chi ascolta. In uno studio su americani neri condotto nel 1968, le risposte sulla protesta e sull’ostilità verso i bianchi differivano a seconda che l’intervistatore fosse nero o bianco, mentre i resoconti sulle condizioni di vita e sulle discriminazioni subite non si spostavano quasi. I fatti restavano fermi, e le opinioni si muovevano con l’ascoltatore. È stata misurata anche una versione commerciale. In uno studio in India, le persone a cui si chiedeva di scegliere tra due versioni identiche di una tecnologia avevano circa due volte e mezza più probabilità di preferire quella che credevano costruita dall’intervistatore. Una fondatrice che chiede a un cliente del prodotto è nella posizione di quell’intervistatore.
Il secondo è il chiedere. Non ci sono due intervistatori che pongano una domanda allo stesso modo, e le differenze non sono casuali. Chi crede che il problema sia l’onboarding chiede dell’onboarding con interesse e dei prezzi per dovere. Una risposta esitante che si accorda con la teoria riceve un “dimmi di più”. Una che non si accorda riceve un “bene, andiamo avanti”. Niente di tutto questo somiglia a una domanda tendenziosa da manuale. Si fa con l’attenzione, e i clienti seguono l’attenzione come facevano i richiedenti di Rice.
Il terzo è l’ascoltare. Un’ora di conversazione diventa mezza pagina di appunti, e qualcuno decide quale metà. L’osservazione che conferma ciò che il team sospettava viene trascritta parola per parola. Quella che lo contraddice viene riassunta, o fraintesa, o non sembra degna di essere annotata. Quando i risultati delle interviste vengono presentati, il punto di vista dell’intervistatore è passato attraverso il materiale due volte, in entrata e in uscita.
Ridurlo
L’effetto non si può eliminare del tutto. Un’intervista è un incontro tra due persone, e ha bisogno di entrambe. Ma gran parte si può eliminare con poche regole di disciplina, nessuna delle quali è nuova.
Tieni chi ha costruito il prodotto lontano dalla sedia dell’intervistatore. La persona che ha progettato la funzionalità è la meno adatta a fare domande in proposito, per il bene del cliente quanto per il proprio. Un collega di un altro team ottiene risposte più franche e le ascolta in modo più equilibrato.
Fissa le parole che contano. Decidi in anticipo le domande principali e ponile così come sono scritte, nello stesso ordine, a tutti. Riserva l’improvvisazione agli approfondimenti, e tienili semplici: che cosa è successo dopo, puoi fare un esempio, che cosa hai fatto allora. Un approfondimento non dovrebbe mai contenere un’ipotesi sulla risposta. La nostra guida alle domande di approfondimento ne ha una scorta di neutre.
Registra tutto e lavora sulla registrazione. Gli appunti sono il resoconto che l’intervistatore fa dell’intervista. Una trascrizione è quello del cliente. Quando si citano i risultati, si citi il cliente.
E usa più di un intervistatore, apposta. Se due persone intervistano clienti paragonabili e tornano con conclusioni diverse, hai imparato sugli intervistatori qualcosa che uno solo non avrebbe mai potuto mostrarti. La scoperta di Rice fu possibile solo perché erano dodici.
L’intervistatore che non varia
Il rimedio che resta è tenere costante l’intervistatore, e questo è diventato possibile da poco.
Un intervistatore automatizzato pone le stesse domande a ogni cliente nello stesso modo. Non ha una teoria sull’onboarding, non ha costruito la funzionalità e non si illumina alla risposta in cui sperava. La variazione tra intervistatori, la parte dell’effetto che il numero dei ricercatori misura, scompare, perché ce n’è uno solo. E le persone sembrano trovare più facile parlarci. In un ampio studio su interviste condotte da un’IA, il 43% dei partecipanti ha detto che sceglierebbe di nuovo l’IA e il 19% un essere umano.
Sarebbe troppo dire che la questione finisce qui. Un unico intervistatore applicato a tutti è coerente, il che non vuol dire neutrale. Se le sue domande di approfondimento pendono, pendono in ogni conversazione allo stesso modo, e non esiste un secondo intervistatore a smascherarlo. Contano anche i suoi modi: in un esperimento, gli agenti di chat con migliori capacità conversazionali hanno ottenuto risposte più cortesi, di quelle che salvano la faccia, rispetto a quelli più sobri. Il bias si è spostato dalla persona alla progettazione, dove almeno può essere ispezionato, testato e cambiato. Valutiamo le prove dove ci chiediamo se le persone dicono la verità agli intervistatori IA.
Perciò leggi le trascrizioni, chiunque abbia posto le domande. Controlla che gli approfondimenti fossero domande e non suggerimenti. Cerca il cliente che ha detto qualcosa che nessuno si aspettava, e guarda che cosa se n’è fatto.
Gli investigatori di Rice non seppero mai che cosa avevano fatto. Ciascuno di loro avrebbe potuto giurare sull’accuratezza dei propri registri. Il bias fu visibile solo quando tutte e dodici le serie di fascicoli furono messe una accanto all’altra. Un intervistatore solitario non ha nulla accanto a cui essere messo, e la maggior parte della ricerca sui clienti la fa uno solo.
Come ti aiuta Diaform
Diaform dà a ogni cliente lo stesso intervistatore. L’IA pone le tue domande così come le hai scritte, una alla volta, e approfondisce le risposte vaghe fino alla profondità che imposti, così la formulazione non slitta da una conversazione all’altra. Ogni conversazione conserva la trascrizione completa e le citazioni testuali, così puoi leggere che cosa è stato chiesto oltre a che cosa è stato risposto. I suoi approfondimenti sono generati, e vale la pena controllarli come quelli di chiunque. C’è una prova gratuita di 14 giorni.
