Abraham Wald passò parte della Seconda guerra mondiale a lavorare su documenti che, a rigore, non aveva il permesso di leggere. Matematico ebreo nato in Ungheria, era fuggito dall’Austria nel 1938 e aveva trovato un posto alla Columbia University, dove un gruppo chiamato Statistical Research Group applicava la matematica alla guerra. Il lavoro era segreto. Wald era ufficialmente uno straniero nemico. Il collega Harold Hotelling ricordava la “proposta scherzosa di strappargli subito di mano ogni pagina che scriveva e non mostrargliela mai più”.
Un tribunale lo naturalizzò prima che si arrivasse a tanto, e nel 1943 produsse un memorandum dal titolo asciutto: “A Method of Estimating Plane Vulnerability Based on Damage of Survivors”. Il problema era dove mettere la corazzatura sugli aerei. La prova era la distribuzione dei danni sui velivoli che tornavano a casa. Il contributo di Wald fu trattare quella prova per ciò che era. Gli aerei rientrati mostravano dove un velivolo poteva essere colpito e volare ancora. Quelli colpiti altrove non erano tornati per farsi esaminare. Ricavò il modo di stimare i danni di tutti gli aerei partiti dai danni di quelli rientrati.
Da allora la storia è stata abbellita. Nella versione popolare, Wald zittisce una sala di ufficiali indicando i punti senza fori. La società matematica che ha indagato ha archiviato il racconto sotto il titolo “The Legend of Abraham Wald”, e ciò che resta sono otto memorandum tecnici e nessuna scena del genere. La matematica è reale, e lo è anche l’idea, che oggi va sotto il nome di bias di sopravvivenza.
Vale la pena conoscerla, perché ogni team di prodotto ispeziona aerei rientrati. Si chiamano clienti.
Chi torna
Considera da dove arriva il feedback. Un sondaggio di soddisfazione va alla lista clienti. Un messaggio dentro il prodotto compare a chi ha effettuato l’accesso. Le richieste di funzionalità arrivano da persone che usano il prodotto abbastanza da volerne di più. Le interviste si fissano con gli account che rispondono alle email, e il comitato consultivo dei clienti è formato dai più entusiasti.
Ognuno di questi canali raggiunge persone per le quali il prodotto, finora, ha funzionato. Hanno fori nelle ali: lamentele sull’esportazione, desideri di un’integrazione, fastidio per il prezzo. Meritano ascolto. Ma sono, per costruzione, i danni che un cliente può subire senza andarsene.
I colpi fatali sono altrove. Sono nell’utente in prova che ha rinunciato al secondo giorno, nell’account che ha disdetto in primavera, nel potenziale cliente che ha fatto due demo e ha comprato da un altro, e nel cliente pagante che non accede da agosto. Nessuno di loro è nel sondaggio. Diversi non sono più nel database.
Che cosa avrebbero detto gli assenti
Conterebbe meno se gli assenti somigliassero ai presenti. Le prove dicono di no.
Prendi la reputazione. La maggior parte delle aziende la misura chiedendo ai clienti se consiglierebbero il prodotto, e si rassicura. Eppure, quando alcuni ricercatori hanno ricostruito da dove viene il passaparola negativo, hanno scoperto che in gran parte è prodotto da ex clienti e da persone che non hanno mai comprato, che un sondaggio tra i clienti non raggiunge. Chi dice le cose peggiori su di te, quasi per definizione, non è nella tua mailing list.
Prendi la soddisfazione. Tra i clienti ancora attivi, nemmeno i silenziosi sono un campione casuale. In un sondaggio tipico gli utenti settimanali sono sovrarappresentati e gli account dormienti quasi non compaiono, e poiché i dormienti sono molto meno soddisfatti, il dato complessivo è lusinghiero. Sviluppiamo un esempio, in cui un punteggio del 70% scende al 62% una volta considerati gli assenti, parlando del bias di non risposta.
E prendi la roadmap, dove il bias fa il suo danno più silenzioso. Una richiesta di funzionalità è un messaggio di qualcuno che è arrivato abbastanza lontano da volere di più. Ordina le richieste, costruisci le più popolari, e il prodotto migliora costantemente per chi lo trovava già abbastanza buono da tenerlo. Non migliora affatto per quelli che ha perso, perché la loro richiesta non è mai stata una funzionalità. Era che la configurazione funzionasse, o che il primo report avesse senso, e se ne sono andati senza presentarla.
Lo stesso filtro agisce sui test che i fondatori si impongono. Il sondaggio sul product-market fit chiede agli utenti come si sentirebbero se il prodotto sparisse. Si può porre soltanto a quelli per cui non è sparito.
Leggere i danni
Wald non ha mai sostenuto che gli aerei rientrati non dicessero nulla. Sosteneva che andavano letti tenendo a mente quelli mancanti. Il feedback dei clienti attuali si può leggere allo stesso modo.
Quando i clienti fedeli si lamentano di qualcosa, è un difetto vero, ed evidentemente uno con cui si può convivere. Quando nessuno si lamenta di qualcosa, le spiegazioni sono due. O va bene, o è proprio ciò che chiude il rapporto prima che una lamentela possa essere fatta. L’onboarding è il caso tipico. I clienti con tre anni di anzianità raramente parlano della configurazione. L’hanno superata. Un sondaggio tra loro riferirà che la configurazione non è un problema, e su di loro avrà ragione.
Un’abitudine utile, davanti a qualsiasi raccolta di feedback, è quindi chiedersi a che cosa una persona ha dovuto sopravvivere per esserci dentro. Aver usato il prodotto per un anno. Aver completato la configurazione. Aver effettuato l’accesso questa settimana, aperto l’email e avuto voglia di rispondere. Ogni condizione toglie un gruppo di persone, e i gruppi che toglie sono quelli che la condizione ha sconfitto.
Andare a cercare il relitto
Il rimedio migliore è quello che Wald non aveva. Lui non poteva intervistare gli equipaggi che non erano rientrati. Tu sì.
Il momento dell’uscita è l’occasione migliore. Un cliente che sta disdicendo ha il motivo ben chiaro in mente, e spesso lo dirà se glielo si chiede lì per lì, in una frase, prima che la storia venga riordinata. Una settimana dopo è passato oltre e il motivo si è semplificato, come descriviamo parlando del bias del ricordo. La nostra guida su perché i clienti disdicono spiega che cosa chiedere.
I periodi di prova mai convertiti sono il filone successivo, e il meno sfruttato, dato che nessuno sente di avere un rapporto su cui contare. Un breve messaggio personale che chiede che cosa li ha fermati di solito ne trova alcuni disposti a dirlo. Lo stesso vale per un messaggio agli acquirenti che hanno scelto un concorrente, inviato a debita distanza dalla decisione. Queste persone non ti devono nulla, il che le rende uno dei pochi gruppi per cui una piccola ricompensa vale chiaramente la spesa, come suggerisce la ricerca sugli incentivi nei sondaggi.
Poi ci sono gli account silenziosi, che pagano ancora e non ci sono più. Non si possono raggiungere dentro il prodotto, perché non ci sono. Si possono raggiungere via email, per nome, con una sola domanda. Vale la pena farlo prima della data di rinnovo, non dopo.
Infine, indica la fonte su tutto. Un risultato che viene da clienti attivi dovrebbe dirlo, sulla stessa riga del numero. “L’82% trova facile la configurazione” è un’affermazione diversa quando è seguita dalle parole “tra i clienti che l’hanno completata”.
Questo non renderà il quadro completo. Alcuni di quelli che se ne sono andati non risponderanno, e non saranno un campione fedele degli altri. Ma una dozzina di conversazioni con persone che il prodotto ha deluso ti dirà cose che mille risposte di persone a cui andava bene non potranno mai dirti. Quelle mille risposte vengono tutte dagli aerei che sono rientrati.
Come ti aiuta Diaform
Diaform è un link, quindi può arrivare dove il tuo prodotto non arriva: in un flusso di disdetta, in un’email a chi ha lasciato scadere la prova, in un messaggio a un account silenzioso. L’intervistatore IA pone le tue domande una alla volta e approfondisce le risposte vaghe, cosa che conta soprattutto con persone che ti concedono due minuti e non di più. Dal piano Pro in su, i link di invito personali mostrano chi ha risposto, così puoi vedere quali degli assenti hai raggiunto. Non può far rispondere gli ex clienti. C’è una prova gratuita di 14 giorni.
