Abraham Wald brugte en del af Anden Verdenskrig på at arbejde med dokumenter, han strengt taget ikke måtte læse. Den jødiske matematiker fra Ungarn var flygtet fra Østrig i 1938 og havde fået en stilling på Columbia University, hvor et team ved navn Statistical Research Group anvendte matematik på krigen. Arbejdet var hemmeligt. Wald var officielt fjendtlig udlænding. Hans kollega Harold Hotelling huskede det »spøgefulde forslag om, at hver side, han skrev, straks skulle rives fra ham og aldrig vises ham igen«.
En domstol gav ham statsborgerskab, før det kom så vidt, og i 1943 afleverede han et memorandum med en tør titel: »A Method of Estimating Plane Vulnerability Based on Damage of Survivors«. Problemet var, hvor man skulle sætte panser på fly. Beviset var skadesmønsteret på de maskiner, der kom hjem. Walds bidrag var at behandle det bevis som det, det var. De hjemvendte fly viste, hvor en maskine kunne blive ramt og stadig flyve. De, der var ramt andre steder, var ikke kommet tilbage for at blive undersøgt. Han udarbejdede en måde at anslå skaderne på alle de fly, der fløj ud, ud fra skaderne på dem, der kom tilbage.
Historien er siden blevet forbedret. I den populære udgave får Wald et rum fuldt af officerer til at tie ved at pege på de steder, hvor der ingen huller er. Det matematiske selskab, der undersøgte sagen, arkiverede fortællingen under »The Legend of Abraham Wald«, og det overleverede er otte tekniske memoranda og ingen sådan scene. Matematikken er ægte nok, og det er idéen også, som i dag går under navnet survivorship bias.
Den er værd at kende, for ethvert produktteam inspicerer hjemvendte fly. De hedder kunder.
Hvem der kommer tilbage
Tænk over, hvor feedback kommer fra. En tilfredshedsundersøgelse går til kundelisten. En besked i produktet vises for den, der er logget ind. Featureønsker kommer fra folk, der bruger produktet nok til at ville have mere af det. Interviews aftales med konti, der svarer på e-mails, og kundepanelet er sammensat af de ivrigste af dem.
Hver af disse kanaler når mennesker, som produktet indtil nu har fungeret for. De har huller i vingerne: klager over eksporten, ønsker om en integration, irritation over prisen. De er værd at høre. Men de er per definition de skader, en kunde kan tåle og alligevel blive.
De dødelige træffere er et andet sted. De er hos prøvebrugeren, der gav op på andendagen, kontoen, der opsagde i foråret, den potentielle kunde, der fik to demoer og købte hos en anden, og den betalende kunde, der ikke har logget ind siden august. Ingen af dem er med i undersøgelsen. Flere er ikke længere i databasen.
Hvad de manglende ville have sagt
Det ville betyde mindre, hvis de fraværende lignede de tilstedeværende. Dokumentationen viser, at det gør de ikke.
Tag omdømme. De fleste virksomheder måler det ved at spørge kunder, om de ville anbefale produktet, og bliver beroliget. Men da forskere sporede, hvor negativ mund til mund-omtale kommer fra, fandt de, at det meste stammer fra tidligere kunder og fra folk, der aldrig købte, som en kundeundersøgelse ikke når. De, der siger det værste om dig, står næsten per definition ikke på din mailingliste.
Tag tilfredshed. Blandt kunder, der stadig er aktive, er de tavse heller ikke en tilfældig stikprøve. I en typisk undersøgelse er de ugentlige brugere overrepræsenteret, og de sovende konti optræder knap nok, og fordi de sovende er langt mindre tilfredse, er det samlede tal for pænt. Vi gennemgår et eksempel, hvor en score på 70 % falder til 62 %, når de manglende regnes med, i bortfaldsbias.
Og tag roadmappet, hvor skævheden gør sin stilleste skade. Et featureønske er en besked fra en, der er nået langt nok til at ville have mere. Sortér ønskerne, byg de mest populære, og produktet bliver støt bedre for dem, der allerede fandt det godt nok til at beholde. Det bliver ikke spor bedre for dem, det mistede, for deres ønske handlede aldrig om en feature. Det handlede om, at opsætningen skulle virke, eller at den første rapport skulle give mening, og de gik uden at indsende det.
Det samme filter virker på de test, stiftere udsætter sig selv for. Product-market fit-undersøgelsen spørger brugere, hvordan de ville have det, hvis produktet forsvandt. Spørgsmålet kan kun stilles til dem, det ikke er forsvundet for.
At læse skaderne
Walds pointe var aldrig, at de hjemvendte fly intet fortalte. Den var, at de skulle læses med de manglende i tankerne. Feedback fra nuværende kunder kan læses på samme måde.
Når loyale kunder klager over noget, er det en reel fejl, og åbenbart en, man kan leve med. Når ingen klager over noget, er der to forklaringer. Enten er det i orden, eller også er det netop det, der afslutter forholdet, før en klage kan nå at blive afgivet. Onboarding er standardeksemplet. Kunder med tre års anciennitet nævner sjældent opsætningen. De kom igennem. En undersøgelse blandt dem vil melde, at opsætningen ikke er et problem, og den vil have ret, hvad dem angår.
En nyttig vane, når du modtager en portion feedback, er derfor at spørge, hvad en person skulle have overlevet for at være med i den. At have brugt produktet i et år. At have gennemført opsætningen. At have logget ind i denne uge, åbnet e-mailen og haft lyst til at svare. Hver betingelse fjerner en gruppe mennesker, og de grupper, den fjerner, er dem, betingelsen besejrede.
At lede efter vraget
Det bedre middel er det, Wald ikke havde. Han kunne ikke interviewe de besætninger, der ikke vendte hjem. Det kan du.
Øjeblikket, hvor kunden går, er den bedste lejlighed. En kunde, der er ved at opsige, har grunden klart i hovedet og giver den ofte, hvis man spørger på stedet, i én sætning, før historien er blevet pudset af. En uge senere er de kommet videre, og grunden er blevet forenklet, som vi beskriver i erindringsbias. Vores guide til hvorfor kunder opsiger dækker, hvad du kan spørge om.
Prøveperioder, der aldrig blev til køb, er den næstrigeste åre og den mindst udnyttede, fordi ingen føler, at de har en relation at trække på. En kort, personlig besked, der spørger, hvad der stoppede dem, finder som regel nogle få, der gerne vil sige det. Det gør en besked til købere, der valgte en konkurrent, også, sendt et passende stykke tid efter beslutningen. Disse mennesker skylder dig ingenting, hvilket gør dem til en af de få grupper, hvor en lille belønning klart er pengene værd, som forskningen i incitamenter i undersøgelser peger på.
Så er der de stille konti, der stadig betaler og ikke længere er til stede. De kan ikke nås i produktet, for de er der ikke. De kan nås på e-mail, ved navn, med ét spørgsmål. Det er værd at gøre før fornyelsesdatoen, ikke efter.
Markér til sidst kilden på alt. Et fund, der kommer fra aktive kunder, bør sige det på samme linje som tallet. »82 % synes, opsætningen er let« er et andet udsagn, når det følges af ordene »blandt kunder, der gennemførte den«.
Det gør ikke billedet fuldstændigt. Nogle af dem, der gik, vil ikke svare, og de vil ikke være et fair udsnit af resten. Men et dusin samtaler med mennesker, produktet svigtede, fortæller dig ting, som tusind svar fra mennesker, det passede til, aldrig kan. De tusind svar kommer alle fra de fly, der vendte hjem.
Sådan hjælper Diaform
Diaform er et link, så det kan komme derhen, hvor dit produkt ikke kan: ind i et opsigelsesforløb, en e-mail til en udløbet prøveperiode, en besked til en stille konto. AI-intervieweren stiller dine spørgsmål ét ad gangen og spørger ind til vage svar, hvilket betyder mest med folk, der giver dig to minutter og ikke mere. Fra Pro-planen og op viser personlige invitationslinks, hvem der svarede, så du kan se, hvem af de manglende du nåede. Det kan ikke få tidligere kunder til at svare. Der er en gratis prøveperiode på 14 dage.
