Abraham Wald brukte deler av andre verdenskrig på å arbeide med dokumenter han strengt tatt ikke hadde lov til å lese. Den jødiske matematikeren fra Ungarn hadde flyktet fra Østerrike i 1938 og fått en stilling ved Columbia University, der et team kalt Statistical Research Group anvendte matematikk på krigføringen. Arbeidet var hemmelig. Wald var offisielt fiendtlig utlending. Kollegaen Harold Hotelling husket det «spøkefulle forslaget om at hver side han skrev, straks skulle nappes fra ham og aldri vises ham igjen».
En domstol ga ham statsborgerskap før det kom så langt, og i 1943 leverte han et notat med en tørr tittel: «A Method of Estimating Plane Vulnerability Based on Damage of Survivors». Problemet var hvor man skulle sette panser på fly. Materialet var skademønsteret på maskinene som kom hjem. Walds bidrag var å behandle det materialet som det det var. Flyene som kom tilbake, viste hvor en maskin kunne bli truffet og likevel fly. De som var truffet andre steder, hadde ikke kommet tilbake for å bli undersøkt. Han regnet ut hvordan man kan anslå skadene på alle flyene som dro ut, ut fra skadene på dem som kom tilbake.
Historien er blitt forbedret siden. I den populære versjonen får Wald et rom fullt av offiserer til å tie ved å peke på stedene uten hull. Det matematiske selskapet som undersøkte saken, arkiverte fortellingen under «The Legend of Abraham Wald», og det som er bevart, er åtte tekniske notater og ingen slik scene. Matematikken er ekte nok, og det er ideen også, som i dag går under navnet survivorship bias, på norsk overlevelsesskjevhet.
Den er verdt å kjenne, for hvert produktteam inspiserer fly som har kommet tilbake. De kalles kunder.
Hvem som kommer tilbake
Tenk over hvor tilbakemeldinger kommer fra. En tilfredshetsundersøkelse går til kundelisten. En melding i produktet vises for den som er logget inn. Funksjonsønsker kommer fra folk som bruker produktet nok til å ville ha mer av det. Intervjuer avtales med kontoer som svarer på e-post, og kundepanelet består av de ivrigste av dem.
Hver av disse kanalene når mennesker som produktet så langt har fungert for. De har hull i vingene: klager på eksporten, ønsker om en integrasjon, irritasjon over prisen. De er verdt å høre. Men de er, per definisjon, skadene en kunde kan ta og likevel bli.
De dødelige treffene er et annet sted. De er hos prøvebrukeren som ga opp andre dag, kontoen som sa opp i vår, den potensielle kunden som så to demoer og kjøpte av noen andre, og den betalende kunden som ikke har logget inn siden august. Ingen av dem er med i undersøkelsen. Flere er ikke lenger i databasen.
Hva de som mangler, ville ha sagt
Dette ville betydd mindre om de fraværende lignet de tilstedeværende. Dokumentasjonen sier at de ikke gjør det.
Ta omdømme. De fleste bedrifter måler det ved å spørre kunder om de ville anbefalt produktet, og blir beroliget. Men da forskere sporet hvor negativ omtale fra munn til munn kommer fra, fant de at det meste kommer fra tidligere kunder og fra folk som aldri kjøpte, som en kundeundersøkelse ikke når. De som sier det verste om deg, står nesten per definisjon ikke på e-postlisten din.
Ta tilfredshet. Blant kunder som fortsatt er aktive, er de tause heller ikke et tilfeldig utvalg. I en typisk undersøkelse er de ukentlige brukerne overrepresentert, og de sovende kontoene er knapt med, og siden de sovende er langt mindre fornøyde, blir hovedtallet smigrende. Vi går gjennom et eksempel, der en score på 70 % faller til 62 % når de som mangler, regnes med, i artikkelen om frafallsskjevhet.
Og ta veikartet, der skjevheten gjør sin stilleste skade. Et funksjonsønske er en beskjed fra noen som har kommet langt nok til å ville ha mer. Sorter ønskene, bygg de mest populære, og produktet blir jevnt bedre for dem som allerede syntes det var godt nok til å beholde. Det blir ikke det minste bedre for dem det mistet, for ønsket deres gjaldt aldri en funksjon. Det gjaldt at oppsettet skulle virke, eller at den første rapporten skulle gi mening, og de dro uten å sende det inn.
Det samme filteret virker på testene gründere utsetter seg selv for. Product-market fit-undersøkelsen spør brukere hvordan de ville følt seg om produktet forsvant. Spørsmålet kan bare stilles til dem som fortsatt har det.
Å lese skadene
Walds poeng var aldri at flyene som kom tilbake, ikke fortalte noe. Det var at de måtte leses med de manglende i tankene. Tilbakemeldinger fra nåværende kunder kan leses på samme måte.
Når lojale kunder klager på noe, er det en reell feil, og åpenbart en det går an å leve med. Når ingen klager på noe, finnes det to forklaringer. Enten er det greit, eller så er det nettopp det som avslutter forholdet før en klage rekker å bli levert. Onboarding er standardeksemplet. Kunder som har vært med i tre år, nevner sjelden oppsettet. De kom seg gjennom. En undersøkelse blant dem vil melde at oppsettet ikke er et problem, og den vil ha rett når det gjelder dem.
En nyttig vane når du får inn en bunke tilbakemeldinger, er derfor å spørre hva en person måtte ha overlevd for å være med i den. Å ha brukt produktet i et år. Å ha fullført oppsettet. Å ha logget inn denne uka, åpnet e-posten og hatt lyst til å svare. Hver betingelse fjerner en gruppe mennesker, og gruppene den fjerner, er de betingelsen beseiret.
Å lete etter vraket
Det bedre botemiddelet er det Wald ikke hadde. Han kunne ikke intervjue mannskapene som ikke kom tilbake. Det kan du.
Øyeblikket kunden drar, er den beste anledningen. En kunde som sier opp, har grunnen klart for seg og oppgir den ofte hvis man spør der og da, i én setning, før historien er ryddet opp. En uke senere har de gått videre, og grunnen er forenklet, slik vi beskriver i artikkelen om hukommelsesskjevhet. Guiden vår om hvorfor kunder sier opp tar for seg hva du kan spørre om.
Prøveperioder som aldri ble til kjøp, er den nest rikeste åren og den minst utnyttede, siden ingen føler at de har et forhold å støtte seg på. En kort, personlig melding som spør hva som stoppet dem, finner som regel noen få som gjerne sier det. Det gjør også en melding til kjøpere som valgte en konkurrent, sendt en passende stund etter beslutningen. Disse menneskene skylder deg ingenting, noe som gjør dem til en av få grupper der en liten belønning klart er verdt pengene, slik forskningen på insentiver i undersøkelser tyder på.
Så er det de stille kontoene, som fortsatt betaler og ikke lenger er til stede. De kan ikke nås i produktet, for de er ikke der. De kan nås på e-post, med navn, med ett spørsmål. Det er verdt å gjøre før fornyelsesdatoen, ikke etter.
Merk til slutt kilden på alt. Et funn som kommer fra aktive kunder, bør si det, på samme linje som tallet. «82 % synes oppsettet er lett» er et annet utsagn når det følges av ordene «blant kunder som fullførte det».
Det gjør ikke bildet fullstendig. Noen av dem som dro, vil ikke svare, og de vil ikke være et rettferdig utvalg av resten. Men et dusin samtaler med mennesker produktet sviktet, forteller deg ting som tusen svar fra mennesker det passet for, aldri kan. De tusen svarene kommer alle fra flyene som kom tilbake.
Slik hjelper Diaform
Diaform er en lenke, så den kan komme dit produktet ditt ikke kan: inn i en oppsigelsesflyt, en e-post til en utløpt prøveperiode, en melding til en stille konto. AI-intervjueren stiller spørsmålene dine ett om gangen og følger opp vage svar, noe som betyr mest med folk som gir deg to minutter og ikke mer. På Pro-planen og oppover viser personlige invitasjonslenker hvem som svarte, slik at du ser hvem av de manglende du nådde. Den kan ikke få tidligere kunder til å svare. Det finnes en gratis prøveperiode på 14 dager.
