Abraham Wald ägnade en del av andra världskriget åt att arbeta med dokument som han, strängt taget, inte fick läsa. Den judiske matematikern från Ungern hade flytt Österrike 1938 och fått en tjänst vid Columbia University, där ett team vid namn Statistical Research Group tillämpade matematik på kriget. Arbetet var hemligt. Wald var officiellt fientlig utlänning. Hans kollega Harold Hotelling mindes det ”skämtsamma förslaget att varje sida han skrev genast skulle ryckas ifrån honom och aldrig visas för honom igen”.
En domstol gav honom medborgarskap innan det gick så långt, och 1943 lade han fram en promemoria med en torr titel: ”A Method of Estimating Plane Vulnerability Based on Damage of Survivors”. Problemet var var man skulle sätta pansar på flygplan. Belägget var skademönstret på de plan som kom hem. Walds bidrag var att behandla det belägget som vad det var. De återvändande planen visade var ett plan kunde träffas och ändå flyga. De som hade träffats på andra ställen hade inte kommit tillbaka för att undersökas. Han räknade ut hur man uppskattar skadorna på alla plan som flög ut utifrån skadorna på dem som kom tillbaka.
Historien har förbättrats sedan dess. I den populära versionen tystar Wald ett rum fullt av officerare genom att peka på ställena utan hål. Det matematiska sällskap som undersökte saken arkiverade berättelsen under ”The Legend of Abraham Wald”, och det som finns bevarat är åtta tekniska promemorior och ingen sådan scen. Matematiken är verklig nog, och det är idén också, som i dag går under namnet survivorship bias.
Den är värd att känna till, för varje produktteam inspekterar återvändande flygplan. De kallas kunder.
Vilka som kommer tillbaka
Tänk på var feedback kommer ifrån. En nöjdhetsenkät går till kundlistan. En fråga i produkten visas för den som är inloggad. Funktionsönskemål kommer från dem som använder produkten tillräckligt för att vilja ha mer av den. Intervjuer bokas med konton som svarar på mejl, och kundrådet består av de ivrigaste av dem.
Var och en av dessa kanaler når människor som produkten hittills har fungerat för. De har hål i vingarna: klagomål på exporten, önskemål om en integration, irritation över priset. De är värda att höra. Men de är, till sin natur, de skador en kund kan ta och ändå stanna.
De dödliga träffarna finns någon annanstans. De finns hos provanvändaren som gav upp andra dagen, kontot som sa upp sig i våras, prospektet som såg två demor och köpte av någon annan, och den betalande kunden som inte har loggat in sedan augusti. Ingen av dem finns i enkäten. Flera finns inte längre i databasen.
Vad de saknade skulle ha sagt
Det här skulle spela mindre roll om de frånvarande liknade de närvarande. Beläggen säger att de inte gör det.
Ta ryktet. De flesta företag mäter det genom att fråga kunder om de skulle rekommendera produkten, och blir lugnade. Men när forskare spårade varifrån negativ ryktesspridning kommer fann de att det mesta kommer från tidigare kunder och från människor som aldrig köpte, som en kundenkät inte når. De som säger det värsta om dig finns, nästan per definition, inte på din sändlista.
Ta nöjdheten. Bland kunder som fortfarande är aktiva är de tysta inte heller ett slumpmässigt urval. I en typisk enkät är veckoanvändarna överrepresenterade och de vilande kontona syns knappt, och eftersom de vilande är mycket mindre nöjda blir rubriksiffran smickrande. Vi går igenom ett exempel, där ett resultat på 70 % faller till 62 % när de saknade räknas in, i bortfallsbias.
Och ta roadmapen, där snedvridningen gör sin tystaste skada. Ett funktionsönskemål är ett meddelande från någon som har kommit tillräckligt långt för att vilja ha mer. Sortera önskemålen, bygg de populäraste, och produkten blir stadigt bättre för dem som redan tyckte att den var bra nog att behålla. Den blir inte ett dugg bättre för dem den förlorade, eftersom deras önskemål aldrig gällde en funktion. Det gällde att uppstarten skulle fungera, eller att den första rapporten skulle gå att förstå, och de lämnade utan att skicka in det.
Samma filter verkar på de test som grundare utsätter sig själva för. Product-market fit-enkäten frågar användare hur de skulle känna sig om produkten försvann. Den kan bara ställas till dem som har den kvar.
Att läsa skadorna
Walds poäng var aldrig att de återvändande planen inte sa något. Den var att de måste läsas med de saknade i åtanke. Feedback från nuvarande kunder kan läsas på samma sätt.
När lojala kunder klagar på något är det ett verkligt fel, och uppenbarligen ett som man kan leva med. När ingen klagar på något finns det två förklaringar. Antingen är det bra, eller så är det just det som avslutar relationen innan ett klagomål hinner framföras. Onboarding är standardfallet. Kunder som har varit med i tre år nämner sällan uppstarten. De tog sig igenom den. En enkät bland dem kommer att rapportera att uppstarten inte är något problem, och den har rätt om dem.
En användbar vana, när du får in en omgång feedback, är därför att fråga vad en person måste ha överlevt för att finnas med i den. Att ha använt produkten i ett år. Att ha slutfört uppstarten. Att ha loggat in den här veckan, öppnat mejlet och haft lust att svara. Varje villkor tar bort en grupp människor, och grupperna det tar bort är de som villkoret besegrade.
Att leta efter vraket
Det bättre botemedlet är det som Wald inte hade. Han kunde inte intervjua besättningarna som inte återvände. Det kan du.
Ögonblicket när kunden lämnar är det bästa tillfället. En kund som säger upp sig har skälet klart för sig och anger det ofta om hen får frågan där och då, i en mening, innan historien har städats upp. En vecka senare har hen gått vidare och skälet har förenklats, som vi beskriver i minnesbias. Vår guide om varför kunder säger upp sig går igenom vad du kan fråga.
Provperioder som aldrig blev köp är nästa rika åder, och den minst utnyttjade, eftersom ingen känner att de har en relation att luta sig mot. Ett kort, personligt meddelande som frågar vad som stoppade dem hittar oftast några som gärna berättar. Det gör också ett meddelande till köpare som valde en konkurrent, skickat en lagom tid efter beslutet. De här människorna är inte skyldiga dig något, vilket gör dem till en av få grupper där en liten belöning tydligt är värd pengarna, som forskningen om incitament i enkäter pekar på.
Sedan finns de tysta kontona, som fortfarande betalar och inte längre är närvarande. De går inte att nå i produkten, eftersom de inte är där. De går att nå via mejl, med namn, med en enda fråga. Det är värt att göra före förnyelsedatumet, inte efter.
Märk till sist ut källan på allt. Ett resultat som kommer från aktiva kunder bör säga det, på samma rad som siffran. ”82 % tycker att uppstarten är lätt” är ett annat påstående när det följs av orden ”bland kunder som slutförde den”.
Det gör inte bilden fullständig. En del av dem som lämnade kommer inte att svara, och de är inget rättvisande urval av resten. Men ett dussin samtal med människor som produkten svek berättar sådant som tusen enkätsvar från människor den passade aldrig kan. De tusen svaren kommer alla från planen som återvände.
Så hjälper Diaform
Diaform är en länk, så den kan ta sig dit din produkt inte kan: in i ett uppsägningsflöde, ett mejl till en utgången provperiod, ett meddelande till ett tyst konto. AI-intervjuaren ställer dina frågor en i taget och följer upp vaga svar, vilket betyder mest med människor som ger dig två minuter och inte mer. Från Pro-planen och uppåt visar personliga inbjudningslänkar vem som svarade, så att du ser vilka av de saknade du nådde. Den kan inte få tidigare kunder att svara. Det finns en gratis provperiod på 14 dagar.
