Abraham Wald werkte een deel van de Tweede Wereldoorlog aan documenten die hij, strikt genomen, niet mocht lezen. De Joodse wiskundige uit Hongarije was in 1938 uit Oostenrijk gevlucht en had een aanstelling gevonden aan Columbia University, waar een team met de naam Statistical Research Group wiskunde toepaste op de oorlog. Het werk was geheim. Wald gold officieel als vijandelijke vreemdeling. Zijn collega Harold Hotelling herinnerde zich de “grappig bedoelde suggestie om elke pagina die hij schreef meteen weg te grissen en hem nooit meer te laten zien”.
Een rechtbank naturaliseerde hem voordat het zover kwam, en in 1943 leverde hij een memorandum af met een droge titel: “A Method of Estimating Plane Vulnerability Based on Damage of Survivors”. Het probleem was waar je vliegtuigen moest bepantseren. Het bewijs was het schadepatroon op de toestellen die thuiskwamen. Walds bijdrage was dat bewijs te behandelen als wat het was. De teruggekeerde vliegtuigen lieten zien waar een toestel geraakt kon worden en toch kon blijven vliegen. De toestellen die elders waren geraakt, waren niet teruggekomen om te worden onderzocht. Hij werkte uit hoe je de schade aan alle vertrokken vliegtuigen kunt schatten uit de schade aan de teruggekeerde.
Het verhaal is sindsdien mooier gemaakt. In de populaire versie legt Wald een zaal vol officieren het zwijgen op door te wijzen naar de plekken zonder gaten. Het wiskundig genootschap dat het uitzocht, borg het verhaal op onder “The Legend of Abraham Wald”, en wat is overgeleverd zijn acht technische memoranda en geen scène van dien aard. De wiskunde is echt genoeg, en het idee ook, dat nu bekendstaat als survivorship bias.
Het is de moeite waard om het te kennen, want elk productteam inspecteert teruggekeerde vliegtuigen. Ze heten klanten.
Wie er terugkomt
Bedenk waar feedback vandaan komt. Een tevredenheidsenquête gaat naar de klantenlijst. Een melding in de app verschijnt bij wie is ingelogd. Featureverzoeken komen van mensen die het product genoeg gebruiken om er meer van te willen. Interviews worden geregeld met accounts die op e-mails reageren, en de klantadviesraad bestaat uit de enthousiastste daarvan.
Elk van deze kanalen bereikt mensen voor wie het product tot nu toe heeft gewerkt. Ze hebben gaten in de vleugels: klachten over de export, wensen voor een integratie, ergernis over de prijs. Die zijn het horen waard. Maar het is per definitie de schade die een klant kan oplopen terwijl hij toch blijft.
De fatale treffers zitten elders. Ze zitten bij de proefgebruiker die op de tweede dag afhaakte, het account dat in het voorjaar opzegde, de prospect die twee demo’s kreeg en bij een ander kocht, en de betalende klant die sinds augustus niet meer heeft ingelogd. Geen van hen zit in de enquête. Meerderen staan niet meer in de database.
Wat de ontbrekenden zouden hebben gezegd
Dit zou minder uitmaken als de afwezigen op de aanwezigen leken. Het bewijs is dat ze dat niet doen.
Neem reputatie. De meeste bedrijven meten die door klanten te vragen of ze het product zouden aanbevelen, en zijn gerustgesteld. Maar toen onderzoekers nagingen waar negatieve mond-tot-mondreclame vandaan komt, bleek het meeste afkomstig van voormalige klanten en van mensen die nooit hebben gekocht, die een klantenquête niet bereikt. De mensen die het ergste over je zeggen, staan bijna per definitie niet op je mailinglijst.
Neem tevredenheid. Ook onder klanten die nog actief zijn, vormen de zwijgers geen aselecte steekproef. In een doorsnee enquête zijn de wekelijkse gebruikers oververtegenwoordigd en komen de slapende accounts nauwelijks voor, en omdat de slapende accounts veel minder tevreden zijn, valt het totaalcijfer te gunstig uit. We werken een voorbeeld uit, waarin een score van 70% naar 62% zakt zodra je de ontbrekenden meerekent, in non-responsbias.
En neem de roadmap, waar de bias zijn stilste schade aanricht. Een featureverzoek is een bericht van iemand die ver genoeg is gekomen om meer te willen. Sorteer de verzoeken, bouw de populairste, en het product wordt gestaag beter voor de mensen die het al goed genoeg vonden om te houden. Het wordt geen spat beter voor de mensen die het kwijtraakte, want hun verzoek ging nooit over een feature. Het ging erom dat de installatie werkte, of dat het eerste rapport te begrijpen was, en ze vertrokken zonder het in te dienen.
Hetzelfde filter werkt op de tests die oprichters zichzelf opleggen. De product-market-fit-enquête vraagt gebruikers hoe ze zich zouden voelen als het product verdween. Ze kan alleen worden voorgelegd aan wie het nog heeft.
De schade lezen
Walds punt was nooit dat de teruggekeerde vliegtuigen niets zeiden. Het was dat je ze moest lezen met de ontbrekende in gedachten. Feedback van huidige klanten kun je op dezelfde manier lezen.
Als trouwe klanten ergens over klagen, is het een echt gebrek, en kennelijk een waarmee mensen kunnen leven. Als niemand ergens over klaagt, zijn er twee verklaringen. Of het is in orde, of het is juist datgene wat de relatie beëindigt voordat er een klacht kan komen. Onboarding is het standaardvoorbeeld. Klanten die er drie jaar zijn, hebben het zelden over de installatie. Ze zijn erdoorheen gekomen. Een enquête onder hen zal melden dat de installatie geen probleem is, en over hen klopt dat.
Een nuttige gewoonte bij elke lading feedback is dus de vraag wat iemand heeft moeten overleven om erin te zitten. Het product een jaar hebben gebruikt. De installatie hebben afgerond. Deze week hebben ingelogd, de e-mail hebben geopend en zin hebben gehad om te antwoorden. Elke voorwaarde haalt een groep mensen weg, en de groepen die ze weghaalt, zijn degenen die op die voorwaarde strandden.
Het wrak gaan zoeken
De betere remedie is er een die Wald niet had. Hij kon de bemanningen die niet terugkeerden niet interviewen. Jij wel.
Het moment van vertrek is de beste kans. Een klant die opzegt, heeft de reden helder voor ogen en geeft die vaak als je er ter plekke naar vraagt, in één zin, voordat het verhaal is gladgestreken. Een week later is hij verdergegaan en is de reden versimpeld, zoals we beschrijven in herinneringsbias. Onze gids over waarom klanten opzeggen behandelt wat je kunt vragen.
Proefgebruikers die nooit klant zijn geworden, zijn de volgende rijke ader, en de minst aangeboorde, omdat niemand het gevoel heeft een relatie te hebben waarop hij zich kan beroepen. Een kort, persoonlijk bericht met de vraag wat hen tegenhield, vindt meestal een paar mensen die het willen zeggen. Dat geldt ook voor een bericht aan kopers die voor een concurrent kozen, verstuurd een gepaste tijd na de beslissing. Deze mensen zijn je niets verschuldigd, en dat maakt hen tot een van de weinige groepen voor wie een kleine beloning duidelijk de moeite waard is, zoals het onderzoek naar incentives bij enquêtes laat zien.
Dan zijn er de stille accounts, die nog betalen en er niet meer zijn. In het product bereik je hen niet, want daar zitten ze niet. Per e-mail bereik je hen wel, op naam, met één vraag. Het loont om dat vóór de verlengingsdatum te doen, niet erna.
Vermeld ten slotte overal de bron. Een bevinding die van actieve klanten komt, moet dat zeggen, op dezelfde regel als het cijfer. “82% vindt de installatie makkelijk” is een andere uitspraak wanneer de woorden “onder klanten die haar hebben afgerond” volgen.
Compleet wordt het beeld daarmee niet. Sommigen die vertrokken, zullen niet antwoorden, en ze zijn geen eerlijke afspiegeling van de rest. Maar een dozijn gesprekken met mensen die het product teleurstelde, vertelt je dingen die duizend enquêtereacties van mensen bij wie het paste nooit kunnen vertellen. Die duizend reacties komen allemaal van de vliegtuigen die terugkeerden.
Hoe Diaform helpt
Diaform is een link, dus het kan komen waar je product niet komt: in een opzegflow, een e-mail aan een afgehaakte proefgebruiker, een bericht aan een stil account. De AI-interviewer stelt je vragen een voor een en vraagt door bij vage antwoorden, wat het meest telt bij mensen die je twee minuten geven en niet meer. Vanaf het Pro-abonnement laten persoonlijke uitnodigingslinks zien wie heeft geantwoord, zodat je ziet welke van de ontbrekenden je hebt bereikt. Het kan oud-klanten niet dwingen te antwoorden. Er is een gratis proefperiode van 14 dagen.
