Abraham Wald verbrachte einen Teil des Zweiten Weltkriegs mit der Arbeit an Dokumenten, die er streng genommen gar nicht lesen durfte. Der jüdische Mathematiker aus Ungarn war 1938 aus Österreich geflohen und hatte eine Stelle an der Columbia University gefunden, wo ein Team namens Statistical Research Group Mathematik auf den Krieg anwandte. Die Arbeit war geheim. Wald galt offiziell als feindlicher Ausländer. Sein Kollege Harold Hotelling erinnerte sich an den „scherzhaften Vorschlag, ihm jede Seite, die er schrieb, sofort zu entreißen und nie wieder zu zeigen“.
Ein Gericht bürgerte ihn ein, bevor es so weit kam, und 1943 legte er ein Memorandum mit einem trockenen Titel vor: „A Method of Estimating Plane Vulnerability Based on Damage of Survivors“. Das Problem war, wo man Flugzeuge panzern sollte. Die Datengrundlage war das Schadensmuster an den Maschinen, die nach Hause kamen. Walds Beitrag bestand darin, diese Daten als das zu behandeln, was sie waren. Die zurückgekehrten Flugzeuge zeigten, wo eine Maschine getroffen werden und trotzdem fliegen konnte. Die anderswo getroffenen waren nicht zurückgekehrt, um untersucht zu werden. Er arbeitete aus, wie sich der Schaden an allen gestarteten Flugzeugen aus dem Schaden an den zurückgekehrten schätzen lässt.
Die Geschichte ist seither ausgeschmückt worden. In der populären Fassung bringt Wald einen Raum voller Offiziere zum Schweigen, indem er auf die Stellen ohne Einschusslöcher zeigt. Die Mathematikergesellschaft, die der Sache nachging, legte die Erzählung unter „The Legend of Abraham Wald“ ab, und überliefert sind acht technische Memoranden und keine solche Szene. Die Mathematik ist durchaus echt, und die Idee ebenso. Sie trägt heute den Namen Survivorship Bias.
Es lohnt sich, sie zu kennen, denn jedes Produktteam inspiziert zurückgekehrte Flugzeuge. Sie heißen Kunden.
Wer zurückkommt
Überleg, woher Feedback kommt. Eine Zufriedenheitsumfrage geht an die Kundenliste. Ein In-App-Hinweis erscheint bei allen, die eingeloggt sind. Feature-Wünsche kommen von Leuten, die das Produkt genug nutzen, um mehr davon zu wollen. Interviews werden mit Accounts vereinbart, die auf E-Mails antworten, und der Kundenbeirat besteht aus den Eifrigsten davon.
Jeder dieser Kanäle erreicht Menschen, bei denen das Produkt bisher funktioniert hat. Sie haben Löcher in den Flügeln: Beschwerden über den Export, Wünsche nach einer Integration, Ärger über den Preis. Die sind es wert, gehört zu werden. Aber sie sind ihrer Natur nach der Schaden, den ein Kunde einstecken kann, ohne zu gehen.
Die tödlichen Treffer sind woanders. Sie sitzen bei der Testnutzerin, die am zweiten Tag aufgab, beim Account, der im Frühjahr gekündigt hat, beim Interessenten, der sich zwei Demos zeigen ließ und woanders kaufte, und beim zahlenden Kunden, der sich seit August nicht eingeloggt hat. Keiner von ihnen steckt in der Umfrage. Mehrere stehen nicht mehr in der Datenbank.
Was die Fehlenden gesagt hätten
Das wäre weniger wichtig, wenn die Abwesenden den Anwesenden glichen. Die Belege sprechen dagegen.
Nimm den Ruf. Die meisten Unternehmen messen ihn, indem sie Kunden fragen, ob sie das Produkt empfehlen würden, und sind beruhigt. Als Forscher aber nachverfolgten, woher negative Mundpropaganda kommt, stellten sie fest, dass der größte Teil von ehemaligen Kunden und von Leuten stammt, die nie gekauft haben, die eine Kundenumfrage nicht erreicht. Die Leute, die das Schlimmste über dich sagen, stehen fast per Definition nicht auf deinem Verteiler.
Nimm die Zufriedenheit. Auch unter den noch aktiven Kunden sind die Schweigenden keine Zufallsstichprobe. In einer typischen Umfrage sind die wöchentlichen Nutzer überrepräsentiert und die inaktiven Accounts tauchen kaum auf, und weil die Inaktiven deutlich unzufriedener sind, schmeichelt das Gesamtergebnis. Ein Beispiel, in dem ein Wert von 70 % auf 62 % fällt, sobald man die Fehlenden berücksichtigt, rechnen wir in Nonresponse-Bias durch.
Und nimm die Roadmap, wo die Verzerrung ihren leisesten Schaden anrichtet. Ein Feature-Wunsch ist eine Nachricht von jemandem, der weit genug gekommen ist, um mehr zu wollen. Sortier die Wünsche, bau die beliebtesten, und das Produkt wird stetig besser für die Leute, die es schon gut genug fanden, um zu bleiben. Für die, die es verloren hat, wird es kein bisschen besser, denn ihr Wunsch galt nie einem Feature. Er galt einer Einrichtung, die funktioniert, oder einem ersten Bericht, der sich erschließt, und sie gingen, ohne ihn einzureichen.
Derselbe Filter wirkt bei den Tests, die Gründer sich selbst auferlegen. Die Product-Market-Fit-Umfrage fragt Nutzer, wie sie sich fühlen würden, wenn das Produkt verschwände. Sie lässt sich nur denen stellen, für die es das nicht getan hat.
Den Schaden lesen
Wald ging es nie darum, dass die zurückgekehrten Flugzeuge nichts verraten. Es ging ihm darum, dass man sie mit den fehlenden im Hinterkopf lesen muss. Feedback von Bestandskunden lässt sich genauso lesen.
Wenn treue Kunden sich über etwas beschweren, ist es ein echter Mangel, und offenbar einer, mit dem man leben kann. Wenn sich über etwas niemand beschwert, gibt es zwei Erklärungen. Entweder ist es in Ordnung, oder es ist genau das, was die Beziehung beendet, bevor eine Beschwerde möglich wird. Das Onboarding ist der Standardfall. Kunden, die seit drei Jahren dabei sind, erwähnen die Einrichtung selten. Sie sind durchgekommen. Eine Umfrage unter ihnen wird berichten, dass die Einrichtung kein Problem ist, und für sie wird das stimmen.
Eine nützliche Gewohnheit bei jedem Schwung Feedback ist deshalb die Frage, was ein Mensch überstanden haben muss, um darin vorzukommen. Das Produkt ein Jahr lang genutzt zu haben. Die Einrichtung abgeschlossen zu haben. Sich diese Woche eingeloggt, die E-Mail geöffnet und Lust zum Antworten gehabt zu haben. Jede Bedingung nimmt eine Gruppe von Leuten heraus, und zwar diejenigen, die an der Bedingung gescheitert sind.
Nach dem Wrack suchen
Das bessere Mittel ist eines, das Wald nicht hatte. Er konnte die Besatzungen, die nicht zurückkamen, nicht befragen. Du kannst es.
Der Moment des Gehens ist die beste Gelegenheit. Ein Kunde, der kündigt, hat den Grund klar vor Augen und nennt ihn oft, wenn man ihn gleich an Ort und Stelle fragt, in einem Satz, bevor die Geschichte geglättet ist. Eine Woche später ist er weitergezogen und der Grund ist vereinfacht, wie wir in Recall-Bias beschreiben. Was du fragen solltest, steht in unserem Ratgeber Warum Kunden kündigen.
Testphasen, aus denen nie zahlende Kunden wurden, sind die zweitergiebigste Ader und die am wenigsten erschlossene, weil niemand das Gefühl hat, eine Beziehung zu haben, auf die er sich berufen könnte. Eine kurze, persönliche Nachricht mit der Frage, was sie aufgehalten hat, findet meist ein paar, die es sagen. Dasselbe gilt für eine Nachricht an Käufer, die sich für einen Wettbewerber entschieden haben, mit etwas Abstand zur Entscheidung verschickt. Diese Leute schulden dir nichts. Das macht sie zu einer der wenigen Gruppen, bei denen sich eine kleine Belohnung eindeutig lohnt, wie die Forschung zu Incentives in Umfragen nahelegt.
Dann sind da die stillen Accounts, die noch zahlen und nicht mehr da sind. Im Produkt erreichst du sie nicht, weil sie nicht darin sind. Per E-Mail erreichst du sie, mit Namen, mit einer einzigen Frage. Es lohnt sich, das vor dem Verlängerungstermin zu tun, nicht danach.
Und schließlich: Vermerke überall die Quelle. Ein Ergebnis, das von aktiven Kunden stammt, sollte das in derselben Zeile sagen wie die Zahl. „82 % finden die Einrichtung einfach“ ist eine andere Aussage, wenn die Worte „unter Kunden, die sie abgeschlossen haben“ folgen.
Vollständig wird das Bild dadurch nicht. Manche, die gegangen sind, werden nicht antworten, und sie sind kein faires Abbild der übrigen. Aber ein Dutzend Gespräche mit Leuten, bei denen das Produkt versagt hat, sagt dir Dinge, die tausend Umfrageantworten von Leuten, zu denen es passte, nie sagen können. Diese tausend Antworten stammen alle von den Flugzeugen, die zurückgekommen sind.
So hilft dir Diaform
Diaform ist ein Link und kommt deshalb dorthin, wo dein Produkt nicht hinkommt: in einen Kündigungsablauf, in eine E-Mail nach einer abgelaufenen Testphase, in eine Nachricht an einen stillen Account. Der KI-Interviewer stellt deine Fragen eine nach der anderen und hakt bei vagen Antworten nach, was am meisten bei Leuten zählt, die dir zwei Minuten geben und nicht mehr. In den Tarifen ab Pro zeigen persönliche Einladungslinks, wer geantwortet hat, sodass du siehst, welche der Fehlenden du erreicht hast. Ehemalige Kunden zum Antworten bringen kann es nicht. Es gibt einen 14-tägigen kostenlosen Test.
