Abraham Wald spędził część drugiej wojny światowej, pracując nad dokumentami, których, ściśle biorąc, nie wolno mu było czytać. Żydowski matematyk rodem z Węgier uciekł z Austrii w 1938 roku i dostał posadę na Uniwersytecie Columbia, gdzie zespół o nazwie Statistical Research Group stosował matematykę do spraw wojny. Praca była tajna. Wald był oficjalnie cudzoziemcem z kraju wroga. Jego kolega Harold Hotelling wspominał „żartobliwą propozycję, by każdą napisaną przez niego stronę natychmiast mu wyrywać i nigdy więcej nie pokazywać”.
Sąd nadał mu obywatelstwo, zanim do tego doszło, i w 1943 roku Wald przedstawił memorandum o suchym tytule: „A Method of Estimating Plane Vulnerability Based on Damage of Survivors”. Problem brzmiał: gdzie opancerzyć samoloty. Dowodem był rozkład uszkodzeń na maszynach, które wracały do bazy. Wkład Walda polegał na tym, że potraktował ten dowód jako to, czym naprawdę był. Samoloty, które wróciły, pokazywały, gdzie maszyna może zostać trafiona i dalej lecieć. Te trafione gdzie indziej nie wróciły, by można je było obejrzeć. Opracował sposób szacowania uszkodzeń wszystkich samolotów, które wystartowały, na podstawie uszkodzeń tych, które wróciły.
Od tamtej pory historię podkoloryzowano. W popularnej wersji Wald ucisza salę pełną oficerów, wskazując miejsca bez dziur. Towarzystwo matematyczne, które zbadało sprawę, opisało tę opowieść pod tytułem „The Legend of Abraham Wald”, a zachowało się osiem technicznych memorandów i żadna taka scena. Matematyka jest jak najbardziej prawdziwa, podobnie jak sama idea, znana dziś jako błąd przeżywalności.
Warto ją znać, bo każdy zespół produktowy ogląda samoloty, które wróciły. Nazywa się je klientami.
Kto wraca
Zastanów się, skąd biorą się opinie. Ankieta satysfakcji trafia do klientów z listy. Komunikat w aplikacji widzi ten, kto jest zalogowany. Prośby o funkcje przychodzą od ludzi, którzy korzystają z produktu na tyle, by chcieć więcej. Wywiady umawia się z klientami, którzy odpisują na e-maile, a rada doradcza klientów składa się z najbardziej zaangażowanych spośród nich.
Każdy z tych kanałów dociera do ludzi, u których produkt jak dotąd się sprawdził. Mają dziury w skrzydłach: skargi na eksport, życzenia co do integracji, irytację ceną. Warto ich słuchać. Ale z samej natury są to uszkodzenia, które klient może znieść i zostać.
Śmiertelne trafienia są gdzie indziej. Są u użytkownika wersji próbnej, który poddał się drugiego dnia, u firmy, która zrezygnowała wiosną, u potencjalnego klienta, który obejrzał dwa dema i kupił u kogoś innego, i u płacącego klienta, który nie logował się od sierpnia. Nikogo z nich nie ma w ankiecie. Kilku nie ma już w bazie danych.
Co powiedzieliby nieobecni
Miałoby to mniejsze znaczenie, gdyby nieobecni przypominali obecnych. Dowody mówią, że nie przypominają.
Weź reputację. Większość firm mierzy ją, pytając klientów, czy poleciliby produkt, i czuje się uspokojona. Tymczasem kiedy badacze prześledzili, skąd bierze się negatywna poczta pantoflowa, okazało się, że w większości pochodzi od byłych klientów i od ludzi, którzy nigdy nie kupili, do których ankieta wśród klientów nie dociera. Osób, które mówią o Tobie najgorzej, niemal z definicji nie ma na Twojej liście mailingowej.
Weź zadowolenie. Wśród wciąż aktywnych klientów milczący też nie są losową próbą. W typowej ankiecie cotygodniowi użytkownicy są nadreprezentowani, a uśpione konta prawie się nie pojawiają, a ponieważ uśpieni są znacznie mniej zadowoleni, wynik ogólny wypada zbyt dobrze. Przykład, w którym wynik 70% spada do 62% po uwzględnieniu brakujących, rozpisujemy w tekście o błędzie braku odpowiedzi.
I weź roadmapę, gdzie ten błąd wyrządza najcichszą szkodę. Prośba o funkcję to wiadomość od kogoś, kto zaszedł na tyle daleko, by chcieć więcej. Posortuj prośby, zbuduj najpopularniejsze, a produkt będzie stale lepszy dla tych, którzy już uznali go za wystarczająco dobry, by zostać. Nie poprawi się ani trochę dla tych, których stracił, bo ich prośba nigdy nie dotyczyła funkcji. Chodziło o to, żeby konfiguracja działała albo żeby pierwszy raport był zrozumiały, i odeszli, nie zgłaszając tego.
Ten sam filtr działa w testach, które stawiają sobie założyciele. Ankieta product-market fit pyta użytkowników, jak by się czuli, gdyby produkt zniknął. Można o to zapytać tylko tych, dla których nie zniknął.
Jak czytać uszkodzenia
Wald nigdy nie twierdził, że samoloty, które wróciły, nic nie mówią. Twierdził, że trzeba je czytać z myślą o tych, których brakuje. Opinie obecnych klientów można czytać tak samo.
Kiedy lojalni klienci na coś narzekają, jest to prawdziwa wada, i to najwyraźniej taka, z którą da się żyć. Kiedy nikt na coś nie narzeka, są dwa wyjaśnienia. Albo jest w porządku, albo to właśnie ta rzecz kończy relację, zanim ktokolwiek zdąży złożyć skargę. Onboarding to przypadek wzorcowy. Klienci z trzyletnim stażem rzadko wspominają o konfiguracji. Przeszli przez nią. Ankieta wśród nich wykaże, że konfiguracja nie jest problemem, i w ich przypadku będzie to prawda.
Przydatny nawyk przy każdej partii opinii to więc pytanie, co człowiek musiał przetrwać, żeby się w niej znaleźć. Korzystać z produktu przez rok. Ukończyć konfigurację. Zalogować się w tym tygodniu, otworzyć e-mail i mieć ochotę odpowiedzieć. Każdy warunek usuwa pewną grupę ludzi, a usuwa tych, których ten warunek pokonał.
Pójść poszukać wraku
Lepsze lekarstwo to takie, którego Wald nie miał. Nie mógł przepytać załóg, które nie wróciły. Ty możesz.
Najlepszą okazją jest chwila odejścia. Klient, który rezygnuje, ma powód jasno w głowie i często go poda, jeśli zapytać od razu, w jednym zdaniu, zanim historia zostanie uporządkowana. Tydzień później jest już gdzie indziej, a powód się uprościł, co opisujemy w tekście o błędzie pamięci. O co pytać, wyjaśnia nasz poradnik dlaczego klienci rezygnują.
Wersje próbne, które nigdy nie zamieniły się w zakup, to kolejna bogata żyła, i to najmniej eksploatowana, bo nikt nie czuje, że ma relację, na którą mógłby się powołać. Krótka, osobista wiadomość z pytaniem, co ich powstrzymało, zwykle znajduje kilka osób gotowych to powiedzieć. Podobnie wiadomość do kupujących, którzy wybrali konkurenta, wysłana w przyzwoitym odstępie po decyzji. Ci ludzie nic Ci nie są winni, co czyni ich jedną z nielicznych grup, dla których niewielka nagroda wyraźnie się opłaca, jak sugerują badania nad zachętami w ankietach.
Są też ciche konta, które nadal płacą, a których już nie widać. Nie dotrzesz do nich w produkcie, bo ich w nim nie ma. Dotrzesz do nich e-mailem, po imieniu, z jednym pytaniem. Warto to zrobić przed datą odnowienia, nie po niej.
Na koniec: wszędzie zaznaczaj źródło. Wniosek pochodzący od aktywnych klientów powinien o tym informować, w tej samej linijce co liczba. „82% uważa konfigurację za łatwą” to inne stwierdzenie, gdy następują po nim słowa „wśród klientów, którzy ją ukończyli”.
Obraz nie stanie się przez to pełny. Część tych, którzy odeszli, nie odpowie, i nie będą oni wiernym odbiciem pozostałych. Ale kilkanaście rozmów z ludźmi, których produkt zawiódł, powie Ci rzeczy, których tysiąc odpowiedzi od ludzi, którym pasował, nie powie nigdy. Ten tysiąc odpowiedzi pochodzi w całości z samolotów, które wróciły.
Jak pomaga Diaform
Diaform to link, więc może trafić tam, dokąd Twój produkt nie sięga: do ścieżki rezygnacji, do e-maila po wygasłym okresie próbnym, do wiadomości do cichego konta. Ankieter AI zadaje Twoje pytania jedno po drugim i dopytuje o niejasne odpowiedzi, co liczy się najbardziej przy ludziach, którzy dadzą Ci dwie minuty i ani chwili więcej. W planach Pro i wyższych osobiste linki z zaproszeniem pokazują, kto odpowiedział, więc widzisz, do których z brakujących udało się dotrzeć. Nie sprawi, że byli klienci odpowiedzą. Dostępny jest 14-dniowy darmowy okres próbny.
