Abraham Wald strávil část druhé světové války prací na dokumentech, které přísně vzato nesměl číst. Židovský matematik původem z Uher uprchl v roce 1938 z Rakouska a získal místo na Kolumbijské univerzitě, kde tým zvaný Statistical Research Group aplikoval matematiku na válku. Práce byla tajná. Wald byl oficiálně nepřátelský cizinec. Jeho kolega Harold Hotelling vzpomínal na „žertovný návrh, aby mu každou stránku, kterou napíše, okamžitě vytrhli z ruky a už nikdy neukázali“.
Soud mu udělil občanství dřív, než k tomu došlo, a Wald v roce 1943 předložil memorandum se suchým názvem: „A Method of Estimating Plane Vulnerability Based on Damage of Survivors“. Problém zněl, kam na letadla umístit pancéřování. Důkazem bylo rozložení škod na strojích, které se vrátily domů. Waldův přínos spočíval v tom, že s tím důkazem zacházel jako s tím, čím byl. Letadla, která se vrátila, ukazovala, kde může být stroj zasažen a přesto letět. Ta zasažená jinde se nevrátila, aby je někdo prohlédl. Vypracoval způsob, jak odhadnout škody na všech letadlech, která vzlétla, ze škod na těch, která se vrátila.
Příběh byl od té doby vylepšen. V populární verzi Wald umlčí místnost plnou důstojníků tím, že ukáže na místa bez děr. Matematická společnost, která věc prověřila, zařadila vyprávění pod název „The Legend of Abraham Wald“ a dochovalo se osm technických memorand a žádná taková scéna. Matematika je skutečná a myšlenka také. Dnes se jí říká klam přeživších.
Stojí za to ji znát, protože každý produktový tým prohlíží letadla, která se vrátila. Říká se jim zákazníci.
Kdo se vrací
Zamyslete se, odkud zpětná vazba přichází. Průzkum spokojenosti jde na seznam zákazníků. Výzva v aplikaci se zobrazí tomu, kdo je přihlášený. Požadavky na funkce přicházejí od lidí, kteří produkt používají natolik, že chtějí víc. Rozhovory se domlouvají s účty, které odpovídají na e-maily, a zákaznická rada se skládá z těch nejhorlivějších z nich.
Každý z těchto kanálů zasáhne lidi, kterým produkt zatím fungoval. Mají díry v křídlech: stížnosti na export, přání ohledně integrace, podráždění z ceny. Stojí za to je slyšet. Ale už z principu jde o škody, které zákazník unese a zůstane.
Smrtelné zásahy jsou jinde. Jsou u uživatele zkušební verze, který to druhý den vzdal, u účtu, který na jaře zrušil předplatné, u zájemce, který viděl dvě dema a koupil jinde, a u platícího zákazníka, který se od srpna nepřihlásil. Nikdo z nich v průzkumu není. Několik jich už není ani v databázi.
Co by řekli ti, kdo chybějí
Záleželo by na tom méně, kdyby se nepřítomní podobali přítomným. Důkazy říkají, že nepodobají.
Vezměte pověst. Většina firem ji měří tak, že se zákazníků ptá, zda by produkt doporučili, a uklidní se. Když ale výzkumníci dohledávali, odkud pocházejí negativní reference šířené ústně, zjistili, že většinu vytvářejí bývalí zákazníci a lidé, kteří nikdy nekoupili, k nimž se zákaznický průzkum nedostane. Lidé, kteří o vás říkají to nejhorší, téměř z definice nejsou ve vašem adresáři.
Vezměte spokojenost. Ani mezi zákazníky, kteří jsou stále aktivní, nejsou ti mlčící náhodným vzorkem. V typickém průzkumu jsou lidé, kteří produkt používají každý týden, zastoupeni nadměrně a spící účty se skoro neobjeví, a protože spící jsou mnohem méně spokojení, celkové číslo lichotí. Příklad, v němž skóre 70 % klesne na 62 %, jakmile se započítají chybějící, rozebíráme v článku o zkreslení způsobeném neodpovídáním.
A vezměte roadmapu, kde zkreslení páchá svou nejtišší škodu. Požadavek na funkci je zpráva od někoho, kdo se dostal dost daleko, aby chtěl víc. Seřaďte požadavky, vyviňte ty nejžádanější a produkt se bude vytrvale zlepšovat pro ty, kdo ho už shledali dost dobrým, aby zůstali. Nezlepší se ani trochu pro ty, které ztratil, protože jejich požadavek se nikdy netýkal funkce. Šlo o to, aby fungovalo nastavení nebo aby dával smysl první report, a odešli, aniž ho podali.
Stejný filtr působí na testy, které si zakladatelé sami ukládají. Průzkum product-market fit se uživatelů ptá, jak by se cítili, kdyby produkt zmizel. Zeptat se lze jen těch, kterým nezmizel.
Jak číst škody
Wald nikdy netvrdil, že letadla, která se vrátila, nic neříkají. Tvrdil, že je třeba je číst s ohledem na ta chybějící. Zpětnou vazbu stávajících zákazníků lze číst stejně.
Když si věrní zákazníci na něco stěžují, je to skutečná vada, a zjevně taková, se kterou se dá žít. Když si na něco nestěžuje nikdo, jsou dvě vysvětlení. Buď je to v pořádku, nebo je to právě ta věc, která vztah ukončí dřív, než může zaznít stížnost. Onboarding je typický případ. Zákazníci, kteří jsou s vámi tři roky, nastavení zmiňují zřídka. Prošli jím. Průzkum mezi nimi oznámí, že nastavení není problém, a o nich to bude pravda.
Užitečným návykem u každé dávky zpětné vazby je proto zeptat se, co musel člověk přežít, aby v ní byl. Používat produkt rok. Dokončit nastavení. Přihlásit se tento týden, otevřít e-mail a mít chuť odpovědět. Každá podmínka odebere skupinu lidí, a to právě ty, které ta podmínka porazila.
Jít hledat trosky
Lepší lék je ten, který Wald neměl. Nemohl vyzpovídat posádky, které se nevrátily. Vy můžete.
Nejlepší příležitostí je okamžik odchodu. Zákazník, který ruší předplatné, má důvod jasně v hlavě a často ho řekne, když se zeptáte hned na místě, jednou větou, než se příběh uhladí. O týden později už je jinde a důvod se zjednodušil, jak popisujeme v článku o zkreslení vzpomínek. Na co se ptát, probírá náš průvodce proč zákazníci odcházejí.
Zkušební verze, které se nikdy nepřeměnily v nákup, jsou další bohatá žíla, a ta nejméně těžená, protože nikdo nemá pocit, že má vztah, o který by se mohl opřít. Krátká osobní zpráva s dotazem, co je zastavilo, obvykle najde pár lidí ochotných to říct. Totéž platí pro zprávu kupujícím, kteří zvolili konkurenta, odeslanou se slušným odstupem od rozhodnutí. Tito lidé vám nic nedluží, což z nich dělá jednu z mála skupin, u nichž se malá odměna jasně vyplatí, jak naznačuje výzkum pobídek v průzkumech.
Pak jsou tu tiché účty, které stále platí a už tu nejsou. V produktu je nezastihnete, protože v něm nejsou. Zastihnete je e-mailem, s oslovením jménem a s jedinou otázkou. Vyplatí se to udělat před datem obnovení předplatného, ne po něm.
A nakonec u všeho uvádějte zdroj. Zjištění, které pochází od aktivních zákazníků, by to mělo říkat na stejném řádku jako číslo. „82 % považuje nastavení za snadné“ je jiné tvrzení, když za ním následují slova „mezi zákazníky, kteří ho dokončili“.
Obraz se tím nestane úplným. Někteří z těch, kdo odešli, neodpoví a nebudou věrným odrazem ostatních. Ale tucet rozhovorů s lidmi, které produkt zklamal, vám řekne věci, které tisíc odpovědí od lidí, jimž vyhovoval, neřekne nikdy. Těch tisíc odpovědí pochází vesměs z letadel, která se vrátila.
Jak pomáhá Diaform
Diaform je odkaz, takže se dostane tam, kam váš produkt ne: do procesu zrušení, do e-mailu po vypršení zkušební verze, do zprávy tichému účtu. AI tazatel klade vaše otázky jednu po druhé a u vágních odpovědí se doptává, což je nejdůležitější u lidí, kteří vám dají dvě minuty a víc ne. V tarifech Pro a vyšších ukazují osobní zvací odkazy, kdo odpověděl, takže vidíte, ke kterým z chybějících jste se dostali. Bývalé zákazníky k odpovědi nepřiměje. K dispozici je 14denní zkušební verze zdarma.
