V roce 1929 uveřejnil sociolog Stuart Rice krátký článek o několika starých spisech. O řadu let dříve vyzpovídalo dvanáct vyšetřovatelů dlouhou řadu nemajetných mužů, kteří žádali o nocleh, a u každého zaznamenalo příčinu jeho neštěstí. Žadatelé byli vyšetřovatelům přidělováni víceméně tak, jak přicházeli, takže každý vyšetřovatel měl potkat stejnou směs mužů se stejnou směsí potíží.
Spisy vyprávěly něco jiného. Příčiny bídy jako by závisely na tom, kdo držel pero. Ve verzi, která se dochovala v učebnicích, byl jeden vyšetřovatel zaníceným zastáncem prohibice a jeho muže zničil převážně alkohol. Jiný byl socialista a jeho muže zničily poměry v průmyslu. Ještě víc znepokojovalo, že stejným směrem se nakláněly i výpovědi samotných mužů o sobě. Rice shrnul, že šetření odhalilo přenos individuální předpojatosti vyšetřovatelů na žadatele a odpovídající zkreslení odpovědí. Nazval to nakažlivou předpojatostí.
Nikdo nic nezfalšoval. Dva poctiví muži kladli poctivé otázky lidem ve stejné nouzi a zapsali, co slyšeli. Každý našel to, co čekal, že najde, a nějak přiměl své dotazované, aby to našli také.
Rozhovory se zákazníky vedou zpravidla lidé, kteří mají na produkt silnější názor, než jaký měli Riceovi vyšetřovatelé na alkohol.
Kolik tazatel přidá
Výzkumníci v oboru dotazníkových šetření strávili století, které od té doby uplynulo, měřením tohoto efektu a mají pro něj číslo. Vezměte veškerou variabilitu odpovědí na nějakou otázku a zeptejte se, jakou její část vysvětluje to, který tazatel se zrovna ptal. V osobních šetřeních se tento podíl pohyboval zhruba od půl procenta do deseti.
Působí to uklidňujícím dojmem, dokud se to nevynásobí. Škoda závisí na tom, kolik rozhovorů každý tazatel vede, protože všichni, koho vyzpovídal tentýž člověk, sdílejí jeho vychýlení. Pokud tazatel vysvětluje 5 % variability a každý vede dvacet rozhovorů, má vzorek hodnotu zhruba poloviny své nominální velikosti. Dvě stě rozhovorů nese informaci přibližně sta. Čím víc práce každý tazatel odvede, tím menší cenu má každý další rozhovor.
Efekt nedopadá rovnoměrně. Syntéza výzkumu ho našla soustředěný tam, kde by ho člověk čekal. Je větší u názorů než u faktů a větší u citlivých věcí než u neutrálních. Největší je tam, kde má tazatel prostor pomáhat: vysvětlovat, přeformulovat, rozhodovat, kdy je odpověď úplná a kdy naléhat, aby dotazovaný řekl víc.
Tato poslední kategorie docela věrně popisuje rozhovor se zákazníkem. Tazatel v šetření přečte pevně danou otázku a zaškrtne políčko. Produktová manažerka, která mluví se zákazníkem, otázku na místě přeformuluje, vybírá, kterou poznámku rozvede a kterou nechá být, a rozhoduje, co půjde do poznámek. Každá z těch voleb jsou otevřená vrátka.
Tři cesty dovnitř
Zkreslení vstupuje na třech místech.
Prvním je pouhá přítomnost tazatele. Lidé přizpůsobují to, co říkají, tomu, kdo poslouchá. Ve studii mezi černými Američany z roku 1968 se odpovědi o protestech a o nepřátelství vůči bělochům lišily podle toho, zda byl tazatel černý, nebo bílý, kdežto výpovědi o životních podmínkách a o zažité diskriminaci se téměř nepohnuly. Fakta držela a názory se posouvaly s posluchačem. Změřena byla i komerční obdoba. Ve studii v Indii lidé, kteří měli vybrat mezi dvěma totožnými verzemi technologie, dávali zhruba dvaapůlkrát častěji přednost té, o níž se domnívali, že ji vytvořil tazatel. Zakladatelka, která se zákazníka ptá na produkt, je ve stejném postavení jako onen tazatel.
Druhým je samotné dotazování. Žádní dva tazatelé nepoloží otázku stejně a rozdíly nejsou náhodné. Ten, kdo věří, že problémem je onboarding, se na onboarding ptá se zájmem a na cenu z povinnosti. Váhavá odpověď, která do teorie zapadá, dostane „řekněte mi o tom víc“. Ta, která nezapadá, dostane „dobře, pojďme dál“. Nic z toho se nepodobá učebnicové sugestivní otázce. Děje se to pozorností a zákazníci jdou za pozorností stejně jako Riceovi žadatelé.
Třetím je naslouchání. Z hodiny rozhovoru se stane půl stránky poznámek a někdo rozhodne, která půlka. Poznámka, která potvrzuje, co tým tušil, se zapíše slovo od slova. Poznámka, která jde proti tomu, se shrne, nebo se přeslechne, nebo nevypadá, že stojí za zápis. Než se z rozhovorů podá zpráva, prošel tazatelův pohled materiálem dvakrát, cestou dovnitř i cestou ven.
Jak ho omezit
Efekt nelze odstranit úplně. Rozhovor je setkání dvou lidí a potřebuje oba. Většinu ho ale lze vytlačit několika zásadami, z nichž žádná není nová.
Na židli tazatele neposazujte toho, kdo produkt vytvořil. Člověk, který funkci navrhl, je ten nejhorší, kdo se na ni může ptát, kvůli zákazníkovi stejně jako kvůli sobě. Kolega z jiného týmu dostane upřímnější odpovědi a slyší je vyrovnaněji.
Pevně stanovte slova, na kterých záleží. Hlavní otázky určete předem a pokládejte je všem tak, jak jsou napsané, ve stejném pořadí. Improvizaci si nechte na doplňující otázky a ty držte prosté: co se stalo potom, můžete uvést příklad, co jste pak udělali. Doplňující otázka by nikdy neměla obsahovat odhad odpovědi. Náš průvodce doplňujícími otázkami má zásobu neutrálních.
Všechno nahrávejte a pracujte s nahrávkou. Poznámky jsou tazatelovo podání rozhovoru. Přepis je podání zákazníka. Když se citují zjištění, citujte zákazníka.
A používejte víc než jednoho tazatele, záměrně. Pokud dva lidé vyzpovídají srovnatelné zákazníky a vrátí se s různými závěry, dozvěděli jste se o tazatelích něco, co by vám jediný nikdy neukázal. Riceův objev byl možný jen proto, že jich bylo dvanáct.
Tazatel, který se nemění
Zbývajícím lékem je mít pořád stejného tazatele a to je odnedávna možné.
Automatizovaný tazatel klade každému zákazníkovi stejné otázky stejným způsobem. Nemá teorii o onboardingu, funkci nevytvořil a nerozzáří se u odpovědi, v kterou doufal. Variabilita mezi tazateli, tedy ta část efektu, kterou číslo výzkumníků měří, mizí, protože tazatel je jen jeden. A lidem se s ním podle všeho mluví snáz. V jedné velké studii rozhovorů vedených umělou inteligencí 43 % účastníků uvedlo, že by si znovu vybralo AI, a 19 % člověka.
Nazvat to koncem celé věci by bylo příliš. Jediný tazatel použitý na všechny je konzistentní, což není totéž co neutrální. Pokud jsou jeho doplňující otázky vychýlené, jsou vychýlené v každém rozhovoru stejně a neexistuje druhý tazatel, který by to odhalil. Záleží i na jeho vystupování: v jednom experimentu chatovací agenti s lepšími konverzačními dovednostmi získávali zdvořilejší odpovědi, které zachovávají tvář, než ti prostší. Zkreslení se přesunulo z člověka do návrhu, kde ho lze aspoň prohlédnout, otestovat a změnit. Doklady vážíme v článku o tom, zda lidé říkají AI tazatelům pravdu.
Čtěte tedy přepisy, ať už se ptal kdokoli. Ověřte, že doplňující otázky byly otázkami, a ne nápovědami. Hledejte zákazníka, který řekl něco, co nikdo nečekal, a podívejte se, jak se s tím naložilo.
Riceovi vyšetřovatelé se nikdy nedozvěděli, co udělali. Každý z nich by mohl odpřisáhnout, že jeho záznamy jsou přesné. Předpojatost byla vidět teprve tehdy, když se všech dvanáct sad spisů položilo vedle sebe. Osamělého tazatele není vedle koho položit a většinu zákaznického výzkumu dělá jeden člověk.
Jak pomáhá Diaform
Diaform dává každému zákazníkovi téhož tazatele. AI klade vaše otázky tak, jak jste je napsali, jednu po druhé, a doptává se na vágní odpovědi do hloubky, kterou nastavíte, takže se znění od jednoho rozhovoru k dalšímu neposouvá. Každý rozhovor si uchovává úplný přepis a doslovné citace, takže si můžete přečíst, na co se ptala, i co zaznělo v odpovědi. Její doplňující otázky jsou generované a stojí za kontrolu jako otázky kohokoli jiného. K dispozici je 14denní zkušební verze zdarma.
