V roku 1929 uverejnil sociológ Stuart Rice krátky článok o niekoľkých starých spisoch. O mnoho rokov skôr vyspovedalo dvanásť vyšetrovateľov dlhý rad nemajetných mužov, ktorí žiadali o nocľah, a pri každom zaznamenali príčinu jeho nešťastia. Žiadatelia boli vyšetrovateľom prideľovaní viac-menej tak, ako prichádzali, takže každý vyšetrovateľ mal stretnúť rovnakú zmes mužov s rovnakou zmesou ťažkostí.
Spisy rozprávali niečo iné. Príčiny biedy akoby záviseli od toho, kto držal pero. Vo verzii, ktorá sa zachovala v učebniciach, bol jeden vyšetrovateľ zanieteným zástancom prohibície a jeho mužov zničil prevažne alkohol. Iný bol socialista a jeho mužov zničili pomery v priemysle. Ešte viac znepokojovalo, že rovnakým smerom sa nakláňali aj výpovede samotných mužov o sebe. Rice zhrnul, že zisťovanie odhalilo prenos individuálnej predpojatosti vyšetrovateľov na žiadateľov a zodpovedajúce skreslenie odpovedí. Nazval to nákazlivou predpojatosťou.
Nikto nič nesfalšoval. Dvaja poctiví muži kládli poctivé otázky ľuďom v rovnakej núdzi a zapísali, čo počuli. Každý našiel to, čo čakal, že nájde, a nejako priviedol svojich opýtaných k tomu, aby to našli tiež.
Rozhovory so zákazníkmi vedú spravidla ľudia, ktorí majú na produkt silnejší názor, než aký mali Riceovi vyšetrovatelia na alkohol.
Koľko anketár pridá
Výskumníci v oblasti dotazníkových zisťovaní strávili storočie, ktoré odvtedy uplynulo, meraním tohto efektu a majú preň číslo. Vezmite všetku variabilitu odpovedí na nejakú otázku a opýtajte sa, akú jej časť vysvetľuje to, ktorý anketár sa práve pýtal. Pri osobných prieskumoch sa tento podiel pohyboval približne od pol percenta do desiatich.
Vyzerá to upokojujúco, kým sa to nevynásobí. Škoda závisí od toho, koľko rozhovorov každý anketár vedie, pretože všetci, ktorých vyspovedal ten istý človek, majú spoločné jeho vychýlenie. Ak anketár vysvetľuje 5 % variability a každý vedie dvadsať rozhovorov, má vzorka hodnotu približne polovice svojej nominálnej veľkosti. Dvesto rozhovorov nesie informáciu zhruba sto. Čím viac práce každý anketár odvedie, tým menšiu cenu má každý ďalší rozhovor.
Efekt nedopadá rovnomerne. Syntéza výskumu ho našla sústredený tam, kde by ho človek čakal. Je väčší pri názoroch než pri faktoch a väčší pri citlivých veciach než pri neutrálnych. Najväčší je tam, kde má anketár priestor pomáhať: vysvetľovať, preformulovať, rozhodovať, kedy je odpoveď úplná a kedy sa dopytovať ďalej.
Táto posledná kategória celkom verne opisuje rozhovor so zákazníkom. Anketár v prieskume prečíta pevne danú otázku a zaškrtne políčko. Produktová manažérka, ktorá hovorí so zákazníkom, otázku na mieste preformuluje, vyberá, ktorú poznámku rozvinie a ktorú nechá tak, a rozhoduje, čo pôjde do poznámok. Každá z tých volieb je otvorená bránka.
Tri cesty dnu
Skreslenie vstupuje na troch miestach.
Prvým je číra prítomnosť anketára. Ľudia prispôsobujú to, čo hovoria, tomu, kto počúva. V štúdii medzi čiernymi Američanmi z roku 1968 sa odpovede o protestoch a o nepriateľstve voči belochom líšili podľa toho, či bol anketár čierny, alebo biely, kým výpovede o životných podmienkach a o zažitej diskriminácii sa takmer nepohli. Fakty sa nemenili a názory sa posúvali s poslucháčom. Zmeraná bola aj komerčná obdoba. V štúdii v Indii ľudia, ktorí si mali vybrať medzi dvoma totožnými verziami technológie, s približne dvaapolkrát vyššou pravdepodobnosťou uprednostnili tú, o ktorej si mysleli, že ju postavil anketár. Zakladateľka, ktorá sa zákazníka pýta na produkt, je v rovnakom postavení ako ten anketár.
Druhým je pýtanie sa. Žiadni dvaja anketári nepoložia otázku rovnako a rozdiely nie sú náhodné. Ten, kto verí, že problémom je onboarding, sa na onboarding pýta so záujmom a na cenu z povinnosti. Váhavá odpoveď, ktorá do teórie zapadá, dostane „povedzte mi o tom viac“. Tá, ktorá nezapadá, dostane „dobre, poďme ďalej“. Nič z toho sa nepodobá učebnicovej sugestívnej otázke. Deje sa to pozornosťou a zákazníci idú za pozornosťou rovnako ako Riceovi žiadatelia.
Tretím je počúvanie. Z hodiny rozhovoru sa stane pol strany poznámok a niekto rozhodne, ktorá polovica. Poznámka, ktorá potvrdzuje, čo tím tušil, sa zapíše slovo za slovom. Poznámka, ktorá ide proti tomu, sa zhrnie, alebo sa prepočuje, alebo nevyzerá, že stojí za zápis. Kým dôjde na referovanie o rozhovoroch, prešiel anketárov pohľad materiálom dvakrát, cestou dnu aj cestou von.
Ako ho obmedziť
Efekt nemožno odstrániť úplne. Rozhovor je stretnutie dvoch ľudí a potrebuje oboch. Väčšinu z neho však možno vytlačiť niekoľkými zásadami, z ktorých žiadna nie je nová.
Nepúšťajte autora produktu na stoličku anketára. Človek, ktorý funkciu navrhol, je ten najhorší, kto sa na ňu môže pýtať, kvôli zákazníkovi rovnako ako kvôli sebe. Kolega z iného tímu dostane úprimnejšie odpovede a počuje ich nestrannejšie.
Zafixujte slová, na ktorých záleží. Hlavné otázky určte vopred a klaďte ich všetkým tak, ako sú napísané, v rovnakom poradí. Improvizáciu si nechajte na doplňujúce otázky a tie držte jednoduché: čo sa stalo potom, môžete uviesť príklad, čo ste potom urobili. Doplňujúca otázka by nikdy nemala obsahovať odhad odpovede. Náš sprievodca doplňujúcimi otázkami má zásobu neutrálnych.
Všetko nahrávajte a pracujte z nahrávky. Poznámky sú anketárovo podanie rozhovoru. Prepis je podanie zákazníka. Keď sa citujú zistenia, citujte zákazníka.
A používajte viac než jedného anketára, zámerne. Ak dvaja ľudia vyspovedajú porovnateľných zákazníkov a vrátia sa s rôznymi závermi, dozvedeli ste sa o anketároch niečo, čo by vám jediný nikdy neukázal. Riceov objav bol možný len preto, že ich bolo dvanásť.
Anketár, ktorý sa nemení
Zostávajúcim liekom je udržať anketára konštantného a to je odnedávna možné.
Automatizovaný anketár kladie každému zákazníkovi rovnaké otázky rovnakým spôsobom. Nemá teóriu o onboardingu, funkciu nepostavil a nerozžiari sa pri odpovedi, v ktorú dúfal. Variabilita medzi anketármi, teda tá časť efektu, ktorú číslo výskumníkov meria, mizne, pretože anketár je len jeden. A ľuďom sa s ním podľa všetkého hovorí ľahšie. V jednej veľkej štúdii rozhovorov vedených AI 43 % účastníkov uviedlo, že by si znova vybralo AI, a 19 % človeka.
Nazvať to koncom celej veci by bolo priveľa. Jediný anketár použitý na všetkých je konzistentný, čo nie je to isté ako neutrálny. Ak sa jeho doplňujúce otázky nakláňajú, nakláňajú sa v každom rozhovore rovnako a neexistuje druhý anketár, ktorý by to odhalil. Záleží aj na jeho vystupovaní: v jednom experimente chatovací agenti s lepšími konverzačnými zručnosťami získavali zdvorilejšie odpovede, ktoré zachovávajú tvár, než tí jednoduchší. Skreslenie sa presunulo z človeka do návrhu, kde ho možno aspoň prezrieť, otestovať a zmeniť. Dôkazy zvažujeme v článku o tom, či ľudia hovoria AI anketárom pravdu.
Čítajte teda prepisy, nech sa pýtal ktokoľvek. Overte, že doplňujúce otázky boli otázkami, a nie nápovedami. Hľadajte zákazníka, ktorý povedal niečo, čo nikto nečakal, a pozrite sa, ako sa s tým naložilo.
Riceovi vyšetrovatelia sa nikdy nedozvedeli, čo urobili. Každý z nich by mohol odprisahať, že jeho záznamy sú presné. Predpojatosť bolo vidieť až vtedy, keď sa všetkých dvanásť súborov spisov položilo vedľa seba. Osamelého anketára niet s kým porovnať a väčšinu zákazníckeho výskumu robí jeden človek.
Ako pomáha Diaform
Diaform dáva každému zákazníkovi toho istého anketára. AI kladie vaše otázky tak, ako ste ich napísali, jednu po druhej, a dopytuje sa na vágne odpovede do hĺbky, ktorú nastavíte, takže sa znenie od jedného rozhovoru k ďalšiemu neposúva. Každý rozhovor si uchováva úplný prepis a doslovné citácie, takže si môžete prečítať, aké otázky zazneli aj aké odpovede. Jej doplňujúce otázky sú generované a stoja za kontrolu ako otázky kohokoľvek iného. K dispozícii je 14-dňová skúšobná verzia zadarmo.
