Godine 1929. sociolog Stuart Rice objavio je kratak rad o nekim starim spisima. Godinama prije toga dvanaest je ispitivača intervjuiralo dug niz siromašnih muškaraca koji su tražili prenoćište i za svakoga zabilježilo uzrok njegove nesreće. Tražitelji prenoćišta ispitivačima su dodjeljivani manje-više redom kojim su stizali, pa je svaki ispitivač trebao sresti istu mješavinu ljudi s istom mješavinom nevolja.
Spisi su govorili drugo. Uzroci neimaštine kao da su ovisili o tome tko je držao pero. U inačici koja se prenosi udžbenicima jedan je ispitivač bio gorljiv pobornik prohibicije i njegove je ljude uglavnom uništilo piće. Drugi je bio socijalist i njegove su uništili uvjeti u industriji. Još je više uznemirivalo to što su i vlastiti iskazi tih muškaraca o sebi naginjali na istu stranu. Rice je sažeo da je ispitivanje otkrilo prijenos osobne pristranosti ispitivača na tražitelje i odgovarajuće iskrivljenje u odgovorima. Nazvao je to zaraznom pristranošću.
Nitko nije ništa krivotvorio. Dva poštena čovjeka postavljala su poštena pitanja ljudima u istoj nevolji i zapisala što su čula. Svaki je našao ono što je očekivao naći i nekako je naveo svoje ispitanike da to nađu i oni.
Intervjue s kupcima u pravilu vode ljudi koji o proizvodu imaju čvršća stajališta nego što su ih Riceovi ispitivači imali o piću.
Koliko intervjuer dodaje
Istraživači anketa proveli su stoljeće koje je otada prošlo mjereći taj učinak i imaju broj za njega. Uzmite svu varijaciju u odgovorima na neko pitanje i zapitajte se koliki se njezin dio može objasniti time koji je intervjuer slučajno postavljao pitanja. U anketama licem u lice taj se udio kretao od oko pola posto do oko deset.
To izgleda umirujuće dok se ne pomnoži. Šteta ovisi o tome koliko intervjua svaki intervjuer vodi, jer svi koje je intervjuirala ista osoba dijele njezin otklon. Ako se intervjueru može pripisati 5 % varijacije, a svaki vodi dvadeset intervjua, uzorak vrijedi otprilike polovicu svoje nominalne veličine. Dvjesto intervjua nosi otprilike onoliko informacija koliko njih sto. Što više posla svaki intervjuer obavi, to manje vrijedi svaki dodatni intervju.
Učinak se ne raspoređuje ravnomjerno. Sinteza istraživanja pokazala je da je najizraženiji ondje gdje bi se i očekivalo. Veći je kod mišljenja nego kod činjenica i veći kod osjetljivih pitanja nego kod neutralnih. Najveći je ondje gdje intervjuer ima prostora pomoći: objasniti, preformulirati, odlučiti kada je odgovor potpun, a kada tražiti više.
Ta posljednja kategorija prilično vjerno opisuje intervju s kupcem. Anketar u klasičnoj anketi pročita zadano pitanje i označi kućicu. Voditeljica proizvoda koja razgovara s kupcem preformulira pitanje na licu mjesta, bira koju će primjedbu slijediti, a koju pustiti, i odlučuje što ulazi u bilješke. Svaki od tih izbora otvorena su vrata.
Tri ulaza
Pristranost ulazi na tri mjesta.
Prvo je sama prisutnost intervjuera. Ljudi prilagođavaju ono što govore onome tko sluša. U istraživanju među crnim Amerikancima provedenom 1968. odgovori o prosvjedima i o neprijateljstvu prema bijelcima razlikovali su se ovisno o tome je li intervjuer bio crnac ili bijelac, dok su se iskazi o životnim uvjetima i doživljenoj diskriminaciji jedva pomaknuli. Činjenice su stajale čvrsto, a mišljenja su se pomicala sa slušateljem. Izmjerena je i komercijalna inačica. U jednom istraživanju u Indiji ljudi koje se zamolilo da biraju između dviju istovjetnih inačica tehnologije oko dva i pol puta češće davali su prednost onoj za koju su vjerovali da ju je izradio intervjuer. Osnivačica koja kupca pita o proizvodu u istom je položaju kao taj intervjuer.
Drugo je samo postavljanje pitanja. Nema dva intervjuera koja pitanje postavljaju jednako, a razlike nisu slučajne. Onaj tko vjeruje da je problem u onboardingu, o onboardingu pita sa zanimanjem, a o cijeni iz dužnosti. Neodlučan odgovor koji se uklapa u teoriju dobije „recite mi više o tome“. Onaj koji se ne uklapa dobije „dobro, idemo dalje“. Ništa od toga ne nalikuje udžbeničkom sugestivnom pitanju. To se postiže pažnjom, a kupci slijede pažnju kao što su je slijedili Riceovi tražitelji prenoćišta.
Treće je slušanje. Sat razgovora postaje pola stranice bilježaka i netko odlučuje koja polovica. Primjedba koja potvrđuje ono što je tim slutio zapiše se od riječi do riječi. Primjedba koja ide tome usuprot sažme se, ili se krivo čuje, ili se ne čini vrijednom bilježenja. Dok se o intervjuima izvijesti, intervjuerovo je gledište kroz građu prošlo dvaput, na ulasku i na izlasku.
Kako je smanjiti
Učinak se ne može posve ukloniti. Intervju je susret dvoje ljudi i trebaju mu oboje. No veći se dio može istisnuti uz nekoliko pravila, od kojih nijedno nije novo.
Autora proizvoda držite podalje od stolice intervjuera. Osoba koja je osmislila značajku najgora je za pitanja o njoj, zbog kupca koliko i zbog sebe. Kolega iz drugog tima dobiva iskrenije odgovore i čuje ih ujednačenije.
Utvrdite riječi koje su važne. Glavna pitanja odredite unaprijed i postavljajte ih kako su napisana, istim redom, svima. Improvizaciju ostavite za potpitanja i neka budu jednostavna: što se zatim dogodilo, možete li dati primjer, što ste tada učinili. Potpitanje nikad ne bi smjelo sadržavati nagađanje o odgovoru. Naš vodič za potpitanja ima zalihu neutralnih.
Sve snimajte i radite prema snimci. Bilješke su intervjuerov prikaz intervjua. Transkript je kupčev. Kad se nalazi citiraju, citirajte kupca.
I namjerno koristite više od jednog intervjuera. Ako dvoje ljudi intervjuira usporedive kupce i vrati se s različitim zaključcima, doznali ste o intervjuerima nešto što vam jedan nikad ne bi mogao pokazati. Riceovo je otkriće bilo moguće samo zato što ih je bilo dvanaest.
Intervjuer koji se ne mijenja
Preostali je lijek držati intervjuera stalnim, a to je odnedavno moguće.
Automatizirani intervjuer svakom kupcu postavlja ista pitanja na isti način. Nema teoriju o onboardingu, nije izradio značajku i ne razvedri se na odgovor kojem se nadao. Varijacija među intervjuerima, onaj dio učinka koji mjeri spomenuta brojka, nestaje jer postoji samo jedan. A ljudima je, čini se, lakše razgovarati s njim. U jednom velikom istraživanju intervjua koje vodi AI 43 % sudionika reklo je da bi ponovno odabralo AI, a 19 % čovjeka.
Bilo bi previše nazvati to krajem priče. Jedan intervjuer primijenjen na sve dosljedan je, što nije isto što i neutralan. Ako njegova potpitanja naginju, naginju jednako u svakom razgovoru, a ne postoji drugi intervjuer koji bi to razotkrio. Važan je i njegov nastup: u jednom eksperimentu chat-agenti s boljim konverzacijskim vještinama izvlačili su pristojnije odgovore, kakvima se čuva obraz, od jednostavnijih. Pristranost se preselila s osobe na dizajn, gdje se barem može pregledati, testirati i promijeniti. Dokaze važemo u članku o tome govore li ljudi istinu AI intervjuerima.
Zato čitajte transkripte, tko god da je postavljao pitanja. Provjerite jesu li potpitanja bila pitanja, a ne sugestije. Potražite kupca koji je rekao nešto što nitko nije očekivao i pogledajte što se s time učinilo.
Riceovi ispitivači nikad nisu doznali što su učinili. Svaki od njih mogao se zakleti u točnost svojih zapisa. Pristranost je postala vidljiva tek kad je svih dvanaest skupova spisa položeno jedan uz drugi. Spise jednog jedinog intervjuera nema se uz što položiti, a većinu istraživanja kupaca provodi jedna osoba.
Kako pomaže Diaform
Diaform svakom kupcu daje istog intervjuera. AI postavlja vaša pitanja onako kako ste ih napisali, jedno po jedno, i dodatno ispituje neodređene odgovore do dubine koju zadate, pa se formulacija ne mijenja od jednog razgovora do drugoga. Svaki razgovor čuva cijeli transkript i doslovne citate, pa možete pročitati što je pitano, kao i što je odgovoreno. Njegova su potpitanja generirana i vrijedi ih provjeriti kao i bilo čija. Dostupno je besplatno probno razdoblje od 14 dana.
