Vuonna 1929 sosiologi Stuart Rice julkaisi lyhyen artikkelin vanhoista asiakirjakansioista. Vuosia aiemmin kaksitoista tutkijaa oli haastatellut suuren joukon varattomia miehiä, jotka hakivat yösijaa, ja kirjannut kunkin kohdalla hänen ahdinkonsa syyn. Hakijat oli jaettu tutkijoille suunnilleen saapumisjärjestyksessä, joten kunkin tutkijan olisi pitänyt kohdata sama sekoitus miehiä ja sama sekoitus vaikeuksia.
Kansiot kertoivat toista. Köyhyyden syyt näyttivät riippuvan siitä, kuka oli pitänyt kynää. Oppikirjojen välittämässä versiossa yksi tutkija oli innokas kieltolain kannattaja, ja hänen miehensä oli vienyt turmioon enimmäkseen viina. Toinen oli sosialisti, ja hänen miehensä olivat vieneet turmioon teollisuuden olot. Vielä hätkähdyttävämpää oli, että miesten omat kertomukset itsestään kallistuivat samaan suuntaan. Rice tiivisti, että selvitys paljasti tutkijoiden henkilökohtaisen ennakkoasenteen siirtyneen hakijoihin ja vastaavan vääristymän vastauksissa. Hän kutsui sitä tarttuvaksi ennakkoasenteeksi.
Kukaan ei ollut väärentänyt mitään. Kaksi rehellistä miestä oli esittänyt rehellisiä kysymyksiä samassa ahdingossa oleville ihmisille ja kirjoittanut ylös kuulemansa. Kumpikin oli löytänyt sen, mitä odotti löytävänsä, ja saanut jotenkin haastateltavansa löytämään saman.
Asiakashaastatteluja tekevät yleensä ihmiset, joilla on tuotteesta vahvemmat näkemykset kuin Ricen tutkijoilla oli viinasta.
Kuinka paljon haastattelija lisää
Kyselytutkijat ovat käyttäneet sen jälkeisen vuosisadan vaikutuksen mittaamiseen, ja heillä on sille luku. Ota kaikki vaihtelu jonkin kysymyksen vastauksissa ja kysy, kuinka suuren osan siitä selittää se, kuka haastattelija sattui kysymään. Käyntihaastatteluissa osuuden on havaittu vaihtelevan noin puolesta prosentista noin kymmeneen.
Se näyttää rauhoittavalta, kunnes tehdään kertolasku. Vahinko riippuu siitä, kuinka monta haastattelua kukin haastattelija tekee, koska kaikissa saman ihmisen tekemissä haastatteluissa on sama kallistuma. Jos haastattelija selittää 5 % vaihtelusta ja kukin tekee kaksikymmentä haastattelua, otos on arvoltaan noin puolet nimelliskoostaan. Kahdessasadassa haastattelussa on suunnilleen sadan haastattelun tieto. Mitä enemmän työtä kukin haastattelija tekee, sitä vähemmän arvoa on jokaisella lisähaastattelulla.
Vaikutus ei jakaudu tasaisesti. Tutkimussynteesi havaitsi sen keskittyvän sinne, missä sitä odottaisi. Se on suurempi mielipiteissä kuin tosiasioissa ja suurempi aroissa asioissa kuin neutraaleissa. Suurin se on siellä, missä haastattelijalla on tilaa auttaa: selittää, muotoilla uudelleen, päättää, milloin vastaus on valmis ja milloin vaatia lisää.
Tuo viimeinen luokka kuvaa asiakashaastattelua melko osuvasti. Kyselyhaastattelija lukee valmiin kysymyksen ja rastittaa ruudun. Asiakkaan kanssa puhuva tuotepäällikkö muotoilee kysymyksen uudelleen siinä hetkessä, valitsee, mihin huomautukseen tarttuu ja minkä päästää ohi, ja päättää, mitä muistiinpanoihin päätyy. Jokainen näistä valinnoista on aukko.
Kolme reittiä sisään
Harha tulee sisään kolmesta kohdasta.
Ensimmäinen on haastattelijan pelkkä läsnäolo. Ihmiset sovittavat sanomansa siihen, kuka kuuntelee. Vuonna 1968 tehdyssä mustia amerikkalaisia koskevassa tutkimuksessa vastaukset protesteista ja vihamielisyydestä valkoisia kohtaan erosivat sen mukaan, oliko haastattelija musta vai valkoinen, kun taas kertomukset elinoloista ja koetusta syrjinnästä tuskin liikkuivat. Tosiasiat pysyivät paikallaan, ja mielipiteet vaihtuivat kuulijan mukaan. Kaupallinen versiokin on mitattu. Intiassa tehdyssä tutkimuksessa ihmiset, joita pyydettiin valitsemaan kahden identtisen teknologiaversion väliltä, suosivat noin kaksi ja puoli kertaa todennäköisemmin sitä, jonka uskoivat haastattelijan rakentaneen. Perustaja, joka kysyy asiakkaalta tuotteesta, on samassa asemassa kuin tuo haastattelija.
Toinen on kysyminen. Kaksi haastattelijaa ei koskaan esitä kysymystä samalla tavalla, eivätkä erot ole satunnaisia. Se, joka uskoo käyttöönoton olevan ongelma, kysyy käyttöönotosta kiinnostuneena ja hinnoittelusta velvollisuudentunnosta. Epäröivä vastaus, joka sopii teoriaan, saa ”kerro siitä lisää”. Vastaus, joka ei sovi, saa ”selvä, mennään eteenpäin”. Mikään tästä ei muistuta oppikirjan johdattelevaa kysymystä. Se tapahtuu huomion kautta, ja asiakkaat seuraavat huomiota niin kuin Ricen hakijat seurasivat.
Kolmas on kuuleminen. Tunnin keskustelusta tulee puoli sivua muistiinpanoja, ja joku päättää, kumpi puolikas. Huomautus, joka vahvistaa tiimin epäilyn, kirjataan sanasta sanaan. Huomautus, joka menee sitä vastaan, tiivistetään tai kuullaan väärin, tai se ei tunnu kirjaamisen arvoiselta. Siihen mennessä, kun haastatteluista raportoidaan, haastattelijan näkemys on kulkenut aineiston läpi kahdesti, sisään mennessä ja ulos tullessa.
Sen vähentäminen
Vaikutusta ei voi poistaa kokonaan. Haastattelu on kahden ihmisen kohtaaminen, ja se tarvitsee molemmat. Suurimman osan voi kuitenkin puristaa pois muutamalla kurinalaisella käytännöllä, joista yksikään ei ole uusi.
Pidä rakentaja poissa haastattelijan tuolista. Ominaisuuden suunnitellut ihminen on huonoin kysymään siitä, asiakkaan vuoksi yhtä lailla kuin itsensä vuoksi. Toisen tiimin kollega saa suorempia vastauksia ja kuulee ne tasapuolisemmin.
Lyö lukkoon sanat, joilla on väliä. Päätä pääkysymykset etukäteen ja esitä ne kaikille niin kuin ne on kirjoitettu, samassa järjestyksessä. Säästä improvisointi jatkokysymyksiin ja pidä ne pelkistettyinä: mitä sitten tapahtui, voitko antaa esimerkin, mitä teit sen jälkeen. Jatkokysymys ei saisi koskaan sisältää arvausta vastauksesta. Oppaassamme jatkokysymyksistä on valikoima neutraaleja.
Tallenna kaikki ja työskentele tallenteen pohjalta. Muistiinpanot ovat haastattelijan kertomus haastattelusta. Litterointi on asiakkaan. Kun löydöksiä siteerataan, siteeraa asiakasta.
Ja käytä useampaa kuin yhtä haastattelijaa, tarkoituksella. Jos kaksi ihmistä haastattelee vertailukelpoisia asiakkaita ja palaa eri johtopäätöksin, olet oppinut haastattelijoista jotakin, mitä yksi ei olisi koskaan voinut näyttää. Ricen havainto oli mahdollinen vain siksi, että heitä oli kaksitoista.
Haastattelija, joka ei vaihtele
Jäljelle jäävä keino on pitää haastattelija vakiona, ja se on hiljattain tullut mahdolliseksi.
Automatisoitu haastattelija esittää jokaiselle asiakkaalle samat kysymykset samalla tavalla. Sillä ei ole teoriaa käyttöönotosta, se ei rakentanut ominaisuutta eikä se ilahdu toivomastaan vastauksesta. Haastattelijoiden välinen vaihtelu, se osa vaikutuksesta, jota tutkijoiden luku mittaa, katoaa, koska haastattelijoita on vain yksi. Ja ihmisten näyttää olevan helpompi puhua sille. Yhdessä laajassa AI:n vetämiä haastatteluja koskevassa tutkimuksessa 43 % osallistujista sanoi valitsevansa AI:n uudelleen ja 19 % ihmisen.
Olisi liikaa sanoa asian päättyvän tähän. Yksi kaikkiin sovellettu haastattelija on johdonmukainen, mikä ei ole sama asia kuin neutraali. Jos sen jatkokysymykset kallistuvat, ne kallistuvat jokaisessa keskustelussa samalla tavalla, eikä ole toista haastattelijaa paljastamassa sitä. Myös sen tyylillä on väliä: yhdessä kokeessa keskustelutaidoiltaan paremmat chat-agentit saivat kohteliaampia, kasvoja säästäviä vastauksia kuin pelkistetymmät. Harha on siirtynyt ihmisestä suunnitteluun, jossa sen voi ainakin tarkastaa, testata ja muuttaa. Punnitsemme näyttöä artikkelissa kertovatko ihmiset AI-haastattelijoille totuuden.
Lue siis litteroinnit, kysyipä kuka tahansa. Tarkista, että jatkokysymykset olivat kysymyksiä eivätkä ehdotuksia. Etsi asiakas, joka sanoi jotakin, mitä kukaan ei odottanut, ja katso, mitä sille tehtiin.
Ricen tutkijat eivät koskaan saaneet tietää, mitä olivat tehneet. Jokainen heistä olisi voinut vannoa kirjaustensa olevan tarkkoja. Ennakkoasenne näkyi vasta, kun kaikki kaksitoista kansiosarjaa asetettiin rinnakkain. Yksinäisellä haastattelijalla ei ole mitään, minkä rinnalle hänet asettaisi, ja suurimman osan asiakastutkimuksesta tekee yksi ihminen.
Miten Diaform auttaa
Diaform antaa jokaiselle asiakkaalle saman haastattelijan. AI esittää kysymyksesi niin kuin kirjoitit ne, yksi kerrallaan, ja tarkentaa epämääräisiä vastauksia asettamaasi syvyyteen asti, joten sanamuoto ei lipsu keskustelusta toiseen. Jokainen keskustelu säilyttää koko litterointinsa ja sanatarkat lainaukset, joten voit lukea sekä sen, mitä kysyttiin, että sen, mitä vastattiin. Sen jatkokysymykset ovat AI:n tuottamia, ja ne kannattaa tarkistaa kuten kenen tahansa. Voit aloittaa 14 päivän ilmaisen kokeilun.
