I 1929 publiserte en sosiolog ved navn Stuart Rice en kort artikkel om noen gamle saksmapper. Flere år tidligere hadde tolv utredere intervjuet en lang rekke nødlidende menn som søkte om nattlosji, og for hver av dem notert årsaken til ulykken hans. Søkerne var blitt fordelt mellom utrederne omtrent etter hvert som de kom, så hver utreder burde ha møtt den samme blandingen av menn med den samme blandingen av problemer.
Mappene fortalte noe annet. Årsakene til nøden så ut til å avhenge av hvem som hadde holdt pennen. I versjonen som er gått videre gjennom lærebøkene, var én utreder ivrig forbudstilhenger, og mennene hans var for det meste blitt ødelagt av drikk. En annen var sosialist, og hans var blitt ødelagt av forholdene i industrien. Enda mer urovekkende var det at mennenes egne beretninger om seg selv helte samme vei. Rice oppsummerte med at undersøkelsen avdekket en overføring av utredernes personlige bias til søkerne, og en tilsvarende forvrengning i svarene. Han kalte det smittsom bias.
Ingen hadde forfalsket noe. To hederlige menn hadde stilt hederlige spørsmål til mennesker i samme knipe og skrevet ned det de hørte. Hver av dem hadde funnet det han ventet å finne, og hadde på et vis fått intervjuobjektene sine til å finne det også.
Kundeintervjuer holdes som regel av folk som har sterkere meninger om produktet enn Rices utredere hadde om drikk.
Hvor mye en intervjuer legger til
Surveyforskere har brukt århundret siden på å måle effekten, og de har et tall for den. Ta all variasjonen i svarene på et spørsmål og spør hvor stor del som forklares av hvilken intervjuer som tilfeldigvis stilte det. I besøksintervjuer har andelen vist seg å ligge fra rundt en halv prosent til rundt ti.
Det ser betryggende ut til man ganger det opp. Skaden avhenger av hvor mange intervjuer hver intervjuer gjør, for alle som intervjues av samme person, deler slagsiden til den personen. Hvis intervjueren forklarer 5 % av variasjonen og hver gjør tjue intervjuer, er utvalget verdt omtrent halvparten av sin nominelle størrelse. To hundre intervjuer bærer informasjonen fra rundt hundre. Jo mer arbeid hver intervjuer gjør, desto mindre er hvert ekstra intervju verdt.
Effekten faller ikke jevnt. En syntese av forskningen fant den konsentrert der man ville vente det. Den er større for meninger enn for fakta og større for følsomme saker enn for nøytrale. Aller størst er den der intervjueren har rom til å hjelpe: til å forklare, omformulere, avgjøre når et svar er fullstendig og når det skal presses på for mer.
Den siste kategorien er en grei beskrivelse av et kundeintervju. En surveyintervjuer leser opp et fast spørsmål og krysser av i en boks. En produktleder som snakker med en kunde, omformulerer spørsmålet på stedet, velger hvilken bemerkning som skal følges opp og hvilken som får passere, og bestemmer hva som havner i notatene. Hvert av de valgene er en åpning.
Tre veier inn
Biasen kommer inn på tre punkter.
Det første er intervjuerens blotte nærvær. Folk tilpasser det de sier, til den som lytter. I en studie av svarte amerikanere fra 1968 var svarene om protest og om fiendtlighet mot hvite forskjellige alt etter om intervjueren var svart eller hvit, mens beretninger om levekår og opplevd diskriminering knapt flyttet seg. Fakta sto støtt, og meningene flyttet seg med lytteren. En kommersiell variant er også målt. I en studie i India var folk som ble bedt om å velge mellom to identiske versjoner av en teknologi, omtrent to og en halv gang så tilbøyelige til å foretrekke den de trodde intervjueren hadde bygget. En gründer som spør en kunde om produktet, står i samme posisjon som den intervjueren.
Det andre er selve spørsmålsstillingen. Ingen to intervjuere stiller et spørsmål på samme måte, og forskjellene er ikke tilfeldige. Den som tror at onboardingen er problemet, spør om onboarding med interesse og om pris av plikt. Et nølende svar som passer teorien, får et «fortell mer om det». Et som ikke gjør det, får et «greit, vi går videre». Ingenting av dette ligner et ledende spørsmål av lærebokslaget. Det gjøres med oppmerksomhet, og kunder følger oppmerksomheten slik Rices søkere gjorde.
Det tredje er lyttingen. En times samtale blir en halv side notater, og noen avgjør hvilken halvdel. Bemerkningen som bekrefter det teamet mistenkte, skrives ned ord for ord. Bemerkningen som går på tvers, blir oppsummert, eller hørt feil, eller virker ikke verdt å notere. Innen intervjuene rapporteres, har intervjuerens syn gått gjennom materialet to ganger, på vei inn og på vei ut.
Å redusere den
Effekten kan ikke fjernes helt. Et intervju er et møte mellom to mennesker, og det trenger begge. Men det meste kan presses ut med noen få faste grep, og ingen av dem er nye.
Hold byggeren unna intervjuerstolen. Den som utformet funksjonen, er den dårligste til å spørre om den, for kundens skyld like mye som for sin egen. En kollega fra et annet team får åpnere svar og lytter mer upartisk.
Lås ordene som betyr noe. Bestem hovedspørsmålene på forhånd og still dem slik de står, i samme rekkefølge, til alle. Spar improvisasjonen til oppfølgingene, og hold dem enkle: hva skjedde så, kan du gi et eksempel, hva gjorde du da. En oppfølging bør aldri inneholde en gjetning om svaret. Guiden vår til oppfølgingsspørsmål har et lager av nøytrale.
Ta opp alt og arbeid ut fra opptaket. Notater er intervjuerens beretning om intervjuet. En transkripsjon er kundens. Når funn siteres, siter kunden.
Og bruk mer enn én intervjuer, med vilje. Hvis to personer intervjuer sammenlignbare kunder og kommer tilbake med ulike konklusjoner, har du lært noe om intervjuerne som én alene aldri kunne ha vist deg. Rices oppdagelse var mulig bare fordi det var tolv.
Intervjueren som ikke varierer
Middelet som gjenstår, er å holde intervjueren konstant, og det er nylig blitt mulig.
En automatisert intervjuer stiller de samme spørsmålene til hver kunde på samme måte. Den har ingen teori om onboarding, bygde ikke funksjonen og lyser ikke opp ved svaret den håpet på. Variasjonen mellom intervjuere, den delen av effekten som forskernes tall måler, forsvinner, fordi det bare finnes én. Og folk ser ut til å synes den er lettere å snakke med. I én stor studie av AI-ledede intervjuer sa 43 % av deltakerne at de ville valgt AI-en igjen, og 19 % et menneske.
Det ville være for mye å kalle dette slutten på saken. Én enkelt intervjuer brukt på alle er konsekvent, noe som ikke er det samme som nøytral. Hvis oppfølgingsspørsmålene heller, heller de likt i hver samtale, og det finnes ingen annen intervjuer som kan avsløre det. Væremåten teller også: I ett eksperiment fikk chatagenter med bedre samtaleferdigheter mer høflige, ansiktsreddende svar enn enklere agenter. Biasen har flyttet seg fra personen til designet, der den i det minste kan inspiseres, testes og endres. Vi veier dokumentasjonen i om folk forteller AI-intervjuere sannheten.
Så les transkripsjonene, uansett hvem som stilte spørsmålene. Sjekk at oppfølgingene var spørsmål og ikke forslag. Let etter kunden som sa noe ingen ventet, og se hva som ble gjort med det.
Rices utredere fikk aldri vite hva de hadde gjort. Hver av dem kunne ha sverget på at notatene hans var nøyaktige. Biasen ble først synlig da alle tolv settene med mapper ble lagt side om side. En enslig intervjuer har ingenting å bli lagt ved siden av, og det meste av innsiktsarbeidet gjøres av én.
Slik hjelper Diaform
Diaform gir hver kunde den samme intervjueren. AI-en stiller spørsmålene dine slik du skrev dem, ett om gangen, og følger opp vage svar til den dybden du angir, slik at ordlyden ikke glir fra én samtale til den neste. Hver samtale tar vare på den fullstendige transkripsjonen og ordrette sitater, slik at du kan lese hva som ble spurt om, så vel som hva som ble svart. Oppfølgingene er genererte og verdt å sjekke som alle andres. Det finnes en gratis prøveperiode på 14 dager.
