I 1929 udgav en sociolog ved navn Stuart Rice en kort artikel om nogle gamle sagsmapper. År forinden havde tolv undersøgere interviewet en lang række subsistensløse mænd, der søgte om nattelogi, og for hver af dem noteret årsagen til hans ulykke. Ansøgerne var blevet fordelt mellem undersøgerne nogenlunde, som de ankom, så hver undersøger burde have mødt den samme blanding af mænd med den samme blanding af problemer.
Mapperne fortalte noget andet. Årsagerne til nøden så ud til at afhænge af, hvem der havde holdt pennen. I den udgave, der er gået videre gennem lærebøgerne, var én undersøger ivrig forbudstilhænger, og hans mænd var for størstedelens vedkommende blevet ødelagt af drik. En anden var socialist, og hans var blevet ødelagt af forholdene i industrien. Endnu mere foruroligende hældede mændenes egne beretninger om sig selv i samme retning. Rice sammenfattede, at undersøgelsen afslørede en overførsel af undersøgernes personlige bias til ansøgerne og en tilsvarende forvridning i svarene. Han kaldte det smitsom bias.
Ingen havde forfalsket noget. To hæderlige mænd havde stillet hæderlige spørgsmål til folk i samme knibe og skrevet ned, hvad de hørte. Hver havde fundet, hvad han ventede at finde, og havde på en eller anden måde fået sine interviewpersoner til at finde det samme.
Kundeinterviews føres som regel af folk, der har stærkere meninger om produktet, end Rices undersøgere havde om drik.
Hvor meget en interviewer lægger til
Surveyforskere har brugt århundredet siden på at måle effekten, og de har et tal for den. Tag al variationen i svarene på et spørgsmål, og spørg, hvor stor en del der forklares af, hvilken interviewer der tilfældigvis stillede det. I ansigt til ansigt-undersøgelser har andelen vist sig at ligge fra omkring en halv procent til omkring ti.
Det virker beroligende, indtil man ganger. Skaden afhænger af, hvor mange interviews hver interviewer fører, for alle, der er interviewet af den samme person, deler den persons slagside. Hvis intervieweren forklarer 5 % af variationen, og hver fører tyve interviews, er stikprøven omkring halvdelen af sin nominelle størrelse værd. To hundrede interviews rummer informationen fra cirka hundrede. Jo mere arbejde hver interviewer udfører, jo mindre er hvert ekstra interview værd.
Effekten er ikke jævnt fordelt. En syntese af forskningen fandt den koncentreret, hvor man ville vente det. Den er større for holdninger end for fakta og større for følsomme emner end for neutrale. Størst af alt er den, hvor intervieweren har plads til at hjælpe: til at forklare, omformulere, afgøre, hvornår et svar er fyldestgørende, og hvornår der skal presses på for mere.
Den sidste kategori er en rimelig beskrivelse af et kundeinterview. En surveyinterviewer læser et fast spørgsmål op og sætter et kryds. En produktchef, der taler med en kunde, omformulerer spørgsmålet på stedet, vælger, hvilken bemærkning der skal forfølges, og hvilken der får lov at passere, og bestemmer, hvad der kommer med i noterne. Hvert af de valg er en åbning.
Tre veje ind
Biasen kommer ind tre steder.
Det første er interviewerens blotte tilstedeværelse. Folk tilpasser det, de siger, til den, der lytter. I et studie af sorte amerikanere fra 1968 var svarene om protest og om fjendtlighed over for hvide forskellige, alt efter om intervieweren var sort eller hvid, mens beretninger om levevilkår og oplevet diskrimination næsten ikke rykkede sig. Fakta stod fast, og holdningerne flyttede sig med lytteren. En kommerciel udgave er også blevet målt. I et studie i Indien var folk, der blev bedt om at vælge mellem to identiske versioner af en teknologi, omkring to en halv gang så tilbøjelige til at foretrække den, de troede, intervieweren havde bygget. En stifter, der spørger en kunde om produktet, står i samme position som den interviewer.
Det andet er måden at spørge på. Ikke to interviewere stiller et spørgsmål ens, og forskellene er ikke tilfældige. Den, der tror, at onboarding er problemet, spørger til onboarding med interesse og til prisen af pligt. Et tøvende svar, der passer til teorien, får et »fortæl mere om det«. Et, der ikke gør, får et »okay, vi går videre«. Intet af dette ligner et ledende spørgsmål af lærebogstypen. Det sker gennem opmærksomhed, og kunder følger opmærksomhed, ligesom Rices ansøgere gjorde.
Det tredje er måden at høre på. En times samtale bliver til en halv side noter, og nogen afgør, hvilken halvdel. Den bemærkning, der bekræfter, hvad teamet havde mistanke om, skrives ned ord for ord. Den, der går på tværs, bliver sammenfattet eller hørt forkert eller virker ikke værd at notere. Når interviewene bliver rapporteret, er interviewerens syn gået gennem materialet to gange, på vej ind og på vej ud.
At mindske den
Effekten kan ikke fjernes helt. Et interview er et møde mellem to mennesker, og det kræver dem begge. Men det meste kan presses ud med nogle få discipliner, hvoraf ingen er nye.
Hold bygmesteren ude af stolen. Den, der har designet featuren, er den dårligste til at spørge om den, for kundens skyld lige så meget som for sin egen. En kollega fra et andet team får mere åbenhjertige svar og hører dem mere upartisk.
Fastlæg de ord, der betyder noget. Bestem hovedspørgsmålene på forhånd, og stil dem, som de står, i samme rækkefølge, til alle. Gem improvisationen til opfølgningerne, og hold dem enkle: hvad skete der så, kan du give et eksempel, hvad gjorde du derefter. En opfølgning bør aldrig indeholde et gæt på svaret. Vores guide til opfølgende spørgsmål har et lager af neutrale.
Optag alt, og arbejd ud fra optagelsen. Noter er interviewerens beretning om interviewet. En transskription er kundens. Når fund citeres, så citér kunden.
Og brug mere end én interviewer, med vilje. Hvis to personer interviewer sammenlignelige kunder og vender tilbage med forskellige konklusioner, har du lært noget om interviewerne, som en enkelt aldrig kunne have vist dig. Rices opdagelse var kun mulig, fordi der var tolv.
Intervieweren, der ikke varierer
Det middel, der er tilbage, er at holde intervieweren konstant, og det er på det seneste blevet muligt.
En automatiseret interviewer stiller de samme spørgsmål til hver kunde på samme måde. Den har ingen teori om onboarding, har ikke bygget featuren og lyser ikke op ved det svar, den håbede på. Variationen mellem interviewere, den del af effekten, som forskernes tal måler, forsvinder, fordi der kun er én. Og folk lader til at finde den lettere at tale med. I ét stort studie af AI-ledede interviews sagde 43 % af deltagerne, at de ville vælge AI’en igen, og 19 % et menneske.
Det ville være for meget at kalde det enden på sagen. En enkelt interviewer, der bruges på alle, er konsekvent, hvilket ikke er det samme som neutral. Hvis dens opfølgende spørgsmål hælder, hælder de ens i hver samtale, og der findes ingen anden interviewer til at afsløre det. Dens facon tæller også: I ét eksperiment fremkaldte chatagenter med bedre samtalefærdigheder mere høflige, ansigtsbevarende svar end mere enkle agenter. Biasen er flyttet fra personen til designet, hvor den i det mindste kan efterses, testes og ændres. Vi vejer dokumentationen i om folk fortæller AI-interviewere sandheden.
Så læs transskriptionerne, uanset hvem der stillede spørgsmålene. Tjek, at opfølgningerne var spørgsmål og ikke forslag. Led efter kunden, der sagde noget, ingen ventede, og se, hvad der blev gjort ved det.
Rices undersøgere fik aldrig at vide, hvad de havde gjort. Hver af dem kunne have svoret på, at hans optegnelser var nøjagtige. Biasen blev først synlig, da alle tolv sæt mapper blev lagt side om side. En enlig interviewer har intet at blive lagt ved siden af, og det meste kunderesearch udføres af én.
Sådan hjælper Diaform
Diaform giver hver kunde den samme interviewer. AI’en stiller dine spørgsmål, som du skrev dem, ét ad gangen, og følger op på vage svar til den dybde, du angiver, så ordlyden ikke glider fra den ene samtale til den næste. Hver samtale gemmer sin fulde transskription og ordrette citater, så du kan læse, hvad der blev spurgt om, såvel som hvad der blev svaret. Dens opfølgninger er genererede og værd at tjekke ligesom alle andres. Der er en gratis prøveperiode på 14 dage.
