År 1929 publicerade en sociolog vid namn Stuart Rice en kort artikel om några gamla akter. Flera år tidigare hade tolv utredare intervjuat en lång rad utblottade män som sökte nattlogi, och för var och en antecknat orsaken till hans olycka. De sökande hade fördelats mellan utredarna ungefär i den ordning de kom, så varje utredare borde ha mött samma blandning av män med samma blandning av bekymmer.
Akterna berättade något annat. Orsakerna till nöden tycktes bero på vem som hade hållit i pennan. I den version som har förts vidare genom läroböckerna var en utredare ivrig förbudsvän, och hans män hade till största delen ruinerats av spriten. En annan var socialist, och hans hade ruinerats av förhållandena i industrin. Än mer oroande var att männens egna berättelser om sig själva lutade åt samma håll. Rice sammanfattade att undersökningen avslöjade en överföring av utredarnas personliga bias till de sökande, och en motsvarande förvrängning av svaren. Han kallade det smittsam bias.
Ingen hade förfalskat något. Två hederliga män hade ställt hederliga frågor till människor i samma belägenhet och skrivit ner vad de hörde. Var och en hade funnit det han väntade sig att finna, och hade på något sätt fått sina intervjupersoner att finna det också.
Kundintervjuer hålls i regel av människor som har starkare åsikter om produkten än Rices utredare hade om spriten.
Hur mycket en intervjuare lägger till
Enkätforskare har ägnat seklet som gått sedan dess åt att mäta effekten, och de har en siffra för den. Ta all variation i svaren på en fråga och fråga hur stor del som förklaras av vilken intervjuare som råkade ställa den. I besöksintervjuer har andelen visat sig ligga mellan omkring en halv procent och omkring tio.
Det ser lugnande ut tills man multiplicerar. Skadan beror på hur många intervjuer varje intervjuare gör, eftersom alla som intervjuas av samma person delar den personens slagsida. Om intervjuaren förklarar 5 % av variationen och var och en gör tjugo intervjuer är urvalet värt ungefär hälften av sin nominella storlek. Tvåhundra intervjuer bär informationen från ungefär hundra. Ju mer arbete varje intervjuare gör, desto mindre är varje ytterligare intervju värd.
Effekten är inte jämnt fördelad. En syntes av forskningen fann den koncentrerad där man skulle vänta sig det. Den är större för åsikter än för fakta och större för känsliga frågor än för neutrala. Störst av allt är den där intervjuaren har utrymme att hjälpa till: att förklara, formulera om, avgöra när ett svar är fullständigt och när man ska pressa på för mer.
Den sista kategorin är en rimlig beskrivning av en kundintervju. En enkätintervjuare läser upp en fast fråga och kryssar i en ruta. En produktchef som pratar med en kund formulerar om frågan på stående fot, väljer vilken kommentar som ska följas upp och vilken som får passera, och bestämmer vad som hamnar i anteckningarna. Vart och ett av de valen är en öppning.
Tre vägar in
Biasen kommer in på tre ställen.
Det första är intervjuarens blotta närvaro. Människor anpassar det de säger efter vem som lyssnar. I en studie av svarta amerikaner från 1968 skilde sig svaren om protester och om fientlighet mot vita beroende på om intervjuaren var svart eller vit, medan uppgifter om levnadsvillkor och upplevd diskriminering knappt rörde sig. Fakta låg stilla, och åsikterna flyttade sig med lyssnaren. En kommersiell variant har också mätts. I en studie i Indien var människor som ombads välja mellan två identiska versioner av en teknik ungefär två och en halv gånger så benägna att föredra den de trodde att intervjuaren hade byggt. En grundare som frågar en kund om produkten befinner sig i samma läge som den intervjuaren.
Det andra är frågandet. Inga två intervjuare ställer en fråga på samma sätt, och skillnaderna är inte slumpmässiga. Den som tror att onboardingen är problemet frågar om onboardingen med intresse och om priset av plikt. Ett tvekande svar som passar teorin får ett ”berätta mer om det”. Ett som inte gör det får ett ”okej, vi går vidare”. Inget av detta liknar en ledande fråga av läroboksslag. Det görs med uppmärksamhet, och kunder följer uppmärksamheten precis som Rices sökande gjorde.
Det tredje är lyssnandet. En timmes samtal blir en halv sida anteckningar, och någon avgör vilken halva. Kommentaren som bekräftar vad teamet misstänkte skrivs ner ord för ord. Kommentaren som går på tvären sammanfattas, eller hörs fel, eller verkar inte värd att anteckna. När intervjuerna väl redovisas har intervjuarens syn passerat genom materialet två gånger, på vägen in och på vägen ut.
Att minska den
Effekten går inte att ta bort helt. En intervju är ett möte mellan två människor, och den behöver båda. Men det mesta går att pressa ut med några enkla förhållningsregler, och ingen av dem är ny.
Håll byggaren borta från intervjuarstolen. Den som utformade funktionen är den sämsta att fråga om den, för kundens skull lika mycket som för sin egen. En kollega från ett annat team får uppriktigare svar och lyssnar på dem mer opartiskt.
Lås orden som spelar roll. Bestäm huvudfrågorna i förväg och ställ dem som de står, i samma ordning, till alla. Spara improvisationen till följdfrågorna, och håll dem enkla: vad hände sedan, kan du ge ett exempel, vad gjorde du då. En följdfråga ska aldrig innehålla en gissning om svaret. Vår guide till följdfrågor har ett förråd av neutrala.
Spela in allt och arbeta utifrån inspelningen. Anteckningar är intervjuarens redogörelse för intervjun. Ett transkript är kundens. När resultat citeras, citera kunden.
Och använd mer än en intervjuare, med flit. Om två personer intervjuar jämförbara kunder och kommer tillbaka med olika slutsatser har du lärt dig något om intervjuarna som en ensam aldrig hade kunnat visa dig. Rices upptäckt var möjlig bara för att de var tolv.
Intervjuaren som inte varierar
Det botemedel som återstår är att hålla intervjuaren konstant, och det har nyligen blivit möjligt.
En automatiserad intervjuare ställer samma frågor till varje kund på samma sätt. Den har ingen teori om onboardingen, byggde inte funktionen och lyser inte upp vid svaret den hoppades på. Variationen mellan intervjuare, den del av effekten som forskarnas siffra mäter, försvinner, eftersom det bara finns en. Och människor verkar tycka att den är lättare att prata med. I en stor studie av AI-ledda intervjuer sa 43 % av deltagarna att de skulle välja AI:n igen och 19 % en människa.
Det vore för mycket att kalla detta slutet på saken. En enda intervjuare som används på alla är konsekvent, vilket inte är samma sak som neutral. Om dess följdfrågor lutar, lutar de likadant i varje samtal, och det finns ingen andra intervjuare som avslöjar det. Dess sätt spelar också roll: i ett experiment lockade chattagenter med bättre samtalsförmåga fram artigare, ansiktsräddande svar än enklare agenter. Biasen har flyttat från personen till designen, där den åtminstone kan granskas, testas och ändras. Vi väger beläggen i om folk säger sanningen till AI-intervjuare.
Så läs transkripten, vem som än ställde frågorna. Kontrollera att följdfrågorna var frågor och inte förslag. Leta efter kunden som sa något ingen väntade sig, och se vad som gjordes med det.
Rices utredare fick aldrig veta vad de hade gjort. Var och en av dem hade kunnat svära på att hans anteckningar var korrekta. Biasen blev synlig först när alla tolv uppsättningar akter lades sida vid sida. En ensam intervjuare har inget att läggas bredvid, och det mesta av kundforskningen görs av en enda.
Så hjälper Diaform
Diaform ger varje kund samma intervjuare. AI:n ställer dina frågor så som du skrev dem, en i taget, och följer upp vaga svar till det djup du anger, så att formuleringen inte glider från ett samtal till nästa. Varje samtal behåller sitt fullständiga transkript och ordagranna citat, så att du kan läsa vad som frågades såväl som vad som svarades. Dess följdfrågor är genererade och värda att kontrollera precis som vem som helsts. Det finns en gratis provperiod på 14 dagar.
