In 1929 publiceerde een socioloog genaamd Stuart Rice een kort artikel over een aantal oude dossiers. Jaren eerder hadden twaalf onderzoekers een lange reeks berooide mannen ondervraagd die om een slaapplaats voor de nacht vroegen, en bij ieder de oorzaak van zijn tegenspoed genoteerd. De aanvragers waren min of meer in volgorde van binnenkomst over de onderzoekers verdeeld, dus iedere onderzoeker had dezelfde mengeling van mannen moeten treffen, met dezelfde mengeling van problemen.
De dossiers vertelden iets anders. De oorzaken van de armoede leken af te hangen van wie de pen had vastgehouden. In de versie die via de handboeken is overgeleverd, was één onderzoeker een overtuigd voorstander van het drankverbod, en zijn mannen waren vooral aan de drank ten onder gegaan. Een ander was socialist, en de zijne waren ten onder gegaan aan de omstandigheden in de industrie. Nog verontrustender: wat de mannen zelf over zichzelf vertelden, helde dezelfde kant op. Rice vatte samen dat het onderzoek een overdracht van de individuele vooringenomenheid van de onderzoekers op de aanvragers aan het licht bracht, en een bijpassende vertekening in de antwoorden. Hij noemde het besmettelijke vooringenomenheid.
Niemand had iets vervalst. Twee eerlijke mannen hadden eerlijke vragen gesteld aan mensen in dezelfde nood en opgeschreven wat ze hoorden. Elk had gevonden wat hij verwachtte te vinden, en had zijn ondervraagden er op de een of andere manier toe gebracht het ook te vinden.
Klantinterviews worden in de regel afgenomen door mensen met sterkere opvattingen over het product dan de onderzoekers van Rice hadden over drank.
Hoeveel een interviewer toevoegt
Enquêteonderzoekers hebben de eeuw sindsdien besteed aan het meten van het effect, en ze hebben er een getal voor. Neem alle variatie in de antwoorden op een vraag en vraag je af welk deel wordt verklaard door welke interviewer toevallig de vraag stelde. In face-to-face-enquêtes bleek dat deel te lopen van ongeveer een half procent tot ongeveer tien.
Dat lijkt geruststellend totdat je gaat vermenigvuldigen. De schade hangt af van hoeveel interviews elke interviewer afneemt, want iedereen die door dezelfde persoon is ondervraagd, deelt diens scheefheid. Als de interviewer 5% van de variatie verklaart en ieder twintig interviews doet, is de steekproef ongeveer de helft van haar nominale omvang waard. Tweehonderd interviews bevatten de informatie van ruwweg honderd. Hoe meer werk elke interviewer doet, hoe minder elk extra interview waard is.
Het effect valt niet overal even zwaar. Een synthese van het onderzoek vond het geconcentreerd waar je het zou verwachten. Het is groter bij meningen dan bij feiten en groter bij gevoelige kwesties dan bij neutrale. Het is het grootst waar de interviewer ruimte heeft om te helpen: om uit te leggen, te herformuleren, te beslissen wanneer een antwoord compleet is en wanneer hij moet doorvragen.
Die laatste categorie is een redelijke beschrijving van een klantinterview. Een enquêteur leest een vaste vraag voor en vinkt een vakje aan. Een productmanager die met een klant praat, herformuleert de vraag ter plekke, kiest op welke opmerking ze doorgaat en welke ze laat passeren, en beslist wat er in de aantekeningen komt. Elk van die keuzes is een opening.
Drie ingangen
De bias komt op drie punten binnen.
Het eerste is de loutere aanwezigheid van de interviewer. Mensen stemmen wat ze zeggen af op wie er luistert. In een studie onder zwarte Amerikanen uit 1968 verschilden antwoorden over protest en over vijandigheid tegenover witte mensen naargelang de interviewer zwart of wit was, terwijl wat mensen meldden over leefomstandigheden en ervaren discriminatie nauwelijks bewoog. De feiten bleven op hun plaats, en de meningen schoven mee met de luisteraar. Er is ook een commerciële versie gemeten. In een studie in India kozen mensen die moesten kiezen tussen twee identieke versies van een technologie ongeveer tweeënhalf keer zo vaak voor de versie waarvan ze dachten dat de interviewer die had gebouwd. Een oprichter die een klant naar het product vraagt, zit in dezelfde positie als die interviewer.
Het tweede is het vragen. Geen twee interviewers stellen een vraag op dezelfde manier, en de verschillen zijn niet willekeurig. Wie gelooft dat onboarding het probleem is, vraagt naar onboarding met belangstelling en naar de prijs uit plicht. Een aarzelend antwoord dat bij de theorie past, krijgt “vertel daar eens meer over”. Een antwoord dat niet past, krijgt “oké, en verder”. Niets hiervan lijkt op een sturende vraag uit het leerboek. Het gebeurt met aandacht, en klanten volgen aandacht zoals de aanvragers van Rice dat deden.
Het derde is het horen. Een uur gesprek wordt een halve pagina aantekeningen, en iemand beslist welke helft. De opmerking die bevestigt wat het team al vermoedde, wordt woord voor woord genoteerd. De opmerking die er dwars tegenin gaat, wordt samengevat, of verkeerd verstaan, of lijkt het noteren niet waard. Tegen de tijd dat er over de interviews wordt gerapporteerd, is de blik van de interviewer twee keer door het materiaal gegaan, op de heenweg en op de terugweg.
Hoe je het vermindert
Het effect is niet helemaal weg te nemen. Een interview is een ontmoeting tussen twee mensen, en het heeft ze allebei nodig. Maar het meeste is eruit te persen met een paar vaste gewoonten, waarvan er geen enkele nieuw is.
Houd de bouwer uit de stoel. De persoon die de feature heeft ontworpen, is de slechtste om ernaar te vragen, zowel omwille van de klant als omwille van zichzelf. Een collega van een ander team krijgt openhartiger antwoorden en hoort ze evenwichtiger.
Leg de woorden vast die ertoe doen. Bepaal de hoofdvragen vooraf en stel ze zoals ze er staan, in dezelfde volgorde, aan iedereen. Bewaar het improviseren voor de vervolgvragen, en houd die sober: wat gebeurde er daarna, kun je een voorbeeld geven, wat deed je toen. Een vervolgvraag mag nooit een gok naar het antwoord bevatten. Onze gids over vervolgvragen heeft een voorraad neutrale.
Neem alles op en werk vanuit de opname. Aantekeningen zijn het verslag van de interviewer over het interview. Een transcript is dat van de klant. Als bevindingen worden geciteerd, citeer dan de klant.
En gebruik meer dan één interviewer, bewust. Als twee mensen vergelijkbare klanten interviewen en met verschillende conclusies terugkomen, heb je iets over de interviewers geleerd dat één interviewer je nooit had kunnen laten zien. De ontdekking van Rice was alleen mogelijk omdat het er twaalf waren.
De interviewer die niet varieert
De overgebleven remedie is de interviewer constant houden, en dat is sinds kort mogelijk.
Een geautomatiseerde interviewer stelt elke klant dezelfde vragen op dezelfde manier. Hij heeft geen theorie over onboarding, heeft de feature niet gebouwd en fleurt niet op bij het antwoord waarop hij hoopte. De variatie tussen interviewers, het deel van het effect dat het getal van de onderzoekers meet, verdwijnt, omdat er maar één is. En mensen lijken het makkelijker te vinden om ermee te praten. In één grote studie naar door AI geleide interviews zei 43% van de deelnemers dat ze opnieuw voor de AI zouden kiezen en 19% voor een mens.
Het zou te ver gaan om dit het einde van de zaak te noemen. Eén interviewer die op iedereen wordt toegepast, is consistent, en dat is niet hetzelfde als neutraal. Als zijn vervolgvragen een kant op hellen, doen ze dat in elk gesprek op dezelfde manier, en er bestaat geen tweede interviewer om het bloot te leggen. Ook zijn manier van doen telt: in één experiment lokten chatagents met betere gespreksvaardigheden beleefdere, gezichtsreddende antwoorden uit dan eenvoudiger agents. De bias is verhuisd van de persoon naar het ontwerp, waar hij tenminste kan worden bekeken, getest en veranderd. We wegen het bewijs in of mensen AI-interviewers de waarheid vertellen.
Lees dus de transcripten, wie de vragen ook stelde. Controleer of de vervolgvragen vragen waren en geen suggesties. Zoek de klant die iets zei wat niemand verwachtte, en kijk wat ermee is gedaan.
De onderzoekers van Rice hebben nooit geweten wat ze hadden gedaan. Elk van hen had kunnen zweren dat zijn dossiers klopten. De vooringenomenheid werd pas zichtbaar toen alle twaalf stapels dossiers naast elkaar lagen. Een eenzame interviewer heeft niets om naast te liggen, en het meeste klantonderzoek wordt door één persoon gedaan.
Hoe Diaform helpt
Diaform geeft elke klant dezelfde interviewer. De AI stelt je vragen zoals je ze hebt geschreven, één voor één, en vraagt bij vage antwoorden door tot de diepte die je instelt, zodat de formulering niet verschuift van het ene gesprek naar het andere. Elk gesprek bewaart het volledige transcript en letterlijke citaten, zodat je kunt lezen wat er werd gevraagd én wat er werd geantwoord. De vervolgvragen worden gegenereerd, en zijn het controleren waard zoals die van ieder ander. Er is een gratis proefperiode van 14 dagen.
