Een groep studenten kreeg ooit twee vragen. Hoe gelukkig ben je met je leven in het algemeen? En hoeveel dates had je vorige maand?
In die volgorde hadden de antwoorden bijna niets met elkaar te maken. Studenten die veel uitgingen, waren over het geheel genomen niet gelukkiger dan studenten die thuisbleven. Daarna gaven de onderzoekers een andere groep dezelfde twee vragen andersom. Eerst de dates, dan het geluk. Nu hingen de twee antwoorden sterk samen, met een correlatie van 0,66, en wie de resultaten las, zou hebben geconcludeerd dat de tevredenheid van een student vooral van de liefde afhing.
Aan het leven van de studenten verschilde niets tussen de twee groepen. Wat verschilde, was waar ze een paar seconden eerder aan hadden gedacht. Gevraagd om hun bestaan samen te vatten, raadpleegde de tweede groep het dichtstbijzijnde bewijs, dat de vragenlijst net had aangereikt.
Enquêteonderzoekers noemen dit een volgorde-effect. Het betekent dat een vraag nooit alleen wordt gesteld. Ze wordt gesteld na de vorige, en erft de gemoedstoestand daarvan.
Tien punten voor een president
Het effect blijft niet beperkt tot studenten en hun liefdesleven. Pew Research heeft er een gewoonte van gemaakt kleine experimenten in zijn peilingen in te bouwen, door de helft van de steekproef de vragen in de ene volgorde te sturen en de andere helft in een andere, en het publiceert wat er gebeurt.
In december 2008 vroeg Pew Amerikanen of ze tevreden of ontevreden waren met hoe het ging in het land. Zonder aanloop gevraagd zei 78% ontevreden. Direct na een vraag over hoe George W. Bush zijn werk deed, zei 88% dat. De vraag naar goedkeuring had de stemming van het land tien punten verschoven. Bush’ eigen cijfers veranderden overigens niet, welke vraag er ook eerst kwam.
Soms duwt een eerdere vraag het latere antwoord van zich af. In 2003 vroeg Pew of homoseksuele en lesbische stellen juridische overeenkomsten mochten sluiten met de rechten van het huwelijk. Zevenendertig procent was voor. Onder mensen die eerst naar het huwelijk zelf waren gevraagd, was 45% voor. Nu ze hun mening over de grotere stap hadden kunnen geven, waren sommige respondenten eerder bereid de kleinere te aanvaarden.
En soms trekt ze het latere antwoord naar zich toe. In november 2008 werd gevraagd of Republikeinse leiders met de nieuwe president moesten samenwerken of tegen hem in moesten gaan. Zesenzestig procent zei samenwerken. Kwam de vraag na een vraag of Democratische leiders met Republikeinen moesten samenwerken, dan was het 81%. Mensen hadden net samenwerking in de ene richting onderschreven en wilden die in de andere niet weigeren.
De oudste demonstratie is van hetzelfde soort en groter. In 1948 werd Amerikanen gevraagd of communistische verslaggevers in de Verenigde Staten moesten worden toegelaten, en of Amerikaanse verslaggevers in communistische landen moesten worden toegelaten. Welke vraag eerst kwam, veranderde het antwoord over communistische verslaggevers met 37 punten.
Waarom het gebeurt
Geen van deze respondenten was slordig. Ze behandelden de vragenlijst zoals mensen elk gesprek behandelen, waarin wat net is gezegd meeweegt in wat daarna wordt gezegd.
Twee gewoonten doen het meeste werk. De eerste is dat mensen antwoorden vanuit wat ze in gedachten hebben. Weinigen van ons dragen een vast cijfer mee voor onze tevredenheid met het land, of met een stuk software. We stellen er een samen op verzoek, uit wat het dichtstbij ligt, en de vorige vraag ligt altijd dichtbij.
De tweede is een kwestie van manieren. In een gesprek herhaal je jezelf niet. Iemand die eerst naar zijn huwelijk wordt gevraagd en daarna naar zijn leven in het algemeen, kan de tweede vraag opvatten als “afgezien van je huwelijk”, en het weglaten. Zo kan een specifieke vraag het algemene antwoord dat volgt opblazen of juist laten krimpen, afhankelijk van hoe de respondent het tweetal leest. Pews samenvatting van het onderzoek is dat mensen herhaling meestal vermijden door de specifiekere vraag buiten het algemene oordeel te houden.
Er is een variant voor open vragen, en die is het belangrijkst voor wie feedback verzamelt. Komen gesloten vragen over een onderwerp eerst, meldt Pew, dan noemen respondenten bij de open vraag “veel vaker begrippen of overwegingen die in die eerdere vragen aan bod kwamen”. Vraag mensen je rapportages, je integraties en je support te beoordelen, nodig hen dan uit in eigen woorden te zeggen wat je moet verbeteren, en ze vertellen je over rapportages, integraties en support. Je hebt hun antwoord voor hen geschreven.
Waar het zich verstopt in een klantenquête
De experimenten gaan over politiek, en niemand heeft iets vergelijkbaars gedaan met productenquêtes, dus wat volgt is een gevolgtrekking. Maar het mechanisme hangt niet af van het onderwerp, en de plekken waar het zou toeslaan, zijn makkelijk te vinden.
De totaalscore is de voor de hand liggende. Een tevredenheids- of aanbevelingsvraag na een blok over bugs, storingen of een recent supportticket wordt gesteld aan iemand die net langs je tekortkomingen is geleid. Na een lijst functies die hij waardeert, wordt ze gesteld aan iemand in een beter humeur. Geen van beide is het spontane oordeel van de klant.
De terugkerende meting is de dure. Een team voegt twee vragen over een nieuwe functie toe, zet ze vooraan, en drie maanden later is de tevredenheidsscore verschoven. Er is iets veranderd, en misschien was het de vragenlijst. Pews advies hierover is onomwonden: als je een cijfer in de tijd volgt, zorg dan dat de context elke keer dezelfde is.
Prijs is een derde. Vraag wat iemand zou betalen nadat je hem alles hebt laten opsommen wat het product voor hem doet, en je hebt hem op de waarde geprimed. Vraag het na een blok over frustraties, en je hebt hem op het tegenovergestelde geprimed. Hoe gemakkelijk een prijs het laatst geziene getal volgt, beschrijven we in prijsenquêtes.
Vragen op volgorde zetten
De remedies volgen uit het mechanisme, en geen ervan is ingewikkeld.
Stel de algemene vraag vóór de specifieke. Het totaaloordeel komt eerst, zolang de kijk van de klant nog de zijne is, en de vragen over levering, prijs en support komen daarna. Stel open vragen vóór gesloten vragen over hetzelfde onderwerp, zodat wat mensen uit zichzelf noemen is wat hen bezighield en niet wat op jouw lijst stond.
Houd de volgorde vast in alles wat je herhaalt. Wat dit kwartaal aan je kernvraag voorafgaat, hoort er volgend kwartaal ook aan vooraf te gaan. Is er een nieuwe vraag nodig, zet die er dan achter.
Waar je een lijst toont, van functies om te beoordelen of redenen om uit te kiezen, zet die dan voor elke respondent in een willekeurige volgorde. De eerste items op een lijst krijgen meer aandacht dan de laatste, en zo verdeel je het voordeel. Bewaar de persoonlijke gegevens, bedrijfsgrootte, functie en de rest, voor het einde, tenzij je ze nodig hebt om te bepalen wie welke vragen ziet. Pew vindt dat een vragenlijst, net als een gesprek, per onderwerp gegroepeerd moet zijn en zich in een logische volgorde moet ontvouwen, te beginnen met iets wat de respondent interessant vindt.
En houd het kort, want een effect dat een eerdere vraag nodig heeft, heeft minder om mee te werken als er weinig zijn. Ook de formulering binnen elke vraag doet ertoe, een onderwerp voor sturende vragen.
Volgorde valt niet weg te nemen. Iets moet eerst komen. De studenten in het experiment zouden hoe dan ook ergens aan denken voordat ze hun leven beoordeelden, en de onderzoekers konden alleen kiezen of zij het zouden aanreiken. Hetzelfde geldt voor elke enquête die je verstuurt: tegen de tijd dat een klant bij je belangrijkste vraag komt, heb je hem al verteld waar hij aan moet denken.
Hoe Diaform helpt
Diaform stelt je vragen een voor een in een chat, in de volgorde die jij bepaalt, dus jij beslist wat de klant in gedachten heeft wanneer de belangrijke vraag komt. Je kunt openen met de algemene vraag en de AI-interviewer op het antwoord laten doorvragen voordat er details ter sprake komen. Een gesprek heeft een volgorde zoals elke vragenlijst, en doorvragen voegen hun eigen context toe, dus de kanttekeningen hierboven blijven gelden. Er is een gratis proefperiode van 14 dagen.
