En gruppe studenter fikk en gang to spørsmål. Hvor lykkelig er du med livet ditt i det store og hele? Og hvor mange dater hadde du forrige måned?
I den rekkefølgen hadde svarene nesten ingenting med hverandre å gjøre. Studentene som gikk mye ut, var stort sett ikke lykkeligere enn dem som ble hjemme. Så ga forskerne en annen gruppe de samme to spørsmålene i motsatt rekkefølge. Først datene, så lykken. Nå fulgte de to svarene hverandre tydelig, med en korrelasjon på 0,66, og enhver som leste resultatene, ville ha konkludert med at en students tilfredshet først og fremst avhang av kjærligheten.
Ingenting ved studentenes liv skilte de to gruppene. Det som skilte, var hva de hadde tenkt på noen sekunder tidligere. Bedt om å oppsummere tilværelsen sin grep den andre gruppen det nærmeste holdepunktet, som spørreskjemaet nettopp hadde gitt dem.
Surveyforskere kaller dette en rekkefølgeeffekt. Den betyr at et spørsmål aldri stilles alene. Det stilles etter det forrige og arver sinnsstemningen derfra.
Ti poeng for en president
Effekten er ikke forbeholdt studenter og kjærlighetslivet deres. Pew Research har gjort det til en vane å bygge små eksperimenter inn i målingene sine ved å sende halve utvalget spørsmålene i én rekkefølge og den andre halvparten i en annen, og det publiserer hva som skjer.
I desember 2008 spurte Pew amerikanere om de var fornøyde eller misfornøyde med hvordan det gikk i landet. Spurt uten noe i forkant sa 78 % misfornøyd. Spurt rett etter et spørsmål om hvordan George W. Bush skjøttet embetet, sa 88 % det. Spørsmålet om oppslutning hadde flyttet nasjonens humør ti poeng. Bushs egne tall rørte seg for øvrig ikke, uansett hvilket spørsmål som kom først.
Noen ganger skyver et tidligere spørsmål det senere svaret fra seg. I 2003 spurte Pew om homofile og lesbiske par burde få inngå juridiske avtaler med ekteskapets rettigheter. Trettisju prosent var for. Blant dem som først var spurt om selve ekteskapet, var 45 % for. Etter å ha fått si sin mening om det større skrittet ble noen respondenter mer villige til å godta det mindre.
Og noen ganger trekker det det senere svaret til seg. I november 2008 ble folk spurt om republikanske ledere burde samarbeide med den nye presidenten eller stå imot ham. Sekstiseks prosent sa samarbeide. Når spørsmålet kom etter et om hvorvidt demokratiske ledere burde samarbeide med republikanerne, var tallet 81 %. Folk hadde nettopp støttet samarbeid i den ene retningen og ville nødig nekte det i den andre.
Den eldste demonstrasjonen er av samme slag og større. I 1948 ble amerikanere spurt om kommunistiske journalister burde slippes inn i USA, og om amerikanske journalister burde slippes inn i kommunistiske land. Hvilket spørsmål som kom først, endret svaret om kommunistiske journalister med 37 poeng.
Hvorfor det skjer
Ingen av disse respondentene var slurvete. De behandlet spørreskjemaet slik mennesker behandler enhver samtale, der det som nettopp er sagt, har betydning for det som sies etterpå.
To vaner gjør mesteparten av jobben. Den første er at folk svarer ut fra det de har i tankene. De færreste av oss går rundt med et fast tall for hvor fornøyde vi er med landet, eller med en programvare. Vi setter sammen et på bestilling, av det som ligger nærmest, og det forrige spørsmålet ligger alltid nær.
Den andre handler om folkeskikk. I en samtale gjentar man ikke seg selv. En som først blir spurt om ekteskapet sitt og deretter om livet i det store og hele, kan oppfatte det andre spørsmålet som «bortsett fra ekteskapet» og utelate det. Et spesifikt spørsmål kan altså blåse opp det generelle svaret som følger, eller krympe det, alt etter hvordan respondenten leser paret. Pews oppsummering av forskningen er at folk har en tendens til å unngå gjentakelse ved å holde det mer spesifikke spørsmålet utenfor den generelle vurderingen.
Det finnes en variant for åpne spørsmål, og den betyr mest for alle som samler inn tilbakemeldinger. Hvis lukkede spørsmål om et tema kommer først, melder Pew, er respondenter «mye mer tilbøyelige til å nevne begreper eller betraktninger som ble tatt opp i de tidligere spørsmålene» når det åpne spørsmålet kommer. Be folk vurdere rapporteringen, integrasjonene og kundestøtten din, inviter dem deretter til å si med egne ord hva du bør forbedre, og de forteller deg om rapportering, integrasjoner og kundestøtte. Du har skrevet svaret for dem.
Hvor den gjemmer seg i en kundeundersøkelse
Eksperimentene handler om politikk, og ingen har gjort noe tilsvarende med produktundersøkelser, så det som følger, er en slutning. Men mekanismen avhenger ikke av temaet, og stedene der den ville bite, er lette å finne.
Totalscoren er det opplagte. Et tilfredshets- eller anbefalingsspørsmål plassert etter en del om feil, nedetid eller en fersk supportsak stilles til noen som nettopp er ført gjennom manglene dine. Plassert etter en liste over funksjoner de liker, stilles det til noen i bedre humør. Ingen av delene er kundens upåvirkede syn.
Den gjentatte målingen er det dyre tilfellet. Et team legger til to spørsmål om en ny funksjon, setter dem nær toppen, og tre måneder senere har tilfredshetsscoren flyttet seg. Noe endret seg, og det kan ha vært spørreskjemaet. Pews råd på dette punktet er kontant: Når du følger et tall over tid, pass på at konteksten er den samme hver gang det spørres.
Pris er et tredje. Spør hva noen ville betalt etter å ha bedt dem ramse opp alt produktet gjør for dem, og du har primet verdien. Spør etter en del om frustrasjoner, og du har primet det motsatte. Hvor villig en pris følger det sist sette tallet, beskriver vi i artikkelen om prisundersøkelser.
Å sette spørsmålene i rekkefølge
Botemidlene følger av mekanismen, og ingen av dem er innviklede.
Still det generelle spørsmålet før de spesifikke. Helhetsvurderingen kommer først, mens synet fortsatt er kundens eget, og spørsmålene om levering, pris og kundestøtte kommer etterpå. Still åpne spørsmål før lukkede om samme tema, slik at det folk kommer med av seg selv, er det de hadde i tankene, og ikke det som sto på listen din.
Hold rekkefølgen fast i alt du gjentar. Det som går forut for nøkkelspørsmålet ditt dette kvartalet, bør gå forut for det også neste kvartal. Trengs det et nytt spørsmål, sett det etterpå.
Der du viser en liste, over funksjoner som skal vurderes, eller grunner å velge blant, stokk den for hver respondent. De første punktene på en liste får mer oppmerksomhet enn de siste, og stokkingen jevner ut fordelen. Spar personopplysningene, bedriftsstørrelse, rolle og resten, til slutten, med mindre du trenger dem for å avgjøre hvem som ser hvilke spørsmål. Pew mener at et spørreskjema, som en samtale, bør være gruppert etter tema og utfolde seg i en logisk rekkefølge, med start i noe respondenten synes er interessant.
Og hold det kort, siden en effekt som trenger et tidligere spørsmål, har mindre å jobbe med når det er få av dem. Ordlyden i hvert enkelt spørsmål betyr også noe, et tema for ledende spørsmål.
Rekkefølgen kan ikke fjernes. Noe må komme først. Studentene i eksperimentet ville tenke på et eller annet før de vurderte livet sitt, og forskernes eneste valg var om de skulle levere det. Det samme gjelder hver undersøkelse du sender: Når en kunde kommer til det viktigste spørsmålet ditt, har du allerede fortalt dem hva de skal tenke på.
Slik hjelper Diaform
Diaform stiller spørsmålene dine ett om gangen i en chat, i rekkefølgen du setter, så du bestemmer hva kunden har i tankene når det viktige spørsmålet kommer. Du kan åpne med helhetsspørsmålet og la AI-intervjueren følge opp svaret før noen detaljer tas opp. En samtale har en rekkefølge som ethvert spørreskjema, og oppfølgingsspørsmål tilfører sin egen kontekst, så forbeholdene over gjelder fortsatt. Det finnes en gratis prøveperiode på 14 dager.
