En gruppe studerende fik engang to spørgsmål. Hvor glad er du for dit liv i almindelighed? Og hvor mange dates havde du i sidste måned?
I den rækkefølge havde svarene næsten intet med hinanden at gøre. De studerende, der gik meget ud, var i det store hele ikke gladere end dem, der blev hjemme. Så gav forskerne en anden gruppe de samme to spørgsmål i omvendt rækkefølge. Først dates, så lykke. Nu fulgtes de to svar tydeligt ad, med en korrelation på 0,66, og enhver, der læste resultaterne, ville have konkluderet, at en studerendes tilfredshed først og fremmest hang på kærligheden.
Intet ved de studerendes liv var forskelligt mellem de to grupper. Forskellen var, hvad de havde tænkt på få sekunder forinden. Bedt om at gøre deres tilværelse op greb den anden gruppe efter det nærmeste holdepunkt, som spørgeskemaet lige havde leveret.
Surveyforskere kalder det en rækkefølgeeffekt. Den betyder, at et spørgsmål aldrig stilles alene. Det stilles efter det foregående og arver dets sindsstemning.
Ti point for en præsident
Effekten er ikke forbeholdt studerende og deres kærlighedsliv. Pew Research har gjort det til en vane at bygge små eksperimenter ind i sine målinger ved at sende halvdelen af stikprøven spørgsmålene i én rækkefølge og den anden halvdel i en anden, og det offentliggør, hvad der sker.
I december 2008 spurgte Pew amerikanerne, om de var tilfredse eller utilfredse med, hvordan det gik i landet. Spurgt uden optakt sagde 78 % utilfredse. Spurgt umiddelbart efter et spørgsmål om George W. Bushs måde at varetage embedet på sagde 88 % det. Spørgsmålet om opbakning havde flyttet nationens humør ti point. Bushs egne tal rykkede sig i øvrigt ikke, uanset hvilket spørgsmål der kom først.
Nogle gange skubber et tidligere spørgsmål det senere svar væk fra sig. I 2003 spurgte Pew, om homoseksuelle par skulle kunne indgå juridiske aftaler med ægteskabets rettigheder. Syvogtredive procent var for. Blandt dem, der først var blevet spurgt om selve ægteskabet, var 45 % for. Efter at have fået lov at tage stilling til det større skridt blev nogle svarpersoner mere villige til at acceptere det mindre.
Og nogle gange trækker det det senere svar til sig. I november 2008 blev folk spurgt, om republikanske ledere skulle samarbejde med den nye præsident eller stå imod ham. Seksogtres procent sagde samarbejde. Når spørgsmålet kom efter et om, hvorvidt demokratiske ledere skulle samarbejde med republikanerne, var tallet 81 %. Folk havde lige bakket op om samarbejde i den ene retning og havde ikke lyst til at afvise det i den anden.
Den ældste demonstration er af samme slags og større. I 1948 blev amerikanerne spurgt, om kommunistiske journalister skulle lukkes ind i USA, og om amerikanske journalister skulle lukkes ind i kommunistiske lande. Hvilket spørgsmål der kom først, ændrede svaret om kommunistiske journalister med 37 point.
Hvorfor det sker
Ingen af disse svarpersoner var sjuskede. De behandlede spørgeskemaet, som mennesker behandler enhver samtale, hvor det, der lige er sagt, har betydning for det, der siges bagefter.
To vaner gør det meste af arbejdet. Den første er, at folk svarer ud fra det, de har i tankerne. De færreste af os går rundt med et fast tal for vores tilfredshed med landet eller med et stykke software. Vi sætter et sammen på bestilling af det, der ligger nærmest, og det foregående spørgsmål ligger altid nær.
Den anden er et spørgsmål om god tone. I en samtale gentager man ikke sig selv. En person, der først spørges om sit ægteskab og derefter om sit liv i almindelighed, kan opfatte det andet spørgsmål som »bortset fra dit ægteskab« og udelade det. Et specifikt spørgsmål kan altså puste det generelle svar, der følger, op eller få det til at skrumpe, alt efter hvordan svarpersonen læser parret. Pews sammenfatning af forskningen er, at folk har tendens til at undgå gentagelse ved at holde det mere specifikke spørgsmål ude af den generelle vurdering.
Der findes en udgave for åbne spørgsmål, og den betyder mest for alle, der indsamler feedback. Hvis lukkede spørgsmål om et emne kommer først, beretter Pew, er svarpersoner »langt mere tilbøjelige til at nævne begreber eller overvejelser, som blev rejst i de tidligere spørgsmål«, når det åbne spørgsmål kommer. Bed folk vurdere din rapportering, dine integrationer og din support, invitér dem derefter til med egne ord at sige, hvad du bør forbedre, og de fortæller dig om rapportering, integrationer og support. Du har skrevet deres svar for dem.
Hvor den gemmer sig i en kundeundersøgelse
Eksperimenterne handler om politik, og ingen har lavet noget tilsvarende med produktundersøgelser, så det følgende er en slutning. Men mekanismen afhænger ikke af emnet, og de steder, hvor den ville bide, er lette at finde.
Den samlede score er det oplagte. Et tilfredsheds- eller anbefalingsspørgsmål placeret efter et afsnit om fejl, nedbrud eller en nylig supportsag stilles til en, der lige er blevet ført gennem dine mangler. Placeret efter en liste over features, de kan lide, stilles det til en i bedre humør. Ingen af delene er kundens upåvirkede syn.
Den tilbagevendende måling er det dyre tilfælde. Et team tilføjer to spørgsmål om en ny feature, sætter dem tæt på toppen, og tre måneder senere har tilfredshedsscoren flyttet sig. Noget ændrede sig, og det kan have været spørgeskemaet. Pews råd på det punkt er kontant: Når du følger et tal over tid, så sørg for, at konteksten er den samme, hver gang der spørges.
Pris er et tredje. Spørg, hvad nogen ville betale, efter at have bedt dem opremse alt, hvad produktet gør for dem, og du har primet værdien. Spørg efter et afsnit om frustrationer, og du har primet det modsatte. Vi beskriver, hvor villigt en pris følger det sidst sete tal, i prisundersøgelser.
At sætte spørgsmål i rækkefølge
Midlerne følger af mekanismen, og ingen af dem er indviklede.
Stil det generelle spørgsmål før de specifikke. Den samlede vurdering kommer først, mens kundens syn stadig er deres eget, og spørgsmålene om levering, pris og support kommer bagefter. Stil åbne spørgsmål før lukkede om samme emne, så det, folk nævner af sig selv, er det, de havde i tankerne, og ikke det, der stod på din liste.
Hold rækkefølgen fast i alt, hvad du gentager. Det, der går forud for dit nøglespørgsmål i dette kvartal, bør gå forud for det i det næste. Hvis der er brug for et nyt spørgsmål, så sæt det bagefter.
Hvor du viser en liste, over features, der skal vurderes, eller grunde at vælge imellem, så bland den for hver svarperson. De første punkter på en liste får mere opmærksomhed end de sidste, og blanding fordeler fordelen. Gem de personlige oplysninger, virksomhedsstørrelse, rolle og resten, til sidst, medmindre du skal bruge dem til at afgøre, hvem der ser hvilke spørgsmål. Pews holdning er, at et spørgeskema, ligesom en samtale, bør være grupperet efter emne og folde sig ud i en logisk rækkefølge, begyndende med noget, svarpersonen finder interessant.
Og hold det kort, for en effekt, der kræver et tidligere spørgsmål, har mindre at arbejde med, når der er få af dem. Ordlyden i hvert enkelt spørgsmål betyder også noget, et emne for ledende spørgsmål.
Rækkefølge kan ikke fjernes. Noget skal komme først. De studerende i eksperimentet ville tænke på et eller andet, inden de vurderede deres liv, og forskernes eneste valg var, om de ville levere det. Det samme gælder enhver undersøgelse, du sender: Når en kunde når frem til dit vigtigste spørgsmål, har du allerede fortalt dem, hvad de skal tænke på.
Sådan hjælper Diaform
Diaform stiller dine spørgsmål ét ad gangen i en chat, i den rækkefølge, du fastlægger, så du bestemmer, hvad kunden har i tankerne, når det vigtige spørgsmål kommer. Du kan åbne med det samlede spørgsmål og lade AI-intervieweren spørge ind til svaret, før der kommer detaljer på bordet. En samtale har en rækkefølge som ethvert spørgeskema, og opfølgende spørgsmål tilføjer deres egen kontekst, så forbeholdene ovenfor gælder stadig. Der er en gratis prøveperiode på 14 dage.
