En grupp studenter fick en gång två frågor. Hur nöjd är du med ditt liv i stort? Och hur många dejter hade du förra månaden?
I den ordningen hade svaren nästan ingenting med varandra att göra. Studenterna som gick ut mycket var på det hela taget inte lyckligare än de som stannade hemma. Sedan gav forskarna en annan grupp samma två frågor i omvänd ordning. Först dejterna, sedan lyckan. Nu följde de två svaren varandra tydligt, med en korrelation på 0,66, och den som läste resultaten skulle ha dragit slutsatsen att en students belåtenhet främst hängde på kärleken.
Ingenting i studenternas liv skilde de två grupperna åt. Det som skilde var vad de hade tänkt på några sekunder tidigare. När de ombads summera sin tillvaro vände sig den andra gruppen till det närmaste belägget, som enkäten just hade försett dem med.
Enkätforskare kallar detta en ordningseffekt. Den innebär att en fråga aldrig ställs ensam. Den ställs efter den föregående och ärver dess sinnesstämning.
Tio procentenheter för en president
Effekten är inte begränsad till studenter och deras kärleksliv. Pew Research har gjort det till en vana att bygga in små experiment i sina mätningar genom att skicka halva urvalet frågorna i en ordning och andra halvan i en annan, och det publicerar vad som händer.
I december 2008 frågade Pew amerikaner om de var nöjda eller missnöjda med hur det gick i landet. När frågan ställdes rakt av sa 78 % att de var missnöjda. Tillfrågade direkt efter en fråga om hur George W. Bush skötte sitt ämbete sa 88 % det. Frågan om förtroende hade flyttat nationens humör tio procentenheter. Bushs egna siffror rörde sig för övrigt inte, vilken fråga som än kom först.
Ibland skjuter en tidigare fråga det senare svaret ifrån sig. År 2003 frågade Pew om homosexuella par skulle få ingå juridiska avtal med äktenskapets rättigheter. Trettiosju procent var för. Bland dem som först hade fått frågan om själva äktenskapet var 45 % för. Efter att ha fått säga sin mening om det större steget blev en del svarande mer villiga att acceptera det mindre.
Och ibland drar den det senare svaret till sig. I november 2008 fick folk frågan om republikanska ledare borde samarbeta med den nye presidenten eller stå emot honom. Sextiosex procent sa samarbeta. När frågan kom efter en om huruvida demokratiska ledare borde samarbeta med republikanerna var siffran 81 %. Människor hade just ställt sig bakom samarbete åt ena hållet och ville inte neka det åt det andra.
Den äldsta demonstrationen är av samma slag och större. År 1948 fick amerikaner frågan om kommunistiska reportrar borde släppas in i USA, och om amerikanska reportrar borde släppas in i kommunistiska länder. Vilken fråga som kom först ändrade svaret om kommunistiska reportrar med 37 procentenheter.
Varför det händer
Ingen av dessa svarande var slarvig. De behandlade enkäten som människor behandlar varje samtal, där det som just har sagts påverkar det som sägs härnäst.
Två vanor gör det mesta av arbetet. Den första är att människor svarar utifrån det de har i tankarna. Få av oss bär på en färdig siffra för hur nöjda vi är med landet, eller med en mjukvara. Vi sätter ihop en på beställning, av det som ligger närmast, och den föregående frågan ligger alltid nära.
Den andra är en fråga om god ton. I ett samtal upprepar man sig inte. Den som först får en fråga om sitt äktenskap och sedan om sitt liv i stort kan uppfatta den andra frågan som ”bortsett från ditt äktenskap” och utelämna det. En specifik fråga kan alltså blåsa upp det allmänna svar som följer eller krympa det, beroende på hur den svarande läser paret. Pews sammanfattning av forskningen är att människor tenderar att undvika upprepning genom att hålla den mer specifika frågan utanför det allmänna betyget.
Det finns en variant för öppna frågor, och den betyder mest för den som samlar in feedback. Om slutna frågor om ett ämne kommer först, rapporterar Pew, är svarande ”mycket mer benägna att nämna begrepp eller överväganden som togs upp i de tidigare frågorna” när den öppna frågan kommer. Be folk betygsätta din rapportering, dina integrationer och din support, bjud sedan in dem att med egna ord säga vad du borde förbättra, och de berättar om rapportering, integrationer och support. Du har skrivit deras svar åt dem.
Var den gömmer sig i en kundenkät
Experimenten handlar om politik, och ingen har gjort något motsvarande med produktenkäter, så det som följer är en slutledning. Men mekanismen beror inte på ämnet, och ställena där den skulle slå till är lätta att hitta.
Helhetsbetyget är det uppenbara. En nöjdhets- eller rekommendationsfråga som placeras efter ett avsnitt om buggar, driftstopp eller ett färskt supportärende ställs till någon som just har letts genom dina brister. Placerad efter en lista över funktioner de gillar ställs den till någon på bättre humör. Inget av dem är kundens opåverkade syn.
Den återkommande mätningen är det dyra fallet. Ett team lägger till två frågor om en ny funktion, placerar dem tidigt, och tre månader senare har nöjdhetsbetyget rört sig. Något ändrades, och det kan ha varit enkäten. Pews råd på den punkten är rakt: när du följer en siffra över tid, se till att sammanhanget är detsamma varje gång frågan ställs.
Pris är ett tredje. Fråga vad någon skulle betala efter att ha bett dem räkna upp allt produkten gör för dem, och du har påmint dem om värdet. Fråga efter ett avsnitt om frustrationer, och du har påmint dem om motsatsen. Hur villigt ett pris följer den senast sedda siffran beskriver vi i prisenkäter.
Att sätta frågorna i ordning
Botemedlen följer av mekanismen, och inget av dem är krångligt.
Ställ den allmänna frågan före de särskilda. Helhetsbetyget kommer först, medan kundens syn fortfarande är hens egen, och frågorna om leverans, pris och support kommer efteråt. Ställ öppna frågor före slutna om samma ämne, så att det folk självmant tar upp är det de hade i tankarna och inte det som stod på din lista.
Håll ordningen fast i allt du upprepar. Det som föregår din nyckelfråga det här kvartalet bör föregå den nästa. Behövs en ny fråga, lägg den efteråt.
Där du visar en lista, över funktioner att betygsätta eller skäl att välja bland, blanda den för varje svarande. De första punkterna i en lista får mer uppmärksamhet än de sista, och blandningen sprider ut fördelen. Spara personuppgifterna, företagsstorlek, roll och resten, till slutet, om du inte behöver dem för att avgöra vem som ser vilka frågor. Pew anser att en enkät, liksom ett samtal, bör vara grupperad efter ämne och utvecklas i en logisk ordning, med början i något som den svarande tycker är intressant.
Och håll den kort, eftersom en effekt som kräver en tidigare fråga har mindre att arbeta med när de är få. Formuleringen i varje fråga spelar också roll, ett ämne för ledande frågor.
Ordningen går inte att ta bort. Något måste komma först. Studenterna i experimentet skulle tänka på något innan de bedömde sina liv, och forskarnas enda val var om de skulle tillhandahålla det. Detsamma gäller varje enkät du skickar: när en kund når din viktigaste fråga har du redan talat om vad hen ska tänka på.
Så hjälper Diaform
Diaform ställer dina frågor en i taget i en chatt, i den ordning du bestämmer, så du avgör vad kunden har i tankarna när den viktiga frågan kommer. Du kan börja med helhetsfrågan och låta AI-intervjuaren följa upp svaret innan några detaljer tas upp. Ett samtal har en ordning som vilken enkät som helst, och följdfrågor tillför ett eget sammanhang, så förbehållen ovan gäller fortfarande. Det finns en gratis provperiod på 14 dagar.
