Skupině studentů kdysi položili dvě otázky. Jak šťastní jste celkově ve svém životě? A na kolika rande jste byli minulý měsíc?
V tomto pořadí neměly odpovědi spolu skoro nic společného. Studenti, kteří chodili na rande často, nebyli vesměs šťastnější než ti, kteří zůstávali doma. Pak výzkumníci dali jiné skupině stejné dvě otázky obráceně. Nejdřív rande, potom štěstí. Teď spolu obě odpovědi silně souvisely, s korelací 0,66, a kdokoli by výsledky četl, usoudil by, že spokojenost studenta závisí hlavně na lásce.
V životech studentů se mezi oběma skupinami nelišilo nic. Lišilo se, na co mysleli o pár vteřin dřív. Když měli shrnout svůj život, sáhla druhá skupina po nejbližším důkazu, který jí dotazník právě dodal.
Odborníci na průzkumy tomu říkají efekt pořadí. Znamená, že otázka se nikdy neklade sama. Klade se po té předchozí a dědí její rozpoložení.
Deset bodů za prezidenta
Efekt se neomezuje na studenty a jejich milostný život. Pew Research má ve zvyku vkládat do svých průzkumů malé experimenty: polovině vzorku pošle otázky v jednom pořadí a polovině v jiném a zveřejňuje, co se stane.
V prosinci 2008 se Pew ptal Američanů, zda jsou spokojeni, nebo nespokojeni s tím, jak se věci v zemi vyvíjejí. Když se ptal bez úvodu, 78 % řeklo nespokojeni. Když se ptal hned po otázce na to, jak George W. Bush vykonává svůj úřad, řeklo to 88 %. Otázka na hodnocení prezidenta posunula náladu národa o deset bodů. Bushovo vlastní hodnocení se mimochodem nehnulo, ať byla první kterákoli otázka.
Někdy dřívější otázka pozdější odpověď od sebe odstrčí. V roce 2003 se Pew ptal, zda mají gay a lesbické páry smět uzavírat právní dohody s právy manželství. Pro bylo 37 %. Mezi lidmi, kteří nejdřív dostali otázku na samotné manželství, bylo pro 45 %. Když se mohli vyjádřit k většímu kroku, byli někteří respondenti ochotnější přijmout ten menší.
A někdy ji k sobě přitáhne. V listopadu 2008 dostali lidé otázku, zda mají republikánští lídři spolupracovat s novým prezidentem, nebo se mu postavit. Šedesát šest procent řeklo spolupracovat. Když otázka přišla po otázce, zda mají demokratičtí lídři spolupracovat s republikány, bylo to 81 %. Lidé právě podpořili spolupráci jedním směrem a nechtěli ji odmítnout druhým.
Nejstarší ukázka je stejného druhu a větší. V roce 1948 se Američanů ptali, zda mají být komunističtí reportéři vpuštěni do Spojených států a zda mají být američtí reportéři vpuštěni do komunistických zemí. To, která otázka byla první, změnilo odpověď o komunistických reportérech o 37 bodů.
Proč se to děje
Nikdo z těch respondentů nebyl nedbalý. Zacházeli s dotazníkem tak, jak lidé zacházejí s každým rozhovorem, v němž to, co právě zaznělo, ovlivňuje to, co zazní potom.
Většinu práce odvedou dva návyky. První je, že lidé odpovídají z toho, co mají na mysli. Málokdo z nás v sobě nosí hotové číslo pro svou spokojenost se zemí nebo se softwarem. Sestavíme ho na požádání z toho, co je nejblíž, a předchozí otázka je blízko vždy.
Druhý je věcí slušnosti. V rozhovoru se člověk neopakuje. Někdo, kdo dostane nejdřív otázku na své manželství a potom na svůj život celkově, může druhou otázku pochopit jako „kromě manželství“ a vynechat ho. Konkrétní otázka tak může obecnou odpověď, která následuje, nafouknout, nebo scvrknout, podle toho, jak si respondent tu dvojici vyloží. Pew shrnuje výzkum tak, že lidé mají sklon vyhýbat se opakování tím, že konkrétnější otázku z obecného hodnocení vyloučí.
Existuje verze pro otevřené otázky a ta je nejdůležitější pro každého, kdo sbírá zpětnou vazbu. Pokud uzavřené otázky na dané téma přijdou první, uvádí Pew, respondenti „mnohem pravděpodobněji zmíní pojmy nebo úvahy, které zazněly v těchto dřívějších otázkách“, když dojde na otevřenou otázku. Požádejte lidi, aby ohodnotili vaše reporty, integrace a podporu, pak je vyzvěte, aby vlastními slovy řekli, co máte zlepšit, a budou mluvit o reportech, integracích a podpoře. Napsali jste jejich odpověď za ně.
Kde se skrývá v zákaznickém průzkumu
Experimenty se týkají politiky a nikdo neudělal obdobné na produktových průzkumech, takže to, co následuje, je úsudek. Mechanismus ale na tématu nezávisí a místa, kde by se projevil, se hledají snadno.
Celkové skóre je ten zjevný případ. Otázka na spokojenost nebo doporučení položená po oddílu o chybách, výpadcích nebo nedávném požadavku na podporu míří na někoho, koho jste právě provedli svými nedostatky. Položená po seznamu funkcí, které má rád, míří na někoho v lepší náladě. Ani jedno není zákazníkův neovlivněný názor.
Opakovaný průzkum je ten drahý případ. Tým přidá dvě otázky o nové funkci, dá je blízko začátku a o tři měsíce později se skóre spokojenosti pohne. Něco se změnilo a mohl to být dotazník. Rada Pew je v tomto bodě strohá: když sledujete číslo v čase, dbejte, aby byl kontext pokaždé stejný.
Cena je třetí. Zeptejte se, kolik by někdo zaplatil, poté co jste ho nechali vyjmenovat všechno, co pro něj produkt dělá, a předem jste mu připomněli hodnotu. Zeptejte se po oddílu o frustracích a připomněli jste mu opak. Jak ochotně cena následuje poslední viděné číslo, popisujeme v článku o cenových průzkumech.
Jak otázky seřadit
Opatření plynou z mechanismu a žádné není složité.
Položte obecnou otázku před těmi konkrétními. Celkové hodnocení přijde první, dokud je zákazníkův názor ještě jeho vlastní, a otázky na dodání, cenu a podporu až potom. Pokládejte otevřené otázky před uzavřenými na stejné téma, aby to, co lidé sami zmíní, bylo to, co měli na mysli, a ne to, co bylo na vašem seznamu.
Držte pořadí stálé ve všem, co opakujete. Co předchází vaší klíčové otázce v tomto čtvrtletí, mělo by jí předcházet i v příštím. Pokud je potřeba nová otázka, dejte ji za ni.
Kde ukazujete seznam, funkcí k hodnocení nebo důvodů na výběr, zamíchejte ho pro každého respondenta. První položky seznamu dostanou víc pozornosti než poslední a míchání tu výhodu rozloží. Osobní údaje, velikost firmy, roli a podobně, nechte na konec, pokud je nepotřebujete k rozhodnutí, kdo uvidí které otázky. Podle Pew má být dotazník, stejně jako rozhovor, seskupený podle témat a má se odvíjet v logickém pořadí, počínaje něčím, co respondenta zajímá.
A držte ho krátký, protože efekt, který potřebuje dřívější otázku, má méně materiálu, když jich je málo. Záleží i na formulaci každé otázky, čemuž se věnujeme v článku o sugestivních otázkách.
Pořadí se odstranit nedá. Něco musí být první. Studenti v experimentu by před hodnocením svého života tak jako tak na něco mysleli, a výzkumníci si mohli vybrat jen to, zda jim to dodají. Totéž platí pro každý průzkum, který pošlete: než zákazník dojde k vaší nejdůležitější otázce, už jste mu řekli, na co má myslet.
Jak pomáhá Diaform
Diaform klade vaše otázky jednu po druhé v chatu, v pořadí, které nastavíte, takže vy rozhodujete, co má zákazník na mysli, když přijde důležitá otázka. Můžete začít celkovou otázkou a nechat AI tazatele doptat se na odpověď dřív, než zazní jakékoli podrobnosti. Konverzace má pořadí jako každý dotazník a doplňující otázky přidávají vlastní kontext, takže výhrady výše platí dál. K dispozici je 14denní zkušební verze zdarma.
