Skupine študentov kedysi položili dve otázky. Nakoľko ste celkovo šťastní vo svojom živote? A na koľkých rande ste boli minulý mesiac?
V tomto poradí nemali odpovede spolu takmer nič spoločné. Študenti, ktorí veľa chodili von, neboli zväčša šťastnejší než tí, čo zostávali doma. Potom výskumníci dali inej skupine tie isté dve otázky naopak. Najprv rande, potom šťastie. Teraz spolu obe odpovede silno súviseli, s koreláciou 0,66, a ktokoľvek by výsledky čítal, usúdil by, že spokojnosť študenta závisí hlavne od lásky.
V životoch študentov sa medzi oboma skupinami nelíšilo nič. Líšilo sa, na čo mysleli o pár sekúnd skôr. Keď mali zhrnúť svoj život, siahla druhá skupina po najbližšom dôkaze, ktorý jej dotazník práve dodal.
Výskumníci prieskumov tomu hovoria efekt poradia. Znamená, že otázka sa nikdy nekladie sama. Kladie sa po tej predchádzajúcej a dedí jej rozpoloženie.
Desať bodov za prezidenta
Efekt sa neobmedzuje na študentov a ich ľúbostný život. Pew Research má vo zvyku vkladať do svojich prieskumov malé experimenty: polovici vzorky pošle otázky v jednom poradí a polovici v inom a zverejňuje, čo sa stane.
V decembri 2008 sa Pew pýtal Američanov, či sú spokojní alebo nespokojní s tým, ako sa veci v krajine vyvíjajú. Keď sa pýtal bez úvodu, 78 % povedalo nespokojní. Keď sa pýtal hneď po otázke na to, ako George W. Bush vykonáva svoj úrad, povedalo to 88 %. Otázka na hodnotenie prezidenta posunula náladu národa o desať bodov. Bushove vlastné čísla sa mimochodom nepohli, nech bola prvá ktorákoľvek otázka.
Niekedy skoršia otázka neskoršiu odpoveď od seba odstrčí. V roku 2003 sa Pew pýtal, či majú mať gejské a lesbické páry možnosť uzatvárať právne dohody s právami manželstva. Za bolo 37 %. Medzi ľuďmi, ktorí najprv dostali otázku na samotné manželstvo, bolo za 45 %. Keď sa mohli vyjadriť k väčšiemu kroku, boli niektorí respondenti ochotnejší prijať ten menší.
A niekedy ju k sebe pritiahne. V novembri 2008 dostali ľudia otázku, či majú republikánski lídri spolupracovať s novým prezidentom, alebo sa mu postaviť. Šesťdesiatšesť percent povedalo spolupracovať. Keď otázka prišla po otázke, či majú demokratickí lídri spolupracovať s republikánmi, bolo to 81 %. Ľudia práve podporili spoluprácu jedným smerom a nechceli ju odmietnuť druhým.
Najstaršia ukážka je rovnakého druhu a väčšia. V roku 1948 sa Američanov pýtali, či majú byť komunistickí reportéri vpustení do Spojených štátov a či majú byť americkí reportéri vpustení do komunistických krajín. To, ktorá otázka bola prvá, zmenilo odpoveď o komunistických reportéroch o 37 bodov.
Prečo sa to deje
Nikto z tých respondentov nebol nedbalý. Zaobchádzali s dotazníkom tak, ako ľudia zaobchádzajú s každým rozhovorom, v ktorom to, čo práve zaznelo, ovplyvňuje to, čo zaznie potom.
Väčšinu práce urobia dva návyky. Prvý je, že ľudia odpovedajú podľa toho, čo majú práve na mysli. Málokto z nás v sebe nosí hotové číslo pre svoju spokojnosť s krajinou alebo so softvérom. Zostavíme ho na požiadanie z toho, čo je najbližšie, a predchádzajúca otázka je blízko vždy.
Druhý je vecou slušnosti. V rozhovore sa človek neopakuje. Niekto, kto dostane najprv otázku na svoje manželstvo a potom na svoj život celkovo, môže druhú otázku pochopiť ako „okrem manželstva“ a vynechať ho. Konkrétna otázka tak môže všeobecnú odpoveď, ktorá nasleduje, nafúknuť alebo scvrknúť, podľa toho, ako si respondent tú dvojicu vyloží. Pew zhŕňa výskum tak, že ľudia majú sklon vyhýbať sa opakovaniu tým, že konkrétnejšiu otázku zo všeobecného hodnotenia vylúčia.
Existuje verzia pre otvorené otázky a tá je najdôležitejšia pre každého, kto zbiera spätnú väzbu. Ak uzavreté otázky na danú tému prídu prvé, uvádza Pew, respondenti „s oveľa väčšou pravdepodobnosťou spomenú pojmy alebo úvahy, ktoré zazneli v týchto skorších otázkach“, keď dôjde na otvorenú otázku. Požiadajte ľudí, aby ohodnotili vaše reporty, integrácie a podporu, potom ich vyzvite, aby vlastnými slovami povedali, čo máte zlepšiť, a budú hovoriť o reportoch, integráciách a podpore. Napísali ste ich odpoveď za nich.
Kde sa skrýva v zákazníckom prieskume
Experimenty sa týkajú politiky a nikto neurobil podobné s produktovými prieskumami, takže to, čo nasleduje, je úsudok. Mechanizmus však od témy nezávisí a miesta, kde by sa prejavil, sa hľadajú ľahko.
Celkové skóre je zjavný prípad. Otázka na spokojnosť alebo odporúčanie položená po časti o chybách, výpadkoch alebo nedávnej požiadavke na podporu mieri na niekoho, koho ste práve previedli svojimi nedostatkami. Položená po zozname funkcií, ktoré má rád, mieri na niekoho v lepšej nálade. Ani jedno nie je zákazníkov neovplyvnený názor.
Opakovaný prieskum je ten drahý prípad. Tím pridá dve otázky o novej funkcii, dá ich blízko začiatku a o tri mesiace neskôr sa skóre spokojnosti pohne. Niečo sa zmenilo a mohol to byť dotazník. Rada Pew je v tomto bode strohá: keď sledujete číslo v čase, dbajte, aby bol kontext zakaždým rovnaký.
Cena je tretí prípad. Opýtajte sa, koľko by niekto zaplatil, po tom, čo ste ho nechali vymenovať všetko, čo preňho produkt robí, a navodili ste hodnotu. Opýtajte sa po časti o frustráciách a navodili ste opak. Ako ochotne cena nasleduje posledné videné číslo, opisujeme v článku o cenových prieskumoch.
Ako otázky zoradiť
Opatrenia vyplývajú z mechanizmu a žiadne nie je zložité.
Položte všeobecnú otázku pred tými konkrétnymi. Celkové hodnotenie príde prvé, kým je zákazníkov názor ešte jeho vlastný, a otázky na dodanie, cenu a podporu až potom. Klaďte otvorené otázky pred uzavretými na rovnakú tému, aby to, čo ľudia sami spomenú, bolo to, čo mali na mysli, a nie to, čo bolo na vašom zozname.
Držte poradie nemenné vo všetkom, čo opakujete. Čo predchádza vašej kľúčovej otázke v tomto štvrťroku, malo by jej predchádzať aj v nasledujúcom. Ak je potrebná nová otázka, dajte ju za ňu.
Kde ukazujete zoznam, funkcií na hodnotenie alebo dôvodov na výber, zamiešajte ho pre každého respondenta. Prvé položky zoznamu dostanú viac pozornosti než posledné a miešanie tú výhodu rozloží. Osobné údaje, veľkosť firmy, rolu a podobne, nechajte na koniec, ak ich nepotrebujete na rozhodnutie, kto uvidí ktoré otázky. Podľa Pew má byť dotazník, rovnako ako rozhovor, zoskupený podľa tém a má sa odvíjať v logickom poradí, počnúc niečím, čo respondenta zaujíma.
A držte ho krátky, pretože efekt, ktorý potrebuje skoršiu otázku, má menej materiálu, keď ich je málo. Záleží aj na formulácii každej otázky, čomu sa venujeme v článku o sugestívnych otázkach.
Poradie sa odstrániť nedá. Niečo musí byť prvé. Študenti v experimente by na niečo mysleli, skôr než by ohodnotili svoj život, a výskumníci si mohli vybrať len to, či im to dodajú. To isté platí pre každý prieskum, ktorý pošlete: kým zákazník dôjde k vašej najdôležitejšej otázke, už ste mu povedali, na čo má myslieť.
Ako pomáha Diaform
Diaform kladie vaše otázky jednu po druhej v chate, v poradí, ktoré nastavíte, takže vy rozhodujete, čo má zákazník na mysli, keď príde dôležitá otázka. Môžete začať celkovou otázkou a nechať AI anketára dopýtať sa na odpoveď skôr, než zaznejú akékoľvek podrobnosti. Konverzácia má poradie ako každý dotazník a doplňujúce otázky pridávajú vlastný kontext, takže výhrady vyššie platia ďalej. K dispozícii je 14-dňová skúšobná verzia zadarmo.
