Grupie studentów zadano kiedyś dwa pytania. Jak bardzo jesteś zadowolony ze swojego życia w ogóle? I na ilu randkach byłeś w zeszłym miesiącu?
W tej kolejności odpowiedzi nie miały ze sobą prawie nic wspólnego. Studenci, którzy często gdzieś wychodzili, nie byli na ogół szczęśliwsi od tych, którzy siedzieli w domu. Potem badacze zadali innej grupie te same dwa pytania w odwrotnej kolejności. Najpierw randki, potem szczęście. Teraz obie odpowiedzi były ze sobą mocno powiązane, z korelacją 0,66, i każdy, kto czytałby wyniki, uznałby, że zadowolenie studenta zależy głównie od miłości.
W życiu studentów nic nie różniło obu grup. Różniło je to, o czym myśleli kilka sekund wcześniej. Poproszona o podsumowanie swojego życia druga grupa sięgnęła po najbliższy dowód, którego właśnie dostarczył kwestionariusz.
Badacze ankiet nazywają to efektem kolejności. Oznacza on, że pytania nigdy nie zadaje się w pojedynkę. Zadaje się je po poprzednim i dziedziczy ono jego nastrój.
Dziesięć punktów za prezydenta
Efekt nie ogranicza się do studentów i ich życia uczuciowego. Pew Research ma zwyczaj wbudowywać w swoje sondaże małe eksperymenty: połowie próby wysyła pytania w jednej kolejności, a połowie w innej, i publikuje, co z tego wynika.
W grudniu 2008 roku Pew zapytał Amerykanów, czy są zadowoleni, czy niezadowoleni z tego, jak sprawy mają się w kraju. Zapytani bez wstępu, w 78% odpowiedzieli, że niezadowoleni. Zapytani tuż po pytaniu o to, jak George W. Bush radzi sobie na stanowisku, odpowiedzieli tak w 88%. Pytanie o ocenę prezydenta przesunęło nastrój narodu o dziesięć punktów. Notowania samego Busha, nawiasem mówiąc, nie zmieniały się niezależnie od tego, które pytanie było pierwsze.
Czasem wcześniejsze pytanie odpycha późniejszą odpowiedź. W 2003 roku Pew zapytał o to, czy pary gejów i lesbijek powinny móc zawierać umowy prawne dające prawa małżeńskie. Za było 37%. Wśród osób, które najpierw zapytano o samo małżeństwo, za było 45%. Część respondentów, mając już za sobą wypowiedź o większym kroku, chętniej akceptowała mniejszy.
A czasem przyciąga ją do siebie. W listopadzie 2008 roku pytano, czy przywódcy republikanów powinni współpracować z nowym prezydentem, czy mu się przeciwstawiać. Sześćdziesiąt sześć procent powiedziało, że współpracować. Gdy pytanie padało po pytaniu o to, czy przywódcy demokratów powinni współpracować z republikanami, było to 81%. Ludzie dopiero co poparli współpracę w jedną stronę i nie chcieli odmawiać jej w drugą.
Najstarszy przykład jest tego samego rodzaju, tylko większy. W 1948 roku zapytano Amerykanów, czy komunistyczni reporterzy powinni być wpuszczani do Stanów Zjednoczonych i czy amerykańscy reporterzy powinni być wpuszczani do krajów komunistycznych. To, które pytanie było pierwsze, zmieniło odpowiedź w sprawie komunistycznych reporterów o 37 punktów.
Dlaczego tak się dzieje
Żaden z tych respondentów nie był niedbały. Traktowali kwestionariusz tak, jak ludzie traktują każdą rozmowę, w której to, co właśnie powiedziano, wpływa na to, co mówi się dalej.
Większość roboty wykonują dwa nawyki. Pierwszy: ludzie odpowiadają na podstawie tego, co mają w głowie. Mało kto nosi w sobie ustaloną liczbę opisującą zadowolenie z sytuacji w kraju albo z jakiegoś oprogramowania. Składamy ją na żądanie z tego, co jest najbliżej, a poprzednie pytanie zawsze jest blisko.
Drugi to kwestia dobrych manier. W rozmowie człowiek się nie powtarza. Ktoś zapytany najpierw o małżeństwo, a potem o życie w ogóle, może zrozumieć drugie pytanie jako „poza małżeństwem” i pominąć je w odpowiedzi. Pytanie szczegółowe może więc zawyżyć następującą po nim odpowiedź ogólną albo ją zaniżyć, zależnie od tego, jak respondent odczyta tę parę. Pew podsumowuje badania tak: ludzie zwykle unikają powtórzeń, wyłączając pytanie bardziej szczegółowe z oceny ogólnej.
Jest też wersja dla pytań otwartych i to ona ma największe znaczenie dla każdego, kto zbiera opinie. Jeśli pytania zamknięte na dany temat padają pierwsze, podaje Pew, respondenci „znacznie częściej wymieniają pojęcia lub kwestie poruszone w tych wcześniejszych pytaniach”, gdy przychodzi pytanie otwarte. Poproś ludzi o ocenę raportów, integracji i wsparcia, a potem zaproś ich, żeby własnymi słowami powiedzieli, co powinieneś poprawić, a opowiedzą o raportach, integracjach i wsparciu. Napisałeś ich odpowiedź za nich.
Gdzie się chowa w ankiecie dla klientów
Eksperymenty dotyczą polityki i nikt nie przeprowadził podobnych na ankietach produktowych, więc to, co piszemy dalej, jest wnioskowaniem. Mechanizm nie zależy jednak od tematu, a miejsca, w których by uderzył, łatwo znaleźć.
Najbardziej oczywistym jest wynik ogólny. Pytanie o zadowolenie albo o polecenie postawione po części o błędach, awariach czy niedawnym zgłoszeniu do wsparcia trafia do kogoś, kogo właśnie przeprowadzono przez Twoje niedociągnięcia. Postawione po liście funkcji, które lubi, trafia do kogoś w lepszym humorze. Ani jedno, ani drugie nie jest spontaniczną opinią klienta.
Ankieta cykliczna to przypadek kosztowny. Zespół dodaje dwa pytania o nową funkcję, umieszcza je blisko początku, a trzy miesiące później wynik zadowolenia się przesuwa. Coś się zmieniło i mógł to być kwestionariusz. Rada Pew jest tu bezceremonialna: gdy śledzisz jakąś liczbę w czasie, pilnuj, żeby kontekst był taki sam za każdym razem, gdy o nią pytasz.
Trzecim jest cena. Zapytaj, ile ktoś by zapłacił, po tym jak kazałeś mu wymienić wszystko, co produkt dla niego robi, a uruchomiłeś myślenie o wartości. Zapytaj po części o frustracjach, a uruchomiłeś coś odwrotnego. To, jak łatwo cena podąża za ostatnią zobaczoną liczbą, opisujemy w tekście o ankietach cenowych.
Jak ułożyć pytania
Środki zaradcze wynikają z mechanizmu i żaden nie jest skomplikowany.
Zadawaj pytanie ogólne przed szczegółowymi. Ocena ogólna idzie pierwsza, póki zdanie klienta jest jeszcze jego własne, a pytania o dostawę, cenę i wsparcie później. Zadawaj pytania otwarte przed zamkniętymi na ten sam temat, żeby to, co ludzie zgłaszają sami, było tym, co mieli w głowie, a nie tym, co było na Twojej liście.
Trzymaj stałą kolejność we wszystkim, co powtarzasz. To, co w tym kwartale poprzedza Twoje kluczowe pytanie, powinno poprzedzać je w następnym. Jeśli potrzebne jest nowe pytanie, wstaw je po nim.
Tam, gdzie pokazujesz listę, funkcji do oceny albo powodów do wyboru, tasuj ją dla każdego respondenta. Pierwsze pozycje na liście dostają więcej uwagi niż ostatnie, a tasowanie rozkłada tę przewagę. Dane o respondencie, czyli wielkość firmy, stanowisko i resztę, zostaw na koniec, chyba że potrzebujesz ich, żeby zdecydować, kto widzi które pytania. Zdaniem Pew kwestionariusz, tak jak rozmowa, powinien być pogrupowany tematycznie i rozwijać się w logicznym porządku, zaczynając od czegoś, co respondenta zainteresuje.
I niech będzie krótki, bo efekt, który potrzebuje wcześniejszego pytania, ma mniej materiału, gdy pytań jest niewiele. Znaczenie ma też brzmienie każdego pytania, o czym piszemy w tekście o pytaniach sugerujących.
Kolejności nie da się usunąć. Coś musi być pierwsze. Studenci z eksperymentu i tak pomyśleliby o czymś, zanim ocenili swoje życie, a badacze mogli tylko wybrać, czy im to podsunąć. To samo dotyczy każdej ankiety, którą wysyłasz: zanim klient dotrze do najważniejszego pytania, już mu powiedziałeś, o czym ma myśleć.
Jak pomaga Diaform
Diaform zadaje Twoje pytania jedno po drugim w czacie, w ustalonej przez Ciebie kolejności, więc to Ty decydujesz, co klient ma w głowie, gdy pada ważne pytanie. Możesz zacząć od pytania ogólnego i pozwolić ankieterowi AI dopytać o odpowiedź, zanim pojawią się szczegóły. Rozmowa ma kolejność jak każdy kwestionariusz, a pytania pogłębiające wnoszą własny kontekst, więc powyższe zastrzeżenia nadal obowiązują. Dostępny jest 14-dniowy darmowy okres próbny.
