W 1929 roku socjolog Stuart Rice opublikował krótki artykuł o pewnych starych aktach. Wiele lat wcześniej dwunastu wywiadowców przepytało długi szereg ubogich mężczyzn starających się o nocleg i przy każdym zapisało przyczynę jego nieszczęścia. Zgłaszających się przydzielano wywiadowcom mniej więcej w kolejności przybycia, więc każdy wywiadowca powinien był trafić na tę samą mieszankę ludzi z tą samą mieszanką kłopotów.
Akta mówiły co innego. Przyczyny nędzy zdawały się zależeć od tego, kto trzymał pióro. W wersji, która przetrwała w podręcznikach, jeden wywiadowca był zagorzałym zwolennikiem prohibicji i jego ludzi zrujnował głównie alkohol. Inny był socjalistą i jego ludzi zrujnowały warunki w przemyśle. Co jeszcze bardziej niepokojące, własne relacje tych mężczyzn o sobie przechylały się w tę samą stronę. Rice podsumował, że badanie ujawniło przeniesienie indywidualnych uprzedzeń wywiadowców na zgłaszających się i odpowiadające mu zniekształcenie odpowiedzi. Nazwał to zaraźliwą stronniczością.
Nikt niczego nie sfałszował. Dwóch uczciwych ludzi zadało uczciwe pytania osobom w tym samym położeniu i zapisało to, co usłyszało. Każdy znalazł to, co spodziewał się znaleźć, i jakimś sposobem nakłonił swoich rozmówców, by znaleźli to samo.
Wywiady z klientami prowadzą z reguły ludzie o mocniejszych poglądach na produkt niż te, które wywiadowcy Rice’a mieli na alkohol.
Ile dokłada ankieter
Badacze sondaży spędzili stulecie, które od tamtej pory minęło, na mierzeniu tego efektu i potrafią wyrazić go liczbą. Weź całą zmienność odpowiedzi na jakieś pytanie i zapytaj, jaką jej część wyjaśnia to, który ankieter akurat pytał. W badaniach twarzą w twarz udział ten wynosił od około pół procenta do około dziesięciu.
Wygląda to uspokajająco, dopóki się tego nie pomnoży. Szkoda zależy od tego, ile wywiadów prowadzi każdy ankieter, bo na odpowiedziach wszystkich przepytanych przez tę samą osobę ciąży to samo skrzywienie. Jeśli ankieter odpowiada za 5% zmienności, a każdy prowadzi dwadzieścia wywiadów, próba jest warta mniej więcej połowę swojej nominalnej wielkości. Dwieście wywiadów niesie informację z grubsza stu. Im więcej pracy wykonuje każdy ankieter, tym mniej wart jest każdy kolejny wywiad.
Efekt nie rozkłada się równo. Synteza badań wykazała, że skupia się tam, gdzie należałoby się go spodziewać. Jest większy przy opiniach niż przy faktach i większy przy sprawach drażliwych niż przy neutralnych. Największy jest tam, gdzie ankieter ma pole do pomagania: do wyjaśniania, przeformułowywania, decydowania, kiedy odpowiedź jest pełna, a kiedy dopytywać o więcej.
Ta ostatnia kategoria dość wiernie opisuje wywiad z klientem. Ankieter sondażowy odczytuje ustalone pytanie i zaznacza pole. Menedżerka produktu rozmawiająca z klientem przeformułowuje pytanie na bieżąco, wybiera, którą uwagę podjąć, a którą puścić mimo uszu, i decyduje, co trafi do notatek. Każdy z tych wyborów jest furtką.
Trzy wejścia
Stronniczość wchodzi w trzech miejscach.
Pierwsze to sama obecność ankietera. Ludzie dostosowują to, co mówią, do tego, kto słucha. W badaniu czarnoskórych Amerykanów przeprowadzonym w 1968 roku odpowiedzi dotyczące protestów i wrogości wobec białych różniły się w zależności od tego, czy ankieter był czarny, czy biały, podczas gdy relacje o warunkach życia i doświadczonej dyskryminacji prawie się nie zmieniały. Fakty pozostawały stałe, a opinie przesuwały się wraz ze słuchaczem. Zmierzono też wersję komercyjną. W badaniu w Indiach ludzie proszeni o wybór między dwiema identycznymi wersjami technologii mniej więcej dwa i pół raza częściej woleli tę, którą ich zdaniem zbudował ankieter. Założycielka pytająca klienta o produkt jest w tym samym położeniu co tamten ankieter.
Drugie to sposób pytania. Nie ma dwóch ankieterów, którzy zadaliby pytanie tak samo, a różnice nie są przypadkowe. Ten, kto wierzy, że problemem jest onboarding, pyta o onboarding z zainteresowaniem, a o cenę z obowiązku. Niepewna odpowiedź, która pasuje do teorii, dostaje „powiedz o tym więcej”. Taka, która nie pasuje, dostaje „dobrze, idźmy dalej”. Nic z tego nie przypomina podręcznikowego pytania sugerującego. Robi się to uwagą, a klienci podążają za uwagą tak, jak robili to petenci Rice’a.
Trzecie to słuchanie. Godzina rozmowy staje się połową strony notatek i ktoś decyduje, którą połową. Uwaga potwierdzająca to, co zespół podejrzewał, zostaje zapisana słowo w słowo. Uwaga, która temu przeczy, zostaje streszczona albo źle usłyszana, albo nie wydaje się warta zapisania. Zanim wywiady zostaną zrelacjonowane, pogląd ankietera przejdzie przez materiał dwa razy, na wejściu i na wyjściu.
Jak go ograniczyć
Efektu nie da się usunąć całkowicie. Wywiad jest spotkaniem dwojga ludzi i potrzebuje obojga. Większość da się jednak wyeliminować kilkoma zasadami, z których żadna nie jest nowa.
Nie sadzaj twórcy na miejscu ankietera. Osoba, która zaprojektowała funkcję, jest najgorszą osobą do pytania o nią, ze względu na klienta tak samo jak na nią samą. Kolega z innego zespołu dostaje szczersze odpowiedzi i słucha ich bardziej bezstronnie.
Ustal słowa, które mają znaczenie. Wybierz główne pytania z góry i zadawaj je wszystkim tak, jak są zapisane, w tej samej kolejności. Improwizację zostaw na pytania pogłębiające i niech będą proste: co stało się potem, czy możesz podać przykład, co wtedy zrobiłeś. Pytanie pogłębiające nigdy nie powinno zawierać domysłu co do odpowiedzi. Nasz przewodnik po pytaniach pogłębiających zawiera zestaw neutralnych.
Nagrywaj wszystko i pracuj z nagraniem. Notatki są relacją ankietera z wywiadu. Transkrypcja jest relacją klienta. Gdy przedstawiasz ustalenia, cytuj klienta.
I używaj więcej niż jednego ankietera, celowo. Jeśli dwie osoby przepytają porównywalnych klientów i wrócą z różnymi wnioskami, dowiesz się o ankieterach czegoś, czego jeden nigdy by Ci nie pokazał. Odkrycie Rice’a było możliwe tylko dlatego, że było ich dwunastu.
Ankieter, który się nie zmienia
Pozostaje jeszcze jeden środek: ten sam ankieter dla wszystkich, a to od niedawna stało się możliwe.
Zautomatyzowany ankieter zadaje każdemu klientowi te same pytania w ten sam sposób. Nie ma teorii na temat onboardingu, nie zbudował funkcji i nie rozpromienia się przy odpowiedzi, na którą liczył. Zmienność między ankieterami, czyli ta część efektu, którą mierzy podany przez badaczy wskaźnik, znika, bo ankieter jest tylko jeden. A ludziom najwyraźniej łatwiej się z nim rozmawia. W jednym dużym badaniu wywiadów prowadzonych przez AI 43% uczestników powiedziało, że ponownie wybrałoby AI, a 19% człowieka.
Nazwać to końcem sprawy byłoby przesadą. Jeden ankieter zastosowany wobec wszystkich jest konsekwentny, co nie jest tym samym co neutralny. Jeśli jego pytania pogłębiające się przechylają, przechylają się jednakowo w każdej rozmowie i nie ma drugiego ankietera, który by to obnażył. Liczy się też jego sposób bycia: w jednym eksperymencie czatboty o lepszych umiejętnościach konwersacyjnych wydobywały uprzejmiejsze odpowiedzi, takie, które pozwalają zachować twarz, niż te prostsze. Stronniczość przeniosła się z osoby do projektu, gdzie można ją przynajmniej obejrzeć, przetestować i zmienić. Dowody ważymy w tekście o tym, czy ludzie mówią ankieterom AI prawdę.
Czytaj więc transkrypcje, ktokolwiek zadawał pytania. Sprawdź, czy pytania pogłębiające były pytaniami, a nie sugestiami. Poszukaj klienta, który powiedział coś, czego nikt się nie spodziewał, i zobacz, co z tym zrobiono.
Wywiadowcy Rice’a nigdy się nie dowiedzieli, co zrobili. Każdy z nich mógłby przysiąc, że jego zapisy są rzetelne. Stronniczość stała się widoczna dopiero wtedy, gdy wszystkie dwanaście zestawów akt położono obok siebie. Akt samotnego ankietera nie ma obok czego położyć, a większość badań klientów prowadzi jedna osoba.
Jak pomaga Diaform
Diaform daje każdemu klientowi tego samego ankietera. AI zadaje Twoje pytania tak, jak je napisałeś, po jednym, i dopytuje o niejasne odpowiedzi do głębokości, którą ustawisz, więc brzmienie pytań nie zmienia się z rozmowy na rozmowę. Każda rozmowa zachowuje pełną transkrypcję i dosłowne cytaty, więc możesz przeczytać, o co zapytano, a nie tylko co odpowiedziano. Jej pytania pogłębiające są generowane i warto je sprawdzać jak pytania każdego innego ankietera. Dostępny jest 14-dniowy darmowy okres próbny.
