Żeby przeanalizować odpowiedzi na pytania otwarte, zbierz je w jednym arkuszu, przeczytaj próbkę, spisz krótką listę kodów dla powodów, które widzisz, i oznacz każdą odpowiedź. Potem policz kody w podziale na grupy klientów i poprzyj każdy wniosek cytatem. To wszystko. Metoda jest stara i ręczna, ale nadal działa lepiej niż chmura słów.
To ważne, bo to w otwartych odpowiedziach kryją się powody. Ocena mówi Ci, że ludzie są niezadowoleni. Zakodowane odpowiedzi mówią, który problem naprawić najpierw i komu go przekazać. Ten poradnik przeprowadzi Cię przez każdy krok na przykładzie, a potem pokaże, gdzie AI oszczędza Ci czas, a gdzie po cichu się myli.
Najważniejsze wnioski
- Najpierw czytaj, potem koduj. Kody mają wynikać z odpowiedzi, a nie z Twoich założeń.
- Koduj powód, a nie temat. „Ceny” mogą kryć cztery różne problemy z czterema różnymi rozwiązaniami.
- Licz w podziale na grupy klientów i do każdej liczby dodaj cytat.
- Niech AI stosuje klucz kodowy, który napiszesz. Nie pozwól jej decydować, co jest ważne.
Zacznij od odpowiedzi, które warto analizować
Żadna metoda nie uratuje pustych odpowiedzi. Jeśli większość brzmi „dobrze”, „nie dotyczy” albo „nic”, nie ma czego kodować.
Dlatego najpierw przyjrzyj się pytaniom. „Co prawie powstrzymało Cię przed rejestracją?” daje odpowiedzi, z którymi da się pracować. „Inne uwagi?” daje szum. Najbardziej pomagają pytania pogłębiające: „zbyt skomplikowane” zamienia się w „nie mogłem znaleźć, jak zaprosić zespół”, a to już ktoś może naprawić. Na naszej liście pytań otwartych do ankiety znajdziesz pytania, które dają szczegółowe odpowiedzi.
Dobierz metodę do liczby odpowiedzi
Sposób analizy zależy od tego, ile masz odpowiedzi.
| Odpowiedzi | Co działa | Ile to trwa |
|---|---|---|
| Poniżej 50 | Przeczytaj wszystkie. Spisz to, co się powtarza. Wybierz cytaty. | Godzinę lub dwie |
| Od 50 do 500 | Kodowanie w arkuszu, jak w krokach poniżej | Od pół dnia do dwóch dni |
| 500 i więcej | Zakoduj ręcznie próbkę, potem użyj AI lub narzędzi do analizy tekstu, żeby zastosować klucz kodowy do reszty, i sprawdzaj wyrywkowo | Zależy od narzędzia, plus czas na sprawdzanie |
Bez względu na skalę myślenie jest takie samo. To Ty decydujesz, jakie są kategorie. Narzędzia tylko pomagają szybciej je stosować.
Jak przeanalizować odpowiedzi na pytania otwarte w 7 krokach
Ta metoda działa w arkuszach Google Sheets i Excel. Nie potrzebujesz specjalnego oprogramowania.
Zbierz wszystkie odpowiedzi w jednym arkuszu
Jeden wiersz na jedną odpowiedź. Dodaj kolumny na ID respondenta, grupę klientów (plan, rolę, staż lub ocenę), pytanie, odpowiedź oraz dwie lub trzy puste kolumny na kody. Dzięki kolumnie ID każdą liczbę możesz powiązać z oryginalną odpowiedzią, nawet po sortowaniu.
Najpierw przeczytaj próbkę
Przeczytaj od 30 do 50 odpowiedzi, a przy dużym zbiorze mniej więcej jedną dziesiątą, niczego nie oznaczając. Zanotuj powody, które się powtarzają. Na tym etapie widzisz, o czym klienci naprawdę mówią, a nie to, czego się po nich spodziewasz.
Przygotuj wstępny klucz kodowy
Zamień notatki w 5 do 15 kodów. Każdemu nadaj krótką nazwę i definicję w jednym zdaniu. Nazywaj powód, a nie temat: „nie może znaleźć eksportu” jest przydatne, „problemy z UX” już nie.
Zakoduj każdą odpowiedź
Przejdź przez wszystkie odpowiedzi i dodaj do każdej jeden lub kilka kodów. Dla wszystkiego, co nie pasuje, używaj kodu „Inne” i często go przeglądaj. Jeśli „Inne” przekroczy mniej więcej jedną na dziesięć odpowiedzi, brakuje Ci jakiegoś kodu. Gdy go dodasz, wróć i sprawdź wcześniejsze wiersze.
Policz i porównaj grupy
Policz każdy kod w tabeli przestawnej. Potem podziel wyniki na grupy klientów. Powód, który ogólnie pojawia się rzadko, może być głównym problemem Twoich największych klientów. Podawaj go jako odsetek osób, które odpowiedziały.
Wybierz cytaty
Do każdego głównego kodu wybierz dwie lub trzy odpowiedzi, które wyrażają go jasno, własnymi słowami klienta. Dzięki cytatom wniosek staje się realny dla osób, które nigdy nie widziały danych.
Zapisz wnioski jako zdania
„Nowe zespoły utykają na konfiguracji, bo trudno znaleźć przycisk zaproszenia” to wniosek. „Onboarding: 23 wzmianki” to nie wniosek. Napisz zdanie, na podstawie którego ktoś z zespołu może działać, a potem dodaj liczbę i cytat.
Poradnik Jeffa Sauro o kodowaniu dosłownych komentarzy w MeasuringU opisuje ten sam proces dokładniej, łącznie z tym, jak dodać przedziały ufności do odsetków.
Koduj powód, a nie temat
Najczęstszy błąd to kodowanie według tematu. Tematy łatwo zauważyć, więc wydają się właściwe. Ale jeden temat często kryje kilka problemów, a każdy z nich wymaga innego rozwiązania.
Weźmy „ceny”. Oto, co to może naprawdę oznaczać:
| Kod tematyczny | Kody powodów, które się w nim kryją | Kto to naprawia |
|---|---|---|
| Ceny | Niejasna cena: klient nie wiedział, ile zapłaci | Strona z cennikiem |
| Nieoczekiwany koszt: opłata lub limit odkryte za późno | Rozliczenia i limity planów | |
| Wartość jeszcze niewidoczna: klient nie zobaczył efektów przed zapłatą | Onboarding | |
| Poza budżetem: klient chciał, ale nie było go stać | Plany i pakiety |
Jeśli w raporcie napiszesz „Ceny: 30% odpowiedzi”, zespół najpewniej zacznie się spierać o cenę. Jeśli napiszesz, że większość tych odpowiedzi to „wartość jeszcze niewidoczna”, poprawka trafia do onboardingu. Te same dane, zupełnie inna decyzja.
Przykładowy klucz kodowy
Oto mały klucz kodowy dla pytania „Co prawie powstrzymało Cię przed rejestracją?”
| Kod | Definicja | Przykładowa odpowiedź |
|---|---|---|
| Niejasna cena | Klient nie wiedział, ile zapłaci | „Nie byłam pewna, czy goście liczą się jako płatni użytkownicy.” |
| Obawa o konfigurację | Spodziewał się, że konfiguracja będzie długa lub techniczna | „Wyglądało na to, że potrzebny będzie programista.” |
| Zaufanie | Nie był pewien firmy lub bezpieczeństwa danych | „Nigdy o was nie słyszałem, więc najpierw sprawdziłem opinie.” |
| Brakująca funkcja | Potrzebował czegoś, czego nie widział | „Nie wiedziałam, czy to działa z naszym systemem logowania.” |
| Koszt zmiany | Zainwestował już w inne narzędzie | „Musielibyśmy przenieść dane z dwóch lat.” |
| Brak przeszkód | Nie miał wątpliwości | „Nic, potrzebowałem tego szybko.” |
| Inne | Wszystko inne, przeglądane co tydzień | „Mój szef był na urlopie.” |
Definicje powinny być krótkie. Jeśli dwie osoby zakodowałyby tę samą odpowiedź inaczej, definicja wymaga poprawy. Warto też śledzić „Brak przeszkód”. Dzięki temu problemy zachowują właściwe proporcje.
Przykład krok po kroku
Pięć osób odpowiedziało na powyższe pytanie. Tak wyglądałoby kodowanie.
| ID | Plan | Odpowiedź | Kody |
|---|---|---|---|
| 101 | Team | „Na stronie z cennikiem nie było napisane, czy goście liczą się jako płatni użytkownicy.” | Niejasna cena |
| 102 | Solo | „Właściwie nic, potrzebowałam tego szybko.” | Brak przeszkód |
| 103 | Solo | „Myślałem, że wdrożeniem musiałby się zająć dział IT, a nasze IT działa powoli.” | Obawa o konfigurację |
| 104 | Team | „Nie wiedziałam, czy poradzi sobie z naszym systemem logowania, a cena za użytkownika była dla mnie niejasna.” | Brakująca funkcja, Niejasna cena |
| 105 | Team | „Już płacimy za narzędzie do ankiet.” | Koszt zmiany |
Odpowiedź 104 dostaje dwa kody. To normalne i właśnie dlatego zostawiasz miejsce na więcej niż jeden kod w wierszu. Oznacza to też, że odsetki mogą sumować się do ponad 100%, więc napisz o tym, gdy je udostępniasz.
Gdy każdy wiersz jest zakodowany, resztę robi tabela przestawna. Może się okazać, że „Niejasna cena” pochodzi prawie wyłącznie z planów Team, a użytkownicy planu Solo wspominają o konfiguracji. To dwa wnioski i dwóch właścicieli: strona z cennikiem dla marketingu i proces konfiguracji dla zespołu produktowego.
Błędy, które zniekształcają wyniki
- Zbyt szerokie kody. „Opinia o produkcie” pasuje do wszystkiego i nic nie mówi.
- Chmury słów. Liczą słowa, a nie znaczenie. „Nie jest łatwe” i „łatwe” powiększają w chmurze to samo słowo „łatwe”.
- Kodowanie w pojedynkę. Poproś kogoś z zespołu, żeby zakodował te same 20 odpowiedzi. Tam, gdzie się różnicie, doprecyzuj definicję.
- Liczenie bez kontekstu. Powód zgłoszony przez kilku dużych klientów może być ważniejszy niż powód zgłoszony przez wielu użytkowników darmowego planu.
- Liczby bez cytatów. Ludzie ufają temu, co mogą przeczytać w słowach samego klienta.
- Kodowanie przed czytaniem. Jeśli najpierw napiszesz klucz kodowy, znajdziesz to, czego się spodziewasz, i przeoczysz resztę.
Analiza odpowiedzi otwartych z pomocą ChatGPT lub Claude
Ogólne czaty AI, takie jak ChatGPT i Claude, dobrze radzą sobie z żmudną częścią pracy: czytaniem, streszczaniem i nadawaniem etykiet. Gorzej idzie im decydowanie, jakie te etykiety powinny być. Badania potwierdzają ten podział.
Gdy badacze dali modelom językowym stałą listę 50 kategorii do odpowiedzi z brytyjskiego sondażu wyborczego, najlepszy model zbliżył się do człowieka: 93,9% trafności wobec 94,7% u drugiego kodującego. W trudniejszym teście z nowszymi odpowiedziami różnica była większa. A gdy Langer Research pilotażowo testował kodowanie odpowiedzi otwartych przez AI, natrafił na „słabe tworzenie kategorii, błędną klasyfikację i niezdolność do wychwytywania niuansów czy wydźwięku”.
Podsumowując: AI radzi sobie dobrze, gdy kategorie określa człowiek, i ma problem, gdy musi je wymyślić sama. Praktyczna zasada jest więc prosta. Ty piszesz klucz kodowy. AI pomaga go stosować.
Zanim cokolwiek wkleisz
Odpowiedzi z ankiet to dane klientów, więc traktuj je jak dane klientów.
- Najpierw sprawdź zasady w firmie. Wiele zespołów ma politykę, które narzędzia AI mogą widzieć dane klientów. Zapytaj, zanim wkleisz.
- Usuń dane osobowe. Wytnij imiona, nazwiska, adresy e-mail, numery telefonów, nazwy firm i wszystko inne, co pozwala kogoś zidentyfikować. Zostaw tylko kolumnę ID i odpowiedź.
- Sprawdź ustawienia danych na swoim koncie. To, czy Twoje rozmowy mogą służyć do trenowania modeli, zależy od narzędzia, planu i ustawień. Plany firmowe często działają tu inaczej niż darmowe, więc sprawdź to dla konta, z którego korzystasz.
- Wklejaj partiami. Od 30 do 50 odpowiedzi naraz sprawia, że każda odpowiedź narzędzia jest na tyle krótka, żeby dało się ją porządnie sprawdzić. Przy bardzo długich wklejkach błędy przemykają niezauważone.
Prompty do skopiowania
Działają w ChatGPT, Claude i każdym podobnym czacie.
1. Wstępne kody na podstawie próbki (krok 3)
Oto 40 odpowiedzi klientów na pytanie „Twoje pytanie”.
Zaproponuj od 8 do 12 kodów, które opisują POWÓD stojący za każdą odpowiedzią, a nie jej temat.
Dla każdego kodu podaj krótką nazwę, definicję w jednym zdaniu i dwie przykładowe odpowiedzi z listy.
Używaj tylko powodów, które występują w odpowiedziach. Niczego nie wymyślaj.
wklej odpowiedzi z ID
2. Zastosuj swój klucz kodowy (krok 4)
Oto mój klucz kodowy: wklej nazwy kodów i definicje.
Zakoduj każdą odpowiedź poniżej. Odpowiedź może mieć więcej niż jeden kod.
Jeśli nic nie pasuje, użyj kodu „Inne”. Nie twórz nowych kodów.
Zwróć tabelę z trzema kolumnami: ID, kody oraz kilka słów z odpowiedzi, które uzasadniają kod.
wklej od 30 do 50 odpowiedzi z ID
3. Znajdź cytaty (krok 6)
Z poniższych odpowiedzi wybierz trzy, które najwyraźniej wyrażają powód „nazwa kodu” własnymi słowami klienta.
Zacytuj je dokładnie. Nie edytuj ich i nie łącz.
Sprawdź wyniki
- Sprawdzaj wyrywkowo 20 wierszy w każdej partii. Przeczytaj odpowiedź, potem kod. Jeśli błędnych jest więcej niż kilka, popraw definicje i uruchom prompt ponownie.
- Sprawdź, czy cytaty są prawdziwe. Wyszukaj każdy cytat w arkuszu. Narzędzia AI czasem wygładzają albo łączą odpowiedzi.
- Kategorię „Inne” przeczytaj osobiście. Zwykle właśnie tam kryją się niespodzianki.
Jak przedstawić wyniki
Długich raportów nikt nie czyta. Zmieść podsumowanie na jednej stronie.
Pytanie: dokładna treść pytania, zadane komu w dniach daty. Odpowiedziało N osób.
Najważniejsze wnioski
1Wniosek w formie zdania. X z N odpowiedzi. „Cytat” „Cytat”
2Wniosek w formie zdania. X z N odpowiedzi. „Cytat” „Cytat”
3Wniosek w formie zdania. X z N odpowiedzi. „Cytat” „Cytat”
Różnice między grupami
[np. W planach Team X pojawia się znacznie częściej niż w planach Solo.]
Co nas zaskoczyło
Jedna rzecz, której nikt się nie spodziewał.
Proponowane kolejne kroki
[Kto powinien przyjrzeć się każdemu wnioskowi i co może wypróbować.]
Pełny zakodowany arkusz: link
Jeśli na podstawie wyników decydujesz, co zbudować, nasz poradnik o ustalaniu priorytetów próśb o funkcje zaczyna się tam, gdzie kończy się ten. Szerszy obraz łączenia liczb i słów znajdziesz w tekście o badaniach jakościowych i ilościowych.
Jak pomaga Diaform
Diaform ułatwia pierwszą część: zdobycie odpowiedzi, które warto analizować. Zbiera odpowiedzi otwarte w formie krótkich rozmów i dopytuje, gdy odpowiedź jest ogólnikowa, więc dostajesz mniej odpowiedzi w stylu „w porządku”. Każda zakończona rozmowa dostaje podsumowanie AI, a do tego odpowiedzi na poszczególne pytania z etykietą sentymentu (pozytywny, negatywny, neutralny lub mieszany) i etykietą pewności. Możesz włączyć ciekawe cytaty, a pełna transkrypcja jest zawsze dostępna.
Możesz wyszukiwać i filtrować odpowiedzi, np. żeby przeczytać wszystkie negatywne naraz, a potem wyeksportować je do CSV i przejść powyższe kroki kodowania we własnym arkuszu. Dla jasności: Diaform nie grupuje odpowiedzi w tematy za Ciebie. Klucz kodowy zostaje w rękach Twojego zespołu, ale zaczynasz od jaśniejszych odpowiedzi i gotowych podsumowań. Zobacz, jak to działa przy opiniach o produkcie, albo zacznij 14-dniowy darmowy okres próbny.
