Ak chcete analyzovať otvorené odpovede z prieskumu, dajte ich do jednej tabuľky, prečítajte si vzorku, napíšte krátky zoznam kódov pre dôvody, ktoré vidíte, a označte každú odpoveď. Potom kódy spočítajte podľa skupín zákazníkov a každé zistenie podložte citátom. To je všetko. Metóda je stará a ručná a stále funguje lepšie ako mrak slov.
Záleží na tom, pretože práve v otvorených odpovediach sú dôvody. Skóre vám povie, že ľudia sú nespokojní. Okódované odpovede vám povedia, ktorý problém opraviť ako prvý a komu ho dať na stôl. Tento návod prejde každým krokom na konkrétnom príklade a potom ukáže, kde vám AI ušetrí čas a kde potichu robí chyby.
Hlavné body
- Najprv čítajte, potom kódujte. Kódy majú vychádzať z odpovedí, nie z vašich predpokladov.
- Kódujte dôvod, nie tému. „Cena“ skrýva štyri rôzne problémy so štyrmi rôznymi riešeniami.
- Počítajte podľa skupín zákazníkov a ku každému číslu pridajte citát.
- Nechajte AI používať zoznam kódov, ktorý ste napísali vy. Nenechajte ju rozhodovať, na čom záleží.
Začnite odpoveďami, ktoré stoja za analýzu
Prázdne odpovede nezachráni žiadna metóda. Ak väčšina odpovedí znie „dobré“, „neviem“ alebo „nič“, nie je čo kódovať.
Preto sa najprv pozrite na otázky. „Čo vás takmer odradilo od registrácie?“ prinesie odpovede, s ktorými sa dá pracovať. „Máte ešte nejaké pripomienky?“ prinesie šum. Najviac pomáhajú doplňujúce otázky: z „príliš zložité“ sa stane „nevedel som nájsť, ako pozvať svoj tím“, a to už niekto môže opraviť. V našom zozname otvorených otázok do prieskumu nájdete otázky, na ktoré ľudia odpovedajú podrobne.
Vyberte si metódu podľa počtu odpovedí
Spôsob analýzy závisí od toho, koľko odpovedí máte.
| Odpovede | Čo funguje | Koľko to trvá |
|---|---|---|
| Menej ako 50 | Prečítajte všetky. Zapíšte si, čo sa opakuje. Vyberte citáty. | Hodinu či dve |
| 50 až 500 | Kódovanie v tabuľke podľa krokov nižšie | Od pol dňa po dva dni |
| 500 a viac | Okódujte vzorku ručne, potom pomocou AI alebo textových nástrojov použite zoznam kódov na zvyšok a priebežne kontrolujte | Závisí od nástroja, plus čas na kontrolu |
Bez ohľadu na objem je uvažovanie rovnaké. O kategóriách rozhodujete vy. Nástroje vám ich len pomôžu rýchlejšie použiť.
Ako analyzovať otvorené odpovede z prieskumu v 7 krokoch
Táto metóda funguje v Google Sheets aj v programe Excel. Špeciálny softvér nepotrebujete.
Dajte všetky odpovede do jednej tabuľky
Jeden riadok na jednu odpoveď. Pridajte stĺpce pre ID respondenta, skupinu zákazníkov (plán, rola, ako dlho je zákazníkom alebo skóre), otázku, odpoveď a dva či tri prázdne stĺpce na kódy. Vďaka stĺpcu ID dohľadáte pri každom počte pôvodnú odpoveď, aj keď tabuľku zoradíte.
Najprv si prečítajte vzorku
Prečítajte 30 až 50 odpovedí, pri veľkom súbore asi desatinu, a nič zatiaľ neoznačujte. Zapíšte si dôvody, ktoré sa opakujú. Práve tu si všimnete, o čom zákazníci naozaj hovoria, a nie to, čo ste čakali, že povedia.
Pripravte zoznam kódov
Z poznámok urobte 5 až 15 kódov. Každému dajte krátky názov a definíciu na jednu vetu. Pomenujte dôvod, nie tému: „nevie nájsť export“ je užitočné, „problémy s UX“ nie.
Okódujte každú odpoveď
Prejdite všetky odpovede a každej priraďte jeden alebo viac kódov. Pre všetko, čo nesedí, použite „Iné“ a často to kontrolujte. Ak „Iné“ presiahne zhruba jednu z desiatich odpovedí, nejaký kód vám chýba. Keď ho pridáte, vráťte sa a znova skontrolujte predchádzajúce riadky.
Spočítajte a porovnajte podľa skupín
Pomocou kontingenčnej tabuľky spočítajte každý kód. Potom výsledky rozdeľte podľa skupín zákazníkov. Dôvod, ktorý je celkovo malý, môže byť hlavným problémom vašich najväčších zákazníkov. Uvádzajte ho ako podiel z ľudí, ktorí odpovedali.
Vyberte citáty
Pre každý hlavný kód vyberte dve alebo tri odpovede, ktoré ho jasne vyjadrujú vlastnými slovami zákazníka. Vďaka citátom je zistenie skutočné aj pre ľudí, ktorí dáta nikdy nevideli.
Zistenia píšte ako vety
„Nové tímy uviaznu pri nastavení, lebo tlačidlo na pozvanie sa ťažko hľadá“ je zistenie. „Onboarding: 23 zmienok“ nie je. Napíšte vetu, podľa ktorej môže kolega konať, a potom pridajte počet a citát.
Jeff Sauro opisuje rovnaký postup podrobnejšie v návode o kódovaní doslovných komentárov na webe MeasuringU, vrátane toho, ako k percentám pridať intervaly spoľahlivosti.
Kódujte dôvod, nie tému
Najčastejšia chyba je kódovanie podľa tém. Témy sa ľahko hľadajú, takže pôsobia správne. Jedna téma však často skrýva niekoľko problémov a každý sa rieši inak.
Vezmite si „cenu“. Môže v skutočnosti znamenať toto:
| Kód témy | Kódy dôvodov, ktoré sa v ňom skrývajú | Kto to rieši |
|---|---|---|
| Cena | Nejasná cena: nevedeli, koľko zaplatia | Stránka s cenníkom |
| Nečakaný náklad: poplatok alebo limit, na ktorý prišli neskoro | Fakturácia a limity plánov | |
| Hodnota ešte nie je jasná: pred platbou nevideli, že to funguje | Onboarding | |
| Nad rozpočet: chceli to, ale nemali na to | Plány a balíčky |
Ak napíšete „Cena: 30 % odpovedí“, tím sa pravdepodobne začne hádať o cene. Ak napíšete, že väčšina týchto odpovedí bola „hodnota ešte nie je jasná“, riešenie sa presunie do onboardingu. Rovnaké dáta, úplne iné rozhodnutie.
Príklad zoznamu kódov
Tu je malý zoznam kódov pre otázku „Čo vás takmer odradilo od registrácie?“
| Kód | Definícia | Príklad odpovede |
|---|---|---|
| Nejasná cena | Nevedeli, koľko zaplatia | „Nebol som si istý, či sa hostia počítajú do licencií.“ |
| Obava z nastavenia | Čakali, že nastavenie bude pomalé alebo technické | „Vyzeralo to, že budem potrebovať vývojára.“ |
| Dôvera | Neistota ohľadom firmy alebo bezpečnosti dát | „Nikdy som o vás nepočul, tak som si najprv prečítal recenzie.“ |
| Chýbajúca funkcia | Potrebovali niečo, čo nevideli | „Nevedel som zistiť, či to funguje s naším prihlasovacím systémom.“ |
| Náklady na prechod | Už investovali do iného nástroja | „Museli by sme presunúť dáta za dva roky.“ |
| Bez prekážky | Vôbec neváhali | „Nič, potreboval som to rýchlo.“ |
| Iné | Čokoľvek iné, kontrolované každý týždeň | „Môj manažér bol na dovolenke.“ |
Definície nech sú krátke. Ak by dvaja ľudia rovnakú odpoveď okódovali inak, definíciu treba vylepšiť. Oplatí sa sledovať aj „Bez prekážky“. Problémy tak uvidíte v správnom pomere.
Konkrétny príklad
Na otázku vyššie odpovedalo päť ľudí. Takto by sa ich odpovede okódovali.
| ID | Plán | Odpoveď | Kódy |
|---|---|---|---|
| 101 | Team | „Na stránke s cenníkom nebolo napísané, či sa hostia počítajú do licencií.“ | Nejasná cena |
| 102 | Solo | „Vlastne nič, potreboval som to rýchlo.“ | Bez prekážky |
| 103 | Solo | „Myslel som, že to bude musieť nastaviť IT, a naše IT je pomalé.“ | Obava z nastavenia |
| 104 | Team | „Nevedel som, či to zvládne náš prihlasovací systém, a cena za používateľa ma zmiatla.“ | Chýbajúca funkcia, Nejasná cena |
| 105 | Team | „Už platíme za nástroj na prieskumy.“ | Náklady na prechod |
Odpoveď 104 dostala dva kódy. To je normálne a práve preto si v každom riadku nechávate miesto na viac kódov. Znamená to aj, že vaše percentá môžu dať spolu viac ako 100 %, preto to pri zdieľaní uveďte.
Keď je každý riadok okódovaný, zvyšok urobí kontingenčná tabuľka. Možno zistíte, že „Nejasná cena“ pochádza takmer výlučne z plánov Team, zatiaľ čo používatelia plánu Solo spomínajú nastavenie. To sú dve zistenia s dvoma vlastníkmi: stránka s cenníkom pre marketing a proces nastavenia pre produkt.
Chyby, ktoré skresľujú výsledky
- Príliš široké kódy. „Spätná väzba k produktu“ sedí na všetko a nepovie vám nič.
- Mraky slov. Počítajú slová, nie význam. „Nie je to ľahké“ aj „ľahké“ zväčšia slovo „ľahké“.
- Kódovanie osamote. Požiadajte kolegu, aby okódoval rovnakých 20 odpovedí. Kde sa nezhodnete, spresnite definíciu.
- Počítanie bez kontextu. Dôvod, ktorý uviedlo pár veľkých zákazníkov, môže znamenať viac ako dôvod od mnohých používateľov bezplatného plánu.
- Čísla bez citátov. Ľudia veria tomu, čo si môžu prečítať vlastnými slovami zákazníka.
- Kódovanie pred čítaním. Ak najprv napíšete zoznam kódov, nájdete, čo ste čakali, a zvyšok vám ujde.
Analýza otvorených odpovedí pomocou ChatGPT alebo Claude
Všeobecné AI chatovacie nástroje ako ChatGPT a Claude dobre zvládajú pomalé časti: čítanie, zhrnutia a priraďovanie štítkov. Horšie im ide rozhodnúť, aké štítky by to mali byť. Výskum toto rozdelenie potvrdzuje.
Keď výskumníci dali jazykovým modelom pevný zoznam 50 kategórií pre odpovede z britského volebného prieskumu, najlepší model sa priblížil ľudskému kódovačovi: presnosť 93,9 % oproti 94,7 % u druhého človeka. Pri ťažšom teste s novšími odpoveďami bol rozdiel väčší. A keď spoločnosť Langer Research skúšala AI kódovanie otvorených odpovedí, narazila na „slabé vytváranie kategórií, nesprávne zaradenie a neschopnosť zachytiť nuansy či valenciu“.
Celkovo teda AI funguje dobre, keď kategórie určí človek, a má problém, keď ich má vymyslieť sama. Praktické pravidlo je preto jednoduché. Zoznam kódov napíšete vy. AI vám ho pomôže použiť.
Skôr než niečo vložíte
Odpovede z prieskumu sú dáta zákazníkov, tak s nimi aj tak zaobchádzajte.
- Najprv si overte pravidlá firmy. Mnohé tímy majú pravidlá o tom, ktoré AI nástroje môžu vidieť dáta zákazníkov. Pred vložením sa opýtajte.
- Odstráňte osobné údaje. Vymažte mená, e-maily, telefónne čísla, názvy firiem a čokoľvek ďalšie, čo niekoho identifikuje. Nechajte len stĺpec ID a odpoveď.
- Skontrolujte nastavenia dát vo svojom účte. Či sa vaše chaty môžu použiť na trénovanie modelov, závisí od nástroja, plánu a vašich nastavení. Firemné plány to často riešia inak ako bezplatné, tak si to overte pre účet, ktorý používate.
- Vkladajte po dávkach. Pri tridsiatich až päťdesiatich odpovediach naraz je každý výstup dosť krátky na poriadnu kontrolu. Práve pri veľmi dlhých vloženiach chyby prekĺznu bez povšimnutia.
Prompty na skopírovanie
Fungujú v ChatGPT, Claude aj v akomkoľvek podobnom chatovacom nástroji.
1. Návrh kódov zo vzorky (krok 3)
Tu je 40 odpovedí zákazníkov na otázku „vaša otázka“.
Navrhnite 8 až 12 kódov, ktoré opisujú DÔVOD každej odpovede, nie tému.
Pre každý kód uveďte krátky názov, definíciu na jednu vetu a dva príklady odpovedí zo zoznamu.
Používajte len dôvody, ktoré sa v odpovediach objavujú. Nič si nevymýšľajte.
vložte odpovede s ID
2. Použitie vášho zoznamu kódov (krok 4)
Toto je môj zoznam kódov: vložte názvy kódov a definície.
Okódujte každú odpoveď nižšie. Odpoveď môže mať viac ako jeden kód.
Ak nič nesedí, použite „Iné“. Nevytvárajte nové kódy.
Vráťte tabuľku s tromi stĺpcami: ID, kódy a niekoľko slov z odpovede, ktoré kód zdôvodňujú.
vložte 30 až 50 odpovedí s ID
3. Hľadanie citátov (krok 6)
Z odpovedí nižšie vyberte tri, ktoré dôvod „názov kódu“ vyjadrujú najjasnejšie, vlastnými slovami zákazníka.
Citujte ich presne. Neupravujte ich ani nespájajte.
Skontrolujte jej prácu
- V každej dávke skontrolujte 20 riadkov. Prečítajte odpoveď, potom kód. Ak je zlých viac ako pár, opravte definície a spustite to znova.
- Overte, že citáty sú skutočné. Každý citát vyhľadajte vo svojej tabuľke. AI nástroje niekedy odpovede učešú alebo spoja.
- „Iné“ si prečítajte sami. Práve tam zvyčajne nájdete prekvapenia.
Ako prezentovať výsledky
Dlhé správy nikto nečíta. Zhrnutie nech sa zmestí na jednu stranu.
Otázka: presné znenie otázky, položená komu v období dátumy. Odpovedalo N ľudí.
Hlavné zistenia
1Zistenie ako veta. X z N odpovedí. „Citát“ „Citát“
2Zistenie ako veta. X z N odpovedí. „Citát“ „Citát“
3Zistenie ako veta. X z N odpovedí. „Citát“ „Citát“
Rozdiely medzi skupinami
[napr. Plány Team spomínajú X oveľa častejšie ako plány Solo.]
Čo nás prekvapilo
Jedna vec, ktorú nikto nečakal.
Navrhované ďalšie kroky
[Kto by sa mal pozrieť na ktoré zistenie a čo by mohol skúsiť.]
Celá okódovaná tabuľka: odkaz
Ak sa podľa zistení rozhodujete, čo vyvíjať, náš návod o prioritizácii požiadaviek na funkcie nadväzuje tam, kde tento končí. Širší pohľad na kombinovanie čísel a slov nájdete v článku kvalitatívny a kvantitatívny výskum.
Ako pomôže Diaform
Diaform uľahčuje prvú časť: získať odpovede, ktoré stoja za analýzu. Otvorené odpovede zbiera formou krátkych rozhovorov a keď je odpoveď vágna, dopýta sa, takže dostanete menej odpovedí typu „v pohode“. Každý dokončený rozhovor dostane AI zhrnutie a k tomu odpovede na jednotlivé otázky so štítkom sentimentu (pozitívny, negatívny, neutrálny alebo zmiešaný) a štítkom spoľahlivosti. Môžete zapnúť zaujímavé citáty a celý prepis máte vždy k dispozícii.
Odpovede môžete vyhľadávať a filtrovať, napríklad si naraz prečítať všetky negatívne, a potom ich exportovať do CSV a kroky kódovania vyššie urobiť vo vlastnej tabuľke. Aby bolo jasné: Diaform odpovede do tém za vás nezoskupuje. Zoznam kódov zostáva vo vašom tíme, ale začínate s jasnejšími odpoveďami a hotovými zhrnutiami. Pozrite sa, ako to funguje pri spätnej väzbe k produktu, alebo si spustite 14-dňovú skúšobnú verziu zadarmo.
