Při analýze otevřených odpovědí z dotazníku je dejte do jedné tabulky, přečtěte si vzorek, sepište krátký seznam kódů pro důvody, které vidíte, a označte každou odpověď. Pak kódy spočítejte podle skupin zákazníků a každé zjištění podložte citací. To je celé. Metoda je stará a ruční, a pořád funguje líp než slovní mrak.
Záleží na tom, protože právě v otevřených odpovědích jsou důvody. Skóre vám řekne, že lidé nejsou spokojení. Zakódované odpovědi vám řeknou, který problém opravit jako první a komu ho předat. Tento návod projde každý krok na konkrétním příkladu a pak ukáže, kde vám AI ušetří čas a kde potichu dělá chyby.
Hlavní body
- Než začnete kódovat, čtěte. Kódy mají vycházet z odpovědí, ne z vašich předpokladů.
- Kódujte důvod, ne téma. „Cena“ skrývá čtyři různé problémy se čtyřmi různými řešeními.
- Počítejte podle skupin zákazníků a ke každému číslu přidejte citaci.
- Nechte AI používat seznam kódů, který jste napsali vy. Nenechte ji rozhodovat, na čem záleží.
Začněte s odpověďmi, které stojí za analýzu
Prázdné odpovědi žádná metoda nezachrání. Pokud většina odpovědí zní „dobrý“, „nevím“ nebo „nic“, není co kódovat.
Proto se nejdřív podívejte na otázky. „Co vás skoro odradilo od registrace?“ přináší odpovědi, se kterými se dá pracovat. „Další připomínky?“ přináší šum. Nejvíc pomáhají doplňující otázky: z „moc složité“ se stane „nemohl jsem najít, jak pozvat tým“, a to už někdo opravit může. V našem seznamu otevřených otázek do dotazníku najdete otázky, které přinášejí podrobné odpovědi.
Zvolte metodu podle počtu odpovědí
Jak analyzovat, záleží na tom, kolik odpovědí máte.
| Odpovědi | Co funguje | Kolik času to zabere |
|---|---|---|
| Méně než 50 | Přečtěte všechny. Sepište, co se opakuje. Vyberte citace. | Hodinu nebo dvě |
| 50 až 500 | Kódování v tabulce podle kroků níže | Půl dne až dva dny |
| 500 a víc | Zakódujte vzorek ručně, pak seznam kódů použijte na zbytek pomocí AI nebo nástrojů na práci s textem a namátkově kontrolujte | Záleží na nástroji, plus čas na kontrolu |
Ať je odpovědí kolik chce, uvažování je stejné. Kategorie určujete vy. Nástroje vám je jen pomohou rychleji použít.
Jak analyzovat otevřené odpovědi z dotazníku v 7 krocích
Tato metoda funguje v Google Sheets i v Excelu. Žádný speciální software nepotřebujete.
Dejte všechny odpovědi do jedné tabulky
Jeden řádek na odpověď. Přidejte sloupce pro ID respondenta, skupinu zákazníků (tarif, role, doba používání nebo skóre), otázku, odpověď a dva nebo tři prázdné sloupce pro kódy. Díky sloupci ID dohledáte u každého počtu původní odpověď, i po seřazení.
Nejdřív si přečtěte vzorek
Přečtěte 30 až 50 odpovědí, u velkého souboru zhruba desetinu, a nic přitom neoznačujte. Poznamenejte si důvody, které se opakují. Tady si všimnete, o čem zákazníci opravdu mluví, a ne o čem jste čekali, že budou mluvit.
Sepište seznam kódů
Z poznámek udělejte 5 až 15 kódů. Každému dejte krátký název a definici o jedné větě. Pojmenujte důvod, ne téma: „nejde najít export“ je užitečné, „problémy s UX“ ne.
Zakódujte každou odpověď
Projděte všechny odpovědi a ke každé přidejte jeden nebo více kódů. Pro cokoli, co nikam nepasuje, použijte „Ostatní“ a často to kontrolujte. Pokud „Ostatní“ přesáhne zhruba jednu z deseti odpovědí, nějaký kód vám chybí. Když ho přidáte, vraťte se a znovu projděte dřívější řádky.
Spočítejte a porovnejte podle skupin
Kontingenční tabulkou spočítejte každý kód. Pak výsledky rozdělte podle skupin zákazníků. Důvod, který je celkově malý, může být hlavním problémem vašich největších zákazníků. Uvádějte ho jako podíl lidí, kteří odpověděli.
Vyberte citace
Ke každému hlavnímu kódu vyberte dvě nebo tři odpovědi, které ho jasně vyjadřují vlastními slovy zákazníka. Díky citacím je zjištění skutečné i pro lidi, kteří data nikdy neviděli.
Pište zjištění celými větami
„Nové týmy se zasekávají u nastavení, protože tlačítko pro pozvání je těžké najít“ je zjištění. „Onboarding: 23 zmínek“ není. Napište větu, podle které může kolega jednat, a pak přidejte počet a citaci.
Návod Jeffa Saura ke kódování doslovných komentářů na webu MeasuringU popisuje stejný postup podrobněji, včetně toho, jak k procentům přidat intervaly spolehlivosti.
Kódujte důvod, ne téma
Nejčastější chybou je kódování podle témat. Témata se snadno hledají, takže to působí správně. Jedno téma ale často skrývá několik problémů a každý se řeší jinak.
Vezměte si „cenu“. Tohle všechno může znamenat:
| Kód tématu | Kódy důvodů, které se v něm skrývají | Kdo to opraví |
|---|---|---|
| Cena | Nejasná cena: nevěděli, kolik zaplatí | Stránka s ceníkem |
| Nečekaný náklad: poplatek nebo limit, na který přišli pozdě | Fakturace a limity tarifů | |
| Hodnota zatím nejasná: před zaplacením neviděli, že to funguje | Onboarding | |
| Nad rozpočet: chtěli to, ale nemohli si to dovolit | Tarify a balíčky |
Když nahlásíte „Cena: 30 % odpovědí“, tým se nejspíš začne přít o cenu. Když nahlásíte, že většina těchto odpovědí byla „hodnota zatím nejasná“, řešení se přesune do onboardingu. Stejná data, úplně jiné rozhodnutí.
Ukázkový seznam kódů
Tady je malý seznam kódů pro otázku „Co vás skoro odradilo od registrace?“
| Kód | Definice | Příklad odpovědi |
|---|---|---|
| Nejasná cena | Nevěděli, kolik zaplatí | „Nebyl jsem si jistý, jestli se hosté počítají do licencí.“ |
| Obavy z nastavení | Čekali, že nastavení bude pomalé nebo technické | „Vypadalo to, že na to bude potřeba vývojář.“ |
| Důvěra | Nejistota ohledně firmy nebo bezpečnosti dat | „Nikdy jsem o vás neslyšel, tak jsem si nejdřív přečetl recenze.“ |
| Chybějící funkce | Potřebovali něco, co nenašli | „Nebylo jasné, jestli to funguje s naším přihlašovacím systémem.“ |
| Náklady na přechod | Už investovali do jiného nástroje | „Museli bychom přesunout data za dva roky.“ |
| Žádná překážka | Neváhali | „Nic, potřeboval jsem to rychle.“ |
| Ostatní | Cokoli jiného, kontrola každý týden | „Šéf byl na dovolené.“ |
Definice držte krátké. Pokud by dva lidé stejnou odpověď zakódovali různě, definici je potřeba upravit. Vyplatí se sledovat i „Žádnou překážku“. Díky ní vidíte problémy ve správném poměru.
Příklad krok za krokem
Na otázku výše odpovědělo pět lidí. Takhle by se jejich odpovědi zakódovaly.
| ID | Tarif | Odpověď | Kódy |
|---|---|---|---|
| 101 | Team | „Na stránce s ceníkem nebylo, jestli se hosté počítají do licencí.“ | Nejasná cena |
| 102 | Solo | „Vlastně nic, potřeboval jsem to rychle.“ | Žádná překážka |
| 103 | Solo | „Myslel jsem, že to bude muset nastavit IT, a naše IT je pomalé.“ | Obavy z nastavení |
| 104 | Team | „Nevěděl jsem, jestli to zvládne náš přihlašovací systém, a cena za uživatele mě mátla.“ | Chybějící funkce, Nejasná cena |
| 105 | Team | „Už platíme za jiný nástroj na dotazníky.“ | Náklady na přechod |
Odpověď 104 dostala dva kódy. To je normální, a proto v řádku necháváte místo pro víc kódů. Znamená to také, že se vám procenta můžou sečíst na víc než 100 %, takže to při sdílení uveďte.
Jakmile je každý řádek zakódovaný, zbytek udělá kontingenční tabulka. Můžete zjistit, že „Nejasná cena“ přichází skoro výhradně od tarifu Team, zatímco uživatelé tarifu Solo zmiňují nastavení. To jsou dvě zjištění se dvěma vlastníky: stránka s ceníkem pro marketing a proces nastavení pro produkt.
Chyby, které zkreslují výsledky
- Příliš široké kódy. „Zpětná vazba k produktu“ sedí na všechno a nic neřekne.
- Slovní mraky. Počítají slova, ne význam. „Není to snadné“ i „snadné“ udělají slovo „snadné“ větším.
- Kódování o samotě. Požádejte kolegu, aby zakódoval stejných 20 odpovědí. Kde se neshodnete, zpřesněte definici.
- Počítání bez kontextu. Důvod, který zmíní pár velkých zákazníků, může vážit víc než důvod od mnoha uživatelů zdarma.
- Čísla bez citací. Lidé věří tomu, co si můžou přečíst vlastními slovy zákazníka.
- Kódování před čtením. Když nejdřív napíšete seznam kódů, najdete, co jste čekali, a zbytek vám unikne.
Analýza otevřených odpovědí pomocí ChatGPT nebo Claude
Obecné AI chaty jako ChatGPT a Claude zvládají pomalé části práce: čtení, shrnování a přiřazování štítků. Hůř jim jde rozhodnout, jaké štítky mají být. Výzkum toto rozdělení potvrzuje.
Když výzkumníci dali jazykovým modelům pevný seznam 50 kategorií pro odpovědi z britského volebního průzkumu, nejlepší model se přiblížil lidskému kódovateli: přesnost 93,9 % oproti 94,7 % u druhého člověka. V těžším testu s novějšími odpověďmi byl rozdíl větší. A když Langer Research zkoušel AI kódování otevřených odpovědí, narazil na „špatnou tvorbu kategorií, chybné zařazování a neschopnost rozpoznat nuance nebo valenci“.
Dohromady to znamená, že AI si vede dobře, když kategorie určí člověk, a má potíže, když je musí vymyslet sama. Praktické pravidlo je tedy jednoduché. Seznam kódů píšete vy. AI ho pomáhá použít.
Než cokoli vložíte
Odpovědi z dotazníku jsou data zákazníků, tak s nimi tak i zacházejte.
- Nejdřív si ověřte pravidla firmy. Mnoho týmů má zásady, které AI nástroje smějí vidět data zákazníků. Než něco vložíte, zeptejte se.
- Odstraňte osobní údaje. Smažte jména, e-maily, telefonní čísla, názvy firem a cokoli dalšího, podle čeho jde někoho poznat. Nechte jen sloupec ID a odpověď.
- Zkontrolujte nastavení dat u svého účtu. Jestli se vaše chaty smějí používat k trénování modelů, záleží na nástroji, tarifu a nastavení. Firemní tarify to často řeší jinak než bezplatné, tak si to u účtu, který používáte, dohledejte.
- Vkládejte po dávkách. Třicet až padesát odpovědí najednou udrží každý výstup dost krátký na pořádnou kontrolu. Ve velmi dlouhých vloženích chyby snadno projdou bez povšimnutí.
Prompty ke zkopírování
Fungují v ChatGPT, Claude i v jakémkoli podobném chatu.
1. Návrh kódů ze vzorku (krok 3)
Tady je 40 odpovědí zákazníků na otázku „vaše otázka“.
Navrhni 8 až 12 kódů, které popisují DŮVOD každé odpovědi, ne téma.
Ke každému kódu uveď krátký název, definici o jedné větě a dvě ukázkové odpovědi ze seznamu.
Používej jen důvody, které se v odpovědích objevují. Nic si nevymýšlej.
vložte odpovědi s ID
2. Použití seznamu kódů (krok 4)
Tady je můj seznam kódů: vložte názvy kódů a definice.
Zakóduj každou odpověď níže. Odpověď může mít víc než jeden kód.
Když nic nesedí, použij „Ostatní“. Nevytvářej nové kódy.
Vrať tabulku se třemi sloupci: ID, kódy a pár slov z odpovědi, která kód zdůvodňují.
vložte 30 až 50 odpovědí s ID
3. Výběr citací (krok 6)
Z odpovědí níže vyber tři, které důvod „název kódu“ vyjadřují nejjasněji, vlastními slovy zákazníka.
Cituj je přesně. Neupravuj je ani je nespojuj.
Zkontrolujte, co AI udělala
- Namátkově zkontrolujte 20 řádků z každé dávky. Přečtěte si odpověď, pak kód. Pokud je špatně víc než pár, opravte definice a spusťte to znovu.
- Ověřte, že citace jsou skutečné. Každou citaci vyhledejte v tabulce. AI nástroje občas odpovědi učešou nebo spojí.
- „Ostatní“ si přečtěte sami. Tam obvykle bývají překvapení.
Jak prezentovat výsledky
Dlouhé reporty nikdo nečte. Shrnutí udržte na jedné stránce.
Otázka: přesné znění otázky, položená komu v období data. Odpovědělo N lidí.
Hlavní zjištění
1Zjištění jako věta. X z N odpovědí. „Citace“ „Citace“
2Zjištění jako věta. X z N odpovědí. „Citace“ „Citace“
3Zjištění jako věta. X z N odpovědí. „Citace“ „Citace“
Rozdíly mezi skupinami
[např. Tarify Team zmiňují X mnohem častěji než tarify Solo.]
Co nás překvapilo
Jedna věc, kterou nikdo nečekal.
Doporučené další kroky
[Kdo by se měl na které zjištění podívat a co by mohl zkusit.]
Celá zakódovaná tabulka: odkaz
Pokud podle zjištění rozhodujete, co vyvíjet, náš návod k prioritizaci požadavků na funkce navazuje tam, kde tento končí. Širší pohled na kombinaci čísel a slov najdete v článku kvalitativní vs. kvantitativní výzkum.
Jak pomáhá Diaform
Diaform usnadňuje první část: získat odpovědi, které stojí za analýzu. Sbírá otevřené odpovědi formou krátkých rozhovorů a doptá se, když je odpověď vágní, takže dostanete méně odpovědí typu „ujde to“. Ke každému dokončenému rozhovoru vznikne AI shrnutí a odpovědi k jednotlivým otázkám se štítkem sentimentu (pozitivní, negativní, neutrální nebo smíšený) a štítkem jistoty. Můžete zapnout výrazné citace a celý přepis máte vždy k dispozici.
Odpovědi můžete vyhledávat a filtrovat, například abyste si najednou přečetli všechny negativní, pak je exportovat do CSV a projít kroky kódování výše ve vlastní tabulce. Pro jistotu: Diaform odpovědi do témat neseskupuje. Seznam kódů zůstává ve vašem týmu, ale začínáte s jasnějšími odpověďmi a hotovými shrnutími. Podívejte se, jak funguje pro zpětnou vazbu k produktu, nebo začněte 14denní zkušební verzi zdarma.
