Da biste analizirali odgovore na otvorena pitanja u anketi, stavite ih u jednu tablicu, pročitajte uzorak, napišite kratak popis kodova za razloge koje uočite i označite svaki odgovor. Zatim prebrojite kodove po skupinama korisnika i svaki nalaz potkrijepite citatom. To je sve. Metoda je stara i ručna, ali i dalje radi bolje od oblaka riječi.
To je važno jer se razlozi kriju upravo u otvorenim odgovorima. Ocjena vam govori da su ljudi nezadovoljni. Kodirani odgovori govore vam koji problem prvo popraviti i kome ga dodijeliti. Ovaj vodič prolazi kroz svaki korak na razrađenom primjeru, a zatim pokazuje gdje vam AI štedi vrijeme, a gdje neprimjetno griješi.
Najvažnije ukratko
- Čitajte prije nego što kodirate. Kodovi trebaju proizaći iz odgovora, a ne iz vaših pretpostavki.
- Kodirajte razlog, a ne temu. „Cijene“ skrivaju četiri različita problema s četiri različita rješenja.
- Brojite po skupinama korisnika i uz svaki broj stavite citat.
- Neka AI primjenjuje popis kodova koji ste vi napisali. Ne prepuštajte mu odluku o tome što je važno.
Počnite s odgovorima koje vrijedi analizirati
Nijedna metoda ne može spasiti prazne odgovore. Ako većina odgovora glasi „dobro“, „n/p“ ili „ništa“, nemate što kodirati.
Zato najprije pogledajte pitanja. „Što vas je zamalo spriječilo da se registrirate?“ donosi odgovore s kojima možete raditi. „Imate li još kakav komentar?“ donosi šum. Najviše pomažu potpitanja: „previše komplicirano“ postaje „nisam mogao pronaći kako pozvati svoj tim“, a to netko može popraviti. Naš popis otvorenih pitanja za ankete sadrži pitanja koja dobivaju detaljne odgovore.
Odaberite metodu prema broju odgovora
Način analize ovisi o tome koliko odgovora imate.
| Odgovori | Što funkcionira | Koliko traje |
|---|---|---|
| Manje od 50 | Pročitajte sve. Zapišite što se stalno ponavlja. Izdvojite citate. | Sat ili dva |
| Od 50 do 500 | Kodiranje u tablici, kao u koracima u nastavku | Od pola dana do dva dana |
| 500 i više | Ručno kodirajte uzorak, zatim pomoću AI-a ili alata za tekst primijenite popis kodova na ostatak i nasumično provjerite rezultat | Ovisi o alatu, plus vrijeme za vašu provjeru |
Bez obzira na broj odgovora, razmišljanje je isto. Vi odlučujete koje su kategorije. Alati vam samo pomažu da ih brže primijenite.
Kako analizirati odgovore na otvorena pitanja u 7 koraka
Ova metoda radi u alatima Google Sheets i Excel. Ne treba vam poseban softver.
Stavite sve odgovore u jednu tablicu
Jedan redak po odgovoru. Dodajte stupce za ID ispitanika, skupinu korisnika (paket, uloga, koliko dugo su korisnici ili ocjena), pitanje, odgovor te dva ili tri prazna stupca za kodove. Stupac s ID-om omogućuje vam da svaki zbroj povežete s izvornim odgovorom, čak i nakon sortiranja.
Najprije pročitajte uzorak
Pročitajte 30 do 50 odgovora, ili otprilike desetinu velikog skupa, a da ništa ne označavate. Zabilježite razloge koji se stalno ponavljaju. Tu primijetite o čemu korisnici zaista govore, a ne ono što ste očekivali da će reći.
Napravite popis kodova
Pretvorite bilješke u 5 do 15 kodova. Svakom dajte kratak naziv i definiciju u jednoj rečenici. Imenujte razlog, a ne temu: „ne mogu pronaći izvoz“ je korisno, „UX problemi“ nije.
Kodirajte svaki odgovor
Prođite kroz sve odgovore i svakom dodajte jedan ili više kodova. Za sve što se ne uklapa koristite „Ostalo“ i to često provjeravajte. Ako „Ostalo“ prijeđe otprilike jedan od deset odgovora, nedostaje vam kod. Kad dodate novi, vratite se i ponovno provjerite ranije retke.
Prebrojite i usporedite po skupinama
Zaokretnom tablicom prebrojite svaki kod. Zatim rezultate podijelite po skupinama korisnika. Razlog koji je ukupno malen može biti glavni problem vaših najvećih klijenata. Iskažite ga kao udio ljudi koji su odgovorili.
Izdvojite citate
Za svaki glavni kod odaberite dva ili tri odgovora koji ga jasno izražavaju korisnikovim riječima. Citati čine nalaz stvarnim ljudima koji nikad nisu vidjeli podatke.
Napišite nalaze kao rečenice
„Novi timovi zapnu pri postavljanju jer je gumb za pozivanje teško pronaći“ je nalaz. „Onboarding: 23 spominjanja“ nije. Napišite rečenicu na temelju koje kolega može nešto poduzeti, a zatim dodajte broj i citat.
Vodič Jeffa Saura o kodiranju doslovnih komentara na stranici MeasuringU detaljnije opisuje isti postupak, uključujući kako postocima dodati intervale pouzdanosti.
Kodirajte razlog, a ne temu
Najčešća pogreška je kodiranje po temi. Teme je lako uočiti pa se čine ispravnima. No jedna tema često skriva nekoliko problema, a svaki traži drugačije rješenje.
Uzmimo „cijene“. Evo što to zapravo može značiti:
| Kod teme | Kodovi razloga koji se kriju u njemu | Tko to rješava |
|---|---|---|
| Cijene | Nejasna cijena: nisu mogli shvatiti koliko će platiti | Stranica s cijenama |
| Neočekivani trošak: naknada ili ograničenje za koje su saznali kasno | Naplata i ograničenja paketa | |
| Vrijednost još nije jasna: nisu vidjeli da radi prije plaćanja | Onboarding | |
| Iznad budžeta: htjeli su ga, ali si ga nisu mogli priuštiti | Paketi i ponuda |
Ako javite „Cijene: 30 % odgovora“, tim će se vjerojatno raspravljati o cijeni. Ako javite da je većina tih odgovora bila „vrijednost još nije jasna“, rješenje se seli u onboarding. Isti podaci, potpuno drugačija odluka.
Primjer popisa kodova
Evo malog popisa kodova za pitanje „Što vas je zamalo spriječilo da se registrirate?“
| Kod | Definicija | Primjer odgovora |
|---|---|---|
| Nejasna cijena | Nisu mogli shvatiti koliko bi platili | „Nisam bio siguran naplaćuju li se i gosti kao korisnici.“ |
| Briga oko postavljanja | Očekivali su sporo ili tehnički zahtjevno postavljanje | „Izgledalo je kao da treba programer.“ |
| Povjerenje | Nisu bili sigurni u tvrtku ili sigurnost podataka | „Nikad nisam čuo za vas pa sam prvo provjerio recenzije.“ |
| Nedostaje značajka | Trebalo im je nešto što nisu vidjeli | „Nisam znao radi li s našim sustavom za prijavu.“ |
| Trošak prelaska | Već su uložili u drugi alat | „Morali bismo preseliti podatke od dvije godine.“ |
| Bez prepreke | Nisu oklijevali | „Ništa, trebao mi je brzo.“ |
| Ostalo | Sve ostalo, pregledava se tjedno | „Šef mi je bio na godišnjem.“ |
Definicije neka budu kratke. Ako bi dvije osobe isti odgovor kodirale različito, definiciju treba doraditi. Isplati se pratiti i „Bez prepreke“. Tako problemi ostaju u pravim omjerima.
Razrađeni primjer
Petero ljudi odgovorilo je na gornje pitanje. Evo kako bi se kodirali njihovi odgovori.
| ID | Paket | Odgovor | Kodovi |
|---|---|---|---|
| 101 | Team | „Na stranici s cijenama nije pisalo naplaćuju li se gosti kao korisnici.“ | Nejasna cijena |
| 102 | Solo | „Zapravo ništa, trebao mi je brzo.“ | Bez prepreke |
| 103 | Solo | „Mislio sam da ga mora postaviti IT, a naš IT je spor.“ | Briga oko postavljanja |
| 104 | Team | „Nisam bio siguran hoće li raditi s našim sustavom za prijavu, a cijena po korisniku me zbunila.“ | Nedostaje značajka, Nejasna cijena |
| 105 | Team | „Već plaćamo alat za ankete.“ | Trošak prelaska |
Odgovor 104 dobiva dva koda. To je normalno i zato ostavljate mjesta za više od jednog koda po retku. To također znači da zbroj postotaka može biti veći od 100 %, pa to recite kad ih dijelite.
Kad je svaki redak kodiran, zaokretna tablica obavi ostatak. Možda ćete otkriti da „Nejasna cijena“ dolazi gotovo isključivo od korisnika paketa Team, dok korisnici paketa Solo spominju postavljanje. To su dva nalaza s dva vlasnika: stranica s cijenama za marketing i tijek postavljanja za produktni tim.
Pogreške koje iskrivljuju rezultate
- Preširoki kodovi. „Povratne informacije o proizvodu“ odgovaraju svemu i ne govore ništa.
- Oblaci riječi. Broje riječi, a ne značenje. I „nije jednostavno“ i „jednostavno“ povećavaju riječ „jednostavno“.
- Kodirate sami. Zamolite kolegu da kodira istih 20 odgovora. Gdje se ne slažete, preciznije odredite definiciju.
- Brojanje bez konteksta. Razlog koji navodi nekoliko velikih klijenata može biti važniji od razloga koji navode mnogi besplatni korisnici.
- Brojke bez citata. Ljudi vjeruju onome što mogu pročitati korisnikovim riječima.
- Kodiranje prije čitanja. Ako najprije napišete popis kodova, pronaći ćete ono što ste očekivali i propustiti sve ostalo.
Analiza otvorenih odgovora uz ChatGPT ili Claude
Opći AI alati za razgovor, poput alata ChatGPT i Claude, dobri su u sporim dijelovima posla: čitanju, sažimanju i dodjeljivanju oznaka. Slabiji su u odlučivanju kakve bi oznake trebale biti. Istraživanja potvrđuju tu podjelu.
Kad su istraživači jezičnim modelima dali fiksni popis od 50 kategorija za odgovore iz britanske izborne ankete, najbolji se model gotovo izjednačio s ljudskim koderom: 93,9 % točnosti naspram 94,7 % kod drugog čovjeka. Na težem testu s novijim odgovorima razlika je bila veća. A kad je tvrtka Langer Research isprobala AI kodiranje otvorenih odgovora, naišla je na „loše stvaranje kategorija, pogrešno razvrstavanje i nesposobnost prepoznavanja nijansi ili valencije“.
Sve zajedno: AI dobro radi kad čovjek odredi kategorije, a muči se kad ih mora sam izmisliti. Zato je praktično pravilo jednostavno. Vi pišete popis kodova. AI ga pomaže primijeniti.
Prije nego što išta zalijepite
Odgovori iz anketa podaci su vaših korisnika, pa se prema njima tako i odnosite.
- Najprije provjerite pravila svoje tvrtke. Mnogi timovi imaju pravila o tome koji AI alati smiju vidjeti podatke korisnika. Pitajte prije nego što zalijepite.
- Uklonite osobne podatke. Izbrišite imena, e-adrese, brojeve telefona, nazive tvrtki i sve ostalo po čemu se nekoga može prepoznati. Zadržite samo stupac s ID-om i odgovor.
- Provjerite postavke podataka na svom računu. Mogu li se vaši razgovori koristiti za treniranje modela ovisi o alatu, paketu i vašim postavkama. Poslovni paketi to često rješavaju drukčije od besplatnih, pa provjerite za račun koji koristite.
- Lijepite u serijama. Trideset do pedeset odgovora odjednom, pa je svaki rezultat dovoljno kratak da ga temeljito provjerite. Upravo se u vrlo dugim unosima pogreške provuku neopaženo.
Upute koje možete kopirati
Rade u alatima ChatGPT i Claude ili u bilo kojem sličnom alatu za razgovor.
1. Predložite kodove na temelju uzorka (3. korak)
Ovo je 40 odgovora korisnika na pitanje „vaše pitanje“.
Predloži 8 do 12 kodova koji opisuju RAZLOG iza svakog odgovora, a ne temu.
Za svaki kod daj kratak naziv, definiciju u jednoj rečenici i dva primjera odgovora s popisa.
Koristi samo razloge koji se pojavljuju u odgovorima. Ne izmišljaj nijedan.
zalijepite odgovore s ID-ovima
2. Primijenite svoj popis kodova (4. korak)
Ovo je moj popis kodova: zalijepite nazive kodova i definicije.
Kodiraj svaki odgovor u nastavku. Odgovor može imati više kodova.
Ako ništa ne odgovara, koristi „Ostalo“. Ne stvaraj nove kodove.
Vrati tablicu s tri stupca: ID, kodovi i nekoliko riječi iz odgovora koje opravdavaju kod.
zalijepite 30 do 50 odgovora s ID-ovima
3. Pronađite citate (6. korak)
Od odgovora u nastavku odaberi tri koja najjasnije izražavaju razlog „naziv koda“, korisnikovim riječima.
Citiraj ih doslovno. Nemoj ih uređivati ni spajati.
Provjerite njegov rad
- Nasumično provjerite 20 redaka po seriji. Pročitajte odgovor, a zatim kod. Ako je pogrešno više od nekoliko, popravite definicije i pokrenite ponovno.
- Provjerite jesu li citati stvarni. Potražite svaki citat u svojoj tablici. AI alati ponekad dotjeraju ili spoje odgovore.
- Sami pročitajte „Ostalo“. Tamo su obično iznenađenja.
Kako predstaviti rezultate
Duge izvještaje nitko ne čita. Neka sažetak stane na jednu stranicu.
Pitanje: točno pitanje, postavljeno kome od datum do datum. Odgovorilo je N ljudi.
Glavni nalazi
1Nalaz kao rečenica. X od N odgovora. „Citat“ „Citat“
2Nalaz kao rečenica. X od N odgovora. „Citat“ „Citat“
3Nalaz kao rečenica. X od N odgovora. „Citat“ „Citat“
Razlike među skupinama
[npr. Korisnici paketa Team spominju X mnogo češće od korisnika paketa Solo.]
Što nas je iznenadilo
Jedna stvar koju nitko nije očekivao.
Predloženi sljedeći koraci
[Tko bi trebao pogledati koji nalaz i što bi mogao isprobati.]
Cijela kodirana tablica: poveznica
Ako na temelju nalaza odlučujete što razviti, naš vodič o određivanju prioriteta zahtjeva za značajkama nastavlja tamo gdje ovaj završava. Za širu sliku o kombiniranju brojki i riječi pogledajte kvalitativno i kvantitativno istraživanje.
Kako pomaže Diaform
Diaform olakšava prvi dio: dobivanje odgovora koje vrijedi analizirati. Otvorene odgovore prikuplja kroz kratke razgovore i postavlja potpitanje kad je odgovor nejasan, pa dobivate manje odgovora tipa „u redu je“. Svaki završeni razgovor dobiva AI sažetak te odgovore po pitanjima s oznakom sentimenta (pozitivan, negativan, neutralan ili mješovit) i oznakom pouzdanosti. Možete uključiti istaknute citate, a cijeli transkript uvijek je dostupan.
Odgovore možete pretraživati i filtrirati, primjerice da u jednom dahu pročitate sve negativne odgovore, a zatim ih izvesti u CSV i provesti gornje korake kodiranja u vlastitoj tablici. Da bude jasno: Diaform ne grupira odgovore u teme umjesto vas. Popis kodova ostaje u rukama vašeg tima, ali krećete od jasnijih odgovora i gotovih sažetaka. Pogledajte kako radi za povratne informacije o proizvodu ili započnite 14-dnevno besplatno probno razdoblje.
