For å analysere åpne svar i en spørreundersøkelse samler du dem i ett ark, leser et utvalg, skriver en kort liste med koder for grunnene du ser, og merker hvert svar. Deretter teller du kodene per kundegruppe og underbygger hvert funn med et sitat. Det er alt. Metoden er gammel og manuell, og den fungerer fortsatt bedre enn en ordsky.
Det betyr noe fordi det er i de åpne svarene at grunnene ligger. En score forteller deg at folk er misfornøyde. Kodede svar forteller deg hvilket problem du bør fikse først, og hvem som bør få det på bordet. Denne guiden går gjennom hvert steg med et gjennomarbeidet eksempel, og viser deretter hvor AI sparer deg tid og hvor den i det stille tar feil.
Det viktigste
- Les før du koder. Kodene dine bør komme fra svarene, ikke fra antakelsene dine.
- Kod grunnen, ikke temaet. «Pris» skjuler fire ulike problemer med fire ulike løsninger.
- Tell per kundegruppe, og sett et sitat ved siden av hvert tall.
- La AI bruke en kodebok du har skrevet. Ikke la den avgjøre hva som betyr noe.
Begynn med svar som er verdt å analysere
Ingen metode kan redde tomme svar. Hvis de fleste svarene er «bra», «i/a» eller «ingenting», er det ingenting å kode.
Se derfor på spørsmålene først. «Hva holdt nesten på å stoppe deg fra å registrere deg?» gir svar du kan jobbe med. «Andre kommentarer?» gir støy. Oppfølgingsspørsmål hjelper mest av alt: «for komplisert» blir til «jeg fant ikke ut hvordan jeg inviterer teamet mitt», og det kan noen fikse. Listen vår med åpne spørsmål til spørreundersøkelser har spørsmål som gir detaljerte svar.
Velg en metode som passer mengden
Hvordan du analyserer, avhenger av hvor mange svar du har.
| Svar | Hva som fungerer | Tidsbruk |
|---|---|---|
| Under 50 | Les alle. Skriv en liste over det som går igjen. Hent ut sitater. | En time eller to |
| 50 til 500 | Koding i regneark, som i stegene nedenfor | En halv dag til to dager |
| 500 og flere | Kod et utvalg for hånd, bruk så AI eller tekstverktøy til å bruke kodeboken på resten, og ta stikkprøver | Avhenger av verktøyet, pluss tiden du bruker på å sjekke |
Uansett størrelse er tankearbeidet det samme. Du bestemmer hva kategoriene er. Verktøy hjelper deg bare å bruke dem raskere.
Slik analyserer du åpne svar i 7 steg
Denne metoden fungerer i Google Sheets eller Excel. Du trenger ikke spesialprogrammer.
Samle alle svarene i ett ark
Én rad per svar. Legg til kolonner for respondent-ID, kundegruppe (plan, rolle, kundeforhold i tid eller score), spørsmålet, svaret og to eller tre tomme kodekolonner. ID-kolonnen lar deg spore hver telling tilbake til det opprinnelige svaret, også etter at du har sortert.
Les et utvalg først
Les 30 til 50 svar, eller omtrent en tidel av et stort datasett, uten å merke noe. Noter grunnene som går igjen. Det er her du legger merke til hva kundene faktisk snakker om, i stedet for hva du forventet at de skulle si.
Lag et utkast til kodebok
Gjør notatene dine om til 5 til 15 koder. Gi hver kode et kort navn og en definisjon på én setning. Navngi grunnen, ikke temaet: «finner ikke eksport» er nyttig, «UX-problemer» er det ikke.
Kod hvert svar
Gå gjennom hvert svar og legg til én eller flere koder. Bruk «Annet» for alt som ikke passer, og sjekk den ofte. Hvis «Annet» passerer omtrent ett av ti svar, mangler du en kode. Når du legger til en, går du tilbake og sjekker tidligere rader på nytt.
Tell og sammenlign per gruppe
Bruk en pivottabell til å telle hver kode. Del deretter opp etter kundegruppe. En grunn som er liten totalt, kan være det største problemet for de største kundene dine. Rapporter den som en andel av dem som svarte.
Hent ut sitater
For hver hovedkode velger du to eller tre svar som sier det tydelig, med kundens egne ord. Sitater gjør et funn virkelig for folk som aldri har sett dataene.
Skriv funnene som setninger
«Nye team stopper opp under oppsettet fordi invitasjonsknappen er vanskelig å finne» er et funn. «Onboarding: 23 omtaler» er det ikke. Skriv setningen en kollega kan handle på, og legg så til tallet og et sitat.
Jeff Sauros guide til koding av ordrette kommentarer hos MeasuringU går gjennom den samme prosessen mer i dybden, blant annet hvordan du legger til konfidensintervaller på prosentene dine.
Kod grunnen, ikke temaet
Den vanligste feilen er å kode etter tema. Temaer er lette å få øye på, så de føles riktige. Men ett tema skjuler ofte flere problemer, hvert med sin egen løsning.
Ta «pris». Dette kan det faktisk bety:
| Temakode | Grunnkoder som skjuler seg i den | Hvem som fikser det |
|---|---|---|
| Pris | Uklar pris: skjønte ikke hva de ville betale | Prissiden |
| Overraskende kostnad: et gebyr eller en grense de oppdaget sent | Fakturering og plangrenser | |
| Verdien ikke tydelig ennå: hadde ikke sett at det fungerte før de måtte betale | Onboarding | |
| Over budsjett: ville ha det, men hadde ikke råd | Planer og pakker |
Hvis du rapporterer «Pris: 30 % av svarene», kommer teamet sannsynligvis til å diskutere prisen. Hvis du rapporterer at de fleste av disse svarene var «verdien ikke tydelig ennå», flytter løsningen seg til onboardingen. Samme data, helt ulik beslutning.
Eksempel på kodebok
Her er en liten kodebok for spørsmålet «Hva holdt nesten på å stoppe deg fra å registrere deg?»
| Kode | Definisjon | Eksempelsvar |
|---|---|---|
| Uklar pris | Skjønte ikke hva de ville betale | «Jeg var usikker på om gjester teller som brukerlisenser.» |
| Bekymret for oppsett | Forventet at oppsettet var tregt eller teknisk | «Så ut som det krevde en utvikler.» |
| Tillit | Usikker på selskapet eller datasikkerheten | «Hadde aldri hørt om dere, så jeg sjekket anmeldelser først.» |
| Manglende funksjon | Trengte noe de ikke kunne se | «Skjønte ikke om det fungerte med innloggingssystemet vårt.» |
| Byttekostnad | Har allerede investert i et annet verktøy | «Vi måtte ha flyttet to års data.» |
| Ingen hindring | Nølte ikke | «Ingenting, jeg trengte det raskt.» |
| Annet | Alt annet, gjennomgås hver uke | «Lederen min var på ferie.» |
Hold definisjonene korte. Hvis to personer ville kodet det samme svaret ulikt, trenger definisjonen arbeid. «Ingen hindring» er også verdt å følge med på. Den holder problemene i riktig proporsjon.
Et gjennomarbeidet eksempel
Fem personer svarte på spørsmålet over. Slik ville svarene blitt kodet.
| ID | Plan | Svar | Koder |
|---|---|---|---|
| 101 | Team | «Prissiden sa ikke om gjester teller som brukerlisenser.» | Uklar pris |
| 102 | Solo | «Egentlig ingenting, jeg trengte det raskt.» | Ingen hindring |
| 103 | Solo | «Jeg trodde IT måtte sette det opp, og IT hos oss er treg.» | Bekymret for oppsett |
| 104 | Team | «Usikker på om det ville fungere med innloggingssystemet vårt, og prisen per bruker forvirret meg.» | Manglende funksjon, Uklar pris |
| 105 | Team | «Vi betaler allerede for et verktøy for spørreundersøkelser.» | Byttekostnad |
Svar 104 får to koder. Det er normalt, og det er derfor du lar det være plass til mer enn én kode per rad. Det betyr også at prosentene dine kan bli mer enn 100 % til sammen, så si fra om det når du deler dem.
Når hver rad er kodet, gjør pivottabellen resten. Kanskje finner du at «Uklar pris» nesten bare kommer fra teamplaner, mens solobrukere nevner oppsettet. Det er to funn med to eiere: prissiden for markedsføring, og oppsettsflyten for produkt.
Feil som gir skjeve resultater
- Koder som er for brede. «Produkttilbakemelding» passer på alt og forteller deg ingenting.
- Ordskyer. De teller ord, ikke mening. «Ikke enkelt» og «enkelt» får begge «enkelt» til å se større ut.
- Å kode alene. Be en kollega kode de samme 20 svarene. Der dere er uenige, strammer du inn definisjonen.
- Å telle uten kontekst. En grunn som tas opp av noen få store kunder, kan bety mer enn en som tas opp av mange gratisbrukere.
- Tall uten sitater. Folk stoler på det de kan lese med kundens egne ord.
- Å kode før du leser. Skriver du kodeboken først, finner du det du forventet og går glipp av resten.
Slik bruker du ChatGPT eller Claude til å analysere åpne svar
Generelle AI-chatverktøy som ChatGPT og Claude er gode til de tidkrevende delene: å lese, oppsummere og sette merkelapper. De er svakere til å avgjøre hva merkelappene bør være. Forskningen støtter denne fordelingen.
Da forskere ga språkmodeller en fast liste med 50 kategorier for svar fra en britisk valgundersøkelse, kom den beste modellen nær en menneskelig koder: 93,9 % treffsikkerhet mot 94,7 % for en annen person. I en vanskeligere test med nyere svar var avstanden større. Og da Langer Research testet AI-koding av åpne svar, støtte de på «svak oppretting av kategorier, feilklassifisering og manglende evne til å fange opp nyanser eller valens».
Til sammen viser dette at AI gjør det bra når en person definerer kategoriene, og sliter når den må finne på dem selv. Den praktiske regelen er derfor enkel. Du skriver kodeboken. AI hjelper deg å bruke den.
Før du limer inn noe
Svar fra spørreundersøkelser er kundedata, så behandle dem deretter.
- Sjekk reglene i selskapet ditt først. Mange team har retningslinjer for hvilke AI-verktøy som kan se kundedata. Spør før du limer inn.
- Fjern personopplysninger. Fjern navn, e-postadresser, telefonnumre, firmanavn og alt annet som kan identifisere noen. Behold bare ID-kolonnen og svaret.
- Sjekk datainnstillingene for kontoen din. Om chattene dine kan brukes til å trene modeller, avhenger av verktøyet, planen og innstillingene dine. Bedriftsplaner håndterer dette ofte annerledes enn gratisplaner, så sjekk det for kontoen du bruker.
- Lim inn i porsjoner. Tretti til femti svar om gangen holder hvert svar fra verktøyet kort nok til å sjekke ordentlig. Veldig lange innlimte tekster er der feil sniker seg gjennom uten at noen merker det.
Prompter du kan kopiere
Disse fungerer i ChatGPT, Claude eller et lignende chatverktøy.
1. Lag utkast til koder fra et utvalg (steg 3)
Her er 40 kundesvar på spørsmålet «spørsmålet ditt».
Foreslå 8 til 12 koder som beskriver GRUNNEN bak hvert svar, ikke temaet.
For hver kode: gi et kort navn, en definisjon på én setning og to eksempelsvar fra listen.
Bruk bare grunner som finnes i svarene. Ikke finn på noen.
lim inn svar med ID-er
2. Bruk kodeboken din (steg 4)
Her er kodeboken min: lim inn kodenavn og definisjoner.
Kod hvert svar nedenfor. Et svar kan ha mer enn én kode.
Bruk «Annet» hvis ingenting passer. Ikke lag nye koder.
Returner en tabell med tre kolonner: ID, koder og noen ord fra svaret som begrunner koden.
lim inn 30 til 50 svar med ID-er
3. Finn sitater (steg 6)
Velg de tre svarene nedenfor som tydeligst uttrykker grunnen «kodenavn», med kundens egne ord.
Siter dem ordrett. Ikke rediger eller slå dem sammen.
Sjekk arbeidet
- Ta stikkprøver av 20 rader per porsjon. Les svaret, deretter koden. Hvis mer enn et par er feil, fikser du definisjonene og kjører på nytt.
- Sjekk at sitatene er ekte. Søk etter hvert sitat i arket ditt. AI-verktøy rydder noen ganger i svar eller slår dem sammen.
- Les «Annet» selv. Det er der overraskelsene som regel ligger.
Slik presenterer du resultatene
Lange rapporter blir ikke lest. Hold oppsummeringen til én side.
Spørsmål: det nøyaktige spørsmålet, stilt til hvem mellom datoer. N personer svarte.
Viktigste funn
1Funnet som en setning. X av N svar. «Sitat» «Sitat»
2Funnet som en setning. X av N svar. «Sitat» «Sitat»
3Funnet som en setning. X av N svar. «Sitat» «Sitat»
Forskjeller mellom grupper
[f.eks. Teamplaner nevner X langt oftere enn soloplaner.]
Det som overrasket oss
Én ting ingen hadde forventet.
Forslag til neste steg
[Hvem som bør se på hvert funn, og hva de kan prøve.]
Hele det kodede arket: lenke
Hvis du skal bestemme hva du bygger ut fra det du finner, tar guiden vår om å prioritere funksjonsønsker over der denne slutter. For det store bildet om å kombinere tall og ord, se kvalitativ og kvantitativ forskning.
Slik hjelper Diaform
Diaform gjør den første delen enklere: å få svar som er verdt å analysere. Diaform samler inn åpne svar som korte samtaler og stiller et oppfølgingsspørsmål når et svar er vagt, så du får færre «greit»-svar. Hver fullførte samtale får et AI-sammendrag, pluss svar per spørsmål med en sentimentmerkelapp (positiv, negativ, nøytral eller blandet) og en merkelapp for svarsikkerhet. Du kan slå på utvalgte sitater, og hele transkripsjonen er alltid tilgjengelig.
Du kan søke i og filtrere svarene, for eksempel for å lese alle negative svar i én omgang, og så eksportere til CSV og kjøre kodestegene over i ditt eget regneark. For å være tydelig: Diaform grupperer ikke svar i temaer for deg. Kodeboken blir hos teamet ditt, men du starter med tydeligere svar og ferdige sammendrag. Se hvordan det fungerer for produkttilbakemeldinger, eller start en gratis prøveperiode på 14 dager.
