Kun analysoit avoimia kyselyvastauksia, kokoa ne yhteen taulukkoon, lue otos, kirjoita lyhyt lista koodeja näkemistäsi syistä ja merkitse jokainen vastaus. Laske sitten koodit asiakasryhmittäin ja tue jokaista havaintoa lainauksella. Siinä kaikki. Menetelmä on vanha ja käsityötä, ja se toimii silti paremmin kuin sanapilvi.
Tällä on väliä, koska syyt löytyvät avoimista vastauksista. Pisteet kertovat, että ihmiset ovat tyytymättömiä. Koodatut vastaukset kertovat, mikä ongelma korjata ensin ja kenelle se kuuluu. Tämä opas käy jokaisen vaiheen läpi esimerkin avulla ja näyttää sitten, missä AI säästää aikaasi ja missä se huomaamatta menee pieleen.
Tärkeimmät opit
- Lue ennen kuin koodaat. Koodien pitää syntyä vastauksista, ei oletuksistasi.
- Koodaa syy, älä aihetta. ”Hinnoittelu” kätkee neljä eri ongelmaa, joihin on neljä eri korjausta.
- Laske asiakasryhmittäin ja liitä jokaiseen lukuun lainaus.
- Anna AI:n soveltaa kirjoittamaasi koodikirjaa. Älä anna sen päättää, mikä on tärkeää.
Aloita vastauksista, joita kannattaa analysoida
Mikään menetelmä ei pelasta tyhjiä vastauksia. Jos useimmat vastaukset ovat ”hyvä”, ”ei kommenttia” tai ”ei mitään”, koodattavaa ei ole.
Katso siis ensin kysymyksiä. ”Mikä oli vähällä estää sinua rekisteröitymästä?” tuottaa vastauksia, joiden kanssa voi tehdä töitä. ”Muita kommentteja?” tuottaa kohinaa. Eniten auttavat jatkokysymykset: ”liian monimutkainen” muuttuu muotoon ”en löytänyt, miten kutsun tiimini”, ja sen joku voi korjata. Listassamme avoimista kyselykysymyksistä on kysymyksiä, jotka tuottavat yksityiskohtaisia vastauksia.
Valitse menetelmä vastausmäärän mukaan
Analyysitapa riippuu siitä, kuinka monta vastausta sinulla on.
| Vastauksia | Mikä toimii | Aikaa kuluu |
|---|---|---|
| Alle 50 | Lue ne kaikki. Kirjoita lista asioista, jotka toistuvat. Poimi lainauksia. | Tunti tai kaksi |
| 50–500 | Koodaus taulukossa alla olevien vaiheiden mukaan | Puolesta päivästä kahteen päivään |
| 500 tai enemmän | Koodaa otos käsin, sovella koodikirjaa muihin AI:n tai tekstityökalujen avulla ja tee pistokokeita | Riippuu työkalusta, lisäksi tarkistamiseen kuluva aika |
Koosta riippumatta ajattelu on sama. Sinä päätät, mitkä luokat ovat. Työkalut vain auttavat soveltamaan niitä nopeammin.
Avointen kyselyvastausten analysointi 7 vaiheessa
Tämä menetelmä toimii Google Sheets- ja Excel-taulukoissa. Erikoisohjelmia ei tarvita.
Kokoa kaikki vastaukset yhteen taulukkoon
Yksi rivi vastausta kohden. Lisää sarakkeet vastaajan tunnisteelle, asiakasryhmälle (paketti, rooli, asiakkuuden kesto tai pisteet), kysymykselle ja vastaukselle sekä kaksi tai kolme tyhjää koodisaraketta. Tunnistesarakkeen avulla voit jäljittää jokaisen luvun alkuperäiseen vastaukseen myös lajittelun jälkeen.
Lue ensin otos
Lue 30–50 vastausta, tai isosta aineistosta noin kymmenesosa, merkitsemättä mitään. Kirjaa ylös syyt, jotka toistuvat. Tässä vaiheessa huomaat, mistä asiakkaat oikeasti puhuvat, etkä vain sitä, mitä odotit heidän sanovan.
Luonnostele koodikirja
Muuta muistiinpanosi 5–15 koodiksi. Anna jokaiselle lyhyt nimi ja yhden lauseen määritelmä. Nimeä syy, älä aihetta: ”vientiä ei löydy” on hyödyllinen, ”UX-ongelmat” ei ole.
Koodaa jokainen vastaus
Käy jokainen vastaus läpi ja lisää yksi tai useampi koodi. Käytä koodia ”Muu” kaikelle, mikä ei sovi muualle, ja tarkista se usein. Jos ”Muu” kattaa yli joka kymmenennen vastauksen, sinulta puuttuu koodi. Kun lisäät koodin, palaa tarkistamaan aiemmat rivit.
Laske ja vertaa ryhmittäin
Laske jokainen koodi pivot-taulukolla. Jaa tulokset sitten asiakasryhmittäin. Syy, joka on kokonaisuudessa pieni, voi olla suurimpien asiakkaidesi ykkösongelma. Ilmoita se osuutena vastanneista.
Poimi lainaukset
Valitse jokaiselle pääkoodille kaksi tai kolme vastausta, joissa asia sanotaan selvästi asiakkaan omin sanoin. Lainaukset tekevät havainnosta todellisen niille, jotka eivät koskaan nähneet aineistoa.
Kirjoita havainnot lauseina
”Uudet tiimit jumittuvat käyttöönotossa, koska kutsupainiketta on vaikea löytää” on havainto. ”Käyttöönotto: 23 mainintaa” ei ole. Kirjoita lause, jonka perusteella tiimikaveri voi toimia, ja lisää sitten määrä ja lainaus.
MeasuringU-sivustolla julkaistu Jeff Sauron opas avoimien kommenttien koodaamiseen käy saman prosessin läpi tarkemmin. Siinä näytetään myös, miten prosenttilukuihin lisätään luottamusvälit.
Koodaa syy, älä aihetta
Yleisin virhe on koodata aiheen mukaan. Aiheet on helppo huomata, joten ne tuntuvat oikeilta. Yksi aihe kätkee kuitenkin usein useita ongelmia, ja jokaiseen tarvitaan eri korjaus.
Otetaan esimerkiksi ”hinnoittelu”. Tätä se voi oikeasti tarkoittaa:
| Aihekoodi | Sen sisään kätkeytyvät syykoodit | Kuka korjaa |
|---|---|---|
| Hinnoittelu | Epäselvä hinta: ei selvinnyt, mitä joutuisi maksamaan | Hinnoittelusivu |
| Yllättävä kulu: maksu tai rajoitus, joka selvisi vasta myöhään | Laskutus ja pakettien rajoitukset | |
| Arvo ei vielä selvä: ei ollut nähnyt tuotteen toimivan ennen maksamista | Käyttöönotto | |
| Yli budjetin: olisi halunnut, mutta ei ollut varaa | Paketit ja tuotteistus |
Jos raportoit ”Hinnoittelu: 30 % vastauksista”, tiimi alkaa todennäköisesti väitellä hinnasta. Jos raportoit, että suurin osa näistä vastauksista oli ”arvo ei vielä selvä”, korjaus siirtyy käyttöönottoon. Sama data, täysin eri päätös.
Esimerkkikoodikirja
Tässä on pieni koodikirja kysymykselle ”Mikä oli vähällä estää sinua rekisteröitymästä?”
| Koodi | Määritelmä | Esimerkkivastaus |
|---|---|---|
| Epäselvä hinta | Ei selvinnyt, mitä joutuisi maksamaan | ”En ollut varma, lasketaanko vieraat käyttäjäpaikoiksi.” |
| Huoli käyttöönotosta | Odotti käyttöönoton olevan hidas tai tekninen | ”Näytti siltä, että tarvitaan kehittäjä.” |
| Luottamus | Epävarma yrityksestä tai tietoturvasta | ”En ollut kuullut teistä, joten luin ensin arvostelut.” |
| Puuttuva ominaisuus | Tarvitsi jotain, mitä ei nähnyt | ”En saanut selville, toimiiko se meidän kirjautumisjärjestelmämme kanssa.” |
| Vaihtamisen hinta | On jo panostanut toiseen työkaluun | ”Meidän pitäisi siirtää kahden vuoden data.” |
| Ei estettä | Ei epäröinyt | ”Ei mikään, tarvitsin sitä nopeasti.” |
| Muu | Kaikki muu, käydään läpi viikoittain | ”Esihenkilöni oli lomalla.” |
Pidä määritelmät lyhyinä. Jos kaksi ihmistä koodaisi saman vastauksen eri tavalla, määritelmää pitää parantaa. Myös ”Ei estettä” kannattaa seurata. Se pitää ongelmat oikeissa mittasuhteissa.
Esimerkki käytännössä
Viisi ihmistä vastasi yllä olevaan kysymykseen. Näin heidän vastauksensa koodattaisiin.
| Tunniste | Paketti | Vastaus | Koodit |
|---|---|---|---|
| 101 | Team | ”Hinnoittelusivulla ei kerrottu, lasketaanko vieraat käyttäjäpaikoiksi.” | Epäselvä hinta |
| 102 | Solo | ”Ei oikeastaan mikään, tarvitsin sitä nopeasti.” | Ei estettä |
| 103 | Solo | ”Luulin, että IT:n pitäisi ottaa se käyttöön, ja meidän IT on hidas.” | Huoli käyttöönotosta |
| 104 | Team | ”En ollut varma, toimisiko se meidän kirjautumisjärjestelmämme kanssa, ja käyttäjäkohtainen hinta hämmensi.” | Puuttuva ominaisuus, Epäselvä hinta |
| 105 | Team | ”Maksamme jo kyselytyökalusta.” | Vaihtamisen hinta |
Vastaus 104 saa kaksi koodia. Se on normaalia, ja siksi jätät riville tilaa useammalle kuin yhdelle koodille. Se tarkoittaa myös, että prosenttiosuudet voivat olla yhteensä yli 100 %, joten mainitse siitä, kun jaat ne.
Kun jokainen rivi on koodattu, pivot-taulukko hoitaa loput. Saatat huomata, että ”Epäselvä hinta” tulee lähes kokonaan Team-paketin asiakkailta, kun taas Solo-käyttäjät mainitsevat käyttöönoton. Siinä on kaksi havaintoa ja kaksi vastuutahoa: hinnoittelusivu markkinoinnille ja käyttöönoton kulku tuotetiimille.
Virheet, jotka vääristävät tuloksia
- Liian laajat koodit. ”Tuotepalaute” sopii kaikkeen eikä kerro mitään.
- Sanapilvet. Ne laskevat sanoja, eivät merkityksiä. ”Ei helppo” ja ”helppo” kasvattavat molemmat sanaa ”helppo”.
- Koodaaminen yksin. Pyydä tiimikaveria koodaamaan samat 20 vastausta. Kun olette eri mieltä, tarkenna määritelmää.
- Laskeminen ilman kontekstia. Muutaman ison asiakkaan esiin nostama syy voi painaa enemmän kuin moni ilmaiskäyttäjien mainitsema.
- Luvut ilman lainauksia. Ihmiset luottavat siihen, minkä he voivat lukea asiakkaan omin sanoin.
- Koodaaminen ennen lukemista. Jos kirjoitat koodikirjan ensin, löydät sen, mitä odotit, ja ohitat loput.
Avointen vastausten analysointi ChatGPT- tai Claude-työkalulla
Yleiset AI-chattityökalut, kuten ChatGPT ja Claude, hoitavat hyvin hitaat osuudet: lukemisen, tiivistämisen ja merkintöjen soveltamisen. Heikompia ne ovat päättämään, mitä merkintöjen pitäisi olla. Tutkimus tukee tätä jakoa.
Kun tutkijat antoivat kielimalleille valmiin 50 luokan listan brittiläisen vaalikyselyn vastauksille, paras malli pääsi lähelle ihmiskoodaajaa: sen tarkkuus oli 93,9 %, kun toisella ihmisellä se oli 94,7 %. Vaikeammassa testissä uudemmilla vastauksilla ero oli suurempi. Ja kun Langer Research kokeili avointen vastausten koodausta AI:lla, se törmäsi ”heikkoon luokkien muodostamiseen, virheelliseen luokitteluun ja kyvyttömyyteen havaita vivahteita tai sävyä”.
Yhteenvetona: AI pärjää hyvin, kun ihminen määrittelee luokat, ja sillä on vaikeuksia, kun se jätetään keksimään ne itse. Käytännön sääntö on siis yksinkertainen. Sinä kirjoitat koodikirjan. AI auttaa soveltamaan sitä.
Ennen kuin liität mitään
Kyselyvastaukset ovat asiakasdataa, joten käsittele niitä sen mukaisesti.
- Tarkista ensin yrityksesi säännöt. Monella tiimillä on linjaus siitä, mitkä AI-työkalut saavat nähdä asiakasdataa. Kysy ennen kuin liität mitään.
- Poista henkilötiedot. Poista nimet, sähköpostiosoitteet, puhelinnumerot, yritysten nimet ja kaikki muu, mistä joku voidaan tunnistaa. Säilytä vain tunnistesarake ja vastaus.
- Tarkista tilisi tietoasetukset. Se, voidaanko keskustelujasi käyttää mallien kouluttamiseen, riippuu työkalusta, paketista ja asetuksistasi. Yrityspaketeissa tämä hoidetaan usein eri tavalla kuin ilmaisissa, joten tarkista asia juuri käyttämäsi tilin osalta.
- Liitä erissä. Kun liität 30–50 vastausta kerrallaan, jokainen tulos pysyy niin lyhyenä, että sen ehtii tarkistaa kunnolla. Hyvin pitkissä liitoksissa virheet livahtavat huomaamatta läpi.
Kehotteet, jotka voit kopioida
Nämä toimivat ChatGPT- ja Claude-työkaluissa sekä missä tahansa vastaavassa chattityökalussa.
1. Luonnostele koodit otoksesta (vaihe 3)
Tässä on 40 asiakkaan vastausta kysymykseen ”kysymyksesi”.
Ehdota 8–12 koodia, jotka kuvaavat kunkin vastauksen taustalla olevaa SYYTÄ, eivät aihetta.
Anna jokaiselle koodille lyhyt nimi, yhden lauseen määritelmä ja kaksi esimerkkivastausta listasta.
Käytä vain syitä, jotka esiintyvät vastauksissa. Älä keksi uusia.
liitä vastaukset tunnisteineen
2. Sovella koodikirjaasi (vaihe 4)
Tässä on koodikirjani: liitä koodien nimet ja määritelmät.
Koodaa jokainen alla oleva vastaus. Vastauksella voi olla useampi kuin yksi koodi.
Käytä koodia ”Muu”, jos mikään ei sovi. Älä luo uusia koodeja.
Palauta taulukko, jossa on kolme saraketta: tunniste, koodit ja muutama sana vastauksesta, joka perustelee koodin.
liitä 30–50 vastausta tunnisteineen
3. Etsi lainaukset (vaihe 6)
Valitse alla olevista vastauksista kolme, joissa syy ”koodin nimi” sanotaan selvimmin asiakkaan omin sanoin.
Lainaa ne sanatarkasti. Älä muokkaa tai yhdistä niitä.
Tarkista sen työ
- Tee pistokoe 20 riville erää kohden. Lue vastaus ja sitten koodi. Jos useampi kuin pari on väärin, korjaa määritelmät ja aja uudelleen.
- Tarkista, että lainaukset ovat aitoja. Hae jokaista lainausta taulukostasi. AI-työkalut joskus siistivät tai yhdistelevät vastauksia.
- Lue ”Muu” itse. Yllätykset löytyvät yleensä sieltä.
Näin esittelet tulokset
Pitkiä raportteja ei lueta. Pidä yhteenveto yhden sivun mittaisena.
Kysymys: tarkka kysymys, kysytty keneltä päivämäärät. Vastaajia N.
Tärkeimmät havainnot
1Havainto lauseena. X / N vastausta. ”Lainaus” ”Lainaus”
2Havainto lauseena. X / N vastausta. ”Lainaus” ”Lainaus”
3Havainto lauseena. X / N vastausta. ”Lainaus” ”Lainaus”
Erot ryhmien välillä
[esim. Team-paketin asiakkaat mainitsevat X:n paljon useammin kuin Solo-paketin asiakkaat.]
Mikä yllätti
Yksi asia, jota kukaan ei odottanut.
Ehdotetut seuraavat askeleet
[Kenen pitäisi tarttua mihinkin havaintoon ja mitä he voisivat kokeilla.]
Koko koodattu taulukko: linkki
Jos päätät löydöstesi perusteella, mitä rakentaa, oppaamme ominaisuustoiveiden priorisoinnista jatkaa siitä, mihin tämä päättyy. Laajempi kuva lukujen ja sanojen yhdistämisestä löytyy oppaasta laadullinen vs. määrällinen tutkimus.
Miten Diaform auttaa
Diaform helpottaa ensimmäistä osaa: analysoinnin arvoisten vastausten saamista. Se kerää avoimet vastaukset lyhyinä keskusteluina ja kysyy jatkokysymyksen, kun vastaus on ympäripyöreä, joten saat vähemmän ”ihan ok” -vastauksia. Jokainen valmis keskustelu saa AI-yhteenvedon sekä kysymyskohtaiset vastaukset, joissa on sävymerkintä (myönteinen, kielteinen, neutraali tai ristiriitainen) ja varmuusmerkintä. Voit ottaa käyttöön huomionarvoiset lainaukset, ja koko litterointi on aina saatavilla.
Voit hakea ja suodattaa vastauksia, esimerkiksi lukea kaikki kielteiset vastaukset kerralla, ja viedä ne sitten CSV-tiedostoon ja tehdä yllä olevat koodausvaiheet omassa taulukossasi. Selvyyden vuoksi: Diaform ei ryhmittele vastauksia teemoiksi puolestasi. Koodikirja pysyy tiimilläsi, mutta aloitat selkeämmistä vastauksista ja valmiista yhteenvedoista. Katso, miten se toimii tuotepalautteen keräämisessä, tai aloita 14 päivän ilmainen kokeilu.
