«Du kan alltid kjenne product/market fit når det skjer», skrev Marc Andreessen i juni 2007. Kundene kjøper like fort som du klarer å produsere. Pengene hoper seg opp. Du ansetter i full fart. Og når det ikke skjer, la han til, kan du alltid kjenne det også.
Det er en praktfull setning, og den er til ingen verdens nytte for en gründer som ikke er sikker. De fleste gründere er ikke sikre. De har noen kunder, hvorav enkelte virker fornøyde, og en vekstkurve som kan leses begge veier. Det de gjerne skulle hatt, er et termometer.
En markedsfører ved navn Sean Ellis ga dem et. Det har ett spørsmål og én ståkarakter, og i femten år har det vært det nærmeste oppstartsverdenen kommer en offisiell test. Det fortjener et nærmere blikk enn det pleier å få, for tallet det gir, er det minst verdifulle ved det.
En følelse med et tall
Spørsmålet lyder: «Hvordan ville du følt deg hvis du ikke lenger kunne bruke produktet?» Det er tre svar å velge mellom. Svært skuffet, litt skuffet, ikke skuffet.
Ellis stilte spørsmålet til brukerne hos nesten hundre oppstartsselskaper og lette etter et mønster. Han fant et. I gjengivelsen til Rahul Vohra, gründeren av e-postselskapet Superhuman, «var det magiske tallet 40 %». Selskaper som slet med å vokse, hadde nesten alltid under 40 % av brukerne som valgte «svært skuffet». Selskaper med medvind hadde nesten alltid flere.
Vohras egen historie er grunnen til at testen er berømt. Sommeren 2017 stilte Superhuman spørsmålet til brukerne sine, og 22 % sa at de ville blitt svært skuffet. Tre kvartaler senere var tallet 58 %. Et tidligere kjent resultat tilhører Slack. I 2015 spurte gründeren Hiten Shah 731 Slack-brukere, og 51 % sa at de ville blitt svært skuffet over å miste det.
Det finnes altså et spørsmål, en grense og en rekke suksesshistorier. Det som ved nærmere ettersyn ikke finnes, er særlig mye under dem. Ellis har beskrevet grensen som «litt vilkårlig», en strek han trakk etter å ha sammenlignet de rundt hundre selskapene. Den er en observasjon om oppstartsselskaper som allerede hadde vokst eller ikke klart det. Vi har ikke funnet noen publisert test av om scoren forutsier hva som skjer videre.
Hvem som ble spurt
Det første som forvrenger tallet, er gjestelisten.
Se på Superhuman igjen. Scoren steg ikke fra 22 % til 58 % bare på grunn av produktarbeid. Det første hoppet kom av en beslutning om hvem som skulle telles. Vohras team så på hvem de svært skuffede brukerne var, mest gründere, ledere, toppsjefer og folk i forretningsutvikling, og regnet ut scoren på nytt for bare den typen kunder. Den steg til 33 %. Produktet var ikke endret med en eneste kodelinje. Det var nevneren som var endret.
Det er helt legitimt, og Vohra er åpen om det. Men det viser hvor mye slingringsmonn som finnes. Slack-tallet er like mykt. Shahs 731 respondenter kom via hans egen tweet, e-postene og meldingene hans, e-postlisten til en venn og alle som sendte lenken videre. Folk som svarer på en fremmeds undersøkelse om Slack, er ikke et tverrsnitt av dem som bruker Slack.
Hver versjon av undersøkelsen har også et stillere filter innebygd. Spørsmålet kan bare stilles til dem som fortsatt er der. De som prøvde produktet og dro, og som har mest å si om product-market fit, står ikke på listen. Det problemet ser vi på i artikkelen om survivorship bias i kundetilbakemeldinger.
Så er det ren regning. Vohra mener at rundt 40 svar er nok til å gi en «retning», og Superhuman hadde bare 100 til 200 brukere å spørre. Med 40 svar har en score på 40 % en feilmargin på rundt 15 poeng hver vei. Det sanne tallet kan være 25 %, altså fiasko, eller 55 %, altså triumf. Guiden vår til utvalgsstørrelse i spørreundersøkelser viser regnestykket. I den skalaen de fleste oppstartsselskaper kjører undersøkelsen i, ligger ståkarakteren godt inne i støyen.
Ville du blitt skuffet?
Den andre vanskeligheten er selve spørsmålet. Det spør ikke hva folk gjorde. Det ber dem forestille seg et tap og forutsi sine egne følelser rundt det.
Det er mennesker ikke flinke til. Psykologer som studerer slike spådommer, har et navn på den typiske feilen, impact bias: Vi overvurderer hvor sterkt og hvor lenge framtidige hendelser kommer til å påvirke oss. Tapet virker stort når vi ser det for oss. Så skjer det, og vi venner oss til det en god del raskere enn vi trodde.
Programvareskribenten Justin Jackson har beskrevet opplevelsen fra kundens side. Han var sikker på at han ville bli opprørt da Microsoft la ned kalenderappen han brukte, Sunrise. Så ble den lagt ned, han byttet til en annen kalender, og «enhver følelse av skuffelse forsvant ganske raskt». Han ville ha krysset av for «svært skuffet» i hvilken som helst undersøkelse.
Dette er i slekt med gapet mellom hva folk sier og hva de gjør. En kunde som sier at hun ville blitt svært skuffet, forteller deg noe sant om hvordan produktet føles i dag. Det er ikke et løfte om å bli, og enda mindre et løfte om å betale.
Hva undersøkelsen er god til
Ingenting av dette gjør undersøkelsen til en bortkastet e-post. Det betyr at scoren har fått oppmerksomheten som tilkommer resten.
Superhuman stilte fire spørsmål, ikke ett. Etter det berømte kom tre til: Hva slags mennesker tror du ville hatt mest nytte av produktet? Hva er den viktigste nytten du får av det? Og hvordan kan vi gjøre det bedre for deg? Teamet leste heller ikke svarene i én haug. De sorterte dem etter det første spørsmålet.
Gruppen «ikke skuffet» ble lagt helt til side. De menneskene lot seg ikke vinne, og å bygge for dem ville ha trukket produktet bort fra dem som elsket det. Gruppen «svært skuffet» fortalte teamet hva produktet var til for: i deres tilfelle hastighet. Den interessante gruppen lå i midten. Blant de «litt skuffede» beholdt teamet bare dem som også oppga hastighet som viktigste nytte, og det var ønskene deres som havnet på veikartet. De ville det samme som entusiastene, og noe holdt dem igjen.
Sett slik er undersøkelsen et sorteringsverktøy. Den forteller deg hvem sine tilbakemeldinger du skal vektlegge, og hvem sine du skal la ligge. Det er det vanskeligste spørsmålet når man skal prioritere funksjonsønsker, og en bunke usorterte kommentarer kan ikke svare på det.
Noen vaner gjør den ærligere. Send den bare til folk som nylig har brukt hjertet av produktet, for ingen blir skuffet over å miste noe de aldri åpner. Oppgi antall svar ved siden av scoren, og intervallet scoren kan ligge i. Hold målgruppe og ordlyd like fra runde til runde, slik at en økning betyr noe. Og legg resultatet ved siden av det folk gjør. Hvis 45 % sier at de ville blitt svært skuffet, og halvparten ikke har logget inn på en måned, så tro på innloggingene.
Spør framfor alt hvorfor. «Svært skuffet» er to ord. Kunden som valgte dem, kan som regel fortelle deg hva hun måtte gått tilbake til, og det svaret, regnearket eller konkurrenten eller de to timene hver fredag, er den egentlige beskrivelsen av markedet ditt.
Andreessen hadde sannsynligvis rett i at du kan kjenne product-market fit når det skjer. Undersøkelsen kan ikke levere følelsen, og en gründer som trenger førti kunder for å få vite om han har det, aner kanskje svaret allerede. Men følelsen forteller deg ikke, når den kommer, hvem du kan takke for den, eller hva de vil ha videre. Det må du fortsatt spørre om.
Slik hjelper Diaform
Diaform stiller product-market fit-spørsmålet i en kort chat og spør deretter hvorfor. AI-intervjueren følger opp vage svar så langt du tillater, slik at «svært skuffet» kommer sammen med hva kunden ville gjort uten deg. Hver samtale får et sammendrag med ordrette sitater, og AI-rapporter grupperer grunnene etter tema. Den avgjør ikke om du har product-market fit, og et lite utvalg er fortsatt et lite utvalg. Det finnes en gratis prøveperiode på 14 dager.
