”Man känner alltid product/market fit när det händer”, skrev Marc Andreessen i juni 2007. Kunderna köper lika fort som du hinner tillverka. Pengarna samlas på hög. Du anställer i all hast. Och när det inte händer, lade han till, känner man alltid det också.
Det är en storartad mening, och den är till ingen som helst nytta för en grundare som inte är säker. De flesta grundare är inte säkra. De har några kunder, varav en del verkar nöjda, och en tillväxtkurva som kan läsas åt båda håll. Det de skulle vilja ha är en termometer.
En marknadsförare vid namn Sean Ellis gav dem en. Den har en enda fråga och en enda godkäntgräns, och i femton år har den varit det närmaste ett officiellt test som startupvärlden har. Den förtjänar en närmare granskning än den brukar få, för siffran den ger är det minst värdefulla med den.
En känsla med en siffra
Frågan lyder: ”Hur skulle du känna dig om du inte längre kunde använda produkten?” Det finns tre svar att välja mellan. Mycket besviken, lite besviken, inte besviken.
Ellis ställde frågan till användarna hos nästan hundra startups och letade efter ett mönster. Han hittade ett. Enligt Rahul Vohra, grundare av e-postföretaget Superhuman, ”var det magiska talet 40 %”. Företag som hade svårt att växa hade nästan alltid färre än 40 % av användarna som valde ”mycket besviken”. Företag med fart hade nästan alltid fler.
Vohras egen historia är skälet till att testet är berömt. Sommaren 2017 ställde Superhuman frågan till sina användare, och 22 % sa att de skulle bli mycket besvikna. Tre kvartal senare var siffran 58 %. Ett tidigare känt resultat tillhör Slack. År 2015 frågade entreprenören Hiten Shah 731 Slack-användare, och 51 % sa att de skulle bli mycket besvikna över att förlora det.
Det finns alltså en fråga, en gräns och en rad framgångshistorier. Det som vid närmare påseende inte finns är särskilt mycket under dem. Ellis har beskrivit gränsen som ”lite godtycklig”, en linje han drog efter att ha jämfört de där hundra företagen. Den är en iakttagelse om startups som redan hade vuxit eller misslyckats. Vi har inte hittat något publicerat test av om resultatet förutsäger vad som händer sedan.
Vem som tillfrågades
Det första som snedvrider siffran är gästlistan.
Titta på Superhuman igen. Resultatet steg inte från 22 % till 58 % enbart genom produktarbete. Det första hoppet kom av ett beslut om vem som skulle räknas. Vohras team tittade på vilka de mycket besvikna användarna var, mest grundare, chefer, företagsledare och folk inom affärsutveckling, och räknade om resultatet för bara den sortens kunder. Det steg till 33 %. Produkten hade inte ändrats med en rad kod. Det hade nämnaren.
Det är fullt legitimt, och Vohra är öppen med det. Men det visar hur mycket utrymme som finns. Slack-siffran är lika mjuk. Shahs 731 svarande kom via hans egen tweet, hans mejl och meddelanden, en väns sändlista och alla som skickade länken vidare. De som svarar på en främlings enkät om Slack är inget tvärsnitt av dem som använder Slack.
Varje version av enkäten har dessutom ett tystare filter inbyggt. Frågan kan bara ställas till dem som fortfarande finns kvar. De som provade produkten och gick, och som har mest att säga om hur väl produkten passar, står inte på listan. Det problemet tittar vi på i survivorship bias i kundfeedback.
Sedan har vi ren aritmetik. Vohra menar att ungefär 40 svar räcker för att ge en ”riktning”, och Superhuman hade bara 100 till 200 användare att fråga. Med 40 svar har ett resultat på 40 % en felmarginal på omkring 15 procentenheter åt vardera hållet. Den sanna siffran kan vara 25 %, alltså misslyckande, eller 55 %, alltså triumf. Vår guide om urvalsstorlek i enkäter visar uträkningen. I den skala där de flesta startups gör enkäten ligger godkäntgränsen långt inne i bruset.
Skulle du bli besviken?
Den andra svårigheten är själva frågan. Den frågar inte vad folk gjorde. Den ber dem föreställa sig en förlust och förutsäga sina egna känslor inför den.
Det är människor inte bra på. Psykologer som studerar sådana prognoser har ett namn på det typiska felet, impact bias: vi överskattar hur starkt och hur länge framtida händelser kommer att påverka oss. Förlusten känns stor när vi föreställer oss den. Sedan inträffar den, och vi vänjer oss betydligt fortare än vi trodde.
Mjukvaruskribenten Justin Jackson har beskrivit upplevelsen från kundens sida. Han var säker på att han skulle bli upprörd när Microsoft lade ner kalenderappen han använde, Sunrise. Sedan stängdes den, han bytte till en annan kalender, och ”varje känsla av besvikelse försvann ganska snabbt”. Han skulle ha kryssat i ”mycket besviken” i vilken enkät som helst.
Det här är släkt med glappet mellan vad folk säger och vad de gör. En kund som säger att hon skulle bli mycket besviken berättar något sant om hur produkten känns i dag. Det är inget löfte om att stanna, och ännu mindre ett löfte om att betala.
Vad enkäten duger till
Inget av detta gör enkäten till ett bortkastat mejl. Det betyder att resultatet har fått den uppmärksamhet som borde ha gått till resten.
Superhuman ställde fyra frågor, inte en. Efter den berömda kom tre till: vilken typ av människor tror du skulle ha störst nytta av produkten? Vilken är den största nyttan du får av den? Och hur kan vi göra den bättre för dig? Teamet läste inte heller svaren i en enda hög. De sorterade dem efter den första frågan.
Gruppen ”inte besviken” lades helt åt sidan. De människorna gick inte att vinna, och att bygga för dem hade dragit produkten bort från dem som älskade den. Gruppen ”mycket besviken” berättade för teamet vad produkten var till för: i deras fall snabbhet. Den intressanta gruppen fanns i mitten. Bland de ”lite besvikna” behöll teamet bara dem som också angav snabbhet som största nytta, och det var deras önskemål som hamnade på roadmapen. De ville samma sak som entusiasterna, och något höll dem tillbaka.
Sedd så är enkäten ett sorteringsverktyg. Den talar om vems feedback du ska väga in och vems du ska låta vara. Det är den svåraste frågan när man ska prioritera funktionsönskemål, och en hög osorterade kommentarer kan inte besvara den.
Några vanor gör den ärligare. Skicka den bara till dem som nyligen har använt hjärtat i produkten, för ingen blir besviken över att förlora något man aldrig öppnar. Redovisa antalet svar bredvid resultatet, och intervallet resultatet kan ligga i. Håll målgrupp och formulering desamma från omgång till omgång, så att en ökning betyder något. Och lägg resultatet bredvid vad folk gör. Om 45 % säger att de skulle bli mycket besvikna och hälften inte har loggat in på en månad, tro på inloggningarna.
Fråga framför allt varför. ”Mycket besviken” är två ord. Kunden som valde dem kan oftast berätta vad hon skulle behöva gå tillbaka till, och det svaret, kalkylbladet eller konkurrenten eller de två timmarna varje fredag, är den verkliga beskrivningen av din marknad.
Andreessen hade förmodligen rätt i att man känner product-market fit när det händer. Enkäten kan inte leverera känslan, och en grundare som behöver fyrtio kunder för att få veta om han har det anar kanske redan svaret. Men känslan berättar inte, när den kommer, vem du har att tacka för den eller vad de vill ha härnäst. Det måste du fortfarande fråga om.
Så hjälper Diaform
Diaform ställer product-market fit-frågan i en kort chatt och frågar sedan varför. AI-intervjuaren följer upp vaga svar så långt du tillåter, så att ”mycket besviken” kommer tillsammans med vad kunden skulle göra utan dig. Varje samtal får en sammanfattning med ordagranna citat, och AI-rapporter grupperar skälen efter tema. Den avgör inte om du har product-market fit, och ett litet urval är fortfarande ett litet urval. Det finns en gratis provperiod på 14 dagar.
