“Je voelt product/market fit altijd wanneer het er is”, schreef Marc Andreessen in juni 2007. Klanten kopen zo snel als jij kunt leveren. Het geld stapelt zich op. Je neemt in haast mensen aan. En als het er niet is, voegde hij eraan toe, voel je dat ook altijd.
Het is een schitterende zin, en een oprichter die het niet zeker weet, heeft er helemaal niets aan. De meeste oprichters weten het niet zeker. Ze hebben wat klanten, van wie sommigen tevreden lijken, en een groeigrafiek die je twee kanten op kunt lezen. Wat ze graag zouden hebben, is een thermometer.
Een marketeer genaamd Sean Ellis gaf hun er een. Hij bestaat uit één vraag en één slaaggrens, en al vijftien jaar komt niets in de start-upwereld dichter bij een officiële test. Hij verdient een nauwkeuriger blik dan hij meestal krijgt, want het getal dat hij oplevert, is het minst waardevolle eraan.
Een gevoel met een getal
De vraag luidt: “Hoe zou je je voelen als je het product niet meer kon gebruiken?” Er zijn drie antwoorden. Zeer teleurgesteld, enigszins teleurgesteld, niet teleurgesteld.
Ellis legde de vraag voor aan de gebruikers van bijna honderd start-ups en zocht naar een patroon. Hij vond er een. In de weergave van Rahul Vohra, oprichter van het e-mailbedrijf Superhuman, “was het magische getal 40%”. Bedrijven die moeite hadden met groeien, hadden bijna altijd minder dan 40% gebruikers die “zeer teleurgesteld” kozen. Bedrijven met tractie hadden er bijna altijd meer.
Vohra’s eigen verhaal is de reden dat de test beroemd is. In de zomer van 2017 stelde Superhuman zijn gebruikers de vraag, en 22% zei zeer teleurgesteld te zullen zijn. Drie kwartalen later was dat 58%. Een eerder bekend resultaat is van Slack. In 2015 ondervroeg ondernemer Hiten Shah 731 Slack-gebruikers, en 51% zei zeer teleurgesteld te zullen zijn als ze het kwijtraakten.
Er is dus een vraag, een grens en een reeks succesverhalen. Wat er bij nader inzien niet is, is veel fundament. Ellis heeft de grens omschreven als “een beetje willekeurig”, een lijn die hij trok nadat hij die honderd bedrijven had vergeleken. Het is een waarneming over start-ups die al gegroeid of mislukt waren. Een gepubliceerde test of de score voorspelt wat er daarna gebeurt, hebben we niet kunnen vinden.
Wie er werd ondervraagd
Het eerste wat het getal vertekent, is de gastenlijst.
Kijk nog eens naar Superhuman. De score steeg niet alleen door productwerk van 22% naar 58%. De eerste sprong kwam door een besluit over wie er meetelde. Vohra’s team keek wie de zeer teleurgestelde gebruikers waren, vooral oprichters, managers, bestuurders en mensen in business development, en berekende de score opnieuw voor alleen dat soort klanten. Hij steeg naar 33%. Aan het product was geen regel code veranderd. Aan de noemer wel.
Dat is legitiem, en Vohra is er open over. Maar het laat zien hoeveel speelruimte er is. Het Slack-cijfer is even zacht. De 731 respondenten van Shah kwamen binnen via zijn eigen tweet, zijn e-mails en berichten, de mailinglijst van een vriend en iedereen die de link doorstuurde. Mensen die de enquête van een vreemde over Slack invullen, zijn geen dwarsdoorsnede van de mensen die Slack gebruiken.
In elke versie van de enquête zit bovendien een stiller filter. De vraag kan alleen worden gesteld aan wie er nog is. Wie het product probeerde en vertrok, juist degene die het meest over fit te zeggen heeft, staat niet op de lijst. Dat probleem bekijken we in survivorship bias in klantfeedback.
Dan is er gewoon rekenwerk. Vohra stelt dat ongeveer 40 reacties genoeg zijn om “qua richting” bruikbaar te zijn, en Superhuman had maar 100 tot 200 gebruikers om te ondervragen. Bij 40 antwoorden heeft een score van 40% een foutmarge van ongeveer 15 punten naar boven en naar beneden. Het werkelijke cijfer kan 25% zijn, dus mislukking, of 55%, dus triomf. Onze gids over de steekproefgrootte van enquêtes rekent het voor. Op de schaal waarop de meeste start-ups deze enquête houden, ligt de slaaggrens ruim binnen de ruis.
Zou je teleurgesteld zijn?
De tweede moeilijkheid is de vraag zelf. Ze vraagt niet wat mensen deden. Ze vraagt hun zich een verlies voor te stellen en hun eigen gevoel daarover te voorspellen.
Daar zijn mensen niet goed in. Psychologen die zulke voorspellingen bestuderen, hebben een naam voor de typische fout, de impact bias: we overschatten hoe sterk en hoe lang toekomstige gebeurtenissen ons zullen raken. Het verlies lijkt groot wanneer we het ons voorstellen. Dan gebeurt het, en we wennen er heel wat sneller aan dan verwacht.
Softwareschrijver Justin Jackson heeft de ervaring van de klantkant beschreven. Hij wist zeker dat hij ontdaan zou zijn als Microsoft de agenda-app die hij gebruikte, Sunrise, zou stopzetten. Toen stopte de app, hij stapte over op een andere agenda, en “elk gevoel van teleurstelling verdween vrij snel”. In elke enquête zou hij “zeer teleurgesteld” hebben aangevinkt.
Dit is familie van de kloof tussen zeggen en doen. Een klant die zegt zeer teleurgesteld te zullen zijn, vertelt je iets waars over hoe het product vandaag voelt. Het is geen belofte om te blijven, en nog minder een belofte om te betalen.
Waar de enquête goed voor is
Dat alles maakt van de enquête nog geen verspilde e-mail. Het betekent dat de score de aandacht heeft gekregen die de rest toekomt.
Superhuman stelde vier vragen, niet één. Na de beroemde kwamen er nog drie: welk soort mensen zou volgens jou het meest aan het product hebben? Wat is het belangrijkste voordeel dat je ervan hebt? En hoe kunnen we het voor jou verbeteren? Het team gooide de antwoorden ook niet op één hoop. Het sorteerde ze op de eerste vraag.
De groep “niet teleurgesteld” werd helemaal terzijde gelegd. Die mensen waren niet te winnen, en voor hen bouwen zou het product hebben weggetrokken van wie ervan hield. De groep “zeer teleurgesteld” vertelde het team waar het product voor was: in hun geval snelheid. De interessante groep zat in het midden. Van de “enigszins teleurgestelden” hield het team alleen degenen over die ook snelheid als belangrijkste voordeel noemden, en hún wensen kwamen op de roadmap. Ze wilden hetzelfde als de liefhebbers, en iets hield hen tegen.
Zo bekeken is de enquête een sorteermiddel. Ze vertelt je wiens feedback je moet wegen en wiens feedback je kunt laten liggen. Dat is de moeilijkste vraag bij het prioriteren van featureverzoeken, en een stapel ongesorteerde opmerkingen kan haar niet beantwoorden.
Een paar gewoonten maken haar eerlijker. Stuur haar alleen naar mensen die het hart van het product onlangs hebben gebruikt, want niemand is teleurgesteld over iets wat hij nooit opent. Vermeld het aantal antwoorden naast de score, en de bandbreedte waarin de score kan vallen. Houd doelgroep en formulering van ronde tot ronde gelijk, zodat een stijging iets betekent. En leg het resultaat naast wat mensen doen. Als 45% zegt zeer teleurgesteld te zullen zijn en de helft al een maand niet heeft ingelogd, geloof dan de logins.
Vraag vooral waarom. “Zeer teleurgesteld” is twee woorden. De klant die ze koos, kan je meestal vertellen waar hij naar terug zou moeten, en dat antwoord, de spreadsheet of de concurrent of de twee uur elke vrijdag, is de echte beschrijving van je markt.
Andreessen had waarschijnlijk gelijk dat je product-market fit voelt wanneer het er is. De enquête kan dat gevoel niet leveren, en een oprichter die veertig klanten nodig heeft om te horen of hij het heeft, vermoedt het antwoord misschien al. Maar het gevoel vertelt je, als het komt, niet aan wie je het te danken hebt of wat die mensen hierna willen. Daarvoor moet je nog altijd vragen.
Hoe Diaform helpt
Diaform stelt de product-market-fit-vraag in een korte chat en vraagt daarna waarom. De AI-interviewer vraagt bij vage antwoorden door zo ver als jij toestaat, zodat je bij “zeer teleurgesteld” ook hoort wat de klant zonder jou zou doen. Elk gesprek krijgt een samenvatting met letterlijke citaten, en AI-rapporten groeperen de redenen per thema. Het beslist niet of je product-market fit hebt, en een kleine steekproef blijft een kleine steekproef. Er is een gratis proefperiode van 14 dagen.
