« On sent toujours le product/market fit quand il se produit », écrivait Marc Andreessen en juin 2007. Les clients achètent aussi vite que vous pouvez produire. L’argent s’accumule. Vous recrutez dans l’urgence. Et quand il ne se produit pas, ajoutait-il, on le sent toujours aussi.
C’est une phrase magnifique, et elle ne sert strictement à rien au fondateur qui n’est pas sûr. La plupart ne le sont pas. Ils ont quelques clients, dont certains semblent contents, et une courbe de croissance qui peut se lire dans les deux sens. Ce qu’ils voudraient, c’est un thermomètre.
Un spécialiste du marketing nommé Sean Ellis leur en a fourni un. Il tient en une question et un seuil de réussite, et depuis quinze ans c’est ce que le monde des start-up a de plus proche d’un test officiel. Il mérite un examen plus attentif que celui qu’on lui accorde d’ordinaire, car le chiffre qu’il produit est ce qu’il a de moins précieux.
Un sentiment assorti d’un chiffre
La question est la suivante : « Que ressentiriez-vous si vous ne pouviez plus utiliser le produit ? » Trois réponses sont proposées. Très déçu, plutôt déçu, pas déçu.
Ellis a posé la question aux utilisateurs de près d’une centaine de start-up et a cherché une régularité. Il en a trouvé une. Selon le récit de Rahul Vohra, fondateur de la société de messagerie Superhuman, « le chiffre magique était 40 % ». Les entreprises qui peinaient à croître avaient presque toujours moins de 40 % d’utilisateurs choisissant « très déçu ». Celles qui décollaient en avaient presque toujours davantage.
C’est l’histoire de Vohra lui-même qui a rendu le test célèbre. À l’été 2017, Superhuman a posé la question à ses utilisateurs, et 22 % ont dit qu’ils seraient très déçus. Trois trimestres plus tard, le chiffre était de 58 %. Un résultat fameux, plus ancien, concerne Slack. En 2015, l’entrepreneur Hiten Shah a interrogé 731 utilisateurs de Slack, et 51 % ont dit qu’ils seraient très déçus de le perdre.
Il y a donc une question, un seuil et quelques belles histoires. Ce qu’il n’y a pas, à y regarder de près, c’est grand-chose en dessous. Ellis a décrit le seuil comme « un peu arbitraire », une ligne tracée après avoir comparé cette centaine d’entreprises. C’est une observation sur des start-up qui avaient déjà réussi ou échoué à croître. Nous n’avons trouvé aucun test publié montrant que le score prédit la suite.
Qui a été interrogé
La première chose qui fausse le chiffre, c’est la liste des invités.
Revenons à Superhuman. Son score n’est pas passé de 22 % à 58 % par le seul travail sur le produit. Le premier bond est venu d’une décision sur les personnes à compter. L’équipe de Vohra a regardé qui étaient les utilisateurs très déçus, surtout des fondateurs, des managers, des dirigeants et des gens du développement commercial, et a recalculé le score pour ces seuls profils. Il est monté à 33 %. Le produit n’avait pas changé d’une ligne de code. Le dénominateur, si.
C’est une démarche légitime, et Vohra ne s’en cache pas. Mais elle montre la marge de manœuvre qui existe. Le chiffre de Slack a la même fragilité. Les 731 répondants de Shah sont arrivés par son propre tweet, ses e-mails et ses messages, la liste de diffusion d’un ami et tous ceux qui ont fait suivre le lien. Les gens qui répondent à l’enquête d’un inconnu sur Slack ne sont pas un échantillon fidèle des gens qui utilisent Slack.
Chaque version de l’enquête comporte aussi un filtre plus discret. La question ne peut être posée qu’à ceux qui sont encore là. Ceux qui ont essayé le produit puis sont partis, et qui auraient le plus à dire sur l’adéquation, ne sont pas sur la liste. Nous examinons ce problème dans le biais du survivant dans les retours clients.
Vient ensuite la simple arithmétique. Vohra suggère qu’une quarantaine de réponses suffisent pour donner une « direction », et Superhuman n’avait que 100 à 200 utilisateurs à interroger. Avec 40 réponses, un score de 40 % a une marge d’erreur d’environ 15 points dans chaque sens. Le vrai chiffre pourrait être 25 %, c’est-à-dire l’échec, ou 55 %, c’est-à-dire le triomphe. Notre guide sur la taille d’échantillon d’une enquête détaille le calcul. À l’échelle où la plupart des start-up mènent cette enquête, le seuil de réussite se trouve en plein dans le bruit.
Seriez-vous déçu ?
La seconde difficulté tient à la question elle-même. Elle ne demande pas ce que les gens ont fait. Elle leur demande d’imaginer une perte et de prévoir ce qu’ils en ressentiraient.
Les gens ne sont pas doués pour cela. Les psychologues qui étudient ces prévisions ont donné un nom à l’erreur caractéristique, le biais d’impact : nous surestimons l’intensité et la durée de ce que les événements futurs nous feront ressentir. La perte paraît énorme quand on se la représente. Puis elle arrive, et l’on s’y fait bien plus vite que prévu.
L’auteur et entrepreneur Justin Jackson a décrit l’expérience du point de vue du client. Il était certain d’être contrarié quand Microsoft fermerait Sunrise, l’application d’agenda qu’il utilisait. Puis elle a fermé, il est passé à un autre agenda, et « tout sentiment de déception a disparu assez vite ». Il aurait coché « très déçu » dans n’importe quelle enquête.
C’est un proche parent de l’écart entre ce que les gens disent et ce qu’ils font. Un client qui dit qu’il serait très déçu vous apprend quelque chose de vrai sur ce que le produit lui fait ressentir aujourd’hui. Ce n’est pas une promesse de rester, et encore moins une promesse de payer.
À quoi sert l’enquête
Rien de tout cela ne fait de l’enquête un e-mail gaspillé. Cela signifie que le score a reçu l’attention qui revenait au reste.
Superhuman posait quatre questions, pas une. Après la plus célèbre en venaient trois autres : selon vous, quel type de personnes tirerait le plus de bénéfice du produit ? Quel est le principal bénéfice que vous en retirez ? Et comment pouvons-nous l’améliorer pour vous ? L’équipe ne lisait pas non plus les réponses en vrac. Elle les triait selon la première question.
Le groupe « pas déçu » était entièrement mis de côté. Ces personnes ne seraient pas conquises, et construire pour elles aurait éloigné le produit de ceux qui l’adoraient. Le groupe « très déçu » disait à l’équipe à quoi servait le produit : dans leur cas, la rapidité. Le groupe intéressant se trouvait au milieu. Parmi les « plutôt déçus », l’équipe n’a gardé que ceux qui citaient eux aussi la rapidité comme principal bénéfice, et ce sont leurs demandes qui ont rejoint la feuille de route. Ils voulaient la même chose que les enthousiastes, et quelque chose les retenait.
Vue ainsi, l’enquête est un outil de tri. Elle vous dit quels retours peser et lesquels laisser de côté, ce qui est la question la plus difficile quand il s’agit de prioriser les demandes de fonctionnalités, et à laquelle une pile de commentaires non triés ne peut pas répondre.
Quelques habitudes la rendent plus honnête. Envoyez-la uniquement aux personnes qui ont utilisé récemment le cœur du produit, car personne n’est déçu de perdre ce qu’il n’ouvre jamais. Indiquez le nombre de réponses à côté du score, ainsi que la fourchette dans laquelle il pourrait se situer. Gardez le même public et la même formulation d’une vague à l’autre, pour qu’une hausse ait un sens. Et placez le résultat à côté de ce que les gens font. Si 45 % disent qu’ils seraient très déçus et que la moitié d’entre eux ne s’est pas connectée depuis un mois, croyez les connexions.
Surtout, demandez pourquoi. « Très déçu », cela fait deux mots. Le client qui les a choisis peut généralement vous dire à quoi il lui faudrait revenir, et cette réponse, le tableur, le concurrent ou les deux heures de chaque vendredi, est la véritable description de votre marché.
Andreessen avait sans doute raison : on sent le product-market fit quand il se produit. L’enquête ne peut pas fournir cette sensation, et un fondateur qui a besoin de quarante clients pour savoir s’il l’a se doute peut-être déjà de la réponse. Mais cette sensation, quand elle vient, ne vous dira pas à qui vous la devez ni ce que ces personnes veulent ensuite. Pour cela, il faut encore demander.
Comment Diaform vous aide
Diaform pose la question du product-market fit dans une courte conversation, puis demande pourquoi. L’intervieweur IA relance sur les réponses vagues aussi loin que vous l’autorisez, si bien que « très déçu » s’accompagne de ce que le client ferait sans vous. Chaque conversation reçoit un résumé avec des citations mot pour mot, et les rapports IA regroupent les raisons par thème. Il ne décidera pas si vous avez atteint le product-market fit, et un petit échantillon reste un petit échantillon. Vous disposez d’un essai gratuit de 14 jours.
