Abraham Wald a passé une partie de la Seconde Guerre mondiale à travailler sur des documents qu’il n’avait, à strictement parler, pas le droit de lire. Mathématicien juif originaire de Hongrie, il avait fui l’Autriche en 1938 et trouvé un poste à l’université Columbia, où une équipe appelée Statistical Research Group appliquait les mathématiques à la guerre. Le travail était secret. Wald était officiellement un ressortissant ennemi. Son collègue Harold Hotelling se souvenait de la « suggestion facétieuse de lui arracher sur-le-champ chaque page qu’il écrivait et de ne plus jamais la lui montrer ».
Un tribunal le naturalisa avant qu’on en arrive là, et en 1943 il produisit un mémorandum au titre aride : « A Method of Estimating Plane Vulnerability Based on Damage of Survivors ». Le problème était de savoir où blinder les avions. L’indice était la répartition des dégâts sur les appareils qui rentraient. L’apport de Wald fut de traiter cet indice pour ce qu’il était. Les avions revenus montraient où un appareil pouvait être touché et voler encore. Ceux qui avaient été touchés ailleurs n’étaient pas revenus pour être examinés. Il a établi comment estimer les dégâts subis par tous les avions partis à partir des dégâts relevés sur ceux qui étaient revenus.
L’histoire a été embellie depuis. Dans la version populaire, Wald réduit au silence une salle d’officiers en désignant les endroits sans impact. La société de mathématiques qui s’est penchée sur la question a classé le récit sous le titre « The Legend of Abraham Wald », et il nous reste huit mémorandums techniques et aucune scène de ce genre. Les mathématiques sont bien réelles, et l’idée aussi, qui porte aujourd’hui le nom de biais du survivant.
Elle mérite d’être connue, car toute équipe produit inspecte des avions rentrés à la base. On les appelle des clients.
Qui revient
Regardez d’où viennent les retours. Une enquête de satisfaction part vers la liste des clients. Un message dans le produit s’affiche pour qui est connecté. Les demandes de fonctionnalités arrivent de personnes qui utilisent assez le produit pour en vouloir davantage. Les entretiens s’organisent avec les comptes qui répondent aux e-mails, et le comité consultatif clients est composé des plus enthousiastes d’entre eux.
Chacun de ces canaux atteint des gens pour qui le produit a, jusqu’ici, fonctionné. Ils ont des trous dans les ailes : des plaintes sur l’export, des souhaits d’intégration, de l’agacement face au prix. Tout cela mérite d’être entendu. Mais il s’agit, par construction, des dégâts qu’un client peut encaisser tout en restant.
Les coups fatals sont ailleurs. Ils sont chez l’utilisateur en essai qui a abandonné le deuxième jour, chez le compte qui a résilié au printemps, chez le prospect qui a suivi deux démonstrations et acheté ailleurs, et chez le client payant qui ne s’est pas connecté depuis août. Aucun d’eux n’est dans l’enquête. Plusieurs ne sont plus dans la base de données.
Ce que les absents auraient dit
Cela compterait moins si les absents ressemblaient aux présents. Les données indiquent que non.
Prenez la réputation. La plupart des entreprises la mesurent en demandant à leurs clients s’ils recommanderaient le produit, et s’en trouvent rassurées. Or, quand des chercheurs ont cherché d’où vient le bouche-à-oreille négatif, ils ont constaté qu’il est produit pour l’essentiel par d’anciens clients et par des gens qui n’ont jamais acheté, qu’une enquête clients n’atteint pas. Ceux qui disent le pire de vous ne figurent, presque par définition, pas sur votre liste de diffusion.
Prenez la satisfaction. Parmi les clients encore actifs, les silencieux ne forment pas non plus un échantillon aléatoire. Dans une enquête type, les utilisateurs hebdomadaires sont surreprésentés et les comptes dormants apparaissent à peine, et comme les dormants sont nettement moins satisfaits, le chiffre global flatte. Nous déroulons un exemple, où un score de 70 % tombe à 62 % une fois les absents pris en compte, dans le biais de non-réponse.
Et prenez la feuille de route, où le biais fait ses dégâts les plus discrets. Une demande de fonctionnalité est le message de quelqu’un qui est allé assez loin pour en vouloir plus. Triez les demandes, construisez les plus populaires, et le produit s’améliore régulièrement pour ceux qui le trouvaient déjà assez bon pour le garder. Il ne s’améliore en rien pour ceux qu’il a perdus, car leur demande n’a jamais porté sur une fonctionnalité. Elle portait sur une configuration qui marche, ou sur un premier rapport qui se comprend, et ils sont partis sans la formuler.
Le même filtre agit sur les tests que s’imposent les fondateurs. L’enquête product-market fit demande aux utilisateurs ce qu’ils ressentiraient si le produit disparaissait. La question ne peut être posée qu’à ceux pour qui il n’a pas disparu.
Lire les dégâts
Wald n’a jamais voulu dire que les avions rentrés n’apprenaient rien. Il voulait dire qu’il fallait les lire en pensant aux manquants. Les retours des clients actuels peuvent se lire de la même manière.
Quand des clients fidèles se plaignent de quelque chose, c’est un vrai défaut, et manifestement un défaut avec lequel on peut vivre. Quand personne ne se plaint de quelque chose, il y a deux explications. Soit tout va bien, soit c’est ce qui met fin à la relation avant qu’une plainte puisse être formulée. L’onboarding est le cas d’école. Les clients de trois ans d’ancienneté évoquent rarement la mise en place. Ils l’ont franchie. Une enquête menée auprès d’eux rapportera que la mise en place n’est pas un problème, et elle aura raison à leur sujet.
Une habitude utile, à la réception de n’importe quel lot de retours, consiste donc à se demander ce à quoi une personne a dû survivre pour y figurer. Avoir utilisé le produit pendant un an. Avoir terminé la mise en place. S’être connectée cette semaine, avoir ouvert l’e-mail et eu envie de répondre. Chaque condition écarte un groupe de personnes, et les groupes écartés sont ceux dont la condition a eu raison.
Aller chercher l’épave
Le meilleur remède est celui que Wald n’avait pas. Il ne pouvait pas interroger les équipages qui n’étaient pas rentrés. Vous, si.
Le moment du départ est la meilleure occasion. Un client en train de résilier a la raison clairement en tête, et la donnera souvent si on la lui demande sur-le-champ, en une phrase, avant que l’histoire soit remise en ordre. Une semaine plus tard, il est passé à autre chose et la raison s’est simplifiée, comme nous le décrivons dans le biais de rappel. Notre guide sur les raisons pour lesquelles les clients résilient indique quoi demander.
Les essais qui n’ont jamais été convertis sont le filon suivant, et le moins exploité, puisque personne n’a le sentiment d’avoir une relation dont se prévaloir. Un court message personnel demandant ce qui les a arrêtés en trouve d’ordinaire quelques-uns prêts à le dire. Il en va de même pour un message aux acheteurs qui ont choisi un concurrent, envoyé après un délai convenable. Ces personnes ne vous doivent rien, ce qui en fait l’un des rares groupes pour lesquels une petite récompense vaut clairement la dépense, comme le suggère la recherche sur les incitations dans les enquêtes.
Viennent ensuite les comptes silencieux, qui paient toujours et ne sont plus là. On ne peut pas les joindre dans le produit, puisqu’ils n’y sont pas. On peut les joindre par e-mail, nommément, avec une seule question. Cela vaut la peine de le faire avant la date de renouvellement, pas après.
Enfin, indiquez la source partout. Un résultat qui vient de clients actifs doit le dire, sur la même ligne que le chiffre. « 82 % trouvent la mise en place facile » n’est pas le même énoncé quand il est suivi des mots « parmi les clients qui l’ont terminée ».
Cela ne rendra pas le tableau complet. Certains de ceux qui sont partis ne répondront pas, et ils ne seront pas un reflet fidèle des autres. Mais une douzaine de conversations avec des personnes que le produit a déçues vous apprendront ce que mille réponses de personnes à qui il convenait ne pourront jamais vous apprendre. Ces mille réponses viennent toutes des avions qui sont rentrés.
Comment Diaform vous aide
Diaform est un lien : il peut donc aller là où votre produit ne va pas, dans un parcours de résiliation, un e-mail à un essai expiré, un message à un compte silencieux. L’intervieweur IA pose vos questions une par une et relance sur les réponses vagues, ce qui compte surtout avec des personnes qui vous accordent deux minutes et pas davantage. À partir de l’offre Pro, les liens d’invitation personnels indiquent qui a répondu, ce qui vous permet de voir lesquels des absents vous avez atteints. Il ne peut pas obliger d’anciens clients à répondre. Vous disposez d’un essai gratuit de 14 jours.
