En 1929, un sociologue nommé Stuart Rice a publié un court article sur de vieux dossiers. Des années plus tôt, douze enquêteurs avaient interrogé une longue série d’hommes sans ressources qui demandaient un abri pour la nuit, et avaient consigné pour chacun la cause de son infortune. Les demandeurs avaient été répartis entre les enquêteurs à peu près dans l’ordre de leur arrivée, de sorte que chaque enquêteur aurait dû rencontrer le même mélange d’hommes, avec le même mélange de malheurs.
Les dossiers racontaient autre chose. Les causes du dénuement semblaient dépendre de celui qui avait tenu la plume. Dans la version que les manuels ont transmise, l’un des enquêteurs était un prohibitionniste convaincu, et ses hommes avaient été ruinés en grande partie par la boisson. Un autre était socialiste, et les siens l’avaient été par les conditions de l’industrie. Plus troublant encore, les récits que les hommes faisaient d’eux-mêmes penchaient du même côté. Rice résumait en disant que l’enquête révélait un transfert du biais personnel des enquêteurs vers les demandeurs, et une déformation correspondante des réponses. Il a appelé cela un biais contagieux.
Personne n’avait rien falsifié. Deux hommes honnêtes avaient posé des questions honnêtes à des gens dans la même détresse et avaient noté ce qu’ils entendaient. Chacun avait trouvé ce qu’il s’attendait à trouver, et avait d’une façon ou d’une autre amené ses sujets à le trouver aussi.
Les entretiens clients sont menés, en règle générale, par des gens qui ont des opinions plus arrêtées sur le produit que les enquêteurs de Rice n’en avaient sur la boisson.
Ce qu’un intervieweur ajoute
Les spécialistes des enquêtes ont passé le siècle écoulé depuis à mesurer l’effet, et ils ont un chiffre. Prenez toute la variation des réponses à une question et demandez quelle part s’explique par l’intervieweur qui s’est trouvé la poser. Dans les enquêtes en face à face, cette part va d’environ un demi pour cent à environ dix.
Cela paraît rassurant jusqu’à ce qu’on multiplie. Les dégâts dépendent du nombre d’entretiens que mène chaque intervieweur, car tous ceux qu’une même personne interroge partagent son penchant. Si l’intervieweur explique 5 % de la variation et que chacun mène vingt entretiens, l’échantillon vaut environ la moitié de sa taille nominale. Deux cents entretiens portent l’information d’à peu près cent. Plus chaque intervieweur travaille, moins chaque entretien supplémentaire vaut.
L’effet ne se répartit pas uniformément. Une synthèse de la recherche l’a trouvé concentré là où on l’attendrait. Il est plus fort pour les opinions que pour les faits, et plus fort pour les sujets sensibles que pour les neutres. Il est le plus fort là où l’intervieweur a de la latitude pour aider : expliquer, reformuler, décider quand une réponse est complète et quand insister.
Cette dernière catégorie décrit assez bien un entretien client. Un enquêteur de sondage lit une question fixe et coche une case. Une cheffe de produit qui parle à un client reformule la question sur le moment, choisit quelle remarque creuser et laquelle laisser passer, et décide de ce qui ira dans les notes. Chacun de ces choix est une ouverture.
Trois portes d’entrée
Le biais entre par trois endroits.
Le premier est la simple présence de l’intervieweur. Les gens ajustent ce qu’ils disent à celui qui écoute. Dans une étude menée en 1968 auprès d’Américains noirs, les réponses sur la contestation et sur l’hostilité envers les Blancs différaient selon que l’intervieweur était noir ou blanc, alors que les déclarations sur les conditions de vie et sur les discriminations subies bougeaient à peine. Les faits tenaient bon, et les opinions se déplaçaient avec l’interlocuteur. Une version commerciale a été mesurée aussi. Dans une étude en Inde, des personnes invitées à choisir entre deux versions identiques d’une technologie avaient environ deux fois et demie plus de chances de préférer celle qu’elles croyaient construite par l’intervieweur. Une fondatrice qui interroge un client sur le produit est dans la position de cet intervieweur.
Le deuxième est la manière de demander. Deux intervieweurs ne posent jamais une question de la même façon, et les différences ne sont pas aléatoires. Celui qui croit que l’onboarding est le problème pose ses questions sur l’onboarding avec intérêt et celles sur les prix par devoir. Une réponse hésitante qui cadre avec la théorie obtient un « dites-m’en plus ». Une réponse qui ne cadre pas obtient un « d’accord, passons ». Rien de cela ne ressemble à une question orientée de manuel. Cela passe par l’attention, et les clients suivent l’attention comme le faisaient les demandeurs de Rice.
Le troisième est l’écoute. Une heure de conversation devient une demi-page de notes, et quelqu’un décide quelle moitié. La remarque qui confirme ce que l’équipe soupçonnait est notée mot pour mot. Celle qui va à l’encontre est résumée, ou mal entendue, ou ne semble pas valoir d’être consignée. Au moment où les entretiens sont restitués, le point de vue de l’intervieweur a traversé la matière deux fois, à l’aller et au retour.
Le réduire
L’effet ne peut pas être supprimé tout à fait. Un entretien est une rencontre entre deux personnes, et il a besoin des deux. Mais on peut en éliminer l’essentiel par quelques disciplines, dont aucune n’est nouvelle.
Éloignez le concepteur du siège de l’intervieweur. La personne qui a conçu la fonctionnalité est la plus mal placée pour poser des questions à son sujet, pour le bien du client autant que pour le sien. Un collègue d’une autre équipe obtient des réponses plus franches et les entend avec plus d’impartialité.
Fixez les mots qui comptent. Décidez des questions principales à l’avance et posez-les telles qu’elles sont écrites, dans le même ordre, à tout le monde. Gardez l’improvisation pour les relances, et faites-les sobres : que s’est-il passé ensuite, pouvez-vous donner un exemple, qu’avez-vous fait alors. Une relance ne devrait jamais contenir une supposition sur la réponse. Notre guide des questions de relance en propose une réserve de neutres.
Enregistrez tout et travaillez à partir de l’enregistrement. Les notes sont le récit que l’intervieweur fait de l’entretien. Une transcription est celui du client. Quand on cite des résultats, qu’on cite le client.
Et utilisez plus d’un intervieweur, délibérément. Si deux personnes interrogent des clients comparables et reviennent avec des conclusions différentes, vous avez appris sur les intervieweurs quelque chose qu’un seul n’aurait jamais pu vous montrer. La découverte de Rice n’a été possible que parce qu’ils étaient douze.
L’intervieweur qui ne varie pas
Le dernier remède est de garder l’intervieweur constant, et c’est devenu possible depuis peu.
Un intervieweur automatisé pose les mêmes questions à chaque client de la même manière. Il n’a pas de théorie sur l’onboarding, n’a pas construit la fonctionnalité et ne s’illumine pas à la réponse qu’il espérait. La variation entre intervieweurs, la part de l’effet que mesure le chiffre des chercheurs, disparaît, puisqu’il n’y en a qu’un. Et les gens semblent trouver plus facile de lui parler. Dans une grande étude sur des entretiens menés par IA, 43 % des participants ont dit qu’ils choisiraient de nouveau l’IA et 19 % un humain.
Ce serait trop dire que l’affaire est close. Un intervieweur unique appliqué à tout le monde est constant, ce qui n’est pas la même chose que neutre. Si ses relances penchent, elles penchent pareillement dans chaque conversation, et il n’existe pas de second intervieweur pour le révéler. Sa manière compte aussi : dans une expérience, des agents conversationnels plus doués pour le dialogue ont suscité des réponses plus polies, qui sauvent la face, que des agents plus sobres. Le biais est passé de la personne à la conception, où il peut au moins être inspecté, testé et modifié. Nous pesons les preuves dans les gens disent-ils la vérité aux intervieweurs IA ?.
Lisez donc les transcriptions, quel que soit celui qui a posé les questions. Vérifiez que les relances étaient des questions et non des suggestions. Cherchez le client qui a dit quelque chose que personne n’attendait, et voyez ce qu’on en a fait.
Les enquêteurs de Rice n’ont jamais su ce qu’ils avaient fait. Chacun d’eux aurait pu jurer de l’exactitude de ses dossiers. Le biais n’est apparu que lorsque les douze séries de dossiers ont été posées côte à côte. Un intervieweur seul n’a rien à quoi être comparé, et la plupart des recherches clients sont menées par un seul.
Comment Diaform vous aide
Diaform donne à chaque client le même intervieweur. L’IA pose vos questions telles que vous les avez écrites, une par une, et relance sur les réponses vagues jusqu’à la profondeur que vous fixez, de sorte que la formulation ne dérive pas d’une conversation à l’autre. Chaque conversation conserve sa transcription complète et des citations mot pour mot, pour que vous puissiez lire ce qui a été demandé autant que ce qui a été répondu. Ses relances sont générées, et méritent d’être vérifiées comme celles de n’importe qui. Vous disposez d’un essai gratuit de 14 jours.
