On a un jour posé deux questions à un groupe d’étudiants. À quel point êtes-vous heureux de votre vie en général ? Et combien de rendez-vous amoureux avez-vous eus le mois dernier ?
Dans cet ordre, les réponses n’avaient presque rien à voir l’une avec l’autre. Les étudiants qui sortaient beaucoup n’étaient, dans l’ensemble, pas plus heureux que ceux qui restaient chez eux. Puis les chercheurs ont posé les deux mêmes questions à un autre groupe, dans l’ordre inverse. Les rendez-vous d’abord, le bonheur ensuite. Cette fois, les deux réponses évoluaient nettement ensemble, avec une corrélation de 0,66, et quiconque aurait lu les résultats en aurait conclu que le contentement d’un étudiant tenait surtout à sa vie sentimentale.
Rien, dans la vie des étudiants, ne distinguait les deux groupes. Ce qui différait, c’était ce à quoi ils pensaient quelques secondes plus tôt. Priés de résumer leur existence, les seconds ont consulté l’indice le plus proche, que le questionnaire venait de leur fournir.
Les spécialistes des enquêtes appellent cela un effet d’ordre. Il signifie qu’une question n’est jamais posée seule. Elle est posée après la précédente, et elle hérite de son état d’esprit.
Dix points pour un président
L’effet ne se limite pas aux étudiants et à leurs amours. Pew Research a pris l’habitude d’intégrer de petites expériences à ses sondages, en envoyant à une moitié de l’échantillon les questions dans un ordre et à l’autre moitié dans un autre, et il publie ce qui se passe.
En décembre 2008, Pew a demandé aux Américains s’ils étaient satisfaits ou insatisfaits de la façon dont allait le pays. Interrogés à froid, 78 % se sont dits insatisfaits. Interrogés juste après une question sur la manière dont George W. Bush exerçait sa fonction, ils étaient 88 %. La question sur l’action du président avait déplacé l’humeur de la nation de dix points. La cote de Bush lui-même, soit dit en passant, ne bougeait pas, quelle que soit la question posée en premier.
Parfois, une question antérieure éloigne d’elle la réponse suivante. En 2003, Pew a posé une question sur la possibilité pour les couples gays et lesbiens de conclure des accords juridiques leur donnant les droits du mariage. Trente-sept pour cent y étaient favorables. Parmi ceux qu’on avait d’abord interrogés sur le mariage lui-même, 45 % l’étaient. Ayant pu donner leur avis sur le pas le plus grand, certains répondants acceptaient plus volontiers le plus petit.
Et parfois, elle attire la réponse suivante vers elle. En novembre 2008, on a demandé si les dirigeants républicains devaient travailler avec le nouveau président ou lui tenir tête. Soixante-six pour cent ont répondu : travailler avec lui. Quand la question venait après une autre demandant si les dirigeants démocrates devaient travailler avec les républicains, le chiffre était de 81 %. Les gens venaient d’approuver la coopération dans un sens et ne tenaient pas à la refuser dans l’autre.
La plus ancienne démonstration est du même ordre, en plus grand. En 1948, on a demandé aux Américains si des reporters communistes devaient être admis aux États-Unis, et si des reporters américains devaient être admis dans les pays communistes. L’ordre des deux questions a modifié de 37 points la réponse sur les reporters communistes.
Pourquoi cela se produit
Aucun de ces répondants n’était négligent. Ils traitaient le questionnaire comme on traite toute conversation, où ce qui vient d’être dit pèse sur ce qui se dit ensuite.
Deux habitudes font l’essentiel du travail. La première est que les gens répondent à partir de ce qu’ils ont à l’esprit. Rares sont ceux qui portent en eux un chiffre arrêté de leur satisfaction envers le pays, ou envers un logiciel. Nous en assemblons un à la demande, avec ce qui se trouve le plus près, et la question précédente est toujours tout près.
La seconde est affaire de politesse. Dans une conversation, on ne se répète pas. Quelqu’un qu’on interroge d’abord sur son mariage, puis sur sa vie en général, peut comprendre la seconde question comme « en dehors de votre mariage », et le laisser de côté. Une question précise peut donc gonfler la réponse générale qui la suit ou la réduire, selon la lecture que le répondant fait de la paire. Pew résume la recherche ainsi : les gens tendent à éviter la redondance en excluant la question plus précise de l’évaluation générale.
Il existe une version pour les questions ouvertes, et c’est elle qui importe le plus à quiconque recueille des retours. Si des questions fermées sur un sujet viennent d’abord, rapporte Pew, les répondants sont « beaucoup plus enclins à mentionner des notions ou des considérations soulevées dans ces questions » quand arrive la question ouverte. Demandez aux gens de noter votre reporting, vos intégrations et votre support, puis invitez-les à dire avec leurs mots ce que vous devriez améliorer, et ils vous parleront de reporting, d’intégrations et de support. Vous avez écrit leur réponse à leur place.
Où il se cache dans une enquête clients
Ces expériences portent sur la politique, et personne n’a mené l’équivalent sur des enquêtes produit : ce qui suit est donc une inférence. Mais le mécanisme ne dépend pas du sujet, et les endroits où il ferait des dégâts sont faciles à repérer.
Le score global est le plus évident. Une question de satisfaction ou de recommandation placée après une section sur les bugs, les pannes ou un ticket de support récent s’adresse à quelqu’un qu’on vient de promener parmi vos défaillances. Placée après une liste de fonctionnalités qu’il apprécie, elle s’adresse à quelqu’un de meilleure humeur. Ni l’un ni l’autre n’est l’avis spontané du client.
L’enquête de suivi est le cas coûteux. Une équipe ajoute deux questions sur une nouvelle fonctionnalité, les place vers le début, et trois mois plus tard le score de satisfaction a bougé. Quelque chose a changé, et c’est peut-être le questionnaire. Le conseil de Pew sur ce point est sans détour : quand vous suivez un chiffre dans le temps, veillez à ce que le contexte soit le même à chaque fois.
Le prix en est un troisième. Demandez à quelqu’un ce qu’il paierait après lui avoir fait énumérer tout ce que le produit fait pour lui, et vous avez amorcé la valeur. Demandez-le après une section sur ses frustrations, et vous avez amorcé l’inverse. Nous décrivons la facilité avec laquelle un prix suit le dernier chiffre vu dans les enquêtes de prix.
Mettre les questions en ordre
Les remèdes découlent du mécanisme, et aucun n’est compliqué.
Posez la question générale avant les questions particulières. L’évaluation globale vient d’abord, tant que l’avis du client est encore le sien, et les questions sur la livraison, le prix et le support viennent après. Posez les questions ouvertes avant les questions fermées sur le même sujet, afin que ce que les gens avancent spontanément soit ce qu’ils avaient en tête et non ce qui figurait sur votre liste.
Gardez l’ordre stable dans tout ce que vous répétez. Ce qui précède votre question clé ce trimestre devrait la précéder le trimestre prochain. S’il faut une nouvelle question, placez-la après.
Quand vous présentez une liste, de fonctionnalités à noter ou de raisons à choisir, mélangez-la pour chaque répondant. Les premiers éléments d’une liste reçoivent plus d’attention que les derniers, et le mélange répartit l’avantage. Laissez les informations personnelles, taille de l’entreprise, fonction et le reste, pour la fin, sauf si elles servent à décider qui voit quelles questions. Selon Pew, un questionnaire, comme une conversation, doit être regroupé par thème et se dérouler dans un ordre logique, en commençant par quelque chose que le répondant trouve intéressant.
Et faites court, car un effet qui a besoin d’une question antérieure a moins de prise quand il y en a peu. La formulation de chaque question compte aussi, sujet que nous traitons dans les questions orientées.
L’ordre ne peut pas être supprimé. Il faut bien que quelque chose vienne en premier. Les étudiants de l’expérience allaient penser à quelque chose avant de noter leur vie, et le seul choix des chercheurs était de le leur fournir ou non. Il en va de même pour chaque enquête que vous envoyez : quand un client arrive à votre question la plus importante, vous lui avez déjà dit à quoi penser.
Comment Diaform vous aide
Diaform pose vos questions une par une dans une conversation, dans l’ordre que vous fixez : c’est donc vous qui décidez de ce que le client a en tête quand arrive la question importante. Vous pouvez commencer par la question globale et laisser l’intervieweur IA relancer sur la réponse avant d’aborder les détails. Une conversation a un ordre comme n’importe quel questionnaire, et les relances apportent leur propre contexte : les précautions ci-dessus restent valables. Vous disposez d’un essai gratuit de 14 jours.
