Taille d’échantillon d’une enquête : combien de réponses faut-il ?

À l’automne 1936, un magazine américain, le Literary Digest, entreprit de prédire l’élection présidentielle par un moyen fort simple : interroger tout le monde. Il envoya quelque dix millions de bulletins. Environ 2,4 millions revinrent, le plus grand sondage jamais réalisé, et ils annonçaient une victoire confortable du républicain Alf Landon.

Franklin Roosevelt remporta 46 des 48 États. Un jeune sondeur du nom de George Gallup, avec un échantillon que l’on situe d’ordinaire autour de 50 000 personnes, avait vu juste. Le Digest cessa de paraître dans les deux ans.

On voit dans cet épisode l’acte de naissance du sondage moderne, et sa leçon n’est toujours pas largement assimilée. Quiconque envoie une enquête finit par demander combien de réponses suffisent. C’est une bonne question, qui a une réponse précise. C’est aussi la deuxième question, et le Literary Digest est ce qui arrive à ceux qui ne posent jamais la première.

Ce qu’une réponse rapporte

Commençons par la partie précise. Une enquête interroge certains de vos clients pour apprendre quelque chose sur tous, et une autre poignée aurait répondu un peu différemment. La marge d’erreur dit de combien.

Supposons que la moitié de vos répondants se disent satisfaits. Avec 100 réponses, la formule donne 0,098, soit environ dix points. Le vrai chiffre se situe quelque part entre 40 % et 60 %.

Ce tableau a une forme qui mérite d’être remarquée. Passer de dix points à cinq demande 300 réponses de plus. Passer de cinq à deux et demi en demande 1 200 autres. Comme la taille de l’échantillon se trouve sous une racine carrée, la précision s’achète à un prix qui grimpe vite : pour diviser l’erreur par deux, il faut multiplier l’échantillon par quatre. C’est pourquoi les sondages nationaux s’arrêtent autour de mille personnes. Le millier suivant n’apporterait presque rien.

Cela retourne aussi la question. La question utile n’est pas « combien m’en faut-il ? » mais « quelle précision me faut-il ? ». Si la décision est la même à 55 % qu’à 65 %, cent réponses suffisent largement. Si vous espérez montrer que la satisfaction est passée de 70 % à 74 %, vous demandez à chaque enquête une marge d’environ deux points, et il vous en faudra des milliers. Les scores construits à partir de deux pourcentages, comme le NPS, en demandent davantage encore, comme nous le montrons dans le NPS prédit-il la croissance ?.

Quand vous avez peu de clients

Les tableaux habituels supposent que vous tirez votre échantillon d’une population immense, un pays d’électeurs. Une entreprise de 500 clients est mieux lotie. Une fois que vous avez entendu une grande partie des personnes qui vous intéressent, il reste moins d’incertitude, et l’exigence diminue.

Pour cinq points de marge, une très grande population demande environ 384 réponses. Une base de 2 000 clients en demande environ 322. Avec 1 000 clients, c’est 278, et avec 500, c’est 217. Le pourcentage augmente à mesure que la base rétrécit, bien sûr. Deux cent dix-sept sur 500, c’est un taux de réponse que peu d’enquêtes atteignent, et c’est l’une des raisons pour lesquelles une petite entreprise B2B a souvent plus intérêt à mener des entretiens qu’à envoyer un questionnaire. Quarante réponses sur 300 comptes ne vous donneront pas un pourcentage digne d’être imprimé. Quarante conversations vous apprendront beaucoup.

Le plus petit groupe qui vous intéresse

L’erreur la plus courante en matière de taille d’échantillon consiste à prévoir pour le chiffre global, puis à présenter le détail.

Pew Research, qui publie ses calculs, en offre une illustration. Dans son enquête de référence 2026 auprès de 5 511 adultes américains, la marge pour l’ensemble de l’échantillon était de 1,8 point. Pour les 880 adultes hispaniques, elle était de 4,7. Pour les 229 hommes de 18 à 29 ans, de 8,0. C’est la même enquête, menée avec le même soin, et le dernier chiffre est plus de quatre fois plus flou que le premier. La règle de Pew est qu’un groupe de moins de 100 entretiens n’est tout simplement pas publié.

Votre enquête a la même structure. Quatre cents réponses semblent amplement suffisantes, jusqu’à ce qu’on les divise entre grands comptes et libre-service, puis entre nouveaux et anciens, et que le graphique qui compte repose sur 31 personnes. Chaque groupe que vous comptez comparer est une enquête à part entière et a besoin de son propre échantillon. Décidez avant l’envoi des comparaisons que vous ferez, repérez le plus petit groupe parmi elles, et prévoyez pour celui-là.

Ce qu’aucune taille d’échantillon n’achète

Venons-en à la première question, celle que le Literary Digest a sautée. Tout ce qui précède suppose que les personnes qui ont répondu sont un tirage honnête parmi celles que vous voulez connaître. La formule n’a aucun terme pour ce qui se passe quand ce n’est pas le cas.

Les bulletins du Digest furent adressés à des noms tirés de listes de propriétaires d’automobiles, d’abonnés au téléphone et de membres de clubs, en pleine Grande Dépression. Et parmi eux, moins d’un sur quatre répondit. Une analyse ultérieure a conclu que la liste comme les réponses étaient faussées, et deux biais additionnés produisirent un raz-de-marée pour le mauvais candidat. Deux millions de bulletins supplémentaires n’y changèrent rien. Ils rendirent seulement la mauvaise réponse inattaquable en apparence.

Si cela semble un risque propre aux années 1930, voyez 2021. Une enquête américaine menée via Facebook recueillait environ 250 000 réponses par semaine, et elle a surestimé de 17 points la part des adultes vaccinés. Un panel d’environ mille personnes, recruté avec soin, s’en est approché. Les statisticiens qui ont examiné la grande enquête ont estimé qu’une fois son biais pris en compte, un quart de million de réponses apportait à peu près autant d’information qu’un échantillon aléatoire de dix.

La raison est assez simple. La marge d’erreur mesure le hasard du tirage, et le hasard se compense quand l’échantillon grandit. Un déséquilibre dans le profil de ceux qui répondent ne se compense pas. Il se répète à chaque réponse supplémentaire, si bien qu’un échantillon plus grand ne fait que décrire plus exactement la même mauvaise population.

Pour une enquête clients, ce déséquilibre est rarement mystérieux. Ceux qui répondent sont ceux qui ouvrent vos e-mails, et ce sont en général ceux qui utilisent le produit. Comment voir qui manque, à l’aide des données clients que vous avez déjà, c’est le sujet du biais de non-réponse.

Travaillez donc dans le bon ordre. Demandez d’abord qui sera invité et qui a des chances de répondre, et comparez les deux quand les réponses arrivent. Demandez ensuite quelle précision il vous faut, pour le plus petit groupe que vous comptez présenter, et c’est cela qui fixera le nombre. Indiquez la marge à côté de chaque chiffre. Et là où les chiffres sont hors de portée, dites-le et allez parler aux gens, une tâche qui a son arithmétique propre.

Gallup n’a pas battu le Literary Digest en étant habile avec un petit nombre. Il l’a battu en se souciant de qui figurait dans l’échantillon, ce que le Digest, avec dix millions de bulletins à poster, n’avait pas jugé nécessaire.

Comment Diaform vous aide

Diaform ne change pas l’arithmétique : une marge d’erreur dépend du nombre de personnes qui répondent, quel que soit l’outil. Il aide là où la taille ne peut rien. À partir de l’offre Pro, les liens d’invitation personnels rattachent chaque conversation à un client, ce qui vous permet de voir quels segments ont répondu et lesquels non, et l’export CSV vous laisse placer les répondants à côté de la liste des invités. Quand les chiffres sont petits, les relances de l’intervieweur IA font que quarante conversations méritent d’être lues une par une. Vous disposez d’un essai gratuit de 14 jours.