No outono de 1936, uma revista americana, a Literary Digest, resolveu prever a eleição presidencial pelo método simples de perguntar a todo mundo. Enviou pelo correio cerca de dez milhões de cédulas. Voltaram uns 2,4 milhões, a maior pesquisa já feita até então, e elas apontavam uma vitória folgada do republicano Alf Landon.
Franklin Roosevelt venceu em 46 dos 48 estados. Um jovem pesquisador chamado George Gallup, com uma amostra geralmente estimada em cerca de 50.000 pessoas, tinha acertado. A Digest fechou em menos de dois anos.
O episódio é lembrado como o nascimento das pesquisas de opinião modernas, e sua lição ainda não foi bem absorvida. Quem envia uma pesquisa acaba perguntando, cedo ou tarde, quantas respostas bastam. É uma boa pergunta, com uma resposta precisa. É também a segunda pergunta, e a Literary Digest é o que acontece com quem nunca faz a primeira.
O que uma resposta compra
Comece pela parte precisa. Uma pesquisa pergunta a alguns dos seus clientes para saber algo sobre todos, e outro punhado teria respondido um pouco diferente. A margem de erro diz quanto.
Suponha que metade dos seus respondentes diga estar satisfeita. Com 100 respostas, a fórmula dá 0,098, ou cerca de dez pontos. O valor real está em algum lugar entre 40% e 60%.
| Respostas | Margem de erro, para cima ou para baixo |
|---|---|
| 50 | cerca de 14 pontos |
| 100 | cerca de 10 pontos |
| 400 | cerca de 5 pontos |
| 1.000 | cerca de 3 pontos |
| 2.400 | cerca de 2 pontos |
A tabela tem um formato que vale notar. Sair de dez pontos para cinco custa 300 respostas a mais. Sair de cinco para dois e meio custa outras 1.200. Como o tamanho da amostra fica dentro de uma raiz quadrada, a precisão é comprada a um preço que sobe depressa: para reduzir o erro à metade, é preciso quadruplicar a amostra. É por isso que as pesquisas nacionais param em torno de mil pessoas. O milhar seguinte não compraria quase nada.
Isso também vira a pergunta do avesso. A útil não é “de quantas eu preciso?”, e sim “quão exato eu preciso ser?”. Se a decisão for a mesma com 55% ou com 65%, cem respostas sobram. Se você espera mostrar que a satisfação subiu de 70% para 74%, está pedindo a cada pesquisa uma margem de uns dois pontos, e vai precisar de milhares. Pontuações montadas a partir de duas porcentagens, como o NPS, pedem ainda mais, como mostramos no artigo o NPS prevê crescimento?.
Quando você tem poucos clientes
As tabelas habituais supõem que você está amostrando uma população enorme, um país de eleitores. Uma empresa com 500 clientes está em situação melhor. Depois de ouvir uma boa parte das pessoas que interessam, sobra menos sobre o que ter dúvida, e a exigência cai.
Para cinco pontos de margem, uma população muito grande precisa de cerca de 384 respostas. Uma base de 2.000 clientes precisa de cerca de 322. Com 1.000 clientes são 278, e com 500 são 217. A porcentagem sobe à medida que a base encolhe, é claro. Duzentas e dezessete de 500 é uma taxa de resposta que poucas pesquisas alcançam, e é um dos motivos pelos quais uma pequena empresa B2B costuma ser mais bem servida por entrevistas do que por um questionário. Quarenta respostas de 300 contas não vão dar uma porcentagem que valha a pena publicar. Quarenta conversas vão contar muita coisa.
O menor grupo que importa para você
O erro mais comum com tamanho de amostra é planejar para a manchete e depois apresentar o detalhamento.
O Pew Research, que publica suas contas, oferece um exemplo. Em sua pesquisa de referência de 2026 com 5.511 adultos americanos, a margem para a amostra inteira foi de 1,8 ponto. Para os 880 adultos hispânicos, foi de 4,7. Para os 229 homens de 18 a 29 anos, foi de 8,0. É a mesma pesquisa, feita com o mesmo cuidado, e o último número é mais de quatro vezes mais frouxo do que o primeiro. A regra do próprio Pew é que um grupo com menos de 100 entrevistas simplesmente não é divulgado.
Sua pesquisa tem a mesma estrutura. Quatrocentas respostas parecem fartas, até serem divididas entre enterprise e self-service, depois entre novos e antigos, e o gráfico que importa acabar apoiado em 31 pessoas. Cada grupo que você pretende comparar é uma pesquisa à parte e precisa da própria amostra. Decida antes de enviar quais comparações fará, encontre o menor grupo entre elas e planeje para ele.
O que nenhum tamanho de amostra compra
Agora a primeira pergunta, a que a Literary Digest pulou. Tudo o que foi dito acima supõe que as pessoas que responderam são um sorteio justo daquelas sobre as quais você quer saber. A fórmula não tem termo para o que acontece quando não são.
As cédulas da Digest foram para nomes tirados de listas de donos de carros, assinantes de telefone e sócios de clubes, em plena Grande Depressão. E, desses, menos de um em quatro respondeu. Uma análise posterior concluiu que tanto a lista quanto as respostas estavam distorcidas, e duas distorções juntas produziram uma vitória esmagadora para o candidato errado. Dois milhões de cédulas a mais não corrigiram nada. Apenas fizeram a resposta errada parecer inatacável.
Se isso parece um risco dos anos 1930, pense em 2021. Uma pesquisa americana feita por meio do Facebook coletava cerca de 250.000 respostas por semana, e superestimou em 17 pontos percentuais a parcela de adultos vacinados. Um painel de cerca de mil pessoas, recrutado com cuidado, chegou perto. Os estatísticos que examinaram a pesquisa grande estimaram que, descontado o viés, um quarto de milhão de respostas trazia mais ou menos tanta informação quanto uma amostra aleatória de dez.
O motivo é simples. A margem de erro mede a sorte do sorteio, e a sorte se compensa quando a amostra cresce. Uma inclinação em quem responde não se compensa. Ela se repete em cada resposta adicional, de modo que uma amostra maior só descreve com mais exatidão a mesma turma errada.
Em uma pesquisa com clientes, essa inclinação raramente é um mistério. Quem responde é quem abre seus e-mails, e costuma ser quem usa o produto. Como ver quem está faltando, com os dados de clientes que você já tem, é o assunto de viés de não resposta.
Então trabalhe na ordem certa. Pergunte primeiro quem será convidado e quem provavelmente vai responder, e compare os dois grupos quando as respostas chegarem. Depois pergunte de quanta precisão você precisa, para o menor grupo que pretende apresentar, e deixe isso definir o número. Informe a margem ao lado de cada valor. E onde os números não puderem ser obtidos, diga isso e vá conversar com as pessoas, uma tarefa que tem aritmética própria.
Gallup não venceu a Literary Digest por ser esperto com um número pequeno. Venceu por se importar com quem estava na amostra, algo que a Digest, com dez milhões de cédulas para postar, não tinha achado necessário.
Como o Diaform ajuda
O Diaform não muda a aritmética: a margem de erro depende de quantas pessoas respondem, seja qual for a ferramenta. Ele ajuda no que o tamanho não conserta. Nos planos Pro e superiores, os links de convite pessoais ligam cada conversa a um cliente, então você vê quais segmentos responderam e quais não, e a exportação em CSV permite colocar os respondentes ao lado da lista de convidados. Quando os números são pequenos, as perguntas de aprofundamento do entrevistador de IA fazem quarenta conversas valerem a leitura uma a uma. Há um teste grátis de 14 dias.
