Certa vez fizeram duas perguntas a um grupo de estudantes. Quão feliz você está com a sua vida em geral? E quantos encontros você teve no mês passado?
Nessa ordem, as respostas não tinham quase nada a ver uma com a outra. Os estudantes que saíam bastante não eram, no conjunto, mais felizes do que os que ficavam em casa. Depois os pesquisadores deram a outro grupo as mesmas duas perguntas ao contrário. Primeiro os encontros, depois a felicidade. Agora as duas respostas andavam juntas com força, com uma correlação de 0,66, e quem lesse os resultados concluiria que o contentamento de um estudante dependia principalmente de romance.
Nada na vida dos estudantes diferia entre os dois grupos. O que diferia era no que eles vinham pensando alguns segundos antes. Convidado a resumir a própria existência, o segundo grupo consultou a evidência mais próxima, que o questionário tinha acabado de fornecer.
Quem estuda pesquisas chama isso de efeito de ordem. Significa que uma pergunta nunca é feita sozinha. Ela é feita depois da anterior, e herda o estado de espírito dela.
Dez pontos por um presidente
O efeito não se limita a estudantes e sua vida amorosa. O Pew Research tem o hábito de embutir pequenos experimentos em suas pesquisas, enviando a metade da amostra as perguntas em uma ordem e à outra metade em outra, e publica o que acontece.
Em dezembro de 2008, o Pew perguntou aos americanos se estavam satisfeitos ou insatisfeitos com os rumos do país. Com a pergunta feita a frio, 78% disseram insatisfeitos. Com ela feita logo depois de uma pergunta sobre o desempenho de George W. Bush no cargo, 88% disseram. A pergunta de aprovação tinha movido o humor da nação em dez pontos. As avaliações do próprio Bush, aliás, não mudavam, qualquer que fosse a pergunta feita primeiro.
Às vezes uma pergunta anterior empurra a resposta seguinte para longe. Em 2003, o Pew perguntou sobre permitir que casais de gays e lésbicas firmassem acordos legais com os direitos do casamento. Trinta e sete por cento eram a favor. Entre as pessoas que tinham respondido antes sobre o casamento em si, 45% eram. Tendo podido opinar sobre o passo maior, alguns respondentes ficavam mais dispostos a aceitar o menor.
E às vezes ela puxa a resposta seguinte para perto. Em novembro de 2008, perguntou-se se os líderes republicanos deveriam trabalhar com o novo presidente ou enfrentá-lo. Sessenta e seis por cento disseram trabalhar com ele. Quando a pergunta vinha depois de outra sobre se os líderes democratas deveriam trabalhar com os republicanos, o número era 81%. As pessoas tinham acabado de endossar a cooperação em uma direção e não quiseram recusá-la na outra.
A demonstração mais antiga é do mesmo tipo e maior. Em 1948, perguntou-se aos americanos se repórteres comunistas deveriam ser admitidos nos Estados Unidos e se repórteres americanos deveriam ser admitidos em países comunistas. Qual pergunta vinha primeiro mudou em 37 pontos a resposta sobre os repórteres comunistas.
Por que acontece
Nenhum desses respondentes estava sendo descuidado. Eles tratavam o questionário como as pessoas tratam qualquer conversa, em que o que acabou de ser dito pesa sobre o que se diz em seguida.
Dois hábitos fazem a maior parte do trabalho. O primeiro é que as pessoas respondem a partir do que está na cabeça. Poucos de nós carregamos um número fechado para nossa satisfação com o país, ou com um software. Montamos um na hora, com o que estiver mais perto, e a pergunta anterior está sempre perto.
O segundo é uma questão de boas maneiras. Em uma conversa, ninguém se repete. Alguém a quem se pergunta primeiro sobre o casamento e depois sobre a vida em geral pode entender a segunda pergunta como “fora o seu casamento”, e deixá-lo de fora. Assim, uma pergunta específica pode inflar a resposta geral que vem depois ou encolhê-la, conforme o respondente lê a dupla. O resumo que o Pew faz da pesquisa é que as pessoas tendem a evitar redundância excluindo a pergunta mais específica da avaliação geral.
Há uma versão para perguntas abertas, e é a que mais importa para quem coleta feedback. Se perguntas fechadas sobre um tema vêm primeiro, relata o Pew, os respondentes ficam “muito mais propensos a mencionar conceitos ou considerações levantados nessas perguntas” quando chega a pergunta aberta. Peça às pessoas que avaliem seus relatórios, suas integrações e seu suporte, depois convide-as a dizer com as próprias palavras o que você deveria melhorar, e elas vão falar de relatórios, integrações e suporte. Você escreveu a resposta por elas.
Onde ele se esconde em uma pesquisa com clientes
Os experimentos tratam de política, e ninguém fez o equivalente com pesquisas de produto, então o que vem a seguir é uma inferência. Mas o mecanismo não depende do assunto, e os lugares onde ele faria estrago são fáceis de achar.
A nota geral é o mais óbvio. Uma pergunta de satisfação ou de recomendação colocada depois de uma seção sobre bugs, quedas ou um chamado de suporte recente é feita a alguém que acabou de ser levado a repassar as falhas do seu produto. Colocada depois de uma lista de funcionalidades de que a pessoa gosta, é feita a alguém de melhor humor. Nenhuma das duas é a visão espontânea do cliente.
A pesquisa de acompanhamento é o caso caro. Uma equipe acrescenta duas perguntas sobre uma funcionalidade nova, põe as duas perto do início, e três meses depois a nota de satisfação se mexeu. Algo mudou, e pode ter sido o questionário. O conselho do Pew sobre isso é direto: quando você acompanha um número ao longo do tempo, cuide para que o contexto seja o mesmo toda vez que a pergunta é feita.
Preço é um terceiro caso. Pergunte quanto alguém pagaria depois de pedir que liste tudo o que o produto faz por ele, e você ativou o valor. Pergunte depois de uma seção sobre frustrações, e você ativou o oposto. Descrevemos com que facilidade um preço segue o último número visto em pesquisas de preço.
Colocando as perguntas em ordem
Os remédios decorrem do mecanismo, e nenhum é complicado.
Faça a pergunta geral antes das particulares. A avaliação geral vem primeiro, enquanto a visão do cliente ainda é dele, e as perguntas sobre entrega, preço e suporte vêm depois. Faça as perguntas abertas antes das fechadas sobre o mesmo assunto, para que aquilo que as pessoas oferecem por conta própria seja o que estava na cabeça delas e não o que estava na sua lista.
Mantenha a ordem em tudo o que você repete. O que vem antes da sua pergunta principal neste trimestre deve vir antes dela no próximo. Se for preciso uma pergunta nova, coloque-a depois.
Onde você apresentar uma lista, de funcionalidades a avaliar ou de motivos entre os quais escolher, embaralhe-a para cada respondente. Os primeiros itens de uma lista recebem mais atenção do que os últimos, e embaralhar distribui a vantagem. Deixe os dados pessoais, tamanho da empresa, cargo e o resto, para o fim, a menos que precise deles para decidir quem vê quais perguntas. A visão do Pew é que um questionário, como uma conversa, deve ser agrupado por tema e se desenrolar em ordem lógica, começando por algo que o respondente ache interessante.
E mantenha-o curto, já que um efeito que precisa de uma pergunta anterior tem menos com que trabalhar quando há poucas. A redação de cada pergunta também importa, assunto que tratamos em perguntas tendenciosas.
A ordem não pode ser eliminada. Alguma coisa tem de vir primeiro. Os estudantes do experimento iam pensar em algo antes de avaliar a própria vida, e a única escolha dos pesquisadores era fornecê-lo ou não. O mesmo vale para toda pesquisa que você envia: quando um cliente chega à sua pergunta mais importante, você já disse a ele no que pensar.
Como o Diaform ajuda
O Diaform faz suas perguntas uma de cada vez em um chat, na ordem que você definir, então é você quem decide o que o cliente tem em mente quando chega a pergunta importante. Você pode abrir com a pergunta geral e deixar o entrevistador de IA aprofundar a resposta antes que qualquer detalhe apareça. Uma conversa tem ordem como qualquer questionário, e as perguntas de aprofundamento acrescentam contexto próprio, então os cuidados acima continuam valendo. Há um teste grátis de 14 dias.
