Em 1929, um sociólogo chamado Stuart Rice publicou um artigo curto sobre alguns arquivos antigos. Anos antes, doze investigadores tinham entrevistado uma longa série de homens sem recursos que pediam abrigo por uma noite, e tinham registrado, para cada um, a causa de seu infortúnio. Os solicitantes tinham sido distribuídos entre os investigadores mais ou menos conforme chegavam, de modo que cada investigador deveria ter encontrado a mesma mistura de homens, com a mesma mistura de problemas.
Os arquivos contavam outra história. As causas da miséria pareciam depender de quem tinha segurado a caneta. Na versão que chegou até nós pelos manuais, um investigador era um proibicionista convicto, e seus homens tinham sido arruinados em grande parte pela bebida. Outro era socialista, e os dele tinham sido arruinados pelas condições da indústria. Mais perturbador ainda, os relatos que os homens faziam de si mesmos pendiam para o mesmo lado. O resumo de Rice foi que a investigação revelava uma transferência do viés individual dos investigadores para os solicitantes, e uma distorção correspondente nas respostas. Ele chamou isso de viés contagioso.
Ninguém tinha falsificado nada. Dois homens honestos tinham feito perguntas honestas a pessoas na mesma situação e anotado o que ouviram. Cada um tinha encontrado o que esperava encontrar, e de algum modo tinha persuadido seus entrevistados a encontrar também.
Entrevistas com clientes são conduzidas, em regra, por pessoas com opiniões mais fortes sobre o produto do que as que os investigadores de Rice tinham sobre a bebida.
Quanto um entrevistador acrescenta
Os especialistas em pesquisas passaram o século seguinte medindo o efeito, e têm um número para ele. Pegue toda a variação nas respostas a uma pergunta e pergunte que parcela é explicada por qual entrevistador calhou de perguntar. Em pesquisas presenciais, essa parcela ficou entre cerca de meio por cento e cerca de dez.
Isso parece tranquilizador até ser multiplicado. O estrago depende de quantas entrevistas cada entrevistador conduz, porque todos os entrevistados pela mesma pessoa compartilham a inclinação dela. Se o entrevistador explica 5% da variação e cada um faz vinte entrevistas, a amostra vale mais ou menos metade do tamanho nominal. Duzentas entrevistas carregam a informação de umas cem. Quanto mais trabalho cada entrevistador faz, menos vale cada entrevista adicional.
O efeito não se distribui por igual. Uma síntese das pesquisas o encontrou concentrado onde seria de esperar. É maior para opiniões do que para fatos e maior para assuntos delicados do que para neutros. E atinge o máximo onde o entrevistador tem espaço para ajudar: explicar, reformular, decidir quando uma resposta está completa e quando insistir.
Essa última categoria é uma boa descrição de uma entrevista com cliente. Um entrevistador de pesquisa lê uma pergunta fixa e marca uma opção. Uma gerente de produto conversando com um cliente reformula a pergunta na hora, escolhe qual comentário seguir e qual deixar passar, e decide o que entra nas anotações. Cada uma dessas escolhas é uma brecha.
Três entradas
O viés entra por três pontos.
O primeiro é a mera presença do entrevistador. As pessoas ajustam o que dizem a quem está ouvindo. Em um estudo com americanos negros feito em 1968, as respostas sobre protesto e sobre hostilidade em relação a brancos diferiam conforme o entrevistador fosse negro ou branco, enquanto os relatos sobre condições de vida e sobre discriminação sofrida mal se mexiam. Os fatos ficavam firmes, e as opiniões mudavam com o ouvinte. Uma versão comercial também foi medida. Em um estudo na Índia, pessoas convidadas a escolher entre duas versões idênticas de uma tecnologia tinham cerca de duas vezes e meia mais chance de preferir aquela que acreditavam ter sido construída pelo entrevistador. Uma fundadora perguntando a um cliente sobre o produto está na mesma posição daquele entrevistador.
O segundo é o perguntar. Não há dois entrevistadores que façam uma pergunta do mesmo jeito, e as diferenças não são aleatórias. Quem acredita que o problema é o onboarding pergunta sobre onboarding com interesse e sobre preço por obrigação. Uma resposta hesitante que combina com a teoria recebe um “fale mais sobre isso”. Uma que não combina recebe um “certo, vamos em frente”. Nada disso se parece com uma pergunta tendenciosa de manual. É feito com atenção, e os clientes seguem a atenção como fizeram os solicitantes de Rice.
O terceiro é o ouvir. Uma hora de conversa vira meia página de anotações, e alguém decide qual metade. O comentário que confirma o que a equipe suspeitava é anotado palavra por palavra. O que vai contra é resumido, ou mal compreendido, ou não parece valer o registro. Quando as entrevistas são relatadas, a visão do entrevistador já passou pelo material duas vezes, na entrada e na saída.
Como reduzir
O efeito não pode ser eliminado por completo. Uma entrevista é um encontro entre duas pessoas, e precisa das duas. Mas a maior parte pode ser eliminada com algumas práticas, nenhuma delas nova.
Mantenha quem construiu fora da cadeira do entrevistador. A pessoa que projetou a funcionalidade é a pior para perguntar sobre ela, pelo bem do cliente tanto quanto pelo próprio. Um colega de outra equipe obtém respostas mais francas e as ouve com mais equilíbrio.
Fixe as palavras que importam. Decida as perguntas principais com antecedência e faça-as como estão escritas, na mesma ordem, a todos. Guarde o improviso para os aprofundamentos, e mantenha-os simples: o que aconteceu depois, pode dar um exemplo, o que você fez então. Um aprofundamento nunca deve conter um palpite sobre a resposta. Nosso guia de perguntas de aprofundamento traz um repertório de perguntas neutras.
Grave tudo e trabalhe a partir da gravação. As anotações são o relato do entrevistador sobre a entrevista. Uma transcrição é o do cliente. Quando os achados forem citados, cite o cliente.
E use mais de um entrevistador, de propósito. Se duas pessoas entrevistam clientes comparáveis e voltam com conclusões diferentes, você aprendeu sobre os entrevistadores algo que um só jamais mostraria. A descoberta de Rice só foi possível porque eram doze.
O entrevistador que não varia
O remédio que resta é manter o entrevistador constante, e isso se tornou possível há pouco.
Um entrevistador automatizado faz as mesmas perguntas a todo cliente da mesma maneira. Não tem uma teoria sobre onboarding, não construiu a funcionalidade e não se anima com a resposta que esperava. A variação entre entrevistadores, a parte do efeito que o número dos pesquisadores mede, desaparece, porque só há um. E as pessoas parecem achar mais fácil falar com ele. Em um grande estudo de entrevistas conduzidas por IA, 43% dos participantes disseram que escolheriam a IA de novo e 19% um humano.
Seria demais chamar isso de fim da questão. Um único entrevistador aplicado a todos é consistente, o que não é o mesmo que neutro. Se suas perguntas de aprofundamento pendem, pendem em todas as conversas do mesmo jeito, e não existe um segundo entrevistador para expor isso. O jeito dele também conta: em um experimento, agentes de chat com melhores habilidades de conversa obtiveram respostas mais polidas, do tipo que preserva as aparências, do que os mais simples. O viés passou da pessoa para o design, onde ao menos pode ser inspecionado, testado e alterado. Pesamos as evidências em se as pessoas dizem a verdade a entrevistadores de IA.
Então leia as transcrições, seja quem for que tenha feito as perguntas. Confira se os aprofundamentos foram perguntas e não sugestões. Procure o cliente que disse algo que ninguém esperava, e veja o que foi feito com isso.
Os investigadores de Rice nunca souberam o que tinham feito. Cada um poderia ter jurado pela exatidão de seus registros. O viés só ficou visível quando os doze conjuntos de arquivos foram colocados lado a lado. Um entrevistador sozinho não tem com quem ser comparado, e a maior parte da pesquisa com clientes é feita por um só.
Como o Diaform ajuda
O Diaform dá a todo cliente o mesmo entrevistador. A IA faz as suas perguntas como você as escreveu, uma por vez, e aprofunda as respostas vagas até a profundidade que você definir, de modo que a redação não se desvia de uma conversa para a outra. Cada conversa mantém a transcrição completa e citações literais, para que você possa ler o que foi perguntado além do que foi respondido. Os aprofundamentos dele são gerados, e vale conferi-los como os de qualquer um. Há um teste grátis de 14 dias.
