“Você sempre sente o product/market fit quando ele está acontecendo”, escreveu Marc Andreessen em junho de 2007. Os clientes compram tão rápido quanto você consegue produzir. O dinheiro se acumula. Você contrata às pressas. E quando não está acontecendo, acrescentou ele, você também sempre sente.
É uma frase magnífica, e não serve para absolutamente nada a um fundador que não tem certeza. A maioria não tem. Eles têm alguns clientes, parte dos quais parece satisfeita, e um gráfico de crescimento que pode ser lido dos dois jeitos. O que gostariam de ter é um termômetro.
Um profissional de marketing chamado Sean Ellis deu um a eles. Tem uma única pergunta e uma única nota de corte, e há quinze anos é o que o mundo das startups tem de mais parecido com um teste oficial. Merece um olhar mais atento do que costuma receber, porque o número que ele produz é o que tem de menos valioso.
Um sentimento com número
A pergunta é esta: “Como você se sentiria se não pudesse mais usar o produto?”. Há três respostas possíveis. Muito decepcionado, um pouco decepcionado, nada decepcionado.
Ellis fez a pergunta aos usuários de quase cem startups e procurou um padrão. Encontrou. No relato de Rahul Vohra, fundador da empresa de e-mail Superhuman, “o número mágico era 40%”. As empresas que tinham dificuldade para crescer quase sempre tinham menos de 40% dos usuários escolhendo “muito decepcionado”. As que tinham tração quase sempre tinham mais.
A história do próprio Vohra é o motivo de o teste ser famoso. No verão de 2017, a Superhuman fez a pergunta aos seus usuários, e 22% disseram que ficariam muito decepcionados. Três trimestres depois, o número era 58%. Um resultado célebre anterior é o do Slack. Em 2015, o empreendedor Hiten Shah pesquisou 731 usuários do Slack, e 51% disseram que ficariam muito decepcionados se o perdessem.
Há, portanto, uma pergunta, um limite e um conjunto de histórias de sucesso. O que não há, olhando de perto, é muita coisa por baixo. Ellis descreveu o limite como “um pouco arbitrário”, uma linha que traçou depois de comparar aquela centena de empresas. É uma observação sobre startups que já tinham crescido ou fracassado. Não encontramos nenhum teste publicado mostrando que a pontuação prevê o que acontece depois.
A quem se perguntou
A primeira coisa que distorce o número é a lista de convidados.
Olhe de novo para a Superhuman. A pontuação não subiu de 22% para 58% só com trabalho de produto. O primeiro salto veio de uma decisão sobre quem contar. A equipe de Vohra olhou quem eram os usuários muito decepcionados, principalmente fundadores, gerentes, executivos e gente de desenvolvimento de negócios, e recalculou a pontuação apenas para esses tipos de cliente. Ela subiu para 33%. O produto não tinha mudado uma linha de código. O denominador, sim.
É algo legítimo, e Vohra fala disso abertamente. Mas mostra quanta margem existe. O número do Slack tem a mesma fragilidade. Os 731 respondentes de Shah chegaram pelo tuíte dele, por seus e-mails e mensagens, pela lista de e-mails de um amigo e por quem repassou o link. Quem responde à pesquisa de um desconhecido sobre o Slack não é um retrato fiel de quem usa o Slack.
Toda versão da pesquisa traz ainda um filtro mais discreto. A pergunta só pode ser feita a quem continua por perto. Quem experimentou o produto e saiu, justamente quem mais teria a dizer sobre o encaixe, não está na lista. Tratamos desse problema em viés de sobrevivência no feedback de clientes.
Depois vem a aritmética simples. Vohra sugere que cerca de 40 respostas bastam para ser úteis “como direção”, e a Superhuman tinha só de 100 a 200 usuários para consultar. Com 40 respostas, uma pontuação de 40% tem margem de erro de cerca de 15 pontos para cima ou para baixo. O número real pode ser 25%, que é fracasso, ou 55%, que é triunfo. Nosso guia sobre tamanho de amostra em pesquisas traz as contas. Na escala em que a maioria das startups faz essa pesquisa, a nota de corte fica bem dentro do ruído.
Você ficaria decepcionado?
A segunda dificuldade é a própria pergunta. Ela não pergunta o que as pessoas fizeram. Pede que imaginem uma perda e prevejam o que sentiriam.
As pessoas não são boas nisso. Os psicólogos que estudam essas previsões têm um nome para o erro típico, o viés de impacto: nós superestimamos a intensidade e a duração do que os acontecimentos futuros nos farão sentir. A perda parece enorme quando a imaginamos. Aí ela acontece, e nos adaptamos bem mais rápido do que esperávamos.
O autor e empreendedor Justin Jackson descreveu a experiência do lado do cliente. Ele tinha certeza de que ficaria chateado quando a Microsoft encerrasse o Sunrise, o aplicativo de calendário que usava. Então o aplicativo fechou, ele mudou para outro calendário, e “qualquer sentimento de decepção sumiu bem rápido”. Ele teria marcado “muito decepcionado” na pesquisa de qualquer um.
É um parente da distância entre o que as pessoas dizem e o que fazem. Um cliente que diz que ficaria muito decepcionado está contando algo verdadeiro sobre o que sente pelo produto hoje. Não é uma promessa de ficar, e muito menos uma promessa de pagar.
Para que a pesquisa serve
Nada disso faz da pesquisa um e-mail desperdiçado. Significa que a pontuação vem recebendo a atenção que cabia ao resto.
A Superhuman fazia quatro perguntas, não uma. Depois da famosa vinham mais três: que tipo de pessoa você acha que mais se beneficiaria do produto? Qual é o principal benefício que você tem com ele? E como podemos melhorá-lo para você? E a equipe não lia as respostas num monte só. Separava pela primeira pergunta.
O grupo “nada decepcionado” era deixado de lado por completo. Essas pessoas não seriam conquistadas, e construir para elas afastaria o produto de quem o amava. O grupo “muito decepcionado” dizia à equipe para que o produto servia: no caso deles, velocidade. O grupo interessante estava no meio. Entre os “um pouco decepcionados”, a equipe manteve apenas os que também citavam a velocidade como principal benefício, e foram os pedidos deles que entraram no roadmap. Queriam o mesmo que os entusiastas, e algo os segurava.
Vista assim, a pesquisa é uma ferramenta de triagem. Ela diz qual feedback pesar e qual deixar de lado, que é a pergunta mais difícil na hora de priorizar pedidos de funcionalidades e que uma pilha de comentários sem ordem não consegue responder.
Alguns hábitos a tornam mais honesta. Envie só para quem usou recentemente o núcleo do produto, já que ninguém fica decepcionado por perder o que nunca abre. Informe o número de respostas ao lado da pontuação, e a faixa em que ela pode estar. Mantenha o público e a redação iguais de uma rodada para outra, para que um aumento signifique alguma coisa. E coloque o resultado ao lado do que as pessoas fazem. Se 45% dizem que ficariam muito decepcionados e metade não entra há um mês, acredite nos acessos.
Acima de tudo, pergunte por quê. “Muito decepcionado” são duas palavras. O cliente que as escolheu geralmente sabe dizer para o que teria de voltar, e essa resposta, a planilha ou o concorrente ou as duas horas de toda sexta-feira, é a verdadeira descrição do seu mercado.
Andreessen provavelmente tinha razão ao dizer que dá para sentir o product-market fit quando ele acontece. A pesquisa não consegue fornecer essa sensação, e um fundador que precisa de quarenta clientes para saber se o tem talvez já desconfie da resposta. Mas a sensação, quando vier, não vai dizer a quem você a deve nem o que essas pessoas querem em seguida. Para isso ainda é preciso perguntar.
Como o Diaform ajuda
O Diaform faz a pergunta de product-market fit em um chat curto e depois pergunta por quê. O entrevistador de IA aprofunda as respostas vagas até onde você permitir, de modo que “muito decepcionado” vem junto com o que o cliente faria sem você. Cada conversa recebe um resumo com citações literais, e os relatórios de IA agrupam os motivos por tema. Ele não vai decidir se você tem product-market fit, e uma amostra pequena continua sendo uma amostra pequena. Há um teste grátis de 14 dias.
