«Siempre se nota el product/market fit cuando está ocurriendo», escribió Marc Andreessen en junio de 2007. Los clientes compran tan rápido como puedes fabricar. El dinero se acumula. Contratas con prisas. Y cuando no está ocurriendo, añadió, también se nota siempre.
Es una frase magnífica, y no le sirve de nada a quien funda una empresa y no está seguro. La mayoría no lo está. Tienen algunos clientes, varios de los cuales parecen contentos, y una curva de crecimiento que admite las dos lecturas. Lo que querrían es un termómetro.
Un especialista en marketing llamado Sean Ellis les dio uno. Consta de una sola pregunta y una sola nota de corte, y desde hace quince años es lo más parecido que tiene el mundo de las startups a una prueba oficial. Merece una mirada más atenta de la que suele recibir, porque la cifra que produce es lo menos valioso que tiene.
Un sentimiento con número
La pregunta es esta: «¿Cómo te sentirías si ya no pudieras usar el producto?». Hay tres respuestas posibles. Muy decepcionado, algo decepcionado, nada decepcionado.
Ellis planteó la pregunta a los usuarios de casi cien startups y buscó un patrón. Lo encontró. Según el relato de Rahul Vohra, fundador de la empresa de correo Superhuman, «el número mágico era el 40 %». Las empresas a las que les costaba crecer casi siempre tenían menos de un 40 % de usuarios que elegían «muy decepcionado». Las que tenían tracción casi siempre tenían más.
La historia del propio Vohra es la razón de que el test sea famoso. En el verano de 2017, Superhuman hizo la pregunta a sus usuarios, y el 22 % dijo que se sentiría muy decepcionado. Tres trimestres después la cifra era del 58 %. Un resultado célebre anterior es el de Slack. En 2015, el emprendedor Hiten Shah encuestó a 731 usuarios de Slack, y el 51 % dijo que se sentiría muy decepcionado si lo perdiera.
Así que hay una pregunta, un umbral y unas cuantas historias de éxito. Lo que no hay, si se mira de cerca, es mucho debajo. Ellis ha descrito el umbral como «un poco arbitrario», una línea que trazó tras comparar ese centenar de empresas. Es una observación sobre startups que ya habían crecido o habían fracasado en el intento. No hemos encontrado ninguna prueba publicada de que la puntuación prediga lo que ocurre después.
A quién se preguntó
Lo primero que tuerce la cifra es la lista de invitados.
Volvamos a Superhuman. Su puntuación no subió del 22 % al 58 % solo por el trabajo de producto. El primer salto vino de decidir a quién contar. El equipo de Vohra miró quiénes eran los usuarios muy decepcionados, sobre todo fundadores, mánagers, directivos y gente de desarrollo de negocio, y recalculó la puntuación solo para ese tipo de cliente. Subió al 33 %. El producto no había cambiado ni una línea de código. El denominador sí.
Es algo legítimo, y Vohra lo cuenta con franqueza. Pero muestra cuánto margen hay. La cifra de Slack es igual de blanda. Los 731 encuestados de Shah llegaron por su propio tuit, sus correos y mensajes, la lista de correo de un amigo y cualquiera que reenviara el enlace. La gente que responde a la encuesta de un desconocido sobre Slack no es una muestra representativa de la gente que usa Slack.
Cada versión de la encuesta lleva además un filtro más silencioso. La pregunta solo se puede hacer a quienes siguen ahí. Los que probaron el producto y se fueron, que son los que más tendrían que decir sobre el encaje, no están en la lista. Analizamos ese problema en el sesgo de supervivencia en el feedback de clientes.
Luego está la pura aritmética. Vohra sugiere que unas 40 respuestas bastan para ser útiles «como orientación», y Superhuman solo tenía entre 100 y 200 usuarios a los que preguntar. Con 40 respuestas, una puntuación del 40 % tiene un margen de error de unos 15 puntos arriba o abajo. La cifra real podría ser el 25 %, que es un fracaso, o el 55 %, que es un triunfo. Nuestra guía sobre el tamaño de muestra de una encuesta tiene las cuentas. A la escala a la que la mayoría de las startups hace esta encuesta, la nota de corte queda de lleno dentro del ruido.
¿Te sentirías decepcionado?
La segunda dificultad es la pregunta misma. No pregunta qué hizo la gente. Le pide que imagine una pérdida y pronostique lo que sentirá.
A las personas no se nos da bien. Los psicólogos que estudian estos pronósticos tienen un nombre para el error característico, el sesgo de impacto: sobrestimamos la intensidad y la duración de lo que los acontecimientos futuros nos harán sentir. La pérdida parece enorme cuando la imaginamos. Luego ocurre, y nos adaptamos bastante más rápido de lo que esperábamos.
El autor y emprendedor Justin Jackson ha descrito la experiencia desde el lado del cliente. Estaba seguro de que se enfadaría cuando Microsoft cerrara Sunrise, la aplicación de calendario que usaba. Entonces cerró, se pasó a otro calendario, y «cualquier sentimiento de decepción desapareció bastante rápido». Habría marcado «muy decepcionado» en la encuesta de cualquiera.
Es pariente de la brecha entre lo que se dice y lo que se hace. Un cliente que dice que se sentiría muy decepcionado te cuenta algo cierto sobre lo que siente hoy por el producto. No es una promesa de quedarse, y menos aún una promesa de pagar.
Para qué sirve la encuesta
Nada de esto convierte la encuesta en un correo desperdiciado. Significa que la puntuación se ha llevado la atención que le correspondía al resto.
Superhuman hacía cuatro preguntas, no una. Tras la famosa venían otras tres: ¿qué tipo de personas crees que sacaría más provecho del producto? ¿Cuál es el principal beneficio que obtienes? ¿Y cómo podemos mejorarlo para ti? Y el equipo no leyó las respuestas todas juntas. Las ordenó según la primera pregunta.
El grupo de «nada decepcionado» se dejó de lado por completo. A esas personas no se las iba a ganar, y construir para ellas habría alejado el producto de quienes lo adoraban. El grupo de «muy decepcionado» le dijo al equipo para qué servía el producto: en su caso, la velocidad. El grupo interesante estaba en el medio. Entre los «algo decepcionados», el equipo se quedó solo con quienes también citaban la velocidad como principal beneficio, y fueron sus peticiones las que pasaron a la hoja de ruta. Querían lo mismo que los entusiastas y algo los frenaba.
Vista así, la encuesta es una herramienta para clasificar. Te dice a qué feedback dar peso y cuál dejar pasar, que es la pregunta más difícil al priorizar peticiones de funcionalidades y que una pila de comentarios sin ordenar no puede responder.
Unos cuantos hábitos la hacen más honesta. Envíala solo a quienes hayan usado hace poco lo esencial del producto, porque nadie se decepciona por perder lo que nunca abre. Indica el número de respuestas junto a la puntuación, y el rango en el que podría estar. Mantén el público y la redacción iguales de una ronda a otra, para que una subida signifique algo. Y pon el resultado al lado de lo que la gente hace. Si el 45 % dice que se sentiría muy decepcionado y la mitad no ha iniciado sesión en un mes, fíate de los inicios de sesión.
Sobre todo, pregunta por qué. «Muy decepcionado» son dos palabras. El cliente que las eligió normalmente puede decirte a qué tendría que volver, y esa respuesta, la hoja de cálculo o el rival o las dos horas de cada viernes, es la verdadera descripción de tu mercado.
Andreessen probablemente tenía razón en que el product-market fit se nota cuando está ocurriendo. La encuesta no puede darte esa sensación, y un fundador que necesita a cuarenta clientes para saber si lo tiene quizá ya sospecha la respuesta. Pero esa sensación, cuando llega, no te dirá a quién se la debes ni qué quieren esas personas después. Para eso todavía hay que preguntar.
Cómo te ayuda Diaform
Diaform hace la pregunta de product-market fit en un chat breve y después pregunta por qué. El entrevistador de IA repregunta ante respuestas vagas hasta donde tú lo permitas, de modo que «muy decepcionado» llega acompañado de lo que el cliente haría sin ti. Cada conversación recibe un resumen con citas literales, y los informes de IA agrupan los motivos por tema. No decidirá si tienes product-market fit, y una muestra pequeña sigue siendo una muestra pequeña. Hay una prueba gratis de 14 días.
