En el otoño de 1936, una revista estadounidense, el Literary Digest, se propuso predecir las elecciones presidenciales por el sencillo método de preguntar a todo el mundo. Envió por correo unos diez millones de papeletas. Volvieron cerca de 2,4 millones, el mayor sondeo que se había hecho nunca, y apuntaban a una cómoda victoria del republicano Alf Landon.
Franklin Roosevelt ganó en 46 de los 48 estados. Un joven encuestador llamado George Gallup, con una muestra que suele cifrarse en unas 50.000 personas, lo había acertado. El Digest cerró en menos de dos años.
El episodio se recuerda como el nacimiento de la demoscopia moderna, y su lección sigue sin estar muy asimilada. Todo el que envía una encuesta acaba preguntando, tarde o temprano, cuántas respuestas son suficientes. Es una buena pregunta con una respuesta precisa. También es la segunda pregunta, y el Literary Digest es lo que les pasa a quienes nunca hacen la primera.
Qué compra una respuesta
Empecemos por la parte precisa. Una encuesta pregunta a algunos de tus clientes para saber algo de todos, y otro puñado habría respondido de forma un poco distinta. El margen de error dice cuánto.
Supón que la mitad de tus encuestados dice estar satisfecha. Con 100 respuestas, la fórmula da 0,098, es decir, unos diez puntos. La cifra real está en algún punto entre el 40 % y el 60 %.
| Respuestas | Margen de error, arriba o abajo |
|---|---|
| 50 | unos 14 puntos |
| 100 | unos 10 puntos |
| 400 | unos 5 puntos |
| 1.000 | unos 3 puntos |
| 2.400 | unos 2 puntos |
La tabla tiene una forma en la que conviene fijarse. Pasar de diez puntos a cinco cuesta 300 respuestas más. Pasar de cinco a dos y medio cuesta otras 1.200. Como el tamaño de la muestra está dentro de una raíz cuadrada, la precisión se compra a un precio que sube muy deprisa: para reducir el error a la mitad hay que cuadruplicar la muestra. Por eso los sondeos nacionales se quedan en torno a mil personas. El siguiente millar no compraría casi nada.
Esto también le da la vuelta a la pregunta. La útil no es «¿cuántas necesito?», sino «¿cuánta exactitud necesito?». Si la decisión sería la misma con un 55 % que con un 65 %, cien respuestas bastan de sobra. Si esperas demostrar que la satisfacción subió del 70 % al 74 %, le estás pidiendo a cada encuesta un margen de unos dos puntos, y necesitarás miles. Las puntuaciones que se construyen con dos porcentajes, como el NPS, necesitan aún más, como mostramos en ¿predice el NPS el crecimiento?.
Cuando tienes pocos clientes
Las tablas habituales dan por hecho que extraes la muestra de una población enorme, un país de votantes. Una empresa con 500 clientes está en mejor posición. Una vez que has escuchado a una parte grande de la gente que te interesa, queda menos incertidumbre, y el requisito baja.
Para cinco puntos de margen, una población muy grande necesita unas 384 respuestas. Una base de 2.000 clientes necesita unas 322. Con 1.000 clientes son 278, y con 500 son 217. El porcentaje sube a medida que la base se encoge, claro. Doscientas diecisiete de 500 es una tasa de respuesta que pocas encuestas alcanzan, y es una de las razones por las que a una empresa B2B pequeña suelen servirle más las entrevistas que un cuestionario. Cuarenta respuestas de 300 cuentas no te darán un porcentaje que merezca imprimirse. Cuarenta conversaciones te dirán muchísimo.
El grupo más pequeño que te importa
El error más común con el tamaño de muestra es planificar para el titular y luego informar del desglose.
Pew Research, que publica sus cuentas, ofrece un ejemplo. En su encuesta de referencia de 2026 a 5.511 adultos estadounidenses, el margen para toda la muestra fue de 1,8 puntos. Para los 880 adultos hispanos fue de 4,7. Para los 229 hombres de 18 a 29 años fue de 8,0. Es la misma encuesta, hecha con el mismo cuidado, y la última cifra es más de cuatro veces más imprecisa que la primera. La norma del propio Pew es que un grupo con menos de 100 entrevistas directamente no se publica.
Tu encuesta tiene la misma estructura. Cuatrocientas respuestas parecen muchas, hasta que se dividen en grandes cuentas y autoservicio, luego en nuevos y veteranos, y el gráfico que importa resulta apoyarse en 31 personas. Cada grupo que piensas comparar es una encuesta en sí misma y necesita su propia muestra. Decide antes de enviar qué comparaciones harás, busca el grupo más pequeño entre ellas y planifica para ese.
Lo que ningún tamaño de muestra puede comprar
Ahora la primera pregunta, la que el Literary Digest se saltó. Todo lo anterior da por hecho que quienes respondieron son una muestra fiel de aquellos de los que quieres saber algo. La fórmula no tiene ningún término para lo que ocurre cuando no lo son.
Las papeletas del Digest se enviaron a nombres sacados de listas de propietarios de coches, abonados al teléfono y socios de clubes, en plena Gran Depresión. Y de ellos respondió menos de uno de cada cuatro. Un análisis posterior concluyó que tanto la lista como las respuestas estaban sesgadas, y dos sesgos juntos produjeron una victoria aplastante del candidato equivocado. Dos millones de papeletas adicionales no corrigieron nada. Solo hicieron que la respuesta equivocada pareciera inatacable.
Si eso parece un riesgo de los años treinta, piensa en 2021. Una encuesta estadounidense hecha a través de Facebook recogía unas 250.000 respuestas a la semana, y sobrestimó en 17 puntos porcentuales la proporción de adultos vacunados. Un panel de unas mil personas, reclutado con cuidado, se acercó mucho. Los estadísticos que examinaron la encuesta grande calcularon que, una vez descontado su sesgo, un cuarto de millón de respuestas aportaba más o menos tanta información como una muestra aleatoria de diez.
La razón es bastante simple. El margen de error mide la suerte del sorteo, y la suerte se compensa a medida que la muestra crece. Una inclinación en quién responde no se compensa. Se repite en cada respuesta adicional, de modo que una muestra mayor solo describe con más exactitud a la misma gente equivocada.
En una encuesta a clientes, esa inclinación rara vez es un misterio. Responden quienes abren tus correos, y esos suelen ser quienes usan el producto. Cómo ver quién falta, con los datos de clientes que ya tienes, es el tema del sesgo de no respuesta.
Así que trabaja en el orden correcto. Pregunta primero a quién se invitará y quién es probable que responda, y compara ambos grupos cuando lleguen las respuestas. Después pregunta cuánta precisión necesitas, para el grupo más pequeño del que piensas informar, y deja que eso fije el número. Indica el margen junto a cada cifra. Y donde los números no se puedan conseguir, dilo y ve a hablar con la gente, una tarea que tiene su propia aritmética.
Gallup no venció al Literary Digest por ser ingenioso con un número pequeño. Lo venció porque le importó quién estaba en la muestra, algo que el Digest, con diez millones de papeletas por enviar, no había considerado necesario.
Cómo te ayuda Diaform
Diaform no cambia la aritmética: un margen de error depende de cuánta gente responde, sea cual sea la herramienta. Ayuda con lo que el tamaño no puede arreglar. En los planes Pro y superiores, los enlaces de invitación personales vinculan cada conversación a un cliente, así que puedes ver qué segmentos respondieron y cuáles no, y la exportación a CSV te permite poner a los encuestados junto a la lista de invitados. Cuando los números son pequeños, las preguntas de seguimiento del entrevistador de IA hacen que cuarenta conversaciones merezcan leerse una a una. Hay una prueba gratis de 14 días.
