A un grupo de estudiantes le hicieron una vez dos preguntas. ¿Cómo de feliz estás con tu vida en general? ¿Y cuántas citas tuviste el mes pasado?
En ese orden, las respuestas no tenían casi nada que ver entre sí. Los estudiantes que salían mucho no eran, en conjunto, más felices que los que se quedaban en casa. Después los investigadores le hicieron a otro grupo las mismas dos preguntas al revés. Primero las citas, luego la felicidad. Ahora las dos respuestas se movían juntas con fuerza, con una correlación de 0,66, y cualquiera que leyera los resultados habría concluido que la satisfacción de un estudiante dependía sobre todo del amor.
Nada en la vida de los estudiantes diferenciaba a los dos grupos. Lo que cambiaba era en qué habían estado pensando unos segundos antes. Cuando les pidieron resumir su existencia, los del segundo grupo consultaron la prueba más cercana, que el cuestionario acababa de darles.
Quienes investigan encuestas lo llaman efecto de orden. Significa que una pregunta nunca se hace sola. Se hace después de la anterior, y hereda su estado de ánimo.
Diez puntos por un presidente
El efecto no se limita a los estudiantes y su vida amorosa. Pew Research tiene la costumbre de incluir pequeños experimentos en sus sondeos, enviando a media muestra las preguntas en un orden y a la otra media en otro, y publica lo que ocurre.
En diciembre de 2008, Pew preguntó a los estadounidenses si estaban satisfechos o insatisfechos con la marcha del país. Preguntados en frío, el 78 % dijo insatisfecho. Preguntados justo después de una pregunta sobre cómo desempeñaba su cargo George W. Bush, lo dijo el 88 %. La pregunta de aprobación había movido diez puntos el ánimo de la nación. Las valoraciones del propio Bush, por cierto, no cambiaban fuera cual fuera la pregunta que iba primero.
A veces una pregunta anterior aleja de sí la respuesta posterior. En 2003, Pew preguntó por permitir a las parejas de gais y lesbianas firmar acuerdos legales con los derechos del matrimonio. Un 37 % estaba a favor. Entre quienes habían sido preguntados primero por el matrimonio en sí, lo estaba el 45 %. Tras haber podido opinar sobre el paso mayor, algunos encuestados se mostraban más dispuestos a aceptar el menor.
Y a veces la atrae hacia sí. En noviembre de 2008 se preguntó si los líderes republicanos debían trabajar con el nuevo presidente o plantarle cara. Un 66 % dijo que trabajar con él. Cuando la pregunta iba después de otra sobre si los líderes demócratas debían trabajar con los republicanos, la cifra fue del 81 %. La gente acababa de respaldar la cooperación en un sentido y no quería negarla en el otro.
La demostración más antigua es del mismo tipo y mayor. En 1948 se preguntó a los estadounidenses si debía dejarse entrar en Estados Unidos a reporteros comunistas, y si debía dejarse entrar en países comunistas a reporteros estadounidenses. Qué pregunta iba primero cambió 37 puntos la respuesta sobre los reporteros comunistas.
Por qué ocurre
Ninguno de esos encuestados era descuidado. Trataban el cuestionario como la gente trata cualquier conversación, en la que lo que se acaba de decir influye en lo que se dice a continuación.
Dos hábitos hacen la mayor parte del trabajo. El primero es que la gente responde con lo que tiene en mente. Pocos llevamos una cifra fija de nuestra satisfacción con el país, o con un programa informático. La montamos sobre la marcha, con lo que tengamos más cerca, y la pregunta anterior siempre está cerca.
El segundo es cuestión de modales. En una conversación uno no se repite. Alguien a quien se le pregunta primero por su matrimonio y después por su vida en general puede entender que la segunda pregunta significa «aparte de tu matrimonio», y dejarlo fuera. Así, una pregunta específica puede inflar la respuesta general que la sigue o encogerla, según cómo lea el encuestado la pareja. El resumen que hace Pew de la investigación es que la gente tiende a evitar la redundancia excluyendo la pregunta más específica de la valoración general.
Hay una versión para las preguntas abiertas, y es la que más importa a quien recoge feedback. Si las preguntas cerradas sobre un tema van primero, informa Pew, los encuestados son «mucho más propensos a mencionar conceptos o consideraciones planteados en esas preguntas» cuando llega la abierta. Pide a la gente que valore tus informes, tus integraciones y tu soporte, invítala después a decir con sus palabras qué deberías mejorar, y te hablará de informes, integraciones y soporte. Has escrito su respuesta por ella.
Dónde se esconde en una encuesta a clientes
Los experimentos tratan de política, y nadie ha hecho algo equivalente con encuestas de producto, así que lo que sigue es una inferencia. Pero el mecanismo no depende del tema, y los lugares donde haría daño son fáciles de encontrar.
La puntuación global es el más obvio. Una pregunta de satisfacción o de recomendación colocada tras una sección sobre errores, caídas o un ticket de soporte reciente se le hace a alguien a quien acaban de pasear por tus fallos. Colocada tras una lista de funcionalidades que le gustan, se le hace a alguien de mejor humor. Ninguna de las dos es la opinión espontánea del cliente.
La encuesta de seguimiento es el caso caro. Un equipo añade dos preguntas sobre una funcionalidad nueva, las pone cerca del principio, y tres meses después la puntuación de satisfacción se ha movido. Algo cambió, y puede que fuera el cuestionario. El consejo de Pew al respecto es tajante: cuando sigues una cifra a lo largo del tiempo, cuida de que el contexto sea el mismo cada vez que se pregunta.
El precio es un tercer caso. Pregunta cuánto pagaría alguien después de pedirle que enumere todo lo que el producto hace por él, y has activado el valor. Pregúntalo después de una sección sobre frustraciones, y has activado lo contrario. Describimos con qué facilidad un precio sigue al último número visto en encuestas de precios.
Poner las preguntas en orden
Los remedios se derivan del mecanismo, y ninguno es complicado.
Haz la pregunta general antes que las particulares. La valoración global va primero, mientras la opinión del cliente sigue siendo suya, y las preguntas sobre entrega, precio y soporte van después. Haz las preguntas abiertas antes que las cerradas sobre el mismo tema, para que lo que la gente ofrezca por su cuenta sea lo que tenía en la cabeza y no lo que había en tu lista.
Mantén fijo el orden en todo lo que repitas. Lo que precede a tu pregunta clave este trimestre debería precederla el siguiente. Si hace falta una pregunta nueva, ponla después.
Cuando presentes una lista, de funcionalidades que valorar o de motivos entre los que elegir, barájala para cada encuestado. Los primeros elementos de una lista reciben más atención que los últimos, y barajar reparte la ventaja. Deja los datos personales, tamaño de la empresa, cargo y demás, para el final, salvo que los necesites para decidir quién ve qué preguntas. La opinión de Pew es que un cuestionario, como una conversación, debe agruparse por temas y desarrollarse en un orden lógico, empezando por algo que al encuestado le resulte interesante.
Y que sea breve, porque un efecto que necesita una pregunta anterior tiene menos con qué trabajar cuando hay pocas. La redacción de cada pregunta también importa, un tema del que nos ocupamos en preguntas sesgadas.
El orden no se puede eliminar. Algo tiene que ir primero. Los estudiantes del experimento iban a pensar en algo antes de valorar su vida, y lo único que podían elegir los investigadores era si se lo daban ellos. Lo mismo pasa con cada encuesta que envías: cuando un cliente llega a tu pregunta más importante, ya le has dicho en qué pensar.
Cómo te ayuda Diaform
Diaform hace tus preguntas de una en una en un chat, en el orden que tú fijas, así que decides qué tiene el cliente en mente cuando llega la pregunta importante. Puedes abrir con la pregunta global y dejar que el entrevistador de IA repregunte sobre la respuesta antes de entrar en detalles. Una conversación tiene un orden como cualquier cuestionario, y las preguntas de seguimiento añaden su propio contexto, así que las cautelas anteriores siguen valiendo. Hay una prueba gratis de 14 días.
