En 1929 un sociólogo llamado Stuart Rice publicó un breve artículo sobre unos viejos expedientes. Años antes, doce investigadores habían entrevistado a una larga serie de hombres indigentes que solicitaban alojamiento para una noche, y habían anotado de cada uno la causa de su desgracia. Los solicitantes se habían repartido entre los investigadores más o menos según iban llegando, de modo que cada investigador debería haber encontrado la misma mezcla de hombres, con la misma mezcla de problemas.
Los expedientes contaban otra cosa. Las causas de la indigencia parecían depender de quién había sostenido la pluma. En la versión que ha llegado por los manuales, un investigador era un prohibicionista convencido, y a sus hombres los había arruinado sobre todo la bebida. Otro era socialista, y a los suyos los habían arruinado las condiciones de la industria. Más inquietante aún, los relatos que los hombres hacían de sí mismos se inclinaban del mismo lado. El resumen de Rice fue que la investigación revelaba una transferencia del sesgo individual de los investigadores a los solicitantes, y una distorsión equivalente en las respuestas. Lo llamó sesgo contagioso.
Nadie había falsificado nada. Dos hombres honrados habían hecho preguntas honradas a personas en el mismo apuro y habían escrito lo que oyeron. Cada uno había encontrado lo que esperaba encontrar, y de algún modo había convencido a sus entrevistados de que lo encontraran también.
Las entrevistas con clientes las hacen, por lo general, personas con opiniones más firmes sobre el producto que las que los investigadores de Rice tenían sobre la bebida.
Cuánto añade un entrevistador
Los investigadores de encuestas han pasado el siglo transcurrido desde entonces midiendo el efecto, y tienen una cifra. Toma toda la variación en las respuestas a una pregunta y pregúntate qué parte se explica por qué entrevistador fue el que preguntó. En encuestas cara a cara, esa parte va de cerca de medio punto porcentual a cerca de diez.
Eso tranquiliza hasta que se multiplica. El daño depende de cuántas entrevistas haga cada entrevistador, porque todos los entrevistados por la misma persona comparten su inclinación. Si el entrevistador explica el 5 % de la variación y cada uno hace veinte entrevistas, la muestra vale más o menos la mitad de su tamaño nominal. Doscientas entrevistas llevan la información de unas cien. Cuanto más trabajo hace cada entrevistador, menos vale cada entrevista adicional.
El efecto no se reparte por igual. Una síntesis de la investigación lo halló concentrado donde cabría esperar. Es mayor en las opiniones que en los hechos y mayor en los asuntos delicados que en los neutros. Es mayor que en ningún otro sitio allí donde el entrevistador tiene margen para ayudar: para explicar, para reformular, para decidir cuándo una respuesta está completa y cuándo insistir.
Esa última categoría describe bastante bien una entrevista con un cliente. Un entrevistador de encuestas lee una pregunta fija y marca una casilla. Una jefa de producto que habla con un cliente reformula la pregunta sobre la marcha, elige qué comentario seguir y cuál dejar pasar, y decide qué entra en las notas. Cada una de esas decisiones es una rendija.
Tres entradas
El sesgo entra por tres puntos.
El primero es la mera presencia del entrevistador. La gente ajusta lo que dice a quien la escucha. En un estudio con estadounidenses negros realizado en 1968, las respuestas sobre la protesta y sobre la hostilidad hacia los blancos diferían según el entrevistador fuera negro o blanco, mientras que lo que contaban sobre sus condiciones de vida y sobre la discriminación sufrida apenas se movía. Los hechos se mantenían firmes, y las opiniones se desplazaban con el oyente. También se ha medido una versión comercial. En un estudio en la India, las personas a las que se pidió elegir entre dos versiones idénticas de una tecnología tenían unas dos veces y media más probabilidades de preferir la que creían que había construido el entrevistador. Una fundadora que pregunta a un cliente por el producto está en la posición de aquel entrevistador.
El segundo es el modo de preguntar. No hay dos entrevistadores que hagan una pregunta igual, y las diferencias no son aleatorias. El que cree que el problema es el onboarding pregunta por el onboarding con interés y por los precios por obligación. Una respuesta vacilante que encaja con la teoría recibe un «cuéntame más». Una que no encaja recibe un «vale, sigamos». Nada de esto se parece a una pregunta sesgada de manual. Se hace con la atención, y los clientes siguen la atención como hicieron los solicitantes de Rice.
El tercero es la escucha. Una hora de conversación se convierte en media página de notas, y alguien decide qué mitad. El comentario que confirma lo que el equipo sospechaba se apunta palabra por palabra. El que va en contra se resume, o se oye mal, o no parece digno de anotarse. Para cuando se informa de las entrevistas, la visión del entrevistador ha atravesado el material dos veces, al entrar y al salir.
Reducirlo
El efecto no puede eliminarse del todo. Una entrevista es un encuentro entre dos personas, y necesita a las dos. Pero la mayor parte puede suprimirse con unas pocas prácticas, ninguna de ellas novedosa.
Mantén a quien lo construyó fuera de la silla del entrevistador. La persona que diseñó la funcionalidad es la peor para preguntar por ella, por el bien del cliente tanto como por el suyo. Un colega de otro equipo obtiene respuestas más francas y las oye con más ecuanimidad.
Fija las palabras que importan. Decide de antemano las preguntas principales y hazlas tal como están escritas, en el mismo orden, a todo el mundo. Guarda la improvisación para las preguntas de seguimiento, y que sean sencillas: qué pasó después, puedes darme un ejemplo, qué hiciste entonces. Una pregunta de seguimiento nunca debería contener una suposición sobre la respuesta. Nuestra guía de preguntas de seguimiento tiene un repertorio de neutras.
Grábalo todo y trabaja a partir de la grabación. Las notas son el relato que el entrevistador hace de la entrevista. Una transcripción es el del cliente. Cuando se citen conclusiones, cita al cliente.
Y usa más de un entrevistador, a propósito. Si dos personas entrevistan a clientes comparables y vuelven con conclusiones distintas, has aprendido sobre los entrevistadores algo que uno solo nunca te habría mostrado. El descubrimiento de Rice fue posible solo porque eran doce.
El entrevistador que no varía
El remedio que queda es mantener constante al entrevistador, y eso se ha vuelto posible hace poco.
Un entrevistador automatizado hace las mismas preguntas a cada cliente de la misma manera. No tiene una teoría sobre el onboarding, no construyó la funcionalidad y no se le ilumina la cara ante la respuesta que esperaba. La variación entre entrevistadores, la parte del efecto que mide la cifra de los investigadores, desaparece, porque solo hay uno. Y a la gente parece resultarle más fácil hablar con él. En un gran estudio de entrevistas dirigidas por IA, el 43 % de los participantes dijo que volvería a elegir a la IA y el 19 % a un humano.
Sería excesivo dar el asunto por zanjado. Un único entrevistador aplicado a todo el mundo es constante, que no es lo mismo que neutral. Si sus preguntas de seguimiento se inclinan, se inclinan igual en todas las conversaciones, y no existe un segundo entrevistador que lo ponga en evidencia. Su manera también cuenta: en un experimento, los agentes de chat con mejores habilidades conversacionales obtuvieron respuestas más corteses, de las que guardan las apariencias, que otros más sobrios. El sesgo ha pasado de la persona al diseño, donde al menos se puede inspeccionar, probar y cambiar. Sopesamos la evidencia en si la gente dice la verdad a los entrevistadores de IA.
Así que lee las transcripciones, haya preguntado quien haya preguntado. Comprueba que las preguntas de seguimiento fueron preguntas y no sugerencias. Busca al cliente que dijo algo que nadie esperaba, y mira qué se hizo con ello.
Los investigadores de Rice nunca supieron lo que habían hecho. Cada uno habría podido jurar que sus registros eran exactos. El sesgo solo fue visible cuando los doce juegos de expedientes se pusieron uno al lado del otro. Un entrevistador solitario no tiene nada con lo que compararse, y la mayor parte de la investigación con clientes la hace uno solo.
Cómo te ayuda Diaform
Diaform le da a cada cliente el mismo entrevistador. La IA hace tus preguntas tal como las escribiste, de una en una, y repregunta ante las respuestas vagas hasta la profundidad que fijes, de modo que la redacción no se desvía de una conversación a otra. Cada conversación conserva su transcripción completa y citas literales, para que puedas leer lo que se preguntó además de lo que se respondió. Sus preguntas de seguimiento las genera la IA, y merece la pena revisarlas como las de cualquiera. Hay una prueba gratis de 14 días.
