1929 veröffentlichte ein Soziologe namens Stuart Rice einen kurzen Aufsatz über ein paar alte Fallakten. Jahre zuvor hatten zwölf Befrager eine lange Reihe mittelloser Männer befragt, die um ein Nachtlager baten, und bei jedem die Ursache seines Unglücks festgehalten. Die Antragsteller waren den Befragern mehr oder weniger in der Reihenfolge ihres Eintreffens zugeteilt worden, also hätte jeder Befrager dieselbe Mischung von Männern mit derselben Mischung von Nöten antreffen müssen.
Die Akten erzählten etwas anderes. Die Ursachen der Armut schienen davon abzuhängen, wer den Stift gehalten hatte. In der Fassung, die durch die Lehrbücher überliefert ist, war ein Befrager überzeugter Prohibitionist, und seine Männer waren überwiegend am Alkohol zugrunde gegangen. Ein anderer war Sozialist, und seine waren an den Verhältnissen in der Industrie zugrunde gegangen. Noch beunruhigender: Die Selbstauskünfte der Männer neigten sich in dieselbe Richtung. Rice fasste zusammen, die Untersuchung offenbare eine Übertragung der persönlichen Voreingenommenheit der Befrager auf die Antragsteller und eine entsprechende Verzerrung in den Antworten. Er nannte es ansteckende Voreingenommenheit.
Niemand hatte etwas gefälscht. Zwei ehrliche Männer hatten Menschen in derselben Notlage ehrliche Fragen gestellt und aufgeschrieben, was sie hörten. Jeder hatte gefunden, was er zu finden erwartete, und seine Befragten irgendwie dazu gebracht, es ebenfalls zu finden.
Kundeninterviews werden in der Regel von Leuten geführt, die eine festere Meinung über das Produkt haben, als Rices Befrager sie über den Alkohol hatten.
Wie viel ein Interviewer hinzufügt
Umfrageforscher haben das Jahrhundert seither damit verbracht, den Effekt zu messen, und sie haben eine Zahl dafür. Man nehme die gesamte Streuung in den Antworten auf eine Frage und frage, welcher Anteil dadurch erklärt wird, welcher Interviewer zufällig gefragt hat. In persönlichen Befragungen lag dieser Anteil zwischen etwa einem halben und etwa zehn Prozent.
Das wirkt beruhigend, bis man multipliziert. Der Schaden hängt davon ab, wie viele Interviews jeder Interviewer führt, denn alle, die von derselben Person befragt werden, teilen deren Schlagseite. Wenn der Interviewer 5 % der Streuung erklärt und jeder zwanzig Interviews führt, ist die Stichprobe etwa die Hälfte ihrer nominellen Größe wert. Zweihundert Interviews tragen die Information von ungefähr hundert. Je mehr Arbeit jeder Interviewer übernimmt, desto weniger ist jedes zusätzliche Interview wert.
Der Effekt verteilt sich nicht gleichmäßig. Eine Synthese der Forschung fand ihn dort gebündelt, wo man ihn erwarten würde. Er ist bei Meinungen größer als bei Fakten und bei heiklen Themen größer als bei neutralen. Am größten ist er dort, wo der Interviewer Spielraum zum Helfen hat: zu erklären, umzuformulieren, zu entscheiden, wann eine Antwort vollständig ist und wann er nachbohrt.
Diese letzte Kategorie beschreibt ein Kundeninterview recht genau. Ein Umfrageinterviewer liest eine feste Frage vor und kreuzt ein Kästchen an. Eine Produktmanagerin, die mit einem Kunden spricht, formuliert die Frage aus dem Stegreif um, wählt, welcher Bemerkung sie nachgeht und welche sie durchgehen lässt, und entscheidet, was in die Notizen kommt. Jede dieser Entscheidungen ist ein Einfallstor.
Drei Wege hinein
Die Verzerrung dringt an drei Stellen ein.
Die erste ist die bloße Anwesenheit des Interviewers. Menschen passen an, was sie sagen, je nachdem, wer zuhört. In einer 1968 durchgeführten Studie unter schwarzen Amerikanern unterschieden sich die Antworten zu Protest und zu Feindseligkeit gegenüber Weißen danach, ob der Interviewer schwarz oder weiß war, während Angaben zu Lebensbedingungen und zu erlebter Diskriminierung sich kaum bewegten. Die Fakten blieben stabil, die Meinungen verschoben sich mit dem Zuhörer. Auch eine kommerzielle Variante wurde gemessen. In einer Studie in Indien zogen Menschen, die zwischen zwei identischen Versionen einer Technologie wählen sollten, etwa zweieinhalbmal so häufig diejenige vor, von der sie glaubten, der Interviewer habe sie gebaut. Eine Gründerin, die einen Kunden nach dem Produkt fragt, ist in derselben Lage wie dieser Interviewer.
Die zweite ist das Fragen. Keine zwei Interviewer stellen eine Frage auf dieselbe Weise, und die Unterschiede sind nicht zufällig. Wer glaubt, das Onboarding sei das Problem, fragt nach dem Onboarding mit Interesse und nach dem Preis pflichtschuldig. Eine zögerliche Antwort, die zur Theorie passt, bekommt ein „Erzähl mehr dazu“. Eine, die nicht passt, bekommt ein „Gut, weiter“. Nichts davon ähnelt einer Suggestivfrage aus dem Lehrbuch. Es geschieht über Aufmerksamkeit, und Kunden folgen der Aufmerksamkeit, wie es Rices Antragsteller taten.
Die dritte ist das Hören. Aus einer Stunde Gespräch wird eine halbe Seite Notizen, und jemand entscheidet, welche Hälfte. Die Bemerkung, die bestätigt, was das Team vermutet hat, wird Wort für Wort notiert. Die Bemerkung, die quer dazu liegt, wird zusammengefasst oder falsch verstanden oder scheint das Aufschreiben nicht wert. Bis über die Interviews berichtet wird, ist die Sicht des Interviewers zweimal durch das Material gegangen, auf dem Weg hinein und auf dem Weg hinaus.
Wie man ihn verringert
Ganz beseitigen lässt sich der Effekt nicht. Ein Interview ist eine Begegnung zweier Menschen, und es braucht beide. Das meiste lässt sich aber mit ein paar Regeln ausmerzen, von denen keine neu ist.
Setz nicht die Person auf den Interviewerstuhl, die das Produkt gebaut hat. Wer die Funktion entworfen hat, ist die schlechteste Person, um danach zu fragen, dem Kunden zuliebe ebenso wie sich selbst zuliebe. Ein Kollege aus einem anderen Team bekommt offenere Antworten und hört unvoreingenommener zu.
Lege die Worte fest, auf die es ankommt. Bestimme die Hauptfragen im Voraus und stelle sie allen so, wie sie dastehen, in derselben Reihenfolge. Heb dir das Improvisieren für die Rückfragen auf und halte die schlicht: Was geschah dann, kannst du ein Beispiel geben, was hast du danach getan. Eine Rückfrage sollte nie eine Vermutung über die Antwort enthalten. Unser Leitfaden zu Rückfragen bietet eine Auswahl neutraler.
Zeichne alles auf und arbeite mit der Aufzeichnung. Notizen sind der Bericht des Interviewers über das Interview. Ein Transkript ist der des Kunden. Wenn Ergebnisse zitiert werden, zitiere den Kunden.
Und setze absichtlich mehr als einen Interviewer ein. Wenn zwei Leute vergleichbare Kunden befragen und mit unterschiedlichen Schlüssen zurückkommen, hast du etwas über die Interviewer gelernt, das dir ein einzelner nie hätte zeigen können. Rices Entdeckung war nur möglich, weil es zwölf waren.
Der Interviewer, der nicht variiert
Das verbleibende Mittel besteht darin, den Interviewer konstant zu halten, und das ist neuerdings möglich.
Ein automatisierter Interviewer stellt jedem Kunden dieselben Fragen auf dieselbe Weise. Er hat keine Theorie zum Onboarding, hat die Funktion nicht gebaut und strahlt nicht bei der Antwort, auf die er gehofft hat. Die Streuung zwischen Interviewern, also der Teil des Effekts, den die Zahl der Forscher misst, verschwindet, weil es nur einen gibt. Und offenbar fällt es Menschen leichter, mit ihm zu sprechen. In einer großen Studie zu KI-geführten Interviews sagten 43 % der Teilnehmer, sie würden wieder die KI wählen, und 19 % einen Menschen.
Das Ende der Geschichte ist das allerdings nicht. Ein einziger Interviewer, der alle befragt, ist konsistent, was nicht dasselbe ist wie neutral. Wenn seine Rückfragen eine Schlagseite haben, haben sie sie in jedem Gespräch gleichermaßen, und es gibt keinen zweiten Interviewer, der sie aufdeckt. Auch seine Art zählt: In einem Experiment entlockten Chat-Agenten mit besseren Gesprächsfähigkeiten höflichere, gesichtswahrende Antworten als schlichtere. Die Verzerrung ist von der Person ins Design gewandert, wo man sie wenigstens prüfen, testen und ändern kann. Die Belege wägen wir in Sagen Menschen KI-Interviewern die Wahrheit? ab.
Lies also die Transkripte, wer auch immer die Fragen gestellt hat. Prüfe, ob die Rückfragen Fragen waren und keine Vorschläge. Such nach dem Kunden, der etwas gesagt hat, womit niemand gerechnet hat, und sieh nach, was damit gemacht wurde.
Rices Befrager erfuhren nie, was sie getan hatten. Jeder von ihnen hätte die Richtigkeit seiner Aufzeichnungen beschwören können. Die Verzerrung wurde erst sichtbar, als alle zwölf Aktenstapel nebeneinanderlagen. Ein einzelner Interviewer hat nichts, neben das man ihn legen könnte, und die meiste Kundenforschung macht einer allein.
So hilft dir Diaform
Diaform gibt jedem Kunden denselben Interviewer. Die KI stellt deine Fragen so, wie du sie geschrieben hast, eine nach der anderen, und hakt bei vagen Antworten bis zu der Tiefe nach, die du festlegst, sodass der Wortlaut nicht von einem Gespräch zum nächsten driftet. Zu jedem Gespräch bleiben das vollständige Transkript und wörtliche Zitate erhalten, sodass du lesen kannst, was gefragt und was geantwortet wurde. Die Rückfragen sind generiert und eine Prüfung wert wie die von jedem anderen. Es gibt einen 14-tägigen kostenlosen Test.
