Einer Gruppe von Studierenden wurden einmal zwei Fragen gestellt. Wie glücklich bist du mit deinem Leben insgesamt? Und wie viele Dates hattest du im letzten Monat?
In dieser Reihenfolge hatten die Antworten fast nichts miteinander zu tun. Wer viel ausging, war im Großen und Ganzen nicht glücklicher als wer zu Hause blieb. Dann gaben die Forscher einer anderen Gruppe dieselben beiden Fragen andersherum. Erst die Dates, dann das Glück. Jetzt hingen die beiden Antworten eng zusammen, mit einer Korrelation von 0,66, und wer die Ergebnisse las, hätte geschlossen, dass die Zufriedenheit von Studierenden vor allem an der Liebe hängt.
Am Leben der Studierenden unterschied sich zwischen den Gruppen nichts. Es unterschied sich, woran sie ein paar Sekunden zuvor gedacht hatten. Gebeten, ihr Dasein zusammenzufassen, griff die zweite Gruppe zum nächstliegenden Beleg, und den hatte der Fragebogen gerade geliefert.
Umfrageforscher nennen das einen Reihenfolgeeffekt. Er bedeutet, dass eine Frage nie allein gestellt wird. Sie wird nach der davor gestellt und erbt deren Gemütslage.
Zehn Punkte für einen Präsidenten
Der Effekt beschränkt sich nicht auf Studierende und ihr Liebesleben. Pew Research hat es sich zur Gewohnheit gemacht, kleine Experimente in seine Umfragen einzubauen, also der einen Hälfte der Stichprobe die Fragen in einer Reihenfolge zu schicken und der anderen in einer anderen, und es veröffentlicht, was passiert.
Im Dezember 2008 fragte Pew Amerikaner, ob sie mit der Lage im Land zufrieden oder unzufrieden seien. Ohne Vorlauf gefragt, sagten 78 % unzufrieden. Unmittelbar nach einer Frage zur Amtsführung von George W. Bush gefragt, waren es 88 %. Die Zustimmungsfrage hatte die Stimmung der Nation um zehn Punkte verschoben. Bushs eigene Werte bewegten sich übrigens nicht, egal welche Frage zuerst kam.
Manchmal drückt eine frühere Frage die spätere Antwort von sich weg. 2003 fragte Pew, ob schwule und lesbische Paare rechtliche Vereinbarungen mit den Rechten der Ehe eingehen dürfen sollten. Siebenunddreißig Prozent waren dafür. Unter denen, die zuerst nach der Ehe selbst gefragt worden waren, waren es 45 %. Nachdem sie zum größeren Schritt Stellung nehmen konnten, waren manche Befragte eher bereit, den kleineren zu akzeptieren.
Und manchmal zieht sie die spätere Antwort zu sich heran. Im November 2008 wurde gefragt, ob die republikanische Führung mit dem neuen Präsidenten zusammenarbeiten oder sich ihm entgegenstellen solle. Sechsundsechzig Prozent sagten: zusammenarbeiten. Kam die Frage nach einer, ob die demokratische Führung mit den Republikanern zusammenarbeiten solle, waren es 81 %. Die Leute hatten gerade Zusammenarbeit in die eine Richtung befürwortet und mochten sie in die andere nicht verweigern.
Der älteste Nachweis ist von derselben Art, nur größer. 1948 wurden Amerikaner gefragt, ob kommunistische Reporter in die Vereinigten Staaten gelassen werden sollten und ob amerikanische Reporter in kommunistische Länder gelassen werden sollten. Welche Frage zuerst kam, veränderte die Antwort zu den kommunistischen Reportern um 37 Punkte.
Warum das passiert
Keiner dieser Befragten war nachlässig. Sie behandelten den Fragebogen so, wie Menschen jedes Gespräch behandeln: Was eben gesagt wurde, wirkt auf das, was als Nächstes gesagt wird.
Zwei Gewohnheiten erklären das meiste. Die erste: Menschen antworten aus dem, was ihnen gerade im Kopf ist. Kaum jemand trägt eine feste Zahl für die eigene Zufriedenheit mit dem Land oder mit einer Software mit sich herum. Wir setzen sie bei Bedarf zusammen, aus dem, was am nächsten liegt, und die vorige Frage liegt immer nah.
Die zweite ist eine Frage der Höflichkeit. Im Gespräch wiederholt man sich nicht. Wer erst nach seiner Ehe und dann nach seinem Leben insgesamt gefragt wird, versteht die zweite Frage womöglich als „abgesehen von deiner Ehe“ und klammert die Ehe aus. Eine spezielle Frage kann die folgende allgemeine Antwort also aufblähen oder schrumpfen lassen, je nachdem, wie der Befragte das Fragenpaar liest. Pews Zusammenfassung der Forschung lautet, dass Menschen dazu neigen, Wiederholung zu vermeiden, indem sie die speziellere Frage aus der allgemeinen Bewertung herausnehmen.
Es gibt eine Variante für offene Fragen, und sie zählt für alle am meisten, die Feedback sammeln. Kommen geschlossene Fragen zu einem Thema zuerst, berichtet Pew, nennen Befragte bei der offenen Frage „deutlich häufiger Begriffe oder Überlegungen, die in diesen früheren Fragen aufkamen“. Bitte Leute, dein Reporting, deine Integrationen und deinen Support zu bewerten, und lade sie dann ein, in eigenen Worten zu sagen, was du verbessern sollst, und sie erzählen dir von Reporting, Integrationen und Support. Du hast ihre Antwort für sie geschrieben.
Wo er sich in einer Kundenumfrage versteckt
Die Experimente handeln von Politik, und niemand hat Vergleichbares mit Produktumfragen gemacht. Was folgt, ist also eine Schlussfolgerung. Aber der Mechanismus hängt nicht vom Thema ab, und die Stellen, an denen er greifen würde, sind leicht zu finden.
Der Gesamtwert ist die offensichtliche. Eine Zufriedenheits- oder Empfehlungsfrage nach einem Abschnitt über Bugs, Ausfälle oder ein aktuelles Support-Ticket richtet sich an jemanden, der gerade durch deine Schwächen geführt wurde. Nach einer Liste von Funktionen, die er mag, richtet sie sich an jemanden in besserer Laune. Keines von beiden ist die unbeeinflusste Sicht des Kunden.
Die Tracking-Umfrage ist die teure. Ein Team ergänzt zwei Fragen zu einer neuen Funktion, setzt sie weit nach vorn, und drei Monate später hat sich der Zufriedenheitswert bewegt. Etwas hat sich geändert, und vielleicht war es der Fragebogen. Pews Rat dazu ist unverblümt: Wenn du eine Zahl über die Zeit verfolgst, achte darauf, dass der Kontext jedes Mal derselbe ist.
Der Preis ist eine dritte. Frag, was jemand zahlen würde, nachdem er alles aufgezählt hat, was das Produkt für ihn tut, und du hast den Wert vorgeprägt. Frag nach einem Abschnitt über Ärgernisse, und du hast das Gegenteil vorgeprägt. Wie bereitwillig ein Preis der zuletzt gesehenen Zahl folgt, beschreiben wir in Preisumfragen.
Fragen in eine Reihenfolge bringen
Die Gegenmittel folgen aus dem Mechanismus, und keines ist aufwendig.
Stell die allgemeine Frage vor den speziellen. Die Gesamtbewertung kommt zuerst, solange die Sicht des Kunden noch seine eigene ist, und die Fragen zu Lieferung, Preis und Support danach. Stell offene Fragen vor geschlossenen zum selben Thema, damit das, was Leute von sich aus nennen, das ist, was sie beschäftigt hat, und nicht das, was auf deiner Liste stand.
Halte die Reihenfolge in allem, was du wiederholst, konstant. Was in diesem Quartal vor deiner Kernfrage steht, sollte auch im nächsten davorstehen. Wenn eine neue Frage nötig ist, setz sie dahinter.
Wo du eine Liste zeigst, von Funktionen zum Bewerten oder Gründen zur Auswahl, misch sie für jeden Befragten neu. Die ersten Einträge einer Liste bekommen mehr Aufmerksamkeit als die letzten, und das Mischen verteilt den Vorteil. Heb dir die Angaben zur Person, Unternehmensgröße, Rolle und so weiter, bis zum Schluss auf, es sei denn, du brauchst sie, um zu entscheiden, wer welche Fragen sieht. Pew meint, ein Fragebogen solle wie ein Gespräch nach Themen gruppiert sein und sich in einer logischen Reihenfolge entfalten, beginnend mit etwas, das der Befragte interessant findet.
Und halte ihn kurz, denn ein Effekt, der eine frühere Frage braucht, hat weniger Material, wenn es wenige davon gibt. Auch der Wortlaut jeder einzelnen Frage zählt, ein Thema für Suggestivfragen.
Die Reihenfolge lässt sich nicht abschaffen. Irgendetwas muss zuerst kommen. Die Studierenden im Experiment hätten ohnehin an irgendetwas gedacht, bevor sie ihr Leben bewerteten, und die Forscher konnten nur wählen, ob sie es liefern. Dasselbe gilt für jede Umfrage, die du verschickst: Wenn ein Kunde bei deiner wichtigsten Frage ankommt, hast du ihm schon gesagt, woran er denken soll.
So hilft dir Diaform
Diaform stellt deine Fragen eine nach der anderen in einem Chat, in der Reihenfolge, die du festlegst. Du entscheidest also, was der Kunde im Kopf hat, wenn die wichtige Frage kommt. Du kannst mit der Gesamtfrage beginnen und den KI-Interviewer bei der Antwort nachhaken lassen, bevor Einzelheiten zur Sprache kommen. Auch ein Gespräch hat eine Reihenfolge wie jeder Fragebogen, und Rückfragen bringen eigenen Kontext mit, die Vorbehalte von oben gelten also weiter. Es gibt einen 14-tägigen kostenlosen Test.
