Fragebogen­konstruktion: Die häufigsten Fehler

Ein schlechter Scherz?

Sie sind Customer Relationship Manager, Psychologin, Sozialwissenschaftler, Geschäftsführerin oder ähnliches? Und haben die Intention, die Zufriedenheit von Kunden Ihres Unternehmens zu erfragen, den Bedarf an einem Ihrer Produkte zu ermitteln oder eine andersartige Studie durchzuführen? Was würden Sie in einer Befragung von folgender Frage halten?

Abbildung 1

Diese Frage (bzw. dieses Item) ist kein schlechter Scherz, sondern wurde tatsächlich in einer Konsumentenbefragung in dieser Form gestellt. Völlig absurd, möchte man meinen. Und dennoch haben sich die Fragebogengestalter bestimmt etwas dabei gedacht (Quelle: "Heart of the Customer")!

Kein schlechter Scherz!

Der o.g. Frage liegt die Absicht zugrunde, die Validität der erhobenen Daten zu testen, indem sie die Aufmerksamkeit und Ernsthaftigkeit des Respondenten überprüft. Wird die Antwort 4 gegeben, kann auf gute Datenqualität geschlossen werden. Die Frage ist, ob es nicht bessere Wege gibt, dieses Ziel zu erreichen… Die obige Frage hat den Effekt, dass sich Konsumenten nicht ernstgenommen fühlen (sie wurde veröffentlicht unter dem Titel: "Best Buy’s new customer satisfaction survey shows no respect for customers"). Sie ist nur ein Beispiel für die missglückte Qualitätssicherung von durch eine Umfrage erhobenen Daten.

Wie können Sie nun also die bestmögliche Datenqualität erhalten?

Der vorliegende Blogeintrag fasst die häufigsten Fehlerquellen bei der Fragebogengestaltung zusammen und gibt Handlungsempfehlungen, um diese zu vermeiden. Diese gelten (mehr oder weniger) unabhängig davon, ob Sie eine klassische Paper-and-Pencil-Befragung, ein Online-Survey oder eine telefonische Befragung durchführen (dazu später mehr). Die Erwartungen an Qualität, Repräsentativität und Aussagekraft sind zumindest ähnlich.

Was ist so schwierig an der Fragebogengestaltung?

Die Schwierigkeit der Fragebogenkonstruktion liegt in der zeitgleichen Betrachtung aller Schritte - von der Festlegung des Untersuchungsgegenstands bis zur Auswertung der erhobenen Daten. Zusätzlich gilt es, alle beteiligten Interessen zu berücksichtigen.

Grob lassen sich die folgenden drei Phasen festmachen:

1. Die Entwicklung der Fragestellung, meist vorangetrieben durch den Forscher, evtl. unter Berücksichtigung weiterer Stakeholder. Aus der Fragestellung ergeben sich die Wahl des Messinstruments und die Befragungsmethodik.
2. In der Feldphase liegt das Hauptaugenmerk auf den befragten Personen und deren "Befindlichkeiten".
3. In der Analysephase versucht der Forscher, die größtmögliche Menge an Informationen aus den gewonnenen Umfragedaten zu ziehen. Dabei kommt es hauptsächlich auf Vollständigkeit und Validität der Daten an.

So trivial das soweit klingen mag – bereits in der ersten Phase entstehen die gravierendsten Fehler. Der Forscher hat – anders als der spätere Respondent - einen tiefen Einblick ins Thema und besitzt somit eine ganz andere Perspektive. Gerade wenn es in größeren Projekten viele Beteiligte gibt, drängt jeder auf die Berücksichtigung "seiner" Fragen. Daraus resultiert ein viel zu langer Fragebogen. Es wird außer Acht gelassen, dass die Respondenten meist deutlich weniger Begeisterung für das Thema aufbringen und ihre Zeit für das Projekt opfern (daran ändern auch kleinere Incentives wie Gewinnspiele nichts). Eine kurze, einfache Befragung reduziert die Zahl der Abbrüche und führt so zu einer höheren Teilnehmerzahl und besserer Datenqualität. Ein solcher Fragebogen ist auch ein Ausdruck von Respekt vor dem Einsatz der Respondenten und wirkt motivierend. Bei der Gestaltung des Fragebogens sollte man sich zudem immer bereits an der späteren Analyse orientieren (Welche Hypothesen will ich mit welchen Methoden testen? Welches Messniveau benötige ich dafür?). In der Praxis fehlt dieser Fokus häufig in der frühen Phase des Projekts, was bei der späteren Auswertung zu vermeidbarem Aufwand und nicht selten zu der Erkenntnis führt, dass ganze Fragen oder Itembatterien für die Auswertung nicht genutzt werden können. Last but not least: Egal, wie viel Mühe in die Konstruktion des Fragebogens investiert wird und wie weit man versucht, sich in den Respondenten hineinzuversetzen – nichts kann (und sollte) einen Pre-Test ersetzen!

Was kann der Vollständigkeit und Validität von Daten im Wege stehen?

Unvollständige Daten resultieren aus einem Abbruch der Befragung durch den Respondenten oder das Nicht-Beantworten einzelner Fragen ("Item-Non-Response"). Die Validität kann aufgrund von willkürlichem Antwortverhalten und so genannten Antworttendenzen gefährdet sein.

Wodurch werden Abbruch, willkürliches Antwortverhalten und Antworttendenzen verursacht?

• Langeweile kann unter anderem durch exzessives Abfragen von demografischen Informationen, durch scheinbar irrelevante Fragen oder durch die Wiederholung von Fragen verursacht sein.
• Überforderung tritt aufgrund von schwierigen Wissensfragen auf. Des Weiteren sind missverständliche Fragen, verursacht durch Doppeldeutigkeit, Mehrdimensionalität und Fachausdrücke, ein Grund für Überforderung. Einen ähnlichen Effekt haben offene Fragen, zu denen die Befragten keine Idee haben. Im Gegensatz dazu können geschlossene Fragen ohne "Weiß nicht"-Kategorie überfordernd wirken. Fragen zu weit zurückliegenden Ereignissen sind ebenso schwierig zu beantworten.
• Müdigkeit und daraus resultierend der "fatigue effect" können durch zu lange Konzentrationsphasen oder durch Überforderung verursacht werden.
• Unwohlsein tritt vor allem bei sensiblen Fragen zu Themen wie Drogenkonsum, sexuellen Praktiken, psychologischen Traumata oder Gewaltausübung auf. Ebenso, wenn Informationen abgefragt werden, die als sensibel oder privat eingestuft werden. Klassische Beispiele sind die Frage nach dem Einkommen des Respondenten oder der Nähe zu politischen Parteien.
• Empörung entsteht, wenn sich die interviewte Person "für dumm verkauft" fühlt oder ihr nicht zutreffende Eigenschaften oder Absichten unterstellt werden. Außerdem kann eine fehlende zutreffende Antwortkategorie zu Unwillen führen. Eine weitere Ursache von Empörung ist das Erwähnen von Themen wie Ungerechtigkeit.
• Die Sensibilisierung für bestimmte Themen oder Werte (Priming) führt zu verzerrten Antworten. Sie wird einerseits durch die Reihenfolge der Fragen und andererseits durch die Reihenfolge der Antworten verursacht (Ausstrahlungseffekt/ Umgebungseffekt).
• Verzerrungen von Umfrageergebnissen durch das Streben nach Anerkennung ("soziale Erwünschtheit") resultieren aus dem Gefühl, die Beantwortung der entsprechenden Frage sei für die befragte Person mit weitreichenden Konsequenzen belegt. Aus dieser Furcht können Fremdtäuschung (Impression Management), Selbsttäuschung (Self-deception) oder Zustimmung (Akquieszenz) resultieren.
• Verzerrte Antworten durch Bequemlichkeit werden hauptsächlich durch die Reihenfolge der Fragen bzw. der Antworten verursacht. Hierbei können folgende Effekte auftreten: "Primacy" - Antwortkategorien, die zu Beginn genannt werden, werden bevorzugt ausgewählt. "Satisficing" - Die befragte Person wählt die erste Antwort aus, die in etwa ihren Ansichten entspricht, ohne sich alle Antwortkategorien angehört/angesehen zu haben. "Recency" - Zuletzt genannte Antworten bleiben am besten im Gedächtnis. Außerdem gibt es eine so genannte "Tendenz zur Mitte" bzw. eine "Tendenz nach links" (letztere ist - nach einigen Studien - insbesondere auf Likert-Skalen zu beobachten und steht in Zusammenhang mit der Schreibrichtung).
• Frustration tritt oft aufgrund fehlender Antwortoptionen oder falscher Navigation auf. Nicht selten sind bei geschlossenen Fragen die Antwortoptionen unvollständig (z.B. wenn nach Retourengründen gefragt wird und z.B. die Variante „Artikel gefällt nicht“ fehlt) oder wenn die Filterführung durch den Fragebogen für nicht bedachte Fälle in eine Sackgasse führt (z.B. wenn in einer Kundenzufriedenheitsbefragung nach den Erfahrungen mit der telefonischen Hotline gefragt wird, ohne dass vorher über eine Filterfrage sichergestellt wurde, dass der Kunde diese genutzt hat). In beiden Fällen wird der Respondent entweder zu falschen Antworten genötigt, um die Befragung fortsetzen zu können, oder er bricht frustriert ab.

Der zweite Teil der Artikelserie gibt 20 Tipps, die Sie für einen besseren Fragebogen beherzigen sollten. Darüber hinaus finden Sie im Folgeartikel einige Literaturhinweise, die Ihnen Hintergrundinformationen zum Thema vermitteln.