Fragebogen­konstruktion: 20 Tipps für einen besseren Frage­bogen

Im ersten Teil der Artikelserie zur Fragebogenkonstruktion ging es um typische Fehler. Der zweite Teil präsentiert 20 - mit Beispielen illustrierte - Tipps für einen besseren Fragebogen.

Was Sie bei der Fragebogenkonstruktion beachten sollten

1.

Das Layout spielt in der Fragebogenkonstruktion eine große Rolle. Achten Sie unter anderem darauf, die Schrift ausreichend groß zu wählen, eine saubere Schriftart zu wählen und zwischen Fragen und für Antworten genügend Platz zu lassen. Des Weiteren sollte der Fragebogen so kurz wie möglich sein. Dabei hilft es, eine geeignete Filterführung zu verwenden oder überflüssige Fragen und Antwortkategorien zusammenzufassen.

Gerade bei Online-Befragungen ist die Versuchung groß, die Möglichkeiten der Technik voll auszuschöpfen. Geben Sie im Zweifel jedoch der Usability den Vorzug und verzichten Sie auf Features, die auf einigen Devices, bei geringen Auflösungen, älteren Browsern, restriktiven Sicherheitseinstellungen, etc. Probleme bereiten könnten. Im Zweifel machen entsprechende Features die Befragung für einige Respondenten unbenutzbar und können so zu einer verzerrten Stichprobe führen.

Beispiel: Wie viele Katzen leben in Ihrem Haushalt?

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• keine

Wenn es nicht das ursprüngliche Interesse war, die Anzahl an Katzen explizit zu modellieren (z.B. als abhängige Variable in einer linearen Regression), sollten bspw. folgende Antwortkategorien gewählt werden: keine, 1, 2, 3, 4-6, 7-10, mehr als 10. Dies führt zu einer ausgeglichenen Anzahl an Antworten pro Kategorie und schont gleichzeitig die Nerven der Befragten.

2.

Wenn Sie ausführliche demografische Daten oder scheinbar irrelevanten Fragen erheben müssen, stellen Sie sie ans Ende der Umfrage, um bei einem Abbruch so wenig Informationen wie möglich zu verlieren. Während am Anfang einer Befragung die Hürde zum Abbruch bei den Respondenten relativ gering ist, steigt sie i.d.R. zum Ende der Befragung. Der Respondent hat dann bereits Mühe investiert und möchte die Befragung zu Ende bringen, damit seine Anstrengung nicht "umsonst" war.

3.

Arbeiten Sie mit unterschiedlichen Frage- und Antworttypen. Auf diese Weise schaffen Sie Abwechslung und wirken Langeweile entgegen. Wählen Sie aber stets den geeignetsten Frage- und Antworttyp und variieren Sie nicht nur aus Prinzip. Der Fragebogen sollte so einfach wie möglich zu beantworten sein. Gerade bei telefonischen Befragungen gewöhnen sich Respondenten insbesondere bei Likert-Skalen an die Skala. Ein zu häufiger Wechsel der Skala verkompliziert die Befragung dann. Falls möglich, rotieren Sie die Fragenreihenfolge zwischen den Respondenten.

4.

Stellen Sie Fragen vom Generellen zum Spezifischen und vom Erwünschten zum Unerwünschten. Ordnen Sie außerdem die Fragen nach ansteigendem Schweregrad. Bei längeren Befragungen macht es - sofern möglich - Sinn, die Reihenfolge so zu wählen, dass auf mehrere "schwierige" Fragen einige "einfache" Fragen folgen, damit sich die Respondenten "erholen" können, ehe die Komplexität erneut steigt.

Beispiel

• Taking things all together, how would you describe your marriage? Would you say that your marriage is very happy, pretty happy or not too happy?
• Taken all together, how would you say things are these days? Would you say that you are very happy, pretty happy, or not too happy?

Die obere Frage im Beispiel bezieht sich auf die Hochzeit, die untere Frage ist genereller Natur. Je nach Reihenfolge der Fragen variiert die Interpretation der generelleren Frage. Stünde sie an erster Stelle, nehmen die Respondenten an, dass sie zu allem - inklusive der Ehe - befragt werden. Steht sie (wie im Beispiel oben) am Ende, wird angenommen, dass sie sich auf alles außer der Ehe bezieht (Bradburn et. al 2004: S. 146-147).

5.

Wählen Sie die Fragen sorgfältig aus und stellen Sie keine "dummen" Fragen. In vielen Fällen macht es Sinn, bereits etablierte Itembatterien zu nutzen. Meist sind diese ausgiebig getestet worden und stellen die Vergleichbarkeit von Studien sicher. Behalten Sie stets auch die spätere Analyse im Auge und überlegen Sie, wie und ob Sie eine Frage für die Auswertung nutzen wollen.

6.

Stellen Sie sicher, dass die Aktualität der Frage gewährleistet ist. Das Involvement der Respondenten ist zu aktuellen Themen i.d.R. höher - Fragen, zu denen der Respondent einen Bezug hat, sind leichter zu beantworten und die Teilnahme an der Befragung ist "spannender".

7.

Ziehen Sie Fragen zu Fakten denen zu Einstellungen vor. Zwar ist ein Trade-off nicht immer möglich, dennoch lassen sich, entsprechende Kreativität vorausgesetzt, Einstellungen häufig indirekt messen (z.B. "Welcher politischen Partei stehen Sie nahe?" vs. "Wenn am nächsten Sonntag Bundestagswahlen wären, welche Partei würden Sie wählen?").

8.

Geben Sie Erinnerungshilfen, wenn Sie Fragen zur Vergangenheit oder komplexe Fragen stellen. Bei der Frage nach dem verfügbaren Haushaltseinkommen können z.B. typische Einkommensquellen (Lohn, Einkommen aus freiberuflicher Arbeit, Renten/Pensionen, ...) als Erinnerungsstütze genannt werden.

9.

Verwenden Sie viel Sorgfalt auf die Auswahl der Formulierungen. Nutzen Sie klare und konkrete Formulierungen. Formulieren Sie Fragen wertfrei und stellen Sie keine Suggestivfragen. Die Forschung hat zahlreiche Beispiele dafür gefunden, wie bereits kleinere Variationen sowohl an der Formulierung als auch der Gruppierung oder Reihenfolge der Fragen/Antwortkategorien zu deutlichen Verschiebungen im Antwortverhalten führen können. Bei persönlichen oder telefonischen Interviews kann zudem der Interviewer einen indirekten Effekt auf das Antwortverhalten ausüben (werden dem Interviewer vom Respondenten bestimmte Eigenschaften/Einstellungen zugeschrieben, führt der Effekt der "sozialen Erwünschtheit" in der Tendenz zu verzerrten Antworten).

Beispiele

• Zwei Priester, ein Jesuit und ein Dominikaner können sich nicht einigen, ob es eine Sünde ist, zur gleichen Zeit zu Rauchen und zu Beten. Da sie sich nicht einigen können, beschließen sie, ihren jeweiligen Mentor zu befragen. Als sie sich in der folgenden Woche treffen, tauschen sie ihre Erkenntnisse aus. Der Mentor des Jesuiten befand, es sei ok, der Mentor des Dominikaners befand, es sei nicht ok. Was war passiert? Der Dominikaner hatte gefragt, ob es ok sei, zu rauchen während des Betens. Der Jesuit hingegen hatte gefragt, ob es ok sei, zu beten während des Rauchens (Bradburn et. al 2004: S. 4).
• Wie groß ist Ihrer Meinung nach das Risiko, dass die Krankenkassenbeiträge in Zukunft steigen werden? Der Ausdruck "in Zukunft" ist unkonkret. Interpretiert man die Zukunft als den nächsten Monat, ist das Risiko eher gering. Wenn man aber als Zukunft die kommenden 10 Jahre ansieht, beträgt das Risiko fast 100%.
• Sind Sie zurzeit in regelmäßiger medizinischer Behandlung? Was bedeutet "regelmäßig": wöchentlich, monatlich, jährlich? Wie wäre z.B. eine jährlich im Frühjahr auftretende Allergie im Kontext der Frage zu bewerten?
• Wie groß ist Ihr Vertrauen in die Unternehmen? Diese Formulierung benötigt eine Konkretisierung in zweierlei Hinsicht: Zum einen in Bezug auf das Vertrauen. Also: Vertrauen gegenüber was? Zum anderen wird nicht klar, um welche Unternehmen es sich handelt. Unternehmen mit Hauptsitz/einer Niederlassung in Deutschland? DAX-Unternehmen? Unternehmen einer bestimmten Branche?
• Wie groß ist Ihrer Meinung nach das Risiko, dass in Deutschland in den nächsten 12 Monaten die politische Stabilität abnimmt? Hier stellt sich die Frage danach, was mit der Abnahme der politischen Stabilität gemeint ist. Weiterführende Erläuterungen wie Handlungsunfähigkeit des Bundestags aufgrund von Parteienzersplitterung, Misstrauensaussprache des Bundestags gegenüber der Regierung o.Ä. sind hilfreich zur Beantwortung der Frage.

10.

Vermeiden Sie Universal- und Fachausdrücke bzw. arbeiten Sie, falls nötig, mit Definitionen. Oft sind Ihnen Begriffe verständlich, die einige der Respondenten nicht kennen oder anders verstehen. Der Pre-Test hilft, solche Probleme zu erkennen. Gerade bei telefonischen oder persönlichen Interviews geben Rückfragen der Respondenten zur Bedeutung von Fachausdrücken oder zum allgemeinen Verständnis der Fragen Hinweise auf entsprechende Unklarheiten.

Beispiel

• How many people were living/ or staying in this house, apartment, or mobile home last night? Beispiele für die Konkretisierung dieser Frage (Bradburn et al. 2004: S. 263) sind:
• Include in this number: foster children, room- or housemates...
• Do not include in this number: people in a correctional facility, nursing home, or mental hospital, ...

11.

Nutzen Sie ausgewogene Skalen, deren Randkategorien die Pole einer Dimension abbilden. Verwenden Sie allerdings nicht zu extreme Pole. Bieten Sie eine neutrale Kategorie an. Auch hier kann ein Pre-Test helfen, sich im Zweifelsfall ein Bild der Verteilung der Antworten zu machen. Wird die Skala nicht voll ausgenutzt, sollten die Pole weniger extrem gewählt werden.

Beispiel: Glauben Sie, dass Sie eher ein vorsichtiger oder ein optimistischer Mensch sind?

• vorsichtig
• eher vorsichtig
• eher optimistisch
• optimistisch
• weiß nicht/ keine Angabe

Es stellt sich die Frage, ob mit den Randkategorien "vorsichtig" und "optimistisch" zwei Pole einer Dimension getroffen sind. Eindeutigere Gegensatzpaare sind "vorsichtig" und "unvorsichtig" bzw. "optimistisch" und "pessimistisch". Außerdem ist eine neutrale Kategorie sinnvoll, um Häufungen in der nichtssagenden „weiß nicht/ keine Angabe“ Kategorie zu vermeiden. Tatsächlich wurde im vorliegenden Fall zunächst mit den Polen "optimistisch" und "pessimistisch" gearbeitet. Im Pre-Test stellte sich heraus, dass die Skala nicht voll ausgeschöpft wird. Eine Erklärung dazu ist, dass der Begriff "pessimistisch" negativ konnotiert ist und sich daher kaum ein Respondent als "Pessimist" benennen will. Um die Skala besser auszunutzen wurde der Pol "vorsichtig" als Alternative zu "pessimistisch" gewählt.

12.

Bieten Sie als Antwortkategorie "Weiß nicht" an. Nur in speziellen Fällen sollten Sie die Befragten zu einer inhaltlichen Antwort zwingen, indem Sie die "Weiß nicht"-Kategorie weglassen. Aus der Praxis ist bekannt, dass "Weiß nicht" oder auch "keine Angabe" durchaus von einigen Respondenten angekreuzt wird, wenn diese Option angeboten wird. Häufig trifft man - speziell in Online-Befragungen - die Situation an, in der eine Frage beantwortet werden muss und "Weiß nicht/keine Angabe" nicht angeboten wird. Gerade in Kombination mit Likert-Skalen wird dieser "Trick" häufig angewandt. Die Skala beinhaltet dann eine gerade Anzahl an Antwortoptionen (bspw. 4 oder 6) und zwingt auf diese Weise die Respondenten dazu, Stellung zu beziehen. Dies erhöht die Datenqualität nur vermeintlich, da diese Technik zu Lasten der Validität geht. Wir raten daher von diesem Vorgehen ab.

13.

Setzen Sie offene Fragen nur selten und gezielt ein. Ausnahmen können sein, wenn vorgegebene Kategorien zu Verzerrungen führen wie bspw. bei Fragen zur Vergangenheit oder schwierig einzuschätzendem Verhalten. Generell bedeuten offene Fragen einen Mehraufwand für die Analyse sowie den Respondenten. In der Regel werden sie seltener ausgefüllt - insbesondere, wenn umfangreichere Antworten abgefragt werden. Bei geschlossenen Fragen sollten Sie allerdings die Antwortoptionen (u.a. auch im Rahmen von qualitativen Voruntersuchungen und dem Pre-Test) sorgfältig auswählen.

14.

Bieten Sie im persönlichen Interview visuelle Unterstützung bei komplexen Antwortkategorien. Dies kann z.B. in Form von Kärtchen mit zusätzlichen Illustrationen oder auch durch Nutzung eines Laptops geschehen. Achten Sie ggf. auch hierbei auf Barrierefreiheit (Illustrationen sollten so groß sein, dass Sie auch von Respondenten mit eingeschränkter Sehfähigkeit gut wahrgenommen werden können).

15.

Nutzen Sie bei sensiblen Fragen den "everybody does it"-Ansatz. Setzen Sie ein bestimmtes Verhalten voraus und fragen Sie nach der Häufigkeit. Erwähnen Sie Autoritäten wie bspw. Ärzte, um sozial sensibles Verhalten zu rechtfertigen. Nennen Sie selber Gründe, warum man sozial erwünschtes Verhalten nicht zeigen sollte. Stellen Sie die Anonymität sicher und kommunizieren Sie dies.

Beispiel: Mögliche Einführungen zu einer Frage zum Alkoholkonsum (Bradburn et al. 2004: S. 110-111):

• The most popular alcoholic beverage in the country is beer,…
• Many doctors now believe that moderate drinking of liquor helps to reduce the likelihood of heart attacks or strokes. Have you drunk any liquor in the past year?

16.

Setzen Sie die Sensibilisierung für bestimmte Themen oder Werte gezielt ein. Gerade bei Themen mit geringem Involvement kann eine kurze Einleitung die Respondenten auf die folgenden Fragen vorbereiten. Gleichzeitig strukturiert ein solcher einleitender Text das Thema vor. Um die Respondenten in ihrer Spontanität nicht zu beeinflussen, sollten Fragen, wie "Was fällt Ihnen spontan als erstes ein, wenn Sie an XY denken?" ggf. vor solchen Einleitung gestellt werden.

17.

Verwenden Sie viel Sorgfalt bei der Gestaltung des Anschreibens. Hier sollte das Thema der Umfrage, die Motivation und Dauer angegeben und die vertrauliche Nutzung der Daten zugesichert werden. Häufig lässt sich die Teilnahmebereitschaft steigern, wenn Sie prominente Unterstützer für das Projekt gewinnen, in deren Namen Sie das Anschreiben verschicken können oder die sie zumindest mit einem Statement im Anschreiben erwähnen dürfen. Zum Schluss sollten Sie sich bei den Teilnehmern bedanken, evtl. den Zugang zu Studienergebnissen anbieten oder auf weitere Informationen verweisen. Diese Maßnahmen dienen dazu, eine Beziehung zu den Befragten aufzubauen und sie so davon abzuhalten, die Befragung abzubrechen bzw. sich für weitere Befragungen nicht zur Verfügung zu stellen.

18.

Führen Sie auf jeden Fall eine Pilotstudie („Pre-Test“) durch. Hier können auch offene Antwortkategorien zugelassen sein, um das Spektrum der Antworten abzuschätzen. Des Weiteren bietet es sich an, im Voraus einen Kodierungsplan zu entwerfen, um die Auswertbarkeit der Antworten zu überprüfen.

19.

Trotz aller Sorgfalt gelingt es nicht immer, alle Eventualitäten vorab zu bedenken. Dies führt dazu, dass einige Respondenten sich durch den Fragebogen missverstanden fühlen und dies mitteilen wollen. Um dies zu ermöglichen, sollte am Ende des Fragebogens eine offene Frage stehen, die es dem Respondenten ermöglicht, sich mitzuteilen oder Anmerkungen zu machen.

20.

Halten Sie sich an die Regeln! In den vergangenen Jahren ist die Teilnahmebereitschaft - speziell bei telefonischen und schriftlichen Befragungen - stark gesunken. Neben einer höheren zeitlichen Belastung sind "schwarze Schafe", die illegale Werbung als Marktforschung tarnen und somit dem Image der Branche schaden, Gründe für den Rückgang der Teilnahmebereitschaft. Professionelle Markt- und Meinungsforschungsinstitute unterliegen klaren Regeln (international: ICC/ESOMAR Code on Market and Social Research, national: ADM-Richtlinien). Beachten auch Sie diese Regeln, achten Sie die Privatsphäre der Respondenten, kommunizieren Sie, dass die Teilnahme an der Befragung zwar wichtig, aber freiwillig ist.

Alles klar?

Neben den oben erwähnten entscheidenden Punkten zur Fragebogenkonstruktion existieren noch viele weitere Aspekte, die bisher unerwähnt geblieben sind. Beispiele hierfür sind Omnibusstudien, unterschiedliche Skalen, mixed-mode Erhebungen, die Papierwahl, Format, Sprache uvm. Hinsichtlich der verschiedenen Erhebungsformen gelten z.B. Besonderheiten. Speziell in telefonischen Befragungen sollte auf eine geringe Dauer geachtet werden. Es empfiehlt sich, kurze Fragen und Skalen auszuwählen. Bei schriftlichen oder Online-Befragungen kann die Komplexität hingegen etwas höher sein. Wenn Sie sich tiefergehend mit Umfragegestaltung auseinandersetzen wollen, helfen Ihnen vielleicht die unten aufgeführten Literaturhinweise, oder Sie fragen uns.

Obwohl natürlich jeder schnell ein paar Fragen für ein kleines Projekt zusammenstellen kann, sollte nicht vergessen werden, dass die Planung, Konstruktion und Auswertung einer Befragung eine Wissenschaft für sich ist. Zahlreiche Bespiele, bei denen immer wieder fatale Fehlentscheidungen aufgrund methodisch unsauberer Befragungen getroffen werden, belegen dies.

Literaturhinweise:

• Bradburn, Norman/ Sudman, Seymour/ Wansink, Brian (2004): "Asking Questions. The Definitive Guide to Questionnaire Design – For Market Research, Political Polls, and Social and Health Questionnaires." Rev. ed. Jossey-Bass.
• Brace, Ian (2004): "Questionnaire Design – How to Plan, Structure and Write Survey Material for Effective Market Research." Kogan Page Ltd.
• Moosbrugger, Helfired/ Kelava, Augustin (Hrsg.) (2008): "Testtheorie und Fragebogenkonstruktion. Springer."