Bundestagswahl 2021: Wie gut waren unsere Wahlprognosen?

Seit Januar 2021 veröffentlichten wir auf wer-gewinnt-die-wahl.de Prognosen zum Ausgang der Bundestagswahl 2021. Hierfür analysierten wir Wahlumfragen, Wahlergebnisse und Regierungskonstellationen der letzten 20 Jahre. Unser Prognosemodell lieferte Vorhersagen zur Zweitstimmenverteilung, Kanzler*innenschaft, Regierungsbeteiligung und Koalitionsbildung. Auch wenn die zukünftige Regierungskonstellation noch nicht endgültig klar ist, wollen wir ein vorläufiges Fazit ziehen und unsere Prognosen kritisch evaluieren.

Historisch starke Schwankungen in den Umfragen

Das Wahljahr 2021 war von starken Schwankungen und “Führungswechseln” in den Umfragen geprägt. Diese Schwankungen waren außergewöhnlich.

Unsere Prognosen für die Zweitstimmenanteile seit Januar 2019

Wir haben die Schwankungen anhand der Spannweite der Umfragewerte für jede Partei und jedes Wahljahr seit 1998 bis zur Wahl gemessen. Die durchschnittliche Spannweite der Umfragewerte lag 2021 um mehr als 75% höher, als der Durchschnitt der vergangenen sechs Bundestagswahlen. Sie lag außerdem um mehr als 50% höher, als je zuvor beobachtet. Wie gut hat sich unser Modell unter diesen außergewöhnlich starken Schwankungen geschlagen?

Wie gut waren unsere Prognosen?

Um die Güte unserer Prognosen zu beurteilen, vergleichen wir diese mit der jeweils aktuellsten Umfrage und dem Durchschnitt der fünf aktuellsten Umfragen, die weniger als zwei Wochen alt sind und von verschiedenen Meinungsforschungsinstituten stammen.

Zur Messung der Prognosegüte ermitteln wir die Abweichung der Prognosen bzw. Umfragen vom tatsächlichen Wahlergebnis und verwenden dabei die zwei gängigen Maße

• des mittleren absoluten Fehlers und
• des mittleren quadratischen Fehlers (RMSE – "Root Mean Square Error").

Da die Betrachtung eines einzelnen Zeitpunkts zur Beurteilung der Gesamtqualität der Umfragen und Prognosen nicht ausreicht, berechnen wir die Fehler aggregiert über für den Zeitraum von Beginn des Jahres 2021 bis zur Wahl.

Unsere Prognosen im Vergleich

Keine der verglichenen Methoden geht als eindeutiger Sieger hervor. Unsere Prognosen lagen damit auf Augenhöhe mit einfacheren Methoden. Überraschenderweise war sogar die "aktuellste Umfrage" Methode konkurrenzfähig, was sehr ungewöhnlich ist. Üblicherweise sind bei Wahlprognosen "mehr Daten" besser und eine Durchschnittsbildung bei Umfragen sehr vorteilhaft.

Anders als bei den Bundestagswahlen 2013 und 2017 gab es in den Wochen vor der Wahl eine Menge Verschiebungen in der politischen Stimmung und unser Modell konnte seine Vorteile, die nach großen Schwankungen mehrere Monate vor der Wahlperiode deutlicher werden (siehe Zeitraum Mai und August 2021 in der Grafik unten), nicht dauerhaft ausspielen.

Ohne die außergewöhnlich großen Schwankungen der Umfragewerte in den letzten zwei Monaten vor der Wahl wäre unser Modell bei der Vorhersage der Zweitstimmenanteile deutlich besser gewesen. Aber das ist natürlich nur eine hypothetische Überlegung.

Dass die Performance unserer Prognosen nicht besser als die einfacherer Methoden war, kann mit den starken Schwankungen der Umfragewerte in den letzten zwei Monaten erklärt werden. Allerdings lag der maximale Fehler bei unserem Modell zwischen sechs und elf Prozent niedriger ("Minimax"-Prinzip), was auf stabilere und robustere Schätzungen hindeutet. Darüber hinaus hat unser Modell den Wechsel bei den Grünen und der CDU/CSU nach der Bekanntgabe der Kandidat*innen im April richtig vorhergesagt - nicht aber den erstaunlichen Aufstieg der SPD seit Ende Juli.

Unter "Wie wahrscheinlich ist es, dass …" hatten wir zusätzliche Prognosen zu bestimmten Ereignissen getroffen. Fast alle Ereignisse wurden richtig vorhergesagt, mit Ausnahme der prognostizierten rechnerischen Mehrheit für Rot-Rot-Grün, da die Linke überraschend schwach abschnitt.

Die Regierungsbildung wird noch mehrere Wochen in Anspruch nehmen, aber eine Bundeskanzlerschaft von Olaf Scholz scheint sehr wahrscheinlich. Am wahrscheinlichsten ist wohl aktuell, dass es zu einer “Ampel” Koalition (SPD-Grüne-FDP) kommt. Im Gespräch, wenn auch deutlich unwahrscheinlicher, ist derzeit noch eine “Jamaika” Koalition aus CDU/CSU-Grüne-FDP. Die “Ampel” Koalition lag in unserer letzten Koalitionsprognose auf Platz drei, die “Jamaika” Koalition auf Platz eins. Die von uns als am zweit wahrscheinlichsten prognostizierte Koalition “R2G” (SPD-Grüne-Linke) hat zwar keine rechnerische Mehrheit bekommen, lag aber sehr nahe dran.

Wie können wir unser Modell verbessern?

• Obwohl sich die Koalitionspräferenzen im Laufe der Zeit nur langsam ändern, könnte es von Vorteil sein, Expert*innenmeinungen zu Koalitionen alle paar Monate erneut zu erheben. Wir ziehen auch eine modellbasierte Lösung zur Ermittlung der Koalitionspräferenzen in Betracht, die bestehende Koalitionen in den Landesparlamenten und andere Daten verwendet.
• Wir wollen unsere Prognosen schneller an die aktuellsten Umfragen anpassen. Derzeit kann es im schlimmsten Fall bis zu 45 Stunden dauern, bis sich eine neu veröffentlichte Umfrage in unserem Modell niederschlägt. Deshalb wollen wir versuchen, unsere Modellierung zu beschleunigen.
• Die oben beschriebenen Schwankungen der Umfragewerte waren im Wahljahr 2021 außergewöhnlich stark. In Zukunft wollen wir eine zeitlich variierende Volatilität im Modell berücksichtigen, um so die Unsicherheitsbereiche um die Prognosen der Zweitstimmenanteile besser zu schätzen.
• Aktuell nutzen wir wöchentliche Basiswerte - also wöchentlich neu geschätzte Modellparameter zur Prognose der Stimmenanteile für jede Partei. Tägliche statt wöchentliche Basiswerte könnten unsere kurzfristige Prognose bei starken Schwankungen in den Umfragewerten verbessern.
• Zusätzlich zu den bereits modellierten kurz- und mittelfristigen Trends könnte die Berücksichtigung eines langfristigen, mehrjährigen Trends realistischere Baselines liefern, gegen die Stimmenanteile langfristig konvergieren. So hätte vermutlich der erhebliche Stimmenverlust der Unionsparteien früher prognostiziert werden können.
• Für die Linkspartei hatten wir die Unsicherheit der Zweitstimmenprognose leicht unterschätzt. Durch die Einbeziehung von Rundungen der Umfragewerte als eine zusätzliche Unsicherheitsquelle ließe sich die Schätzung der Unsicherheitsbereiche für Parteien mit geringen Stimmanteilen korrigieren.

Der Code für diese Auswertung findet sich hier, über Feedback zum Modell und möglichen Verbesserungen freuen wir uns.