Bestimmtheitsmaß R² - Teil 4: Das korrigierte R²
Das R² ist ein Gütemaß der linearen Regression (s. Teil 1 und Teil 2). Es lässt sich leicht interpretieren als der Anteil der Varianz der abhängigen Variablen (erklärte Variable), der durch die unabhängigen Variablen (erklärende Variablen) erklärt werden kann. Das dahinterliegende Konzept ist die Varianzzerlegung (s. Teil 3).
Trotz dieses eingängigen Prinzips existieren einige Kritikpunkte bezüglich des R². Einer davon betrifft die Ignoranz des R² gegenüber der Anzahl an aufgenommenen unabhängigen Variablen. Es besteht nämlich die Möglichkeit, durch Aufnahme zahlreicher (auch unsinniger) Variablen in die Regression das R² in die Höhe zu treiben (engl. kitchen sink regression). Das Modell wird dadurch immer unübersichtlicher, instabiler und komplexer, während sich die Prognosegüte häufig sogar verschlechtert. Neben der Anforderung an ein Modell, so viel Varianz der abhängigen Variablen wie möglich zu erklären, sollte es auch so "schlank" wie möglich sein. Das bedeutet, im Vergleich zweier Modelle, die das gleiche R², jedoch unterschiedliche Anzahlen an unabhängigen Variablen besitzen, ist nach dem Sparsamkeitsprinzip (engl. "Occam’s Razor") dasjenige zu bevorzugen, welches weniger unabhängige Variablen besitzt.
Ein Gütemaß, welches beides, Modellanpassung und Sparsamkeit berücksichtigt, ist das sogenannte korrigierte R² (auch: adjustiertes, bereinigtes oder angepasstes R²). Es besteht aus dem Wert des einfachen R², welcher mit einem "Strafterm" belegt wird. Daher nimmt das korrigierte R² in der Regel einen geringeren Wert als das einfache R² an und kann in manchen Fällen sogar negativ werden. Die "Strafe" steigt mit der Anzahl der unabhängigen Variablen. Durch Hinzunahme einer neuen Variablen kann das Modell im Sinne des korrigierten R² nur dann verbessert werden, wenn der zusätzliche Erklärungsgehalt den Strafterm mehr als ausgleicht.
Formel des korrigierten R²:
wobei
Im folgenden Beispiel ist zu sehen, wie sich das normale R² mit jeder hinzugenommenen Variablen erhöht. Das korrigierte R² hingegen steigt zunächst an und fällt dann ab einer Variablenanzahl von drei wieder ab. Sein Wert liegt im Beispiel immer unter dem des normalen R².
| Anzahl Variablen im Modell | R² | Korrigiertes R² |
|---|---|---|
| 1 | 0.681 | 0.670 |
| 2 | 0.708 | 0.686 |
| 3 | 0.726 | 0.694 |
| 4 | 0.729 | 0.686 |
| 5 | 0.732 | 0.676 |
| 6 | 0.733 | 0.663 |
Neben dem oben vorgestellten einfachen und korrigierten R² existieren weitere Gütemaße. Dazu zählen das Pseudo-R², welches hauptsächlich für komplexere Modelle genutzt wird (hierarchische Modelle, generalisierte lineare Modelle,…), oder Informationkriterien basierend auf Log-Likelihood-Schätzungen (AUC, BIC, …). Letztere dienen vornehmlich dem Vergleich von Modellen und werden u.a. bei der Variablenselektion verwendet.
Fazit
Zur Beurteilung der Güte von linearen Regressionsmodellen bietet es sich an, das korrigierte R² zu betrachten. Es ist zwar nicht direkt wie das normale R² als Prozentsatz an erklärter Varianz der abhängigen Variablen zu interpretieren, berücksichtigt und bestraft aber die Anzahl unabhängiger Variablen im Modell. Prinzipiell gilt: Je höher das korrigierte R², desto besser passt das Modell auf die Daten.
