Bestimmtheitsmaß

 

Gegeben sind ${\displaystyle n}$  Messungen ${\displaystyle (x_{1},y_{1}),(x_{2},y_{2}),\ldots ,(x_{n},y_{n})}$ , d. h., bei dem ${\displaystyle i}$ -ten Wertepaar ${\displaystyle (x_{i},y_{i})}$  wird einem Wert ${\displaystyle x_{i}}$  (z. B. Größe einer Person) ein Messwert ${\displaystyle y_{i}}$  (z. B. das gemessene Gewicht der Person) zugeordnet. Dazu berechnet man den empirischen Mittelwert ${\displaystyle \textstyle {\overline {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$  (z. B. das mittlere Gewicht der Probanden). Ferner gibt es einen Schätzer ${\displaystyle {\hat {y}}}$  (Modellfunktion), der jedem Wert ${\displaystyle x_{i}}$  (z. B. Größe) einen Schätzwert ${\displaystyle {\hat {y}}(x_{i})\equiv {\hat {y}}_{i}}$  (geschätztes Gewicht für eine Person mit Größe ${\displaystyle x_{i}}$ ) zuordnet. Die Abweichung einer Schätzung ${\displaystyle {\hat {y}}(x_{i})}$  von der zugehörigen Messung ${\displaystyle y_{i}}$  ist durch ${\displaystyle {\hat {\varepsilon }}_{i}\equiv y_{i}-{\hat {y}}(x_{i})=y_{i}-{\hat {y_{i}}}}$  gegeben und wird „Residuum“ genannt. Bei der einfachen linearen Regression, die zum Ziel hat, das Absolutglied (englisch intercept) ${\displaystyle \beta _{0}}$ , die Steigung (englisch slope) ${\displaystyle \beta _{1}}$  und die Störgrößenvarianz ${\displaystyle \sigma ^{2}}$  zu schätzen, wird der Schätzer anschaulich durch die Regressionsgerade beschrieben und mathematisch durch die Stichproben-Regressionsfunktion ${\displaystyle {\hat {y}}={\hat {y}}(x)=\beta _{0}+\beta _{1}x}$  definiert. Die beiden Parameterschätzer ${\displaystyle \beta _{0}}$  und ${\displaystyle \beta _{1}}$  werden auch als Kleinste-Quadrate-Schätzer bezeichnet.^{[A 1]} Wenn das zugrundeliegende Modell ein von Null verschiedenes Absolutglied ${\displaystyle \beta _{0}}$  enthält, stimmt der empirische Mittelwert der Schätzwerte ${\displaystyle {\hat {y}}_{i}}$  mit dem der beobachteten Messwerte ${\displaystyle y_{i}}$  überein, also

${\displaystyle \textstyle {\overline {\hat {y}}}={\tfrac {1}{n}}\sum \nolimits _{i=1}^{n}{\hat {y_{i}}}={\overline {y}}={\tfrac {1}{n}}\sum \nolimits _{i=1}^{n}{y_{i}}}$  (für einen Beweis siehe unter Matrixschreibweise).

Es empfiehlt sich, nach der Schätzung der Regressionsparameter die Regressionsgerade gemeinsam mit den Datenpunkten in ein Streudiagramm einzuzeichnen. Auf diese Weise bekommt man eine Vorstellung davon, wie „gut“ die Punkteverteilung durch die Regressionsgerade wiedergegeben wird. Je enger die Datenpunkte um die Regressionsgerade herum konzentriert sind, d. h. je kleiner also die Residuenquadrate sind, desto „besser“. In diesem Zusammenhang ist allerdings zu beachten, dass die Residuenquadrate typischerweise klein sind, wenn die abhängige Variable eine geringe Variabilität aufweist. Die geforderte Kleinheit der Residuenquadrate muss also in Relation zur Streuung der abhängigen Variablen betrachtet werden.^[1]

Ein Maß zur Beurteilung der Anpassungsgüte sollte außerdem die Streuung der Messwerte und die der geschätzten Werte in Relation setzen. Die Streuung der jeweiligen Werte um ihren Mittelwert kann mithilfe der „Summe der Abweichungsquadrate“ (Summe der Quadrate bzw. englisch Sum of Squares, kurz: SQ oder SS) gemessen werden. Das „mittlere Abweichungsquadrat“ stellt die empirische Varianz dar. Die Streuung der Schätzwerte ${\displaystyle {\hat {y}}_{i}}$  um ihren Mittelwert ${\displaystyle {\overline {\hat {y}}}={\overline {y}}}$  kann durch ${\displaystyle \textstyle SQE\equiv \sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}$  gemessen werden und die Streuung der Messwerte ${\displaystyle y_{i}}$  um das Gesamtmittel ${\displaystyle {\overline {y}}}$  kann durch ${\displaystyle \textstyle SQT\equiv \sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}$  gemessen werden. Erstere stellt die durch die Regression „erklärte Quadratsumme“ (Summe der Quadrate der Erklärten Abweichungen bzw. englisch Sum of Squares Explained, kurz: SQE oder SSE), und letztere stellt die „zu erklärende Quadratsumme“ bzw. die „totale Quadratsumme“ (Summe der Quadrate der Totalen Abweichungen bzw. englisch Sum of Squares Total, kurz: SQT oder SST) dar. Das Verhältnis dieser beiden Größen wird das Bestimmtheitsmaß der Regression genannt. Das Bestimmtheitsmaß zeigt, wie gut die durch die Schätzung gefundene Modellfunktion zu den Daten passt, d. h. wie gut sich die konkrete empirische Regressionsgerade einer angenommenen wahren Gerade ${\displaystyle y=\beta _{0}+\beta _{1}x}$  annähert. Die durch die Regression „nicht erklärten Abweichungen“ (Restabweichungen), d. h. die Abweichungen der Datenpunkte von der Regressionsgeraden werden durch die Regression „nicht erklärte Quadratsumme“ bzw. die Residuenquadratsumme (Summe der Quadrate der Restabweichungen (oder: „Residuen“) bzw. englisch Sum of Squares Residual, kurz: SQR oder SSR) erfasst, die durch ${\displaystyle \textstyle SQR\equiv \sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}$  gegeben ist.^{[2][A 2]}

Das Bestimmtheitsmaß dient als Maßzahl zur Beurteilung der globalen Anpassungsgüte eines Regressionsmodells.

Das Bestimmtheitsmaß der Regression, auch empirisches Bestimmtheitsmaß,^{[A 3]} ist eine dimensionslose Maßzahl, die den Anteil der Variabilität in den Messwerten der abhängigen Variablen ausdrückt, der durch das lineare Modell „erklärt“ wird.^[3][4] Gegeben die Quadratsummenzerlegung, ist das Bestimmtheitsmaß der Regression definiert als das Verhältnis der durch die Regression erklärten Quadratsumme zur totalen Quadratsumme:^{[5][A 4]}

${\displaystyle {\mathit {R}}^{2}\equiv {\frac {SQE}{SQT}}={\frac {\displaystyle \sum _{i}\left({\hat {y}}_{i}-{\overline {y}}\right)^{2}}{\displaystyle \sum _{i}\left(y_{i}-{\overline {y}}\right)^{2}}},}$ 

wobei ${\displaystyle {\mathit {R}}^{2}\geq 0}$ .

Bei einer einfachen linearen Regression (nur eine erklärende Variable) ${\displaystyle y_{i}=\beta _{0}+x_{i}\beta _{1}+\varepsilon _{i}}$  entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten ${\displaystyle r_{xy}}$  und lässt sich aus der Produktsumme ${\displaystyle SP_{xy}}$  (Summe der Produkte der Abweichungen der Messwerte vom jeweiligen Mittelwert ${\displaystyle (x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}$ ) und den Quadratsummen ${\displaystyle SQ_{x}}$  und ${\displaystyle SQ_{y}}$  berechnen:^[5]

${\displaystyle {\mathit {R}}^{2}={\frac {\displaystyle \sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {\hat {y}}})^{2}}{\displaystyle \sum \nolimits _{i=1}^{n}\left(y_{i}-{\overline {y}}\right)^{2}}}={\frac {b_{1}^{2}\displaystyle \sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}{\displaystyle \sum \nolimits _{i=1}^{n}\left(y_{i}-{\overline {y}}\right)^{2}}}=\left({\frac {SP_{xy}}{SQ_{x}}}\right)^{2}\cdot {\frac {SQ_{x}}{SQ_{y}}}=\left({\frac {SP_{xy}}{\sqrt {SQ_{x}SQ_{y}}}}\right)^{2}=r_{xy}^{2}}$ ,

wobei der Kleinste-Quadrate-Schätzer für die Steigung ${\displaystyle b_{1}=SP_{xy}/SQ_{x}}$  der Quotient aus Produktsumme von ${\displaystyle x}$  und ${\displaystyle y}$  und Quadratsumme von ${\displaystyle x}$  ist. In der einfachen linearen Regression ist ${\displaystyle {\mathit {R}}^{2}=0}$ , wenn ${\displaystyle b_{1}=0}$  ist, d. h. die erklärende Variable steht zur Schätzung von ${\displaystyle y}$  nicht zur Verfügung. Dies folgt aus der Tatsache, dass in der einfachen linearen Regression ${\displaystyle SQE=b_{1}^{2}\cdot SQ_{x}}$ ^{[A 5]} gilt. In diesem Fall besteht das „beste“ lineare Regressionsmodell nur aus dem Absolutglied ${\displaystyle b_{0}}$ . Das so definierte Bestimmtheitsmaß ist ebenfalls gleich null, wenn der Korrelationskoeffizient ${\displaystyle r_{xy}}$  gleich null ist, da es in der einfachen linearen Regression dem quadrierten Korrelationskoeffizienten zwischen ${\displaystyle x}$  und ${\displaystyle y}$  entspricht. Im Kontext der einfachen linearen Regression wird das Bestimmtheitsmaß auch als einfaches Bestimmtheitsmaß bezeichnet. Bei der Interpretation des einfachen Bestimmtheitsmaßes muss man vorsichtig sein, da es u. U. schon deshalb groß ist, weil die Steigung ${\displaystyle b_{1}}$  der Regressionsgeraden groß ist.^[6]

In der einfachen linearen Regression entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten ${\displaystyle r_{xy}}$  (siehe auch unter Als quadrierter Korrelationskoeffizient). Dieser Umstand ist dafür verantwortlich, dass das Bestimmtheitsmaß als ${\displaystyle {\mathit {R}}^{2}}$  (lies: R Quadrat) oder ${\displaystyle r^{2}}$  notiert wird. In deutschsprachiger Literatur findet sich auch der Buchstabe ${\displaystyle B}$  als Bezeichnung für das Bestimmtheitsmaß. In den Anfängen der Statistik wurde mit dem Buchstaben ${\displaystyle {\mathit {R}}}$  ein Schätzer des Korrelationskoeffizienten der Grundgesamtheit notiert und in der Regressionsanalyse wird diese Notation noch heute verwendet.^[7]

In der Realität hängen abhängige Variablen im Allgemeinen von mehr als einer erklärenden Variablen ab. Zum Beispiel ist das Gewicht eines Probanden nicht nur von dessen Alter, sondern auch von dessen sportlicher Betätigung und psychologischen Faktoren abhängig. Bei einer multiplen Abhängigkeit gibt man die Annahme der einfachen linearen Regression auf, bei der die abhängige Variable nur von einer erklärenden Variablen abhängt. Um eine mehrfache Abhängigkeit zu modellieren, benutzt man ein typisches multiples lineares Regressionsmodell

${\displaystyle y_{i}=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i}}$ .

Hierbei ist ${\displaystyle p=k+1}$  die Anzahl der zu schätzenden unbekannten Parameter und ${\displaystyle k}$  die Anzahl der erklärenden Variablen. Zusätzlich zur Dimension der unabhängigen Variablen wird auch eine zeitliche Dimension integriert, wodurch sich ein lineares Gleichungssystem ergibt, was sich in Vektor-Matrix-Form darstellen lässt.

Im Gegensatz zur einfachen linearen Regression entspricht in der multiplen linearen Regression das ${\displaystyle {\mathit {R}}^{2}}$  dem Quadrat des Korrelationskoeffizienten zwischen den Messwerten ${\displaystyle y_{i}}$  und den Schätzwerten ${\displaystyle {\hat {y}}_{i}}$  (für einen Beweis siehe unter Matrixschreibweise), also^[8][9]

${\displaystyle {\mathit {R}}^{2}={\frac {\left[\sum _{i=1}^{n}(y_{i}-{\overline {y}})({\hat {y}}_{i}-{\overline {y}})\right]^{2}}{\left[\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}\right]\left[\sum _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}\right]}}=r_{y{\hat {y}}}^{2}}$ .

Im Kontext der multiplen linearen Regression wird das Bestimmtheitsmaß auch als mehrfaches bzw. multiples Bestimmtheitsmaß bezeichnet. Aufgrund des oben aufgezeigten Zusammenhangs kann das multiple Bestimmtheitsmaß als eine Maßzahl für die Anpassungsgüte der geschätzten Regressionshyperebene ${\displaystyle {\hat {y}}=b_{0}+x_{1}b_{1}+x_{2}b_{2}+\dotsc +x_{k}b_{k}}$  an die Realisierungen ${\displaystyle y_{1},y_{2},\ldots ,y_{n}}$  der Zufallsvariablen ${\displaystyle Y_{1},Y_{2},\ldots ,Y_{n}}$  angesehen werden. Es ist also ein Maß des linearen Zusammenhangs zwischen ${\displaystyle y_{i}}$  und ${\displaystyle {\hat {y}}_{i}}$ .^[9]

Für den speziellen Fall einer linearen Regression mit Fit des Achsenabschnitts kann die obige Definition äquivalent wie folgt geschrieben werden (nicht jedoch im Allgemeinen):

${\displaystyle {\mathit {R}}^{2}=1-{\frac {SQR}{SQT}}=1-{\frac {\displaystyle \sum _{i}\left(y_{i}-{\hat {y}}_{i}\right)^{2}}{\displaystyle \sum _{i}\left(y_{i}-{\overline {y}}\right)^{2}}}}$ ,

wobei angenommen wird, dass für die totale Quadratsumme ${\displaystyle SQT\neq 0}$  gilt, was praktisch immer erfüllt ist, außer für den Fall, dass die Messwerte der abhängigen Variable keinerlei Variabilität aufweisen, d. h. ${\displaystyle y_{1}=y_{2}=\ldots =y_{n}={\overline {y}}}$ . In diesem Falle ist das Bestimmtheitsmaß nicht definiert.^[7] Die zweite Gleichung, die sich mithilfe der Quadratsummenzerlegung für lineare Modelle zeigen lässt, ist eine alternative Berechnungsformel für das Bestimmtheitsmaß, welche auch negative Werte ${\displaystyle R^{2}<0}$  für das Bestimmtheitsmaß liefern kann, falls Annahmen eines linearen Modells verletzt werden.

Die alternative Berechnungsformel setzt die geforderte Kleinheit der Residuenquadrate in Relation zur gesamten Quadratsumme. Die zur Konstruktion des Bestimmtheitsmaßes verwendete Quadratsummenzerlegung kann als „Streuungszerlegung“ interpretiert werden, bei der die „Gesamtstreuung“ in die „erklärte Streuung“ und die „Reststreuung“ zerlegt wird.^{[A 6]} Das Bestimmtheitsmaß ist also gerade als jener Anteil der Gesamtstreuung ${\displaystyle SQT}$  zu deuten, der mit der Regressionsfunktion erklärt werden kann. Der unerklärte Teil bleibt als Reststreuung zurück.

Beachte, dass diese zweite Variante Ähnlichkeiten zu McFaddens Pseudo-Bestimmtheitsmaß hat, wenn die Likelihood-Funktionen aus Normalverteilungen mit angenommener konstanter Varianz zusammengesetzt sind.

Mithilfe der obigen Definition können die Extremwerte für das Bestimmtheitsmaß aufgezeigt werden. Für das Bestimmtheitsmaß gilt, dass es umso näher am Wert ${\displaystyle 1}$  ist, je kleiner die Residuenquadratsumme ist. Es wird maximal gleich ${\displaystyle 1}$ , wenn ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}=0}$  ist, also alle Residuen null sind. In diesem Fall ist die Anpassung an die Daten perfekt, was bedeutet, dass für jede Beobachtung ${\displaystyle y_{i}={\hat {y}}_{i}}$  ist und alle Beobachtungspunkte des Streudiagramms auf der Regressionsgeraden liegen. Das Bestimmtheitsmaß nimmt hingegen den Wert ${\displaystyle 0}$  an, wenn ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}=0}$  beziehungsweise ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}=\sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}$  ist. Diese Gleichung besagt, dass die „nicht erklärte Streuung“ der „gesamten zu erklärenden Streuung“ entspricht und die erklärenden Variablen ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$  somit keinen Beitrag zur Erklärung der Gesamtstreuung leisten. Die gesamte zu erklärende Streuung wird in diesem Fall durch die Residuen hervorgerufen und die Regressionsgleichung „erklärt“ gar nicht.^[10]

Die Variante 1 hat einen Wertebereich ${\displaystyle 0\leq {\mathit {R}}^{2}\leq 1}$ 

Die Variante 2 hat einen Wertebereich ${\displaystyle -\infty <{\mathit {R}}^{2}\leq 1}$  Wenn das Regressionsmodell kein Absolutglied enthält (es liegt ein homogenes Regressionsmodell vor), kann das Bestimmtheitsmaß negativ werden (siehe unter Einfache lineare Regression durch den Ursprung).^[11] Ebenfalls kann das Bestimmtheitsmaß negativ werden, wenn es auf simultane Gleichungsmodelle angewendet wird, da in diesem Kontext ${\displaystyle {\overline {\hat {y}}}}$  nicht notwendigerweise gleich ${\displaystyle {\overline {y}}}$  ist.^[9]

Sei der ${\displaystyle \mathbf {x} }$  der Vektor der erklärenden Variablen. Ferner wird angenommen, dass ${\displaystyle \mathbf {x} }$  in zwei Teilvektoren ${\displaystyle \mathbf {x} _{1}}$  und ${\displaystyle \mathbf {x} _{2}}$  partitioniert wird, d. h. ${\displaystyle \mathbf {x} =(\mathbf {x} _{1},\mathbf {x} _{2})}$ . Sei weiterhin ${\displaystyle {\mathtt {full}}}$  das volle Modell ${\displaystyle y_{i}=\beta _{0}+\mathbf {x} _{i1}^{\top }{\boldsymbol {\beta }}_{1}+\mathbf {x} _{i2}^{\top }{\boldsymbol {\beta }}_{2}+\varepsilon _{i}}$  und ${\displaystyle {\mathtt {sub}}}$  und ein darin enthaltenes Teilmodell ${\displaystyle y_{i}=\beta _{0}+\mathbf {x} _{i1}^{\top }{\boldsymbol {\beta }}_{1}+\varepsilon _{i}}$ . Dann gilt ${\displaystyle {\mathit {R}}_{\mathtt {full}}^{2}\geq {\mathit {R}}_{\mathtt {sub}}^{2}}$ , d. h. für hierarchisch geordnete Modelle ist das Bestimmtheitsmaß des Teilmodells immer kleiner oder gleich dem Bestimmtheitsmaß des vollen Modells.^[8] Dies bedeutet, dass das Bestimmtheitsmaß mit zunehmender Anzahl der erklärenden Variablen automatisch ansteigt, ohne dass sich dabei die Güte der Anpassung signifikant verbessern muss.

 

 

Das Bestimmtheitsmaß lässt sich mit ${\displaystyle 100\,\%}$  multiplizieren, um es in Prozent anzugeben: ${\displaystyle 100\,\%\cdot {\mathit {R}}^{2}}$  ist dann der prozentuale Anteil der Streuung in ${\displaystyle y}$ , der durch das lineare Modell „erklärt“ wird, und liegt daher zwischen:^[7]

• ${\displaystyle 0\,\%}$  (oder ${\displaystyle 0}$ ): kein linearer Zusammenhang und
• ${\displaystyle 100\,\%}$  (oder ${\displaystyle 1}$ ): perfekter linearer Zusammenhang.

Je näher das Bestimmtheitsmaß am Wert Eins liegt, desto höher ist die „Bestimmtheit“ bzw. „Güte“ der Anpassung. Bei ${\displaystyle {\mathit {R}}^{2}=0}$  ist der lineare Schätzer ${\displaystyle {\hat {y}}}$  im Regressionsmodell völlig unbrauchbar für die Vorhersage des Zusammenhangs zwischen ${\displaystyle x_{i}}$  und ${\displaystyle y_{i}}$  (z. B. kann man das tatsächliche Gewicht der Person ${\displaystyle y_{i}}$  überhaupt nicht mit dem Schätzer ${\displaystyle {\hat {y}}}$  vorhersagen). Ist ${\displaystyle {\mathit {R}}^{2}=1}$ , dann lässt sich die abhängige Variable ${\displaystyle y}$  vollständig durch das lineare Regressionsmodell erklären. Anschaulich liegen dann die Messpunkte ${\displaystyle (x_{1},y_{1}),(x_{2},y_{2}),\ldots ,(x_{n},y_{n})}$  alle auf der (nichthorizontalen) Regressionsgeraden. Somit liegt bei diesem Fall kein stochastischer Zusammenhang vor, sondern ein deterministischer.

Durch die Aufnahme zusätzlicher erklärender Variablen kann das Bestimmtheitsmaß nicht sinken. Das Bestimmtheitsmaß hat die Eigenschaft, dass es i. d. R. durch die Hinzunahme weiterer erklärender Variablen steigt (${\displaystyle k\uparrow \;\Rightarrow \;{\mathit {R}}^{2}\uparrow }$ ), was scheinbar die Modellgüte steigert und zum Problem der Überanpassung führen kann. Das Bestimmtheitsmaß steigt durch die Hinzunahme weiterer erklärender Variablen, da durch die Hinzunahme dieser der Wert der Residuenquadratsumme sinkt. Auch wenn dem Modell irrelevante „erklärende Variablen“ hinzugefügt werden, können diese zu Erklärung der Gesamtstreuung beitragen und den R-Quadrat-Wert künstlich steigern. Da die Hinzunahme jeder weiteren erklärenden Variablen mit einem Verlust eines Freiheitsgrads verbunden ist, führt dies zu einer ungenaueren Schätzung. Wenn man Modelle mit einer unterschiedlichen Anzahl erklärender Variablen und gleichen unabhängigen Variablen vergleichen will, ist die Aussagekraft des Bestimmtheitsmaßes begrenzt.^[12] Um solche Modelle vergleichen zu können, wird ein „adjustiertes“ Bestimmtheitsmaß verwendet, welches zusätzlich die Freiheitsgrade berücksichtigt (siehe auch unter Das adjustierte Bestimmtheitsmaß).

Aus dem Bestimmtheitsmaß kann man im Allgemeinen nicht schließen, ob das angenommene Regressionsmodell dem tatsächlichen funktionalen Zusammenhang in den Messpunkten entspricht (siehe auch unter Grenzen und Kritik). Der Vergleich des Bestimmtheitsmaßes über Modelle hinweg ist nur sinnvoll, wenn eine gemeinsame abhängige Variable vorliegt und wenn die Modelle die gleiche Anzahl von Regressionsparametern und ein Absolutglied aufweisen.^[13] Da mit dem Bestimmtheitsmaß auch indirekt der Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gemessen wird, ist es ein proportionales Fehlerreduktionsmaß.^[14][15]

In den Sozialwissenschaften sind niedrige R-Quadrat-Werte in Regressionsgleichungen nicht ungewöhnlich.^[16] Bei Querschnittsanalysen treten häufig niedrige R-Quadrat-Werte auf. Dennoch bedeutet ein kleines Bestimmtheitsmaß nicht notwendigerweise, dass die Kleinste-Quadrate-Regressionsgleichung unnütz ist. Es ist immer noch möglich, dass die Regressionsgleichung ein guter Schätzer für den ceteris-paribus-Zusammenhang zwischen ${\displaystyle x}$  und ${\displaystyle y}$  ist. Ob die Regressionsgleichung ein guter Schätzer für den Zusammenhang von ${\displaystyle x}$  und ${\displaystyle y}$  ist hängt nicht direkt von der Größe des Bestimmtheitsmaßes ab.^[17]

Cohen und Cohen (1975) und Kennedy (1981) konnten zeigen, dass sich das Bestimmtheitsmaß graphisch mittels Venn-Diagrammen veranschaulichen lässt.^[18]

 

Ausgangspunkt für die Konstruktion des Bestimmtheitsmaßes ist die Quadratsummenzerlegung, die als Streuungszerlegung interpretiert werden kann. In Bezug auf ${\displaystyle {\hat {y}}_{i}}$  lässt sich ${\displaystyle y_{i}}$  darstellen als^[19]

${\displaystyle y_{i}={\overline {y}}+\left({\hat {y}}_{i}-{\overline {y}}\right)+y_{i}-{\hat {y}}_{i}}$ 

oder äquivalent

${\displaystyle \underbrace {(y_{i}-{\overline {y}})} _{\mathrm {zu\;erkl{\ddot {a}}rende\;Abweichung} }\quad =\quad \underbrace {({\hat {y}}_{i}-{\overline {y}})} _{\mathrm {erkl{\ddot {a}}rte\;Abweichung} }\quad +\quad \underbrace {(y_{i}-{\hat {y}}_{i})} _{\mathrm {nicht\;erkl{\ddot {a}}rte\;Abweichung} }}$ ,

wobei ${\displaystyle \left(y_{i}-{\overline {y}}\right)}$  die Abweichung von ${\displaystyle y_{i}}$  vom Mittelwert ${\displaystyle {\overline {y}}}$  und ${\displaystyle y_{i}-{\hat {y}}_{i}=\varepsilon _{i}}$  die Restabweichung bzw. das Residuum darstellt. Die Gesamtabweichung lässt sich also zerlegen in die erklärte Abweichung und das Residuum. Die Gleichheit gilt auch dann noch, wenn man die Abweichungen quadriert (Abweichungsquadrate bildet) und anschließend über alle Beobachtungen summiert (Abweichungsquadratsummen, kurz: Quadratsummen bildet). Die totale Quadratsumme bzw. die zu „erklärende“ Quadratsumme lässt sich in die Quadratsumme der durch die Regressionsfunktion „erklärten“ Abweichungen vom Gesamtmittel (durch das Modell „erklärte“ Quadratsumme) und die Residuenquadratsumme (durch das Modell nicht „erklärte“ Quadratsumme) zerlegen. Die Quadratsummenzerlegung ergibt somit^[20]

${\displaystyle \underbrace {\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}} _{\mathrm {zu\;erkl{\ddot {a}}rende\;Quadratsumme} }\quad =\quad \underbrace {\sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}} _{\mathrm {erkl{\ddot {a}}rte\;Quadratsumme} }\quad +\quad \underbrace {\sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}} _{\mathrm {nicht\;erkl{\ddot {a}}rte\;Quadratsumme} }}$  oder äquivalent dazu

${\displaystyle SQT=SQE+SQR}$ .

Diese Zerlegung folgt in zwei Schritten. Im ersten Schritt wird eine Nullergänzung vorgenommen:

${\displaystyle \sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}=\sum \nolimits _{i=1}^{n}(y_{i}-\underbrace {{\hat {y}}_{i}+{\hat {y}}_{i}} _{=0}-{\overline {y}})^{2}=\sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}+2\underbrace {\sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})({\hat {y}}_{i}-{\overline {y}})} _{=0}+\sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}$ .

 

Im zweiten Schritt wurde die Eigenschaft benutzt, dass gewöhnliche Residuen ${\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}}$  vorliegen, die mit den geschätzten Werten unkorreliert sind, d. h. ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}{\hat {y}}_{i}=0}$ . Dies kann so interpretiert werden, dass in der Schätzung bereits alle relevante Information der erklärenden Variablen bezüglich der abhängigen Variablen steckt.^[21] Zudem wurde die Eigenschaft verwendet, dass – wenn das Modell das Absolutglied enthält – die Summe ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}=0}$  und damit der empirische Mittelwert der Residuen Null ist.^[22] Dies folgt aus den verwendeten Schätzverfahren (Maximum-Likelihood-Schätzung bei der klassischen Normalregression oder Kleinste-Quadrate-Schätzung), denn dort müssen die ersten partiellen Ableitungen der Residuenquadratsumme nach ${\displaystyle \beta _{i}}$  gleich Null gesetzt werden um das Maximum bzw. Minimum zu finden, also für ${\displaystyle {\hat {\beta }}_{0}}$ : ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}=0}$  bzw. für ${\displaystyle {\hat {\beta }}_{k}}$  mit ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}x_{ij}{\hat {\varepsilon }}_{i}=0,\;j=1,2,\ldots ,k}$  (siehe Algebraische Eigenschaften). Werden die Regressionsparameter mittels der Kleinste-Quadrate-Schätzung geschätzt, dann wird der Wert für ${\displaystyle {\mathit {R}}^{2}}$  automatisch maximiert, da die Kleinste-Quadrate-Schätzung die Residuenquadratsumme minimiert.

Im Anschluss an die Zerlegung dividiert man die Quadratsummenzerlegungsformel durch die totale Quadratsumme und erhält damit^[23]

${\displaystyle 1={\frac {\sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}+{\frac {\sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}$ 

oder

${\displaystyle {\frac {\sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}=1-{\frac {\sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}$ .

Das Verhältnis der durch die Regression erklärten Quadratsumme zur gesamten Quadratsumme

${\displaystyle {\frac {\sum \nolimits _{i=1}^{n}({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}={\mathit {R}}^{2}}$ 

wird Bestimmtheitsmaß der Regression genannt. Aus der Quadratsummenzerlegungsformel wird ersichtlich, dass man das Bestimmtheitsmaß auch als

${\displaystyle {\mathit {R}}^{2}={\frac {SQE}{SQT}}={\frac {SQT-SQR}{SQT}}=1-{\frac {SQR}{SQT}}}$ 

darstellen kann. Wenn die obige Quadratsummenzerlegungsformel durch den Stichprobenumfang ${\displaystyle n}$  beziehungsweise durch die Anzahl der Freiheitsgrade ${\displaystyle (n-1)}$  dividiert wird, erhält man die Varianzzerlegungsformel: ${\displaystyle s_{y}^{2}=s_{\hat {y}}^{2}+s_{\hat {\varepsilon }}^{2}}$ . Die Varianzzerlegung stellt eine additive Zerlegung der Varianz der abhängigen Variablen (totale Varianz bzw. Gesamtvarianz) ${\displaystyle s_{y}^{2}}$  in die Varianz der Schätzwerte ${\displaystyle s_{\hat {y}}^{2}}$  (erklärte Varianz) und die nicht erklärte Varianz ${\displaystyle s_{\hat {\varepsilon }}^{2}}$  (auch Residualvarianz genannt) dar.^[10] Hierbei entspricht die Residualvarianz dem Maximum-Likelihood-Schätzer ${\displaystyle {\tilde {\sigma }}^{2}}$  für die Varianz der Störgrößen ${\displaystyle \sigma ^{2}}$ . Aufgrund der Varianzzerlegung lässt sich das Bestimmtheitsmaß auch als ${\displaystyle {\mathit {R}}^{2}=s_{\hat {y}}^{2}/s_{y}^{2}}$  darstellen und wie folgt interpretieren: Das Bestimmtheitsmaß gibt an, wie viel Varianzaufklärung alle erklärenden Variablen ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$  an der Varianz der abhängigen Variablen ${\displaystyle s_{y}^{2}}$  leisten. Diese Interpretation ist jedoch nicht ganz korrekt, da die Quadratsummen eigentlich unterschiedliche Freiheitsgrade aufweisen. Diese Interpretation trifft eher auf das adjustierte Bestimmtheitsmaß zu, da hier die erwartungstreuen Varianzschätzer ins Verhältnis gesetzt werden.^[24] Im Gegensatz zur Varianzaufklärung beim Bestimmtheitsmaß kann man bei der Varianzaufklärung in der Hauptkomponenten- und Faktorenanalyse jeder Komponente bzw. jedem Faktor seinen Beitrag zur Aufklärung der gesamten Varianz zuordnen. Kent (1983) hat eine allgemeine Definition der Varianzaufklärung gegeben, die auf dem Informationsmaß von Fraser (1965) aufbaut.

 

Im Fall der einfachen linearen Regression durch den Ursprung/Regression ohne Absolutglied (das Absolutglied ${\displaystyle \beta _{0}}$  wird nicht in die Regression miteinbezogen und daher verläuft die Regressionsgleichung durch den Koordinatenursprung) lautet die konkrete empirische Regressionsgerade ${\displaystyle {\tilde {y}}={\tilde {\beta }}_{1}x}$ , wobei die Notation ${\displaystyle {\tilde {y}},{\tilde {\beta }}_{1}}$  benutzt wird um von der allgemeinen Problemstellung der Schätzung eines Steigungsparameters mit Hinzunahme eines Absolutglieds zu unterscheiden. Auch in einer einfachen linearen Regression durch den Ursprung lässt sich die Kleinste-Quadrate-Schätzung anwenden. Sie liefert für die Steigung ${\displaystyle \textstyle {\tilde {\beta }}_{1}=\left(\textstyle \sum \nolimits _{i=1}^{n}x_{i}y_{i}\right)/\left(\textstyle \sum \nolimits _{i=1}^{n}x_{i}^{2}\right)}$ . Dieser Schätzer für den Steigungsparameter ${\displaystyle {\tilde {\beta }}_{1}}$  entspricht dem Schätzer für den Steigungsparameter ${\displaystyle b_{1}}$ , dann und nur dann wenn ${\displaystyle {\overline {x}}=0}$ . Wenn für das wahre Absolutglied ${\displaystyle \beta _{0}\neq 0}$  gilt, ist ${\displaystyle {\tilde {\beta }}_{1}}$  ein verzerrter Schätzer für den wahren Steigungsparameter ${\displaystyle \beta _{1}}$ .

Wenn in eine Regressionsgleichung kein Absolutglied hinzugenommen wird, nimmt der aus der obigen Quadratsummenzerlegungsformel entnommene Ausdruck ${\displaystyle \textstyle \sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y_{i}}})({\hat {y}}_{i}-{\overline {y}})}$  nicht den Wert Null an. Daher ist die oben angegebene Quadratsummenzerlegungsformel in diesem Fall nicht gültig. Wenn das Modell der Regression durch den Ursprung eine hinreichend schlechte Anpassung an die Daten liefert (d. h. die Daten variieren mehr um die Regressionslinie als um ${\displaystyle {\overline {y}}}$ ), was in ${\displaystyle SQR>SQT}$  resultiert und man die allgemeine Definition des Bestimmtheitsmaßes ${\displaystyle 1-SQR/SQT}$  anwendet, dann führt dies zu einem negativen Bestimmtheitsmaß. Nach dieser Definition kann

${\displaystyle {\mathit {R}}^{2}=1-{\frac {SQR}{SQT}}=1-{\frac {\displaystyle \sum \nolimits \left(y_{i}-{\tilde {\beta }}_{1}x_{i}\right)^{2}}{\displaystyle \sum \nolimits (y_{i}-{\overline {y}})^{2}}}}$ 

also negativ werden. Ein negatives Bestimmtheitsmaß bedeutet dann, dass das empirische Mittel der abhängigen Variablen ${\displaystyle {\overline {y}}}$  eine bessere Anpassung an die Daten liefert als wenn man die erklärenden Variablen ${\displaystyle x_{i}}$  zur Schätzung benutzen würde.^[25] Um ein negatives Bestimmtheitsmaß zu vermeiden, wird eine modifizierte Form der Quadratsummenzerlegung angegeben:

${\displaystyle \underbrace {\sum \nolimits _{i=1}^{n}y_{i}^{2}} _{\text{nicht korrigierte totale Quadratsumme}}=\underbrace {\sum \nolimits _{i=1}^{n}{\tilde {y}}_{i}^{2}} _{\mathrm {nicht\;korrigierte\;erkl{\ddot {a}}rte\;Quadratsumme} }+\underbrace {\sum \nolimits _{i=1}^{n}\left(y_{i}-{\tilde {y}}_{i}\right)^{2}} _{\text{Residuenquadratsumme}}}$  oder äquivalent dazu

${\displaystyle SQT_{0}=SQE_{0}+SQR}$ .

Diese modifizierte Form der Quadratsummenzerlegung wird auch nicht korrigierte Quadratsummenzerlegung genannt, da die erklärte und die totale Quadratsumme nicht um den empirischen Mittelwert „korrigiert“ bzw. „zentriert“ werden. Wenn man statt dem gewöhnlichen ${\displaystyle SQT}$  und ${\displaystyle SQE}$  die modifizierten Quadratsummen ${\displaystyle SQT_{0}=\textstyle \sum \nolimits _{i=1}^{n}y_{i}^{2}}$  und ${\displaystyle SQE_{0}=\textstyle \sum \nolimits _{i=1}^{n}{\tilde {y}}_{i}^{2}}$  benutzt, ist das Bestimmtheitsmaß gegeben durch

${\displaystyle {\mathit {R}}^{2}\equiv {\frac {SQE_{0}}{SQT_{0}}}={\frac {\displaystyle \sum \nolimits {\tilde {y}}_{i}^{2}}{\displaystyle \sum \nolimits y_{i}^{2}}}=1-{\frac {SQR}{SQT_{0}}}=1-{\frac {\displaystyle \sum \nolimits \left(y_{i}-{\tilde {\beta }}_{1}x_{i}\right)^{2}}{\displaystyle \sum \nolimits y_{i}^{2}}}}$ .

Dieses Bestimmtheitsmaß ist strikt nichtnegativ und wird – da es auf der nicht korrigierten Quadratsummenzerlegung aufbaut, bei der nicht um den empirischen Mittelwert „zentriert“ wird – auch als unzentriertes Bestimmtheitsmaß bezeichnet. Zur Abgrenzung wird das konventionelle Bestimmtheitsmaß auch als zentriertes Bestimmtheitsmaß bezeichnet. Bei einer Regression durch den Ursprung wird daher die modifizierte Form der Quadratsummenzerlegungsformel verwendet.

 

Folgendes Beispiel soll die Berechnung des Bestimmtheitsmaßes zeigen. Es wurden zufällig zehn Kriegsschiffe ausgewählt (siehe Kriegsschiffsdaten in dieser Übersicht) und bezüglich ihrer Länge und Breite (in Metern) analysiert. Es soll untersucht werden, ob die Breite eines Kriegsschiffs möglicherweise in einem festen Bezug zur Länge steht.

Das Streudiagramm lässt einen linearen Zusammenhang zwischen Länge und Breite eines Schiffs vermuten. Eine mittels der Kleinste-Quadrate-Schätzung durchgeführte einfache lineare Regression ergibt für das Absolutglied ${\displaystyle b_{0}=-8{,}6450715}$  und die Steigung ${\displaystyle b_{1}=0{,}1612340}$  (für die Berechnung der Regressionsparameter siehe Beispiel mit einer Ausgleichsgeraden). Die geschätzte Regressionsgerade lautet somit

${\displaystyle {\widehat {\mathtt {breite}}}=-8{,}6450715+0{,}1612340\cdot {\mathtt {l{\ddot {a}}nge}}}$ .

Die Gleichung stellt die geschätzte Breite ${\displaystyle {\hat {y}}={\widehat {\mathtt {breite}}}}$  als Funktion der Länge ${\displaystyle x={\mathtt {l{\ddot {a}}nge}}}$  dar. Die Funktion zeigt, dass die Breite der ausgewählten Kriegsschiffe grob einem Sechstel ihrer Länge entspricht.

Kriegsschiff	Länge (m)	Breite (m)	${\displaystyle y_{i}^{*}}$	${\displaystyle y_{i}^{*}\cdot y_{i}^{*}}$	${\displaystyle {\hat {y}}_{i}}$	${\displaystyle {\hat {\varepsilon }}_{i}}$	${\displaystyle {\hat {\varepsilon }}_{i}^{2}}$
${\displaystyle i}$	${\displaystyle x_{i}}$	${\displaystyle y_{i}}$	${\displaystyle y_{i}-{\overline {y}}}$	${\displaystyle (y_{i}-{\overline {y}})^{2}}$	${\displaystyle {\hat {y}}(x_{i})}$	${\displaystyle y_{i}-{\hat {y}}_{i}}$	${\displaystyle (y_{i}-{\hat {y}}_{i})^{2}}$
1	208	21,6	3,19	10,1761	24,8916	−3,2916	10,8347
2	152	15,5	−2,91	8,4681	15,8625	−0,3625	0,1314
3	113	10,4	−8,01	64,1601	9,5744	0,8256	0,6817
4	227	31,0	12,59	158,5081	27,9550	3,045	9,2720
5	137	13,0	−5,41	29,2681	13,4440	−0,4440	0,1971
6	238	32,4	13,99	195,7201	29,7286	2,6714	7,1362
7	178	19,0	0,59	0,3481	20,0546	−1,0546	1,1122
8	104	10,4	−8,01	64,1601	8,1233	2,2767	5,1835
9	191	19,0	0,59	0,3481	22,1506	−3,1506	9,9265
10	130	11,8	−6,61	43,6921	12,3154	−0,5154	0,2656
Σ	1678	184,1		574,8490		0,0000	44,7405
Σ/n	167,8	18,41		57,48490		0,0000	4,47405

Aus der Tabelle lässt sich erkennen, dass der Gesamtmittelwert der Breite ${\displaystyle {\overline {y}}=18{,}41\;{\text{m}}}$  beträgt, die totale Quadratsumme der Messwerte ${\displaystyle 574{,}849\;{\text{m}}^{2}}$  beträgt und die Residuenquadratsumme ${\displaystyle 44{,}7405\;{\text{m}}^{2}}$  beträgt. Daher ergibt sich das Bestimmtheitsmaß zu

${\displaystyle {\mathit {R}}^{2}=1-{\frac {\displaystyle \sum \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\displaystyle \sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}=1-{\frac {44{,}7405}{574{,}8490}}\;=\;0{,}92217}$ ,

d. h. circa ${\displaystyle 92\,\%}$  der Streuung in der Kriegsschiffsbreite kann durch die lineare Regression von Kriegsschiffsbreite auf Kriegsschiffslänge „erklärt“ werden. Das Komplement des Bestimmtheitsmaßes ${\displaystyle 1-{\mathit {R}}^{2}={\mathit {U}}^{2}}$  wird auch Unbestimmtheitsmaß (auch Koeffizient der Nichtdetermination oder Alienationskoeffizient, von lateinisch alienus „fremd“, „unbekannt“) genannt. Bestimmtheits- und Unbestimmtheitsmaß addieren sich jeweils zu ${\displaystyle 1}$ . Das Unbestimmtheitsmaß ${\displaystyle {\mathit {U}}^{2}}$  sagt im vorliegenden Beispiel aus, dass knapp ${\displaystyle (1-{\mathit {R}}^{2})\cdot 100\,\%\approx 8\,\%}$  der Streuung in der Breite „unerklärt“ bleiben. Hier könnte man z. B. nach weiteren Faktoren suchen, welche die Breite eines Kriegsschiffes beeinflussen und sie in die Regressionsgleichung mit aufnehmen.

Die „Qualität“ der Regression kann auch mithilfe des geschätzten Standardfehlers der Residuen (engl. residual standard error) beurteilt werden, der zum Standardoutput der meisten statistischen Programmpakete gehört. Der geschätzte Standardfehler der Residuen gibt an, mit welcher Sicherheit die Residuen ${\displaystyle {\hat {\varepsilon }}_{i}}$  den wahren Störgrößen ${\displaystyle \varepsilon _{i}}$  näherkommen. Die Residuen sind somit eine Approximation der Störgrößen. Der geschätzte Standardfehler der Residuen ist mit dem Bestimmtheitsmaß und dem adjustierten Bestimmtheitsmaß vergleichbar und ähnlich zu interpretieren. Der geschätzte Standardfehler der Residuen, der sich aus der obigen Tabelle berechnen lässt, ergibt einen Wert von:

${\displaystyle {\tilde {s}}={\sqrt {{\tfrac {1}{n}}\sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}}={\sqrt {SQR/n}}=2{,}1152}$ .

Es ist jedoch zu beachten, dass ${\displaystyle {\tilde {s}}^{2}}$  eine verzerrte Schätzung der wahren Varianz der Störgrößen ${\displaystyle \sigma _{\varepsilon }^{2}=\sigma ^{2}}$  ist, da der verwendete Varianzschätzer nicht erwartungstreu ist. Wenn man berücksichtigt, dass man durch die Schätzung der beiden Regressionsparameter ${\displaystyle \beta _{0}}$  und ${\displaystyle \beta _{1}}$  zwei Freiheitsgrade verliert und somit statt durch den Stichprobenumfang ${\displaystyle n}$  durch die Anzahl der Freiheitsgrade ${\displaystyle (n-2)}$  dividiert, erhält man das „mittlere Residuenquadrat“ ${\displaystyle MQR=SQR/(n-2)}$  und damit die erwartungstreue Darstellung:^[26]

${\displaystyle {\hat {\sigma }}={\sqrt {{\tfrac {1}{n-2}}\sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}}={\sqrt {MQR}}=2{,}3649}$ .

Die Darstellung ist unverzerrt, da sie durch Einbezug der Freiheitsgrade der Varianzschätzer, wegen ${\displaystyle \mathbb {E} ({\hat {\sigma }}^{2})=\sigma ^{2}}$ , unter den Gauß-Markow-Annahmen erwartungstreu ist (siehe auch Schätzer für die Varianz der Störgrößen).^[27] Die unverzerrte Darstellung ${\displaystyle {\hat {\sigma }}}$  wird im Regressionsoutput statistischer Software oft auch als Standardfehler der Schätzung oder Standardfehler der Regression (engl. standard error of the regression, kurz: SER) bezeichnet.^{[A 7]} Der Standardfehler der Regression wird als Quadratwurzel des mittleren Residuenquadrats berechnet und ist ein eigenständiges Modellgütemaß. Er gibt an, wie groß im Durchschnitt die Abweichung der Messwerte von der Regressionsgerade ausfällt. Je größer der Standardfehler der Regression, desto schlechter beschreibt die Regressionsgerade die Verteilung der Messwerte. Der Standardfehler der Regression ist in der Regel kleiner als der Standardfehler der Zielgröße ${\displaystyle {\hat {\sigma }}_{y}}$ . Das Bestimmtheitsmaß wird häufiger angegeben als der Standardfehler der Residuen, obwohl der Standardfehler der Residuen bei der Bewertung Anpassungsgüte möglicherweise aussagekräftiger ist.^[28]

Neben den Vorteilen des Bestimmtheitsmaßes (es ist eine dimensionslose Größe, hat eine einfache Interpretation und liegt stets zwischen ${\displaystyle 0}$  und ${\displaystyle 1}$ ) wird das Bestimmtheitsmaß immer wieder kritisiert und falsch angewendet:

 

• Übliche Missverständnisse sind:
  • Bei einem hohen Bestimmtheitsmaß für einen Schätzer ${\displaystyle S}$  könne man folgern, dass der tatsächliche Zusammenhang linear sei. Die pinken Daten in der Grafik wurden mit einer nichtlinearen Funktion generiert:^{[A 8]}

${\displaystyle f(x)\equiv -{\tfrac {4}{3}}\left|x-0{,}9\right|+1{,}4}$ 

Durch die Betragsfunktion im Term nimmt die Funktion ${\displaystyle f}$  an der Stelle ${\displaystyle 0{,}9}$  ihr Maximum ${\displaystyle 1{,}4}$  an. Für höhere Werte von ${\displaystyle x>0{,}9}$  fällt die Funktion dann streng monoton mit der Steigung ${\displaystyle -4/3}$ . Damit wäre der tatsächliche Zusammenhang in den Daten auch bei dem hohen Bestimmtheitsmaß nach Konstruktion natürlich nicht linear. Dennoch legt das hohe Bestimmtheitsmaß nahe, dass es sich um einen linearen Zusammenhang handelt.

• Ein hohes Bestimmtheitsmaß gebe an, dass die geschätzte Regressionslinie überall eine gute Approximation an die Daten darstellt; die pinken Daten legen auch hier etwas anderes nahe.
• Ein Bestimmtheitsmaß nahe bei Null zeige an, dass es keinen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gebe. Die blauen Daten in der Grafik wurden mit der folgenden quadratischen Funktion ${\displaystyle g}$  generiert und besitzen daher einen deterministischen funktionalen Zusammenhang, der allerdings nicht linear ist^{[A 9]}

${\displaystyle g(x)\equiv 1{,}1x^{2}-1{,}1}$ .

Obwohl das Bestimmtheitsmaß gleich Null ist, lässt sich nicht daraus schließen, dass es keinen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen für die konstruierten Datenpunkte gibt. Eine Regressionsanalyse für nichtlineare Fälle verallgemeinert die lineare Regression auf andere Klassen von Funktionen und mehrdimensionale Definitionsbereiche von ${\displaystyle g}$ .

• Wählt man aus den Daten mit quadratischem Zusammenhang (Parabel ${\displaystyle g}$ ) nur die Datenpunkte mit positivem ${\displaystyle x}$ -Werten aus, kann auch das Bestimmtheitsmaß sehr hoch sein und bei einem nach Konstruktion der Daten gegebenen quadratischem Zusammenhang durch ${\displaystyle g}$  in den Messdaten dennoch eine lineare Modellannahme suggerieren (z. B. wenn man nur die Daten aus der Parabel wählt, in der die Funktion positive Steigung besitzt).

 

• Das Bestimmtheitsmaß zeigt zwar die „Qualität“ der linearen Approximation, jedoch nicht, ob das Modell richtig spezifiziert wurde. Zum Beispiel kann ein nichtlinearer Zusammenhang bei einer der unabhängigen Variablen vorliegen. In einem solchen Fall können die unabhängigen Variablen unentdeckte Erklärungskraft enthalten, auch dann wenn das Bestimmtheitsmaß einen Wert nahe bei Null aufweist.^[10] Modelle, die mittels der Kleinste-Quadrate-Schätzung geschätzt wurden, werden daher die höchsten R-Quadrat-Werte aufweisen.
• (Korrelation/Kausaler Zusammenhang) Das Bestimmtheitsmaß sagt nichts darüber aus, ob die unabhängige Variable ${\displaystyle x}$  der Grund (die kausale Ursache) für die Änderungen in ${\displaystyle y}$  sind. Zum Beispiel kann das Bestimmtheitsmaß zwischen der Anzahl der Störche ${\displaystyle x_{i}}$  und der Anzahl der neugeborenen Kinder ${\displaystyle y_{i}}$  in untersuchten Gebieten ${\displaystyle G_{i}}$  hoch sein. Ein direkter kausaler Zusammenhang zwischen Störchen und Neugeborenen ist jedoch biologisch ausgeschlossen (siehe Scheinkorrelation).^[29]
• Das Bestimmtheitsmaß sagt nichts über die statistische Signifikanz des ermittelten Zusammenhangs und der einzelnen erklärenden Variablen aus. Um diesen zu ermitteln muss die Stichprobengröße bekannt sein und ein Signifikanztest durchgeführt werden.
• Das Bestimmtheitsmaß macht keine Aussage über Multikollinearität zwischen den unabhängigen Variablen ${\displaystyle x_{i}}$ . Multikollinearität kann z. B. mithilfe des Varianzinflationsfaktors identifiziert werden (siehe auch unter Interpretation der Varianz der Regressionsparameter).
• Es zeigt nicht an, ob eine Verzerrung durch ausgelassene Variablen (engl. omitted variable bias) vorliegt.
• Es macht keine Aussage, ob eine Transformation der Daten die Erklärungskraft der Regression verbessert.
• Ein Nachteil des Bestimmtheitsmaßes ist die Empfindlichkeit gegenüber Trends: Wenn sich eine exogene Variable parallel zu einer erklärenden entwickelt, werden unabhängig von der wahren Erklärungskraft des Modells hohe R-Quadrat-Werte ausgewiesen.
• Zusammenfassend ist ein hohes Bestimmtheitsmaß kein Beweis für ein „gutes“ Modell und ein niedriges Bestimmtheitsmaß bedeutet nicht, dass es sich um ein „schlechtes“ Modell handelt. Dies wird anhand des Anscombe-Beispiels (1973)^[30] deutlich. Anscombe zeigte auf der Basis von vier verschiedenen Datensätzen, dass ein in allen vier Fällen relativ hohes Bestimmtheitsmaß von ${\displaystyle 0{,}67}$  nichts darüber aussagt, ob der wahre Zusammenhang zwischen zwei Variablen richtig erfasst worden ist.^[31]

 

 

Die Grundlage des Bestimmtheitsmaßes stellt die Regressionsanalyse und der Korrelationskoeffizient dar. Der britische Naturforscher Sir Francis Galton (1822–1911) begründete in den 1870er-Jahren die Regressionsanalyse. Er war – wie auch sein Cousin Charles Darwin – ein Enkel von Erasmus Darwin. Galton war durch seine starke Leidenschaft Daten jeglicher Art zu sammeln bekannt. Beispielsweise sammelte er Daten der Samen von Platterbsen. Beim Vergleich der Durchmesser der Samen konstruierte er das, was heute allgemein als Korrelationsdiagramm bekannt ist. Den bei dieser Tätigkeit von ihm entdeckte Zusammenhang taufte er zunächst „Reversion“ (Umkehrung); später entschied er sich jedoch für die Bezeichnung „Regression“. Bei der Analyse der Samen entdeckte er das Phänomen der Regression zur Mitte, nach dem – nach einem extrem ausgefallenen Messwert – die nachfolgende Messung wieder näher am Durchschnitt liegt: Der Mediandurchmesser der Nachkommen der größeren Samen war kleiner als der Mediandurchmesser der Samen der Eltern (vice versa). In seine Korrelationsdiagramme zeichnete er eine Trendlinie ein, für die er als Steigung den Korrelationskoeffizienten verwendete.^[32]

Die Bezeichnung „Varianz“ wurde vom Statistiker Ronald Fisher (1890–1962) in seinem 1918 veröffentlichtem Aufsatz mit dem Titel Die Korrelation zwischen Verwandten in der Annahme der Mendelschen Vererbung (Originaltitel: The Correlation between Relatives on the Supposition of Mendelian Inheritance) eingeführt.^[33] Fisher war einer der bedeutendsten Statistiker des 20. Jahrhunderts und ist für seine Beiträge zur Evolutionstheorie berühmt. Ebenso ist er für die Entdeckung der Streuungszerlegung (engl. analysis of variance) bekannt, die die Grundlage für das Bestimmtheitsmaß darstellt. Die – eng in Verbindung mit dem Bestimmtheitsmaß stehende – F -Statistik ist ebenfalls nach ihm benannt. Karl Pearson (1857–1936), der Begründer der Biometrie, lieferte schließlich eine formal-mathematische Begründung für den Korrelationskoeffizienten, dessen Quadrat dem Bestimmtheitsmaß entspricht.^[34]

Das Bestimmtheitsmaß wurde in den folgenden Jahren stark kritisiert. Dies geschah auch, da es die Eigenschaft hat, dass es umso größer wird, je größer die Zahl der unabhängigen Variablen ist. Dies ist unabhängig davon, ob die zusätzlichen erklärenden Variablen einen Beitrag zur Erklärungskraft liefern. Um diesen Umstand Rechnung zu tragen, schlug der Ökonometriker Henri Theil 1961^[35] das adjustierte Bestimmtheitsmaß (auch bereinigtes, korrigiertes oder angepasstes Bestimmtheitsmaß genannt) vor. Dies berücksichtigt, dass die Hinzunahme jeder weiteren erklärenden Variablen mit einem Verlust eines Freiheitsgrads verbunden ist, wurde jedoch von Rinne (2004)^[36] in der Hinsicht kritisiert, dass das Auswahlkriterium den Verlust an Freiheitsgraden mit wachsender Anzahl an erklärenden Variablen nicht ausreichend bestraft.

Das Bestimmtheitsmaß ${\displaystyle {\mathit {R}}^{2}}$  hat die Eigenschaft, dass es umso größer wird, je größer die Zahl der unabhängigen Variablen ist. Dies ist unabhängig davon, ob die zusätzlichen unabhängigen Variablen einen Beitrag zur Erklärungskraft liefern. Daher ist es ratsam, das adjustierte (freiheitsgradbezogene) Bestimmtheitsmaß (auch bereinigtes, korrigiertes oder angepasstes Bestimmtheitsmaß genannt) zu Rate zu ziehen. Das adjustierte Bestimmtheitsmaß wird nach Mordecai Ezekiel^[37][38] mit ${\displaystyle {\overline {\mathit {R}}}{}^{2}}$  (lies: R Quer Quadrat) oder ${\displaystyle {\mathit {R}}_{\text{adj.}}^{2}}$  bzw. ${\displaystyle {\mathit {R}}_{a}^{2}}$  notiert. Man erhält das adjustierte Bestimmtheitsmaß, wenn an Stelle der Quadratsummen die mittleren Abweichungsquadrate (englisch mean squares) ${\displaystyle MQR=SQR/(n-p)}$  und ${\displaystyle MQT=SQT/(n-1)}$  verwendet werden:^[39][40]

${\displaystyle {\overline {\mathit {R}}}{}^{2}\equiv 1-{\frac {MQR}{MQT}}=1-{\frac {SQR}{SQT}}{\frac {n-1}{n-p}}=1-\left(1-{\mathit {R}}^{2}\right){\frac {n-1}{n-p}}}$ .

Hierbei ist ${\displaystyle MQR}$  das „mittlere Residuenquadrat“^[41] (Mittleres Quadrat der Residuen, kurz: MQR) und ${\displaystyle MQT}$  das „mittlere Gesamtabweichungsquadrat“ (Mittleres Quadrat der Totalen Abweichungen, kurz: MQT). Das adjustierte Bestimmtheitsmaß modifiziert die Definition des Bestimmtheitsmaßes, indem es den Quotienten ${\displaystyle SQR/SQT}$  mit dem Faktor ${\displaystyle (n-1)/(n-p)}$  multipliziert.^[42] Alternativ lässt sich das adjustierte Bestimmtheitsmaß algebraisch äquivalent darstellen als

${\displaystyle {\overline {\mathit {R}}}{}^{2}={\mathit {R}}^{2}-\left(1-{\mathit {R}}^{2}\right){\frac {k}{n-p}}}$ .

Definitionsgemäß ist das adjustierte Bestimmtheitsmaß für mehr als eine erklärende Variable stets kleiner als das unadjustierte.^[43] Beim adjustierten Bestimmtheitsmaß wird die Erklärungskraft des Modells, repräsentiert durch ${\displaystyle {\mathit {R}}^{2}}$ , ausbalanciert mit der Komplexität des Modells, repräsentiert durch ${\displaystyle p=k+1}$ , die Anzahl der Parameter. Je komplexer das Modell ist, desto mehr „bestraft“ das adjustierte Bestimmtheitsmaß jede neu hinzugenommene erklärende Variable. Das adjustierte Bestimmtheitsmaß steigt nur, wenn ${\displaystyle {\mathit {R}}^{2}}$  ausreichend steigt, um den gegenläufigen Effekt des Quotienten ${\displaystyle (n-1)/(n-p)}$  auszugleichen und kann ebenfalls sinken (${\displaystyle k\uparrow \;\Rightarrow \;{\overline {\mathit {R}}}{}^{2}\uparrow \downarrow }$ ).^[44] Auf diese Weise lässt sich ${\displaystyle {\overline {R}}{}^{2}}$  als Entscheidungskriterium bei der Auswahl zwischen zwei alternativen Modellspezifikationen (etwa einem restringierten und einem unrestringierten Modell) verwenden. Das adjustierte Bestimmtheitsmaß kann negative Werte annehmen und ist kleiner als das unbereinigte, außer falls ${\displaystyle {\mathit {R}}^{2}=1}$  und damit auch ${\displaystyle {\overline {\mathit {R}}}{}^{2}=1}$  ist. Als Ergebnis daraus folgt ${\displaystyle {\overline {\mathit {R}}}{}^{2}\leq {\mathit {R}}^{2}}$ . Das adjustierte Bestimmtheitsmaß nähert sich mit steigendem Stichprobenumfang ${\displaystyle n}$  dem unadjustierten Bestimmtheitsmaß. Dies liegt daran, dass bei fixer Anzahl der erklärenden Variablen für den Grenzwert für den Korrekturfaktor bzw. Strafterm gilt

${\displaystyle \lim _{n\to \infty }{\frac {n-1}{n-p}}=\lim _{n\to \infty }{\frac {1-{\frac {1}{n}}}{1-{\frac {p}{n}}}}=1}$ .

In der Praxis ist es nicht zu empfehlen, das adjustierte Bestimmtheitsmaß zur Modellselektion zu verwenden, da die „Bestrafung“ für neu hinzugefügte erklärende Variablen zu klein erscheint. Man kann zeigen, dass das ${\displaystyle {\overline {\mathit {R}}}{}^{2}}$  schon steigt, wenn eine erklärende Variable mit einem t-Wert größer als Eins in das Modell inkludiert wird.^[45] Aus diesem Grund wurden weitere Kriterien (sogenannte Informationskriterien) wie z. B. das Akaike-Informationskriterium und das bayessche Informationskriterium zur Modellauswahl entwickelt, die ebenfalls der Idee von Ockhams Rasiermesser folgen, dass ein Modell nicht unnötig komplex sein soll.

Aus der allgemeinen Definition von ${\displaystyle {\mathit {R}}^{2}}$  folgt, dass

${\displaystyle {\mathit {R}}^{2}=1-{\frac {\displaystyle {\frac {1}{n}}\sum \nolimits \nolimits _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}}{\displaystyle {\frac {1}{n}}\sum \nolimits \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}=1-{\frac {{\tilde {s}}_{\hat {\varepsilon }}^{2}}{{\tilde {s}}_{y}^{2}}}}$ .

Wir wissen jedoch, dass ${\displaystyle {\tilde {s}}_{\hat {\varepsilon }}^{2}}$  und ${\displaystyle {\tilde {s}}_{y}^{2}}$  verzerrte Schätzer für die wahre Varianz der Störgrößen ${\displaystyle \sigma ^{2}}$  und die der Messwerte ${\displaystyle \sigma _{y}^{2}}$  sind. Aus dieser Tatsache wird deutlich, dass es sich beim multiplen Bestimmtheitsmaß ${\displaystyle {\mathit {R}}^{2}}$  um eine Zufallsvariable handelt: Das multiple Bestimmtheitsmaß kann man als Schätzfunktion für das unbekannte Bestimmtheitsmaß in der Grundgesamtheit ${\displaystyle \rho ^{2}}$ ^{[A 10]} (lies: rho Quadrat) betrachten. Dieses ist gegeben durch