Vorlesung Wirtschaftsstatistik 2 (FK ) Multiple lineare Regression. Dipl.-Ing. Robin Ristl Wintersemester 2012/13

Transkript

1 Vorlesung Wirtschaftsstatistik 2 (FK ) Multiple lineare Regression Dipl.-Ing. Robin Ristl Wintersemester 2012/13 1

2 Grundidee: Eine abhängige Variable soll als Linearkombination mehrerer unabhängiger Variablen und eines Fehlerterms erklärt werden. Modellgleichung wird also durch eine Konstante und unabhängige Variablen erklärt. Wie bei der einfachen linearen Regression setzen wir voraus: Die Fehler der einzelnen sind unabhängig. Die Fehler sind identisch normalverteilt mit Erwartungswert 0 und der Modellvarianz, also und 2

3 Matrixschreibweise für die Modellgleichung: ist also der Vektor der beobachteten abhängigen Werte. Die Matrix nennen wir Modell- oder Designmatrix. Sie enthält in Modellen mit einer Konstanten nur 1er. Die weiteren Spalten enthalten die Vektoren der unabhängigen Variablen bis. ist ein Vektor der als Einträge die Regressionskoeffizienten enthält und ist der Vektor der zufälligen Fehler. 3

4 Kleinste Quadrate Methode, um Regressionskoeffizienten zu schätzen Vorhersage Werte erhalten wir gemäß dem Modell aus den unabhängigen Größen und einer Schätzung für die Regressionskoeffizienten als Der Vektor der Residuen ist wie im einfachen Modell Wir wählen die Koeffizienten wieder so, dass die Summe der quadratischen Abstände zwischen beobachteten und vorhergesagten Werten minimal wird: Die Matrixschreibweise ist oft übersichtlicher: Die Lösung dieses Minimierungsproblems ist 4

5 Herleitung des kleinste Quadrate Schätzers wie im einfachen Modell durch Ableiten. Wir bilden den Gradienten, also den Vektor der partiellen Ableitungen von S nach den Einträgen von. An der Stelle eines Minimums (oder Maximums) muss der Gradient dem Nullvektor entsprechen:, wir benutzen folgende Regeln für eine symmetrische Matrix A und einen Vektor b: und, daher und daher (Die Matrix der zweiten Ableitungen ist positiv definit, damit liegt ein Minimum vor.) 5

6 Beispiel: Für acht Gewichtheber kennen wir ihre Höchstleistung in kg, ihre Trainingszeit pro Woche und ihre tägliche Proteinaufnahme in g/kg Körpergwicht. Wir wollen nun herausfinden, ob das gestemmte Gewicht von Trainingsintensität und Proteinzufuhr abhängt. Dazu berechnen wir ein linears Regressionsmodell der Form i Gewicht [kg] Training [h/woche] Proteinzufuhr [g/kg/d]

7 Das Modell lautet also: Wir berechnen 7

8 = Unser Modell lautet also Das würde bedeuten: Mit jeder zusätzlichen Trainingsstunde steigt das gestemmte Gewicht im Mittel um 11.2 kg und eine Erhöhung der Proteinzufuhr um 1 g erhöht das Gewicht im Mittel um 17.5 kg. Da der Bereich der Proteinwerte etwa zwischen 1 und 2 liegt wäre es hier sinnvoller zu sagen, eine Erhöhung der Proteinzuguhr um 0.1 g erhöht das gestemmte Gewicht um 1.75 kg. Aber wie gut erklärt unser Modell die Gewichtswerte überhaupt? 8

9 Quadratsummenzerlegung und (multiples) Bestimmheitsmaß Wie im einfachen Modell: Totale Quadratsumme: Erklärte Quadratsumme: Fehlerquadratsumme: Eine allgemeine Methode, um die Erklärungskraft des Modells zu prüfen, ist das darauf basierende Bestimmtheitsmaß. ist das Verhältnis aus erklärter Varianz und Gesamtvarianz: liegt zwischen 0 (keine Erklärungskraft) und 1 (perfekter Zusammenhang). 9

10 Im Beispiel sind die Vorhersagewerte (hier gerundet): Daraus ergibt sich Beachte: 10

11 Globaler F-Test Das Bestimmtheitsmaß spricht für hohe Erklärungskraft unseres Modells, wir wollen aber auch statistisch testen, ob das Modell signifikante Erklärungskraft besitzt. Dazu vergleichen wir die erklärte Varianz mit der Fehlervarianz. Wenn die erklärte Varianz signifikant größer als die Fehlervarianz ist, hat unser Modell signifikante Erklärungskraft. Das ist gleichbedeutend mit der Nullhypothese Oft wird der Test in Form einer Varianzanalysetabelle geschrieben: Quadratsumme Freiheitsgrade Mittlere QS F-Statistik p-wert Erklärt SQE k-1 MQE=SQE/(k-1) f=mqe/mqr P(F f) Fehler SQR n-k-1 MQR=SQR/(n-k-1) Total SQT n-1 Quadratsumme Freiheitsgrade Mittlere QS F-Statistik p-wert Erklärt Fehler Total

12 Verteilung der F-Statistik und p-wert Die F-Statistik folgt einer F-Verteilung mit Freiheitsgraden df 1 =k-1 und df 2 =n-k-1. Wir können über die Nullhypothese entscheiden, indem wir unsere F-Statistik mit dem kritischen Quantil aus dieser F-Verteilung vergleichen. Für ein Signifikanzniveau α=0.05 ist das, daher wird die Nullhypothese verworfen. Zumindest ein Koeffizient (, ) ist daher ungleich 0. Oder mittels p-wert: Der p-wert ist die Wahrscheinlichkeit, dass eine F 2,5 verteilte Zufallszahl größergleich f ist. Hier ist p= < α=0.05, daher wird die H0 verworfen. 12

13 T-Tests für einzelne Koeffizienten folgt einer multivariaten Normalverteilung mit Erwartungswert und Varianz-Kovarianzmatrix Schätzer für VC durch einsetzen der Residuenvarianz: entspricht MQR aus der Varianzanalyse Tabelle, also Die Varianzen sind die Einträge in der Diagonale, die anderen Einträge sind die Kovarianzen. Also 13

14 Die Standardfehler sind die Wurzeln der Varianzen, also Wir testen H0: mit der bekannten Teststatistik Die Teststatistik folgt unter der H0 einer t-verteilung mit n-k-1 Freiheitsgraden. Entscheiden über H0 wie im einfachen Modell mittels kritscher Grenzen oder p-wert 14

15 Für H0: t liegt außerhalb der kritischen Grenzen, daher wird die H0 verworfen. Die Trainingszeit hat also signifikanten Einfluss auf das gestemmte Gewicht. Für H0: t liegt innerhalb der kritischen Grenzen, daher kann die H0 nicht verworfen werden. Wir können nicht schließen, dass die Proteinmenge signifikanten Einfluss auf das gestemmte Gewicht hat. 15

16 Im Output aus dem Statistikprogramm R zu unserem Beispiel sind alle bisherigen Berechnungen enthalten: Call: lm(formula = gewicht ~ training + protein) Residuals: Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) * training ** protein Signif. codes: 0 *** ** 0.01 * Residual standard error: on 5 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 5 DF, p-value:

17 Konfidenzintervalle für Prognosen im multiplen linearen Regressionsmodell Den Prognosewert an der Stelle erhalten wir ganz einfach über die Modellgleichung als ist dabei ein Zeilenvektor der Form Prognoseintervall für erwarteten Wert an der Stelle : Prognoseintervall für einen individuellen Wert an der Stelle : 17

18 Beispiel: Prognoseintervalle das gestemmte Gewicht bei Training 2 h/woche und Proteinaufname 1.5 g/tag/kg Körpergewicht Prognosewert für das Gewicht: % Konfidenzintervall für das erwartete Gewicht mit diesem 95% Konfidenzintervall für Erwartungswert: 18

19 95% Konfidenzintervall für beobachtetes (individuelles) Gewicht mit diesem 95% Konfidenzintervall für Beobachtung: 19

20 Überprüfen der Modellvoraussetzungen für den Fehlerterm Varianzhomogenität kann wieder mit einem Residuenplot untersucht werden. Die Residuen werden gegen die Vorhersagewerte aufgetragen. Die Streuung der Residuen soll möglichst unabhängig von den Vorhersagewerten sein. Residuenplot für unser Beispiel. Die Darstellung spricht nicht gegen die Annahme von Varianzhomogenität, allerdings erschwert die geringe Beobachtungszahl die Interpretation. 20

21 Die Normalverteilungsannahme für den Fehler kann wieder mit einem Quantil-Quantil Plot der standardisierten Residuen geprüft werden. Standardisierte (oder intern studentisierte) Residuen berechnet, nur wird allgemeiner formuliert. werden wie im einfachen Modell mit ist das i-te Diagonalelement der Matrix In unserem Beispiel ist H = (die Werte sind gerundet)

22 Die standardisierten Residuen tragen wir wieder gegen die Quantile, der Standardnormalverteilung auf. i j i ist der ursprüngliche Index, j ist der Index der aufsteigend geordneten Residuen. ist die empirische Verteilungsfunktion. Für den Plot tragen wir also (sample quantiles) gegen (theoretical quantiles) auf. 22

23 Im QQ-Plot für unser Beispiel liegen die Punkte annähernd entlang einer Geraden, wir können also von normalverteilten Fehlern ausgehen. 23