Eine Einführung in R: Das Lineare Modell

Transkript

1 Eine Einführung in R: Das Lineare Modell Bernd Klaus, Verena Zuber Institut für Medizinische Informatik, Statistik und Epidemiologie (IMISE), Universität Leipzig 6. Januar 2009 Bernd Klaus, Verena Zuber Das Lineare Modell 1/26

2 I. Lineare Einfachregression MLQ - Schätzung Interpretation und Modelldiagnose Schätzung der Koezienten Einfache Modelldiagnose - Residuenanalyse Einfache Regression Modelldiagnose Multiple Regression Bernd Klaus, Verena Zuber Das Lineare Modell 2/26

3 I. Lineare Einfachregression Bernd Klaus, Verena Zuber Das Lineare Modell 3/26

4 MLQ - Schätzung Interpretation und Modelldiagnose Ziel der Regressionsanalyse: Welchen Einuss hat eine Gröÿe X auf eine andere Zufallsvariable Y? Y : metrische Zielvariable, zu erklärende Variable, Regressand X : erklärende Variable, Regressor (zufällig oder deterministisch) Daten: n Realisierungen (y 1, x 1 ),..., (y n, x n ) Die Lineare Regression untersucht, ob ein linearer Zusammenhang zwischen X und Y besteht. Bernd Klaus, Verena Zuber Das Lineare Modell 4/26

5 MLQ - Schätzung Interpretation und Modelldiagnose Modell der Linearen Regression y i = β 0 + β 1 x i + ε i i = 1,..., n y i : Zielvariable, zu erklärende Variable, Regressand x i : erklärende Variable, Regressor ε i : unbeobachtbare Fehlervariable, unabhängig und identisch verteilt (in der Regel als N(0, σ)) zu schätzende Koezienten des Models: β 0, β 1 β 0 : Intercept β 1 : Regressionskoezient der Variable X Bernd Klaus, Verena Zuber Das Lineare Modell 5/26

6 MLQ - Schätzung Interpretation und Modelldiagnose Annahmen: Lineare Regression Es besteht ein linearer Zusammenhang zwischen X und Y Y ist metrisch und normalverteilt (Kategorial: Logit Regression; Allgemeinere Verteilungen: GLM's) E(y i ) = β 0 + β 1 x i Var(y i ) = σ 2 Homoskedastizität, d.h. die Fehler ε i haben die gleiche Varianz: Var(ε i ) = σ 2 für alle i = 1,..., n Die Fehler ε i, mit i = 1,..., n, sind unabhängig (GegenBsp: Zeitreihendaten) Die Fehler ε sind unabhängig vom Wert der Zielvariable Y Bernd Klaus, Verena Zuber Das Lineare Modell 6/26

7 MLQ - Schätzung Interpretation und Modelldiagnose Beispiel: Simulierte Daten X<-seq(1,6,0.01) epsilon<-rnorm(length(x), mean=0, sd=1) Y<-X+epsilon X Y Bernd Klaus, Verena Zuber Das Lineare Modell 7/26

8 MLQ - Schätzung Interpretation und Modelldiagnose Schätzung der β i β 0 und β 1 können durch Minimierung der Summe des Quadratischen Fehlers geschätzt werden (Kleinste Quadrate Schätzers): ( n MLQ = i=1 y i (β 0 + β 1 x i ) )2 min! Dies führt zu folgenden Schätzungen für β 0 und β 1 : β 0 = n (y i (β 0 + β 1 x i ) ) β 1 = i=1 P ni=1 (x i x)(y i ȳ) P ni=1 (x i x) 2 Bernd Klaus, Verena Zuber Das Lineare Modell 8/26

9 MLQ - Schätzung Interpretation und Modelldiagnose Testen des β-koezienten Der Regressionskoezient β 1 der Variable X ist ein Indikator für den linearen Zusammenhang von X und Y. Es gilt: β 1 = cor(x, Y ) σ Y σ X Daraus folgt: β 1 < 0: negativer (linearer) Zusammenhang β 1 = 0: kein (linearer) Zusammenhang β 1 > 0: positiver (linearer) Zusammenhang Es gibt einen einfachen Test, der angibt, ob β 1 signikant ungleich Null ist, d.h. ob ein signikanter Zusammenhang zwischen X und Y besteht. Bernd Klaus, Verena Zuber Das Lineare Modell 9/26

10 MLQ - Schätzung Interpretation und Modelldiagnose Zerlegung der Gesamtstreuung Die Maÿzahl R 2 dient als Hinweis darauf, wie gut ein Regressionsmodell zu den Daten passt. Die Idee hinter diesem Maÿ ist die sogenannte Streuungszerlegung: SQT = n (y i ȳ) 2 = i=1 n (y i ŷ i ) 2 + i=1 } {{ } SQR n (ŷ i ȳ) 2 i=1 } {{ } SQE SQT: Sum of Squares Total, die Gesamtstreuung (Var(Y )) SQE: Sum of Squares Explained, die durch das Modell erklärte Streuung SQR: Sum of Squares Residuals, die Rest- oder Residualstreuung Bernd Klaus, Verena Zuber Das Lineare Modell 10/26

11 MLQ - Schätzung Interpretation und Modelldiagnose Bestimmtheitsmaÿ R 2 Liegen die Punkte (y 1, x 1 ),..., (y n, x n ) alle auf einer Geraden, so ist SQR= 0 und die Gesamtstreuung wäre gleich der erklärten Streuung. Wir denieren R 2 = SQE SQT = 1 SQR SQT [0, 1] Je gröÿer also das R 2 ist, desto besser passt das Modell zu den Daten. Dabei bedeuten: R 2 = 0: Die erklärte Streuung ist 0, d.h. das Modell ist extrem schlecht; X und Y sind nicht linear abhängig R 2 = 1: Die erklärte Streuung entspricht der Gesamtstreuung, das Modell passt perfekt R 2 (0, 1): Es gibt unerklärte Streuung. Als Faustregel für ein passables Modell kann ein R gelten Bernd Klaus, Verena Zuber Das Lineare Modell 11/26

12 MLQ - Schätzung Interpretation und Modelldiagnose Bernd Klaus, Verena Zuber Das Lineare Modell 12/26

13 Schätzung der Koezienten Einfache Modelldiagnose - Residuenanalyse Mehrere erklärende Variablen Ziel: Ist man an dem Einuss mehrerer Variablen X 1,..., X p auf eine Zielgröÿe Y, kann man in der multiplen linearen Regression p erklärende Gröÿen X = X 1,..., X p aufnehmen. Realisierungen: (y 1, x 11,..., x 1p ),..., (y n, x n1,..., x np ) Modell: y i = β 0 + p j=1 β j x ij + ε i Y = X β + ε Dabei ist X = (x ij ) die sogenannte Designmatrix. Vorteil zur einfachen Regression: β j beschreibt den Zusammenhang der j.ten Variable zu Y bedingt auf alle übrigen j 1 Variablen (Kontrolle von ungewollten oder Scheineekten) Bernd Klaus, Verena Zuber Das Lineare Modell 13/26

14 Schätzung der Koezienten Einfache Modelldiagnose - Residuenanalyse Least-Squares Schätzer β 0, β 1,..., β p können (analog zur einfachen linearen Regression) durch Minimierung der Summe des Quadratischen Fehlers geschätzt werden (Kleinste Quadrate oder Least-Squares): ( n MLQ = i=1 y i (β 0 + β 1 x 1i β p x pi ) )2 min! Der Least-Squares Schätzer ergibt sich nach Umformen zu: ˆβ = (X T X ) 1 X T Y Bernd Klaus, Verena Zuber Das Lineare Modell 14/26

15 Schätzung der Koezienten Einfache Modelldiagnose - Residuenanalyse Hat-Matrix Die Matrix H := (X T X ) 1 X T bezeichnet man auch als Hat-Matrix, da sie die beobachteten Daten Y in geschätzte Werte Ŷ = HY verwandelt. Es gilt für den Residuenvektor: r = Ŷ Y = HY Y = (I n H)Y r N ( 0, (I n H ) σ) Die Residuen besitzen also die Varianz / Kovarianz Var(r i ) = σ 2 (1 h ii ) und Cov(ˆr i, ˆr j ) = σ 2 (1 h ij ), i j Bernd Klaus, Verena Zuber Das Lineare Modell 15/26

16 Schätzung der Koezienten Einfache Modelldiagnose - Residuenanalyse Residuenanalyse Da die Residuen alle unterschiedliche Varianz besitzen, skaliert man sie auf einheitliche Varianz: r i r i,stud = ˆσ 1 N(0, σ) h ii Frage: Sind die Voraussetzungen für das lineare Modell erfüllt? Zu untersuchen sind: 1. Anpassung des Modells an die Daten: Residuen gegen gettete Wert Ŷ 2. Normalverteilung des Fehlers: QQ-Plot: Quantile der Residuen gegen die theoretische NV 3. Homoskedastizität des Fehlers: Standardisierte Residuen gegen gettete Wert Ŷ, wenn die geeignet mit H standardisierten Residuen abhängig von Ŷ sind, deutet dies auf ungleiche Varianzen der Fehler hin Bernd Klaus, Verena Zuber Das Lineare Modell 16/26

17 Schätzung der Koezienten Einfache Modelldiagnose - Residuenanalyse Bernd Klaus, Verena Zuber Das Lineare Modell 17/26

18 Einfache Regression Modelldiagnose Multiple Regression Beispieldaten: airquality Ozone: Mean ozone in parts per billion from 1300 to 1500 hours at Roosevelt Island Solar.R: Solar radiation in Langleys in the frequency band Angstroms from 0800 to 1200 hours at Central Park Wind: Average wind speed in miles per hour at 0700 and 1000 hours at LaGuardia Airport Temp: Maximum daily temperature in degrees Fahrenheit at La Guardia Airport Mit diesen Daten kann untersucht werden welchen Einuss Sonneneinstrahlung, Wind und Temperatur auf die Ozonwerte haben. Bernd Klaus, Verena Zuber Das Lineare Modell 18/26

19 Einfache Regression Modelldiagnose Multiple Regression Beispiel in R Wir laden den Datensatz airquality data(airquality) Wir untersuchen das Modell: Ozone i = β 0 + β 1 Temp i + ε i... also die Abhängigkeit des Ozons von der Temperatur Aufruf der Funktion lm() test <- lm( formula= Ozone Temp, data= airquality) Ausgabe in R: Coefficients: (Intercept) Temp Bernd Klaus, Verena Zuber Das Lineare Modell 19/26

20 Einfache Regression Modelldiagnose Multiple Regression Scatterplot: Ozone Temp plot(temp,ozone) abline(test$coefficients, col=red) Temp Ozone Bernd Klaus, Verena Zuber Das Lineare Modell 20/26

21 Einfache Regression Modelldiagnose Multiple Regression Modelldiagnose R 2 und andere Maÿe des Modells : summary(test) Estimate Std. Error t value Pr(> t ) (Intercept) e-13 Temp < 2e-16 Koezienten: test$coefficients Gettete Werte Ŷ : test$fitted.values Studentisierte Residuen: ls.diag(test)$std.res Hat-Matrix: ls.diag(test)$hat Verschiedene Diagnoseplots: plot(test) oder plot.lm(test) (u.a. Residuenanalyse) Bernd Klaus, Verena Zuber Das Lineare Modell 21/26

22 Einfache Regression Modelldiagnose Multiple Regression Modelldiagnose in R I: Residuen gegen gettete Werte Residuen gegen gettete Werte Ŷ zur Untersuchung der Anpassung des Modells an die Daten Residuals vs Fitted 117 Residuals Fitted values lm(ozone ~ Temp) Bernd Klaus, Verena Zuber Das Lineare Modell 22/26

23 Einfache Regression Modelldiagnose Multiple Regression Modelldiagnose in R II: Residuen-QQ Plot der studentisierten gegen die theoretischen (NV) Residuen zur Untersuchung der Normalverteilung des Fehlers Normal Q Q 117 Standardized residuals Theoretical Quantiles lm(ozone ~ Temp) 62 Bernd Klaus, Verena Zuber Das Lineare Modell 23/26

24 Einfache Regression Modelldiagnose Multiple Regression Modelldiagnose in R III: Standardisierte Residuen gegen Ŷ Standardisierte, absolute Residuen gegen gettete Werte Ŷ zur Untersuchung der Homoskedastizität des Fehlers Fitted values Standardized residuals lm(ozone ~ Temp) Scale Location Bernd Klaus, Verena Zuber Das Lineare Modell 24/26

25 Einfache Regression Modelldiagnose Multiple Regression Multiple Regression in R Wir untersuchen nun das Modell: Ozone i = β 0 + β 1 Temp i +β 2 Solar.R i + ε i... also die Abhängigkeit des Ozons von der Temperatur und der Sonneneinstrahlung Aufruf der Funktion lm() test <- lm( formula= Ozone Temp + Solar.R, data= airquality) Ausgabe in R: Coefficients: (Intercept) Temp Solar.R Bernd Klaus, Verena Zuber Das Lineare Modell 25/26

26 Einfache Regression Modelldiagnose Multiple Regression Spezikation der Regressionsvariablen lm(formula,...) formula: Hier muss das Modell bzw die Variablen des Modelles speziziert werden. Allgemeiner Aufbau der linearen Einfachregression formula= Y X Beispiel: formula= Ozone Temp Allgemeiner Aufbau der multiplen linearen Regression formula= Y X 1 + X X p Beispiel: formula= Ozone Temp + Solar.R Bernd Klaus, Verena Zuber Das Lineare Modell 26/26