Vorlesung: Statistik I für Studierende der Statistik, Mathematik & Informatik. Regression. Einfache lineare Regression

Transkript

1 Vorlesung: Statistik I für Studierende der Statistik, Mathematik & Informatik Regression Dozent: Fabian Scheipl Material: H. Küchenhoff LMU München 39 Einfache lineare Regression Bestimmung der Regressionsgerade Linearer Zusammenhang zwischen zwei metrischen Größen Y, X wird als Gerade visualisiert Finde Gerade Y α + β X β Steigung der Geraden: erhöht sich X um eine Einheit, so erhöht sich Y um β Einheiten. α : Achsenabschnitt, d.h. Wert von Y für X = 0 Welche Gerade ist die Beste? sollte etwa in der Mitte der Punktwolke liegen Abweichungen der Wertepaare (x i, y i ) (Punkte) von der Geraden möglichst klein (minimal) 30 3

2 Methode der kleinsten Quadrate Lineare Einfachregression und Kleinste-Quadrate-Schätzer Seien (x, y ),..., (x n, y n ) Beobachtungen der Merkmale X undy, dann heißt y i = α + βx i + ε i, i =,..., n, Y ist Zielgröße und X Einflussgröße Y soll mit Hilfe von X erklärt oder vorhergesagt werden Lineares Modell Y = α + βx + ε Minimierung der Abstände in Y -Richtung Wähle ˆα und ˆβ so, dass ( y i (ˆα + ˆβx i )) minimal wird lineare Einfachregression, wobei α den Achsenabschnitt (intercept), β die Steigung (slope) und ε den Fehler (Residuum, error, residual) bezeichnet. Die Kleinste-Quadrate-Schätzer für ˆα und ˆβ sind gegeben durch ˆα = ȳ ˆβ x, Die Residuen berechnen sich durch ˆβ = S xy Sx. ε i = y i ŷ i, i =,..., n, 3 mit ŷ i = ˆα + ˆβx i. 33 Beispiel: Nettomiete in Abhängigkeit von der Wohnfläche Beispiel: Nettomiete in Abhängigkeit von der Wohnfläche model_nm <- lm(nm ~ wfl, data = mietspiegel) summary(model_nm)$coef 500 Nettomiete ~ * Wohnfläche Nettomiete [EUR] Wohnfläche [ m ] ## Estimate Std. Error t value Pr(> t ) ## (Intercept) e-5 ## wfl e-3 Interpretation: Mit einer Steigerung der Wohnfläche um m ist durchschnittlich eine Steigerung der Miete um 6.9e verbunden. Nettomiete [EUR] Wohnfläche [ m ] 34 35

3 Standardabweichung des Störterms Streuungs- und Quadratsummenzerlegung Die geschätzte Standardabweichung der y-werte von der geschätzten Geraden ergibt sich zu: Ziel: Erklärung der Streuung von Y durch X s ε = mit ε i = y i ŷ i ε n i Wichtiges intuitives Maß zur Modellanpassung, hier: sqrt(summary(model_nm)$sigma) ## [] 3 (y i ȳ) = (ŷ i ȳ) + (y i ŷ i ) Streuung von Y = Erklärte Streuung + Rest SST = SSM + SSE Quadratsumme = Quadratsumme = Quadratsumme Gesamt Regression Residuen (Total) (Model) (Error) Das Bestimmtheitsmaß R Anteil der durch die lineare Regression auf X erklärten Varianz: R = SSM SST = = (ŷ i ȳ) (y i ȳ) (y i ȳ) (y i ŷ i ) (y i ȳ i ) = (y i ŷ) (y i ȳ) Es gilt: Bestimmtheitsmaß = Quadrat der Bravais-Pearson-Korrelation zwischen X undy : Nachweis von R = r XY ŷ = n ŷ i = n (ˆα + n n ˆβx i ) = ˆα + ˆβ x = (ȳ ˆβ x) + ˆβ x = ȳ Daraus folgt: n n n n (ŷ i ȳ) = (ŷ i ŷ) = (ˆα + ˆβx i ˆα + ˆβ x) = ˆβ (x i x) somit für R : S xy R = Sx Sy = rxy Wichtiges Maß zur Güte der Modellanpassung, hier: summary(model_nm)$r.squared ## [] R = (ŷ i ȳ) (y i ȳ) = ˆβ (x i x) n (y i ȳ) = s XY ( ) s X sxy (sx ) sy = = rxy s X s Y 39

4 Umkehrregression Umkehrregression Vertauscht man die Rollen von X und Y, so erhält man die Umkehrregression. Daten(X i, Y i ), i =,..., n Regression: Y = α + βx β = S XY S X Umkehrregression: X = γ + δy δ = S XY S Y Im XY -Koordinatensystem hat die Gerade der Umkehrregression die Darstellung Es gilt: β δ = S XY S X S Y = r β δ, also Gerade der Umkehrregression steiler β δ 0, also β undδ haben gleiches Vorzeichen Y = γ δ + δ X Beispiel: Umkehrregression Orthogonale Regression 500 also: wfl ~ * nm nm ~ * wfl Falls man die orthogonalen quadratischen Abstände zur Gerade minimiert, erhält man eine Gerade zwischen Regression und Umkehrregression. Löse Minimierungsproblem in α, β: Nettomiete [EUR] 000 (α ORR, β ORR ) = arg min α,β n (y i α βx i ) + β }{{ } Orthog. Abstand model_nm: nm ~ * wfl Wohnfläche [ m ] ˆβ ORR = S XY ˆα ORR = ȳ ˆβ ORR x [ ] (SY SX ) + 4S XY + (SY SX )

5 Wichtige Eigenschaften der linearen Regression Partielle Korrelation Asymmetrie: Regressionsgerade von Y auf X verschieden von Regressionsgerade von X auf Y Die Regressionsgerade geht durch ( x, ȳ) Interpretation der Steigung b steht im Mittelpunkt der Interpretation R -Wert gibt den Varianz-Erklärungsanteil wieder R ist Quadrat der Korrelation zwischen X und Y s ε gibt durchschnittliche Abweichung der Werte von der Regressionsgeraden an Ziel: Bestimmung der Korrelation zweier Merkmale unter konstant halten eines dritten Merkmals (auch: kontrollieren für ein drittes Merkmal). Beispiel: Korrelation der Quadratmetermiete und der Wohnfläche bei konstanter Zimmerzahl Idee: Herausrechnen des Zusammenhangs mit dem dritten Merkmal durch lineare Regression auf letzteres Partieller Korrelationskoeffizient (Definition) Partieller Korrelationskoeffizient: Es sei: X = ˆx + E = a + bz + E Y = ŷ + F = c + dz + F Es gilt: (also: Residuen E bzw F ) r XY Z = r XY r XZ r YZ r XZ r YZ Dann heißt die Maßzahl r XY Z = r EF partieller Korrelationskoeffizient zwischen X und Y unter Z (auch adjustiert/kontrolliert für Z )

6 Beispiel: (Partielle) Korrelation der Quadratmetermiete und der Wohnfläche Beispiel: (Partielle) Korrelation der Quadratmetermiete und der Wohnfläche Quadratmetermiete [EUR/ m ] Wohnfläche [ m ] Quadratmetermiete [EUR/ m ] Zimmerzahl (marginal_correlations <- cor(mietspiegel[, c("nmqm", "wfl", "rooms")])) ## nmqm wfl rooms ## nmqm ## wfl ## rooms nmqm_residuals <- resid(lm(nmqm ~ rooms, data = mietspiegel)) wfl_residuals <- resid(lm(wfl ~ rooms, data = mietspiegel)) (partial_correlation <- cor(nmqm_residuals, wfl_residuals)) 6 5 ## [] Zimmerzahl 4 3 Marginale Korrelation zwischen Quadratmetermiete (nmqm) und Wohnfläche (wfl): r nmqm,wfl Wohnfläche [ m ] Partielle Korrelation zwischen Quadratmetermiete (nmqm) und Wohnfläche (wfl) adjustiert für Wohnfläche: r nmqm,wfl rooms Beispiel: (Partielle) Korrelation der Quadratmetermiete und der Wohnfläche Beispiel: (Partielle) Korrelation Zimmer Zimmer 3 Zimmer 4 Zimmer 5 Zimmer 6 Zimmer r XY = 0. 0 Quadratmetermiete [EUR/ m ] 5 0 Y Wohnfläche [ m ] X

7 Beispiel: (Partielle) Korrelation Beispiel: (Partielle) Korrelation r XY = 0. r XY Gruppe = 0.77 Gruppe Gruppe Y Y X X Multiples Regressionsmodell Beispiel: Quadratmetermiete Gegeben sind ein Zielmerkmal Y und die Einflussgrößen X k Quadratmetermiete = a + b Zimmerzahl +b Baujahr +b 3 Zentralheizung +ε y = a + b x + b x b p x p + ε multiple_m_nmqm <- lm(nmqm ~ rooms + bj + zh0, data = mietspiegel) summary(multiple_m_nmqm) Das Modell kann aus den entsprechenden Daten mit Hilfe der KQ-Methode geschätzt werden. Analog zum linearen Modell ist das Bestimmtheitsmaß r ein zentrales Kriterium für die Modellanpassung. Die Parameter b k haben folgende Interpretation: Steigt das Merkmal X k um eine Einheit und bleiben die anderen konstant ( ceteris paribus-bedingung ), so verändert sich Y im Durchschnitt um b k Einheiten. Zielmerkmal auch: response, outcome, target, abhängige Variable; Einflussgrößen auch: Prädiktoren, Kovariablen, features, inputs, unabhängige Variablen. 344 ## ## Call: ## lm(formula = nmqm ~ rooms + bj + zh0, data = mietspiegel) ## ## Residuals: ## Min Q Median 3Q Max ## ## ## Coefficients: ## Estimate Std. Error t value Pr(> t ) ## (Intercept) e-08 *** ## rooms < e-6 *** ## bj e-6 *** ## zh < e-6 *** ## --- ## Signif. codes: 0 '***' 0.00 '**' 0.0 '*' 0.05 '.' 0. ' ' ## ## Residual standard error:. on 049 degrees of freedom ## Multiple R-squared: 0.85, Adjusted R-squared: 0.84 ## F-statistic: 55 on 3 and 049 DF, p-value: <e-6 345

8 Beispiel: Quadratmetermiete Beispiel: Quadratmetermiete Abbildung : 346 Abbildung : 347 Zusammenfassung multiples Regressionsmodell Erweiterungen Das multiple Regressionsmodell ist nützlich, um Zusammenhänge zwischen Merkmalen zu analysieren. Es ermöglicht: Quantifizierung des Zusammenhangs Herausrechnen von Störgrößen Auswahl von relevanten Einflussgrößen Erweiterungen des Modells beinhalten: Nichtlineare Zusammenhänge: y = a + f (x ) + f (x ) + + ε nominale/ordinale Merkmale als Einflussgrößen (z.b. Stadtbezirk, Geschlecht, Nationalität, etc.) Einbeziehung von Interaktionseffekten (z.b. geschlechterspezifische Effekte) Binäre Zielgrößen (krank/gesund), ordinale Zielgrößen, etc

9 Beispiel: Räumliches additives Mietspiegelmodell Beispiel: Räumliches additives Mietspiegelmodell Year of Construction Floorspace Begin of Tenancy Effect of Subquarter 80% credible intervals η Year η Floorspace [m ] η Year Quadratmetermiete = a + f(baujahr) + f(wohnfläche) + f(bezugsdatum) + f(stadtbezirk) + + ε Quadratmetermiete = a + f(baujahr) + f(wohnfläche) + f(bezugsdatum) + f(stadtbezirk) + + ε Nichtlineare Regressionsmodelle Beispiel: Michaelis-Menten-Modell Beispiel: Michaelis-Menten-Modell zur Beschreibung von chemischen Reaktionsraten bei Konzentration x mit Obergrenze β und Rate β. Nichtlinearer Zusammenhang zwischen X und Y, β kann Vektor sein. KQ- Schätzer aus DatenY i, X i : ˆβ := arg min β Y = f (X, β) + ε n (y i f (x i, β)) Lösung meist nicht analytisch, nur numerisch möglich, z.b. mit Paket nls in R. f(x) β y = β x /β + x + ε x 35 rotes β > schwarzes β > blaues β 353

10 Beispiel: Logistisches Wachstumsmodell Beispiel: Logistisches Modell zur Beschreibung von limitierten Wachstumsprozessen mit Obergrenze β, Wendepunkt β und Rate β 3 y = β + exp((β x)β 3 ) + ε f(x) β β x rotes β 3 > schwarzes β 3 > blaues β 3 354