6.2 Lineare Regression

Größe: px

Ab Seite anzeigen:

Download "6.2 Lineare Regression"

Detlef August Messner
vor 6 Jahren
Abrufe

1 6.2 Lineare Regression Einfache lineare Regression (vgl. Kap. 4.7) Y i = θ 0 + θ 1 X i + ǫ i ǫ i (0, σ 2 ) ˆθ 1 ˆθ 0 = S XY S 2 X = 1 ( Yi n ˆθ ) 1 Xi als Lösung der Minimumaufgabe n (Y i θ 1 X 1 θ 0 ) 2 min. i=1 W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 487 / 564

2 Lineare Regression 6. Multivariate Verfahren Lineare Regression Die Summe der Quadrate der Länge der Streckenabschnitte soll minimal werden. S XY = S 2 X = 1 n 1 1 n 1 (X i X)(Y i Y) i (X i X) 2 i Regression_Venusmuscheln Regression_Plot W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 489 / 564

3 Lineare Regression 6. Multivariate Verfahren Lineare Regression Multiple lineare Regression Modell Y i Y i = θ 0 + θ 1 x 1i + θ 2 x 2i θ m x mi + ǫ i = θ 0 + θ 1 X 1i + θ 2 X 2i θ m X mi + ǫ i Y i, ǫ i Zufallsvariablen, unabh., ǫ i (0, σ 2 ), i = 1...n θ 0...θ m, σ : Modellparameter zu schätzen Man unterscheidet Fälle: x i = (x 1i,..., x mi ) fest, und X i = (X 1i,..., X mi ) zufällig oder auch gemischt. Matrix-Schreibweise: Y = Xθ + ǫ W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 490 / 564

4 Lineare Regression Multiple lineare Regression 6. Multivariate Verfahren Lineare Regression Y = Xθ + ǫ Y 1 ǫ 1 1 X X 1m Y =... ǫ =... X = Y n ǫ n 1 X n1... X nm θ 0 θ =... θ m Methode der kleinsten Quadrate: Bestimme ˆθ so daß (Y Xˆθ) (Y Xˆθ) = min θ (Y Xθ) (Y Xθ) W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 491 / 564

5 Lineare Regression Multiple lineare Regression 6. Multivariate Verfahren Lineare Regression Kleinste Quadrat-Schätzung Vor.: rg(x X) = m (voll) ˆθ = (X X) 1 X Y wenn (X X) nicht regulär: verallg. Inverse (Moore-Penrose) ˆθ = (X X) X Y W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 492 / 564

6 Lineare Regression Multiple lineare Regression 6. Multivariate Verfahren Lineare Regression Kleinste Quadrat-Schätzung, Spezialfall m = 1 (1) (X X) 1 = = = ( ) 1 X X X n1 1 X n1 ( n i X ) 1 i i X (X i = X 1i) i i X2 i ( 1 X n Xi 2 ( 2 i ) X i X i ) 2 X i n W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 493 / 564

7 Lineare Regression Multiple lineare Regression 6. Multivariate Verfahren Lineare Regression Kleinste Quadrat-Schätzung, Spezialfall m = 1 (2) X Y = ( ) X X n ˆθ = (X X) 1 X Y = 1 n X 2 i ( X i ) 2 Y 1... Y n ( ) Yi = Xi Y i ( X 2 i Yi ) X i Xi Y i X i Yi + n X i Y i W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 494 / 564

8 Lineare Regression Multiple lineare Regression 6. Multivariate Verfahren Lineare Regression Schätzung für Y: Ŷ = Xˆθ Vergleiche mit Y = Xθ + ǫ Einsetzen von ˆθ = (X X) 1 X Y : Ŷ = X(X X) 1 X Y }{{} H = H Y H: Hat-Matrix Aus dem Beobachtungsvektor Y wird der geschätzte Beobachtungsvektor Ŷ. W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 495 / 564

9 Lineare Regression Multiple Lineare Regression (Fortsetzung) Quadratsummenaufspaltung: (Yi Y) 2 }{{} SST = (Ŷ i Y) 2 }{{} SSM + (Y i Ŷ i ) 2 }{{} SSE MST = 1 SST: Schätzung für n 1 σ2. MSE = 1 SSE = n m 1 ˆσ2. (e-treu) MSM = 1 SSM (m+1 Einflussvariablen) m Bestimmtheitsmaß (wie bei der Varianzanalyse) R 2 = SSM SST. W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 496 / 564

10 Geometrische Veranschaulichung zur Multiplen Linearen Regression Y = (Y 11,..., Y knk ) Dimension N Ŷ = (Ŷ 1,...,Ŷ 1 ) Y = (Y,...,Y), Y = }{{} 1 N i,j Y ij n mal Y Y SSE SST... 0 γ SSB Ŷ Y SSB + SSW = SST R 2 = cos 2 γ Ŷ Y 2 + Y Ŷ 2 = Y Y 2 W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 497 / 564

11 Lineare Regression Multiple Lineare Regression (Fortsetzung) H 0 : θ 1 = θ 2 =... = θ m = 0 Unter der Annahme ǫ i Normal F = SSM SSE n m 1 F m,n m 1 m PROC REG; MODEL y = x1 x2 x3 / Optionen; TEST x2=0 x3=0; /*zusaetzl. Hypothesen*/ RUN; Regression_Tibetan Regression_Phosphor Zusätzliche Hypothesen, z.b.: H 0a : θ 1 = 0, H 1a : θ 1 0 H 0b : θ k = 0, H 1b : θ k 0 H 0c : θ 1 = θ 2 = 0, H 1b : θ 1 0 θ 2 0 W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 499 / 564

12 Lineare Regression Multiple Lineare Regression (Fortsetzung) R 2 -adjustiert für Anzahl p der Parameter im Modell Adj R 2 = 1 n i n p (1 R2 ) { i = 0 ohne intercept i = 1 mit intercept Dependent Mean: Mittelwert der abhängigen Variable StdError MeanPredict: Standardfehler für vorhergesagten Erwartungswert W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 500 / 564

13 Lineare Regression Multiple Lineare Regression (Fortsetzung) Optionen (Auswahl) XPX: Ausgabe der Matrizen X X, X Y, Y Y I: Ausgabe der Inversen von X X COVB: Schätzung der Kovarianzmatrix der Schätzung = ˆσ 2 (X X) 1 CLM, CLI: Konfidenzbereiche (s.u.) CLB: Konfidenzintervall für Parameter θ R: studentisierte Residuen (s.u.) DW: Durbin-Watson Test auf Autokorrelation (s.u.) W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 501 / 564

14 Lineare Regression Multiple Lineare Regression (Fortsetzung) Output Statistics (Optionen CLI, CLM, R) Dependent Variable Y i Predicted Value Ŷ i = ˆθX StdErrorMeanPredict ˆσŶi 95% CL Mean (s.u.) nur Variablität in der Parameterschätzung berücksichtigt 95% CL Predict (s.u.) Variablilität im Fehlerterm mit berücksichtigt Residual StdErrorResidual e i = Y i Ŷ i s.u., s 1 h ii Student Residual r i Cooks D i s.u. Predicted Residual SS s.u. W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 502 / 564

15 Lineare Regression Multiple Lineare Regression (Fortsetzung) Konfidenzintervalle für allg. Parameter ϑ i : ˆϑ i ϑ i S ˆϑi t n 1 Vor. ǫ j N(0, σ 2 ) u.a. KI: [ˆϑ i t 1 α 2,n 1 Sˆϑi, ˆϑ i + t 1 α 2,n 1 Sˆϑi ] 95% Konfidenzintervall für E(Y i ) (ϑ i = E(Y i ), Option CLM) Nur die Variabilität in der Parameterschätzung wird berücksichtigt. W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 503 / 564

16 Lineare Regression Multiple Lineare Regression (Fortsetzung) 95% Konfidenzintervall für Vorhersagen Y i (ϑ i = Y i, Option CLI) Die Variabilität im Fehlerterm wird mit berücksichtigt. 95% Konfidenzintervall für θ (ϑ i = θ j, Option CLB) Darstellung von Konfidenzbereichen bei der einfachen Regressionsanalyse SYMBOL I=RLCLI95; PROC GPLOT; W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 504 / 564

17 Multiple Lineare Regression (Forts.) Residualanalyse Studentisierte Residuen (Option R) r i = e i s 1 h ii e i = y i ŷ i (Residuen) sind korreliert, var e i = σ 2 (1 h ii ) s = ˆσ Cook s D i D i = (ˆθ ˆθ (i) ) (X X)(ˆθ ˆθ (i) ) (m + 1)S 2, i = 1...n beschreibt den Einfluß der i-ten Beobachtung auf die Parameterschätzung ˆθ (i) : KQS von θ ohne Beobachtung i. Faustregel: D i > 1 starker Einfluß W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 505 / 564

18 Multiple Lineare Regression (Forts.) Residualanalyse (2) Predicted Residual SS (PRESS) (yi ŷ i(i) ) 2 ŷ i(i) : i-te Beob. weggelassen. Test auf Autokorrelation: Durbin-Watson-Test (Option DW) n i=1 DW = (e i e i 1 ) 2 n i=1 e2 i DW=2: Unkorreliertheit der Residuen W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 506 / 564

19 Multiple Lineare Regression (Forts.) Residualanalyse (3) Weitere Bewertung der Residuen Kommando PLOT in der Prozedur REG PLOT rstudent.*obs.; OUTPUT OUT=dateiname RESIDUAL=; PLOT residual.*y residual.*predicted.; und evtl. Test auf Normalverteilung. W. Kössler (IfI HU Berlin) Werkzeuge der empirischen Forschung 507 / 564

Ähnliche Dokumente

2. Korrelation, lineare Regression und multiple Regression

2. Korrelation, lineare Regression und multiple Regression multiple 2.2 Lineare 2.2 Lineare 1 / 130 2.2 Lineare 2 / 130 2.1 Beispiel: Arbeitsmotivation Untersuchung zur Motivation am Arbeitsplatz in einem Chemie-Konzern 25 Personen werden durch Arbeitsplatz zufällig