Statistik II. II. Univariates lineares Regressionsmodell. Martin Huber 1 / 27

Transkript

1 Statistik II II. Univariates lineares Regressionsmodell Martin Huber 1 / 27

2 Übersicht Definitionen (Wooldridge 2.1) Schätzmethode - Kleinste Quadrate Schätzer / Ordinary Least Squares (Wooldridge 2.2) 2 / 27

3 Linearität Einfaches lineares Regressionsmodell y = β 0 + β 1 x + u u: unbeobachtete Faktoren (alle Faktoren welche y beeinflussen) Funktionale Beziehung zwischen x und y: linear y = β 1 x falls u = 0 3 / 27

4 Terminologie 4 / 27

5 Grafische Darstellung y = β 0 + β 1 x + u 1 β 1 : Steigungsparameter (slope) 2 β 0 : Achsenabschnittsparameter / Interzept (constant/intercept) 5 / 27

6 2 Beispiele 6 / 27

7 Exogenität E[u x] = E[u] = 0 u und x sind unabhängig voneinander (zumindest deren Mittelwerte sind unabhängig) u enthält keine systematische Information konditional auf x, d.h. u is nicht systematisch verschieden für unterschiedliche Werte von x Solange wir β 0 in das Modell mit einbeziehen, können wir problemlos annehmen, dass E[u] = 0 Der Fehlerterm u enthält im Durchschnitt keine Information. Beachte: β 0 entspricht dem Wert von y wenn x = 0. 7 / 27

8 Konditionaler Erwartungswert von y Falls E[u x] erfüllt ist, dann gilt für E[y x], den konditionalen Erwartungswert von y (Mittelwert von y für bestimmten Wert von x): E[y x] = β 0 + β 1 x + E[u x] = β 0 + β 1 x y = β 0 + β 1 x }{{} + }{{} u systematischer Teil E[y x] unsystematischer Teil 8 / 27

9 Schätzmethode 2 Herangehensweisen, welche beide zum gleichen OLS (ordinary least squares) Schätzer für lineare Modelle führen: Methode der Momente (Wooldridge 2.2) Moment 1: E[u] = 0 Moment 2: E[u x] = 0 Methode der kleinsten Quadrate = Kleinste Quadrate Schätzer (Wooldridge Appendix 2A) 9 / 27

10 OLS: Illustration years of education average hourly earnings Fitted values 10 / 27

11 Methode der Momente Ansatz: Resultate: E[u] = 0 E[u x] = 0 ˆβ 0 = ȳ ˆβ 1 x N ˆβ 1 = (y i ȳ)(x i x) N (x i x)(x i x) Es folgt, dass ˆβ 1 = 1 N N 1 (y i ȳ)(x i x) N (x i x) 2 1 N 1 ˆβ 1 entspricht der Stichproben-Kovarianz von y und x dividiert durch die Stichproben-Varianz von x. 11 / 27

12 Stichproben-Varianz von x - Beispiel 12 / 27

13 Stichproben-Varianz von x - Erklärung Varianz ist ein sog. Streuungsmass, das bedeutet ein Mass für die Abweichung einer Variablen von ihrem Mittelwert (Streuung der Werte einer Variablen relativ zum Mittelwert) basiert (annährend) auf dem Durchschnitt der quadrierten Abweichungen vom Mittelwert 13 / 27

14 Stichproben-Kovarianz von y und x - Beispiel 14 / 27

15 Stichproben-Kovarianz von y und x - Erklärung Die Kovarianz ist ein (nichtstandardisiertes) Zusammenhangsmass für den (monotonen) Zusammenhang zweier Variablen und gibt an, ob hohe Werte der einen Variablen (y) tendenziell mit hohen oder niedrigen Werten der anderen Variablen (x) einhergehen. Die Kovarianz ist positiv, wenn hohe (niedrige) Werte von y tendenziell mit hohen (niedrigen) Werten von x einhergehen. Die Kovarianz ist negativ, wenn hohe Werte der einen Variablen tendenziell mit niedrigen Werten der anderen Variablen einhergehen und umgekehrt. Die Kovarianz ist null, wenn kein monotoner Zusammenhang zwischen y und x besteht. 15 / 27

16 Herleitung unter der Methode der Momente Weil u = y β 0 β 1 x, impliziert E[u] = 0, dass Das Stichproben-Äquivalent dazu ist: E[y β 0 β 1 x] = 0. Es folgt: 1 N (y i ˆβ 0 ˆβ 1 x i ) = 0 1 N ˆβ 0 = 1 N N N ˆβ 0 = 1 N y i 1 N ˆβ 0 = ȳ ˆβ 1 x ( ˆβ 1 x i ) y i ˆβ 1 1 N (x i ) 16 / 27

17 Herleitung unter der Methode der Momente E[u x] = 0 impliziert, dass E[xu] = 0 weil E[xu] = E[xE[u x]]. Weil u = y β 0 β 1 x, impliziert E[xu] = 0, dass E[x(y β 0 β 1 x)] = 0. Das Stichproben-Äquivalent dazu ist: 1 [x i (y i N ˆβ 0 ˆβ 1x i )] = 0 Es folgt: [x i (y i (ȳ ˆβ 1) x ˆβ 1x i )] = 0 (weil ˆβ 0 = ȳ ˆβ 1 x) [x i (y i ȳ)] = ˆβ N 1 [x i (x i x)] [(x i x)(y i ȳ)] = ˆβ 1 (weil [x i (x i x)] = N [(x i x)(x i x)] N [(x i x)(x i x)]) ˆβ 1 = (y i ȳ)(x i x) N (x i x)(x i x) 17 / 27

18 Bemerkung: Gesetz der iterierten Erwartungswerte E[xu] = E[xE[u x]] folgt vom sogenannten Gesetz der iterierten Erwartungswerte (law of iterated expectations) Besagt, dass der Mittelwert einer Variablen (in der Grundgesamtheit) gleich dem Mittelwert seiner (für alle Individuen berechneten) konditionalen Mittelwerte (also der Mittelwerte der Variablen für bestimmte Werte einer anderen Variablen) entspricht E[u] = E[E[u x]] und E[y] = E[E[y x]] Bsp.: der Durchschnittslohn in der Grundgesamtheit entspricht dem Mittelwert der für alle Individuen berechneten Durchschnittslöhne für deren jeweiliges Bildungsniveau 18 / 27

19 Gesetz der iterierten Erwartungswerte - Illustration 19 / 27

20 Methode der kleinsten Quadrate Ansatz: Resultate: min ˆβ 0, ˆβ 1 û 2 i = min ˆβ 0, ˆβ 1 (y i ˆβ 0 ˆβ 1 x i ) 2 ˆβ 0 = ȳ ˆβ 1 x N ˆβ 1 = (y i ȳ)(x i x) N (x i x)(x i x) wobei x = N x N i N und ȳ = y i N. 20 / 27

21 Herleitung unter der Methode der kleinsten Quadrate min N ˆβ0, ˆβ 1 (y i ˆβ 0 ˆβ 1 x i ) 2 impliziert dass die 1. Ableitungen von F = N (y i ˆβ 0 ˆβ 1 x i ) 2 nach ˆβ 0 und ˆβ 1 gleich Null sein müssen (Bedingungen 1. Ordnung oder first order conditions): F ˆβ 0 = 2 (y i ˆβ 0 ˆβ 1x i ) = 0 Nach Multiplikation mit 1 N und Division durch 2 : 1 N (y i ˆβ 0 ˆβ 1x i ) = 0. F ˆβ 1 = 2 [x i (y i ˆβ 0 ˆβ 1x i )] = 0 Nach Multiplikation mit 1 N und Division durch 2 : 1 N [x i (y i ˆβ 0 ˆβ 1x i )] = 0. gleiche Formeln wie für die Methode der Momente. 21 / 27

22 y i = ŷ i + û i = ˆβ 0 + ˆβ 1 x i + û i 22 / 27 Vorhergesagte Werte und Residuum Vorhergesagte Werte (fitted values): ŷ i = ˆβ 0 + ˆβ 1 x i ; ist eine Schätzung von E[y x] falls E[u x] = 0 Residuum (Fehlerterm, unbeobachteter Term): û i = y i ŷ i = y i ˆβ 0 ˆβ 1 x i

23 Interpretation der geschätzen Koeffizienten ˆβ 0 : ŷ (im Durchschnitt erwartetes y) falls x = 0 ˆβ 1 = ŷ x : Wie verändert sich ŷ, das im Durchschnitt erwartete y, falls x um 1 Einheit verändert wird? Nur unter bestimmten Annahmen entspricht dies einem kausalen Effekt (insbesondere E[u x] = 0), ansonsten spiegelt es nur einen statistischen (aber keinen kausalen) Zusammenhang wider. Es gilt auch: ŷ = ˆβ 1 x, d.h. für jede Veränderung in x kann die Veränderung in y vorhergesagt werden (egal, ob der Effekt tatsächlich kausal ist oder nicht). 23 / 27

24 Beispiele (1) 24 / 27

25 Beispiele (2) 25 / 27

26 Beispiele (3) 26 / 27

27 Beispiele (4) 27 / 27