Statistik II. II. Univariates lineares Regressionsmodell. Martin Huber 1 / 20

Transkript

1 Statistik II II. Univariates lineares Regressionsmodell Martin Huber 1 / 20

2 Übersicht Definitionen (Wooldridge 2.1) Schätzmethode - Kleinste Quadrate Schätzer / Ordinary Least Squares (Wooldridge 2.2) 2 / 20

3 Linearität Einfaches lineares Regressionsmodell y = β 0 + β 1 x + u u: unbeobachtete Faktoren (alle Faktoren welche y beeinflussen) Funktionale Beziehung zwischen x und y: linear y = β 1 x falls u = 0 3 / 20

4 Terminologie 4 / 20

5 Grafische Darstellung y = β 0 + β 1 x + u 1 β 1 : Steigungsparameter (slope) 2 β 0 : Achsenabschnittsparameter / Interzept (constant/intercept) 5 / 20

6 2 Beispiele 6 / 20

7 Exogenität E[u x] = E[u] = 0 u und x sind unabhängig voneinander (zumindest deren Mittelwerte sind unabhängig) u enthält keine systematische Information konditional auf x, d.h. u is nicht systematisch verschieden für unterschiedliche Werte von x Solange wir β 0 in das Modell mit einbeziehen, können wir problemlos annehmen, dass E[u] = 0 Der Fehlerterm u enthält im Durchschnitt keine Information. Beachte: β 0 entspricht dem Wert von y wenn x = 0. 7 / 20

8 Konditionaler Erwartungswert von y Falls E[u x] erfüllt ist, dann gilt für E[y x], den konditionalen Erwartungswert von y (Mittelwert von y für bestimmten Wert von x): E[y x] = β 0 + β 1 x + E[u x] = β 0 + β 1 x y = β 0 + β 1 x }{{} + }{{} u systematischer Teil E[y x] unsystematischer Teil 8 / 20

9 Schätzmethode 2 Herangehensweisen, welche beide zum gleichen OLS (ordinary least squares) Schätzer für lineare Modelle führen: Methode der Momente (Wooldridge 2.2) Moment 1: E[u] = 0, Moment 2: E[u x] = 0 Methode der kleinsten Quadrate = Kleinste Quadrate Schätzer (Wooldridge Appendix 2A) Resultate: ˆβ 0 = ȳ ˆβ 1 x, ˆβ1 = N i=1 (y i ȳ)(x i x) N i=1 (x i x)(x i x) Es folgt, dass ˆβ 1 = 1 N N 1 i=1 (y i ȳ)(x i x) N i=1 (x i x) 2 1 N 1 ˆβ 1 entspricht der Stichproben-Kovarianz von y und x dividiert durch die Stichproben-Varianz von x. 9 / 20

10 OLS: Illustration years of education average hourly earnings Fitted values 10 / 20

11 Stichproben-Varianz von x - Beispiel 11 / 20

12 Stichproben-Varianz von x - Erklärung Varianz ist ein sog. Streuungsmass, das bedeutet ein Mass für die Abweichung einer Variablen von ihrem Mittelwert (Streuung der Werte einer Variablen relativ zum Mittelwert) basiert (annährend) auf dem Durchschnitt der quadrierten Abweichungen vom Mittelwert 12 / 20

13 Stichproben-Kovarianz von y und x - Beispiel 13 / 20

14 Stichproben-Kovarianz von y und x - Erklärung Die Kovarianz ist ein (nichtstandardisiertes) Zusammenhangsmass für den (monotonen) Zusammenhang zweier Variablen und gibt an, ob hohe Werte der einen Variablen (y) tendenziell mit hohen oder niedrigen Werten der anderen Variablen (x) einhergehen. Die Kovarianz ist positiv, wenn hohe (niedrige) Werte von y tendenziell mit hohen (niedrigen) Werten von x einhergehen. Die Kovarianz ist negativ, wenn hohe Werte der einen Variablen tendenziell mit niedrigen Werten der anderen Variablen einhergehen und umgekehrt. Die Kovarianz ist null, wenn kein monotoner Zusammenhang zwischen y und x besteht. 14 / 20

15 Stichproben-Korrelation (=standardisierte Kovarianz) siehe Wooldridge Appendix C.4 Standardisiertes Zusammenhangsmass für y und x. Entspricht der durch das Produkt der Standardabweichungen von y und x geteilten Kovarianz ( standardisierte Kovarianz). Kann Werte zwischen 1 und +1 annehmen: Wert von +1 (bzw. 1) bedeutet einen ein vollständig positiven (bzw. negativen) linearen Zusammenhang zwischen den Variablen. Wert von 0: Variablen hängen überhaupt nicht linear von einander ab. Unabängige Variablen haben eine Korrelation von 0: Falls u keinen statistischen Zusammenhang mit x aufweist, ist deren Korrelation 0. E(u x) = 0 impliziert, dass u und x unkorreliert sind. 15 / 20

16 y i = ŷ i + û i = ˆβ 0 + ˆβ 1 x i + û i 16 / 20 Vorhergesagte Werte und Residuum Vorhergesagte Werte (fitted values): ŷ i = ˆβ 0 + ˆβ 1 x i ; ist eine Schätzung von E[y x] falls E[u x] = 0 Residuum (Fehlerterm, unbeobachteter Term): û i = y i ŷ i = y i ˆβ 0 ˆβ 1 x i

17 Interpretation der geschätzen Koeffizienten ˆβ 0 : ŷ (im Durchschnitt erwartetes y) falls x = 0 ˆβ 1 = ŷ x : Wie verändert sich ŷ, das im Durchschnitt erwartete y, falls x um 1 Einheit verändert wird? Nur unter bestimmten Annahmen entspricht dies einem kausalen Effekt (insbesondere E[u x] = 0), ansonsten spiegelt es nur einen statistischen (aber keinen kausalen) Zusammenhang wider. Es gilt auch: ŷ = ˆβ 1 x, d.h. für jede Veränderung in x kann die Veränderung in y vorhergesagt werden (egal, ob der Effekt tatsächlich kausal ist oder nicht). 17 / 20

18 Beispiel (1) 18 / 20

19 Beispiel (2) 19 / 20

20 Beispiel (3) 20 / 20