Die Stochastischen Eigenschaften von OLS

Transkript

1 Die Stochastischen Eigenschaften von OLS Das Bivariate Modell Thushyanthan Baskaran Alfred Weber Institut Ruprecht Karls Universität Heidelberg

2 Wiederholung In der letzten Veranstaltung wurden die algebraischen Eigenschaften des OLS Schätzers im bivariaten Modell hergeleitet y i = a + bx i + ɛ i (1) Diese Eigenschaften gelten immer, unabhängig von den Annahmen über ɛ i Nun wollen wir die statistischen Eigenschaften des Schätzers untersuchen Konzentration auf ˆb, für â ergibt sich alles analog 2 / 25

3 Wiederholung Wir beginnen mit zwei Annahmen 1 E(ɛ i ) = 0 2 E(x i ɛ i ) = 0 Was ergibt sich aus diesen Annahmen für ˆb? 3 / 25

4 Der Schätzer ˆb Wir haben für ˆb berechnet: i ˆb = (x i x)(y i ȳ) i (x i x) 2 (2) 4 / 25

5 Umformungen Durch Umformungen kann man ˆb auch schreiben als ˆb = b + 1 d i ɛ i, (3) mit = i (x i x) 2 und d i = (x i x) i 5 / 25

6 Erwartungstreue Ist der OLS Schätzer erwartungstreu? E(ˆb) = b? Wenn man den Erwartungsnutzenoperator of Gl. 3 anwendet, erhält man E(ˆb) = b + 1 E(d i ɛ i ), (4) Da d i = (x i x) und E(x i ɛ i ) = 0 und E(ɛ i ) = 0, ergibt sich i E(ˆb) = b Erwartungstreu (5) 6 / 25

7 Varianz Einführung Was ist die Varianz des OLS Schätzers? Um die Frage zu beantworten, treffen wir eine weitere Annahme über ɛ i Var(ɛ i ) = σ 2 i (6) Wenn diese Annahme getroffen wird, kann man zeigen, dass OLS in der Klasse der unverzerrten linearen Schätzer die kleinste Varianz besitzt (Gauss-Markov) Im folgenden berechnen wir die Varianz 7 / 25

8 Varianz Einführung ( 1 Var(ˆb) = ) 2 Var ) 2 ( 1 = i ) 2 ( 1 = =σ 2 ( 1 i ( ) d i ɛ i i d 2 i Var(ɛ i ) d 2 i σ 2 ) 2 Also folgt : Var(ˆb) = σ2 (7) 8 / 25

9 Tests Einführung Weshalb benötigen wir die Varianz von ˆb? Wenn wir einen Parameter schätzen, wollen wir wissen wie präzise wir ihn schätzen Je präziser ein Parameter geschätzt wird, mit desto größerer Sicherheit können wir Hypothesen über das Modell annehmen oder ablehnen Es gibt verschiedene, die beliebtesten sind der t-test und der F-Test 9 / 25

10 Outline Einführung 1 Einführung / 25

11 Einführung Beim t-test wird getestet, ob der wahre Parameter einen bestimmten Wert annimmt oder nicht Die wohl beliebtesten Hypothesen (anhand derer das Verfahren illustriert werden soll): H 0 : b = 0 H 1 : b > 0 (8) Also ein zweiseitiger Test, ob der wahre Parameter von 0 verschieden ist Wie können diese Hypothesen getestet werden? 11 / 25

12 Idee und Voraussetzungen des t-tests Man fragt, ob ˆb (genügend) Anhaltspunkte dafür liefert, dass b = 0 ist Allerdings ist ˆb eine Zufallsvariable und kann eine ganze Reihe von Werten annehmen Jede Aussage, die wir auf der Basis von ˆb treffen, ist daher mit Unsicherheit behaftet Es geht darum, zwischen Type I und Type II Fehler abzuwägen Um das zu tun, müssen wir zunächst die Dichtefunktion von ˆb herausfinden 12 / 25

13 Die Dichtefunktion von ˆb Wir machen eine letzte Annahme Dann ist Weil E(ˆb) = b Var(ˆb) = σ2 ɛ i N(0, σ 2 ) (9) ˆb N(b, σ 2 ) (10) Und die Summe normalverteilter und unabhängiger ZV auch normalverteilt ist (Zur Erinnerung: ˆb = b + 1 i d iɛ i ) 13 / 25

14 z-teststatistik Einführung Also gilt und unter H 0 : b = 0 gilt ˆb b σ 1 N(0, 1) (11) z = ˆb σ 1 N(0, 1) (12) H 0 wird abgelehnt, wenn z > z α (z α ist der kritische Wert) 14 / 25

15 Ein Problem Einführung Unglücklicherweise kann die z Statistik nicht berechnet werden, da man σ 2 nicht kennt Also muss man zunächst σ 2 schätzen, ein konsistenter Schätzer ist 1 ˆσ = ei 2 (13) N 2 Wobei i e2 i die Summe der Residuuen ist Die Frage ist jetzt, wie die folgende Statistik verteilt ist i t = ˆb ˆσ 1? (14) 15 / 25

16 Die Verteilung der t-statistik Man kann zeigen, dass die Zufallsvariable i E = e2 i σ 2 χ 2 (n 2) (15) Hauptsächlich, weil das quadrat einer normalverteilten Variablen χ 2 -verteilt ist 16 / 25

17 Die Verteilung der t-statistik Jetzt konstruieren wir mit Hilfe von E eine neue Zufallsvariable 1 D = E N 2 = 1 i e2 i σ N 2 = 1 ˆσ 2 (16) σ mit ˆσ 2 = i e2 i N 2 Diese ZV ist also die Wurzel einer mit (N-2) Freiheitsgraden verteilten χ 2 ZV, die durch (N-2) geteilt wird 17 / 25

18 Die Verteilung der t-statistik Wenn wir nun z durch D teilen, erhalten wir z/d = ˆb σ 1 SSTx 1 σ ˆσ 2 = ˆb ˆσ 1 = t (17) Also ist die t-statistik eine ZV, die sich als der Quotient einer standarnormalverteilten ZV und einer ZV, die sich als Wurzel einer χ 2 verteilten ZV mit (N-2) Freiheitsgraden, die wiederum durch N 2 geteilt wird, ergibt. 18 / 25

19 Die Verteilung der t-statistik Eine solche ZV ist aber qua Definition t verteilt mit (N-2) Freiheitsgraden, also gilt Und H 0 wird abgelehnt, wenn t > t α ˆb ˆσ 1 t(n 2) (18) 19 / 25

20 Outline Einführung 1 Einführung / 25

21 Goodness of Fit Einführung Der F-test Test versucht die Signifikanz des gesamten Modells zu bestimmen Enger Zusammenhang zu R 2 Im bivariaten Modell sind F-Test und t-test äquivalent 21 / 25

22 F-Statistik Einführung Die F-Statistik ist definiert als F = ESS/(k 1) RSS/(N k) (19) mit TSS = ESS + RSS (20) und k = Anzahl der Parameter im Modell und N = Anzahl der Beobachtungen 22 / 25

23 F-Statistik Einführung Die F-Statistik kann in Termini von R 2 angegeben werden, wenn Zähler und Nennen in Gl. 19 durch TSS geteilt wird F = (ESS/TSS)/(k 1) (RSS/TSS)/(N k) = R 2 /(k 1) (1 R 2 )/(N k) (21) Und im bivariaten Modell gilt F = R 2 (1 R 2 )/(N 2) (22) 23 / 25

24 Die Verteilung der F-Statistik Die F-Statistik ergibt sich als Quotient zweier χ 2 - verteilter ZV mit (k 1) und (N k) Freiheitsgraden, die durch die entsprechenden Freiheitsgrade geteilt werden Eine solche Zufallsvariable besitzt eine F-Verteilung F F (k 1, N k) (23) H 0 wird abgelehnt, wenn F > F α 24 / 25

25 Äquivalenz zwischen F- und t-statistik Im bivariaten Modell ist die F-Statistik das Quadrat der t-statistik ESS i F = RSS/(N 2) = (ŷ i ȳ) 2 i e2 i /(N 2) (24) i = ((â + ˆbx i ) (â + ˆb x)) 2 ˆσ 2 (25) = 1ˆσ ˆb ˆb (x i x) = ˆσ 2 / i (x i x) 2 (26) = t 2 i (27) 25 / 25