Eigenschaften des OLS-Schätzers

Transkript

1 Kaptel 3 Egenschaften des OLS-Schätzers De Mathematk st ene Art Spelzeug, welches de Natur uns zuwarf zum Troste und zur Unterhaltung n der Fnsterns. (Jean le Rond d Alembert, ) Im letzten Kaptel haben wr den OLS-Schätzer hergeletet. En Schätzer ( estmator ) st verenfacht gesprochen ene Formel, de uns wenn wr de Stchprobendaten ensetzen Schätzungen ( estmatons ) für de unbeobachtbaren Parameter der Grundgesamthet lefert, zum Bespel de Schätzungen b 0 und b 1 ener Regressonsgerade y = b 0 + b 1 x + e für de wahren Parameter der Grundgesamthet β 0 und β 1. Wenn wr aus ener Grundgesamthet (bzw. aus enem datengenererenden Prozess DGP) verschedene Stchproben zehen erhalten wr für jede Stchprobe unterschedlche Schätzungen für de wahren Parameter der Grundgesamthet. Deshalb können de aus ener Stchprobe geschätzten Parameter (z.b. de Koeffzenten der Stchprobenregressonsfunkton) als Zufallsvarablen angesehen werden, von denen man de Momente 1 berechnen kann. Mt den Vertelungen deser Zufallsvarablen, den so genannten Stchprobenkennwertvertelungen ( samplng dstrbutons ), werden wr uns n desem Kaptel etwas näher beschäftgen. Im Abschntt über de Monte Carlo Smulatonen haben wr berets gezegt, dass de Idee der wederholten Stchprobenzehungen ( repeated samplng ) ganz natürlch zur Idee der Stchprobenkennwertvertelungen führt. Dort haben wr zwar gesehen, dass aufgrund des Gesetzes der Großen Zahl der Mttelwert der Stchprobenkennwertvertelungen mest zemlch genau dem wahren Wert der Grundgesamthet entsprcht, und dass aufgrund des Zentralen Grenzwertsatzes be ener genügend großen Anzahl von Zehungen de Stchprobenkennwertvertelung ener Normalvertelung zemlch ähnlch seht, aber des gab uns nur ene ntutve Vorstellung, kene hard facts mt denen man rechnen kann. 1 Momente snd Kenngrößen ener Zufallsvarablen, bzw. ener Vertelungsfunkton. Das k-te zentrale Moment st defnert als µ k = E[x E(x)] k Das zentrale Moment erster Ordnung (für k = 1) st stets glech Null (µ 1 = 0), da µ 1 = E(x µ) 1 = µ µ = 0;daszentraleMomentzweterOrdnung(für k = )st devaranz(µ = E[x E(x)] ), das zentrale Moment drtter Ordnung st de Schefe, das zentrale Moment verter Ordnung entsprcht der Wölbung bzw. Kurtoss. 89

2 Egenschaften des OLS-Schätzers 90 In desem Kaptel werden wr dese Idee etwas weter treben und den Erwartungswert und de Varanz der Stchprobenkennwertvertelungen der geschätzten Koeffzenten b 0 und b 1 allgemen berechnen. Dese werden uns m nächsten Kaptel schleßlch de Durchführung von Hypothesentests erlauben. Vorher werden wr uns aber noch n desem Kaptel mt engen statstschen Egenschaften des OLS-Schätzers beschäftgen. Wr haben m letzten Kaptel mehrmals erwähnt, dass OLS-Schätzer bestmöglche Schätzer snd, ohne allerdngs genauer zu spezfzeren, was wr darunter verstehen. Des werden wr n desem Kaptel nachholen. Das Konzept der Stchprobenkennwertvertelungen erlaubt es uns nämlch, de Egenschaften von Schätzfunktonen etwas präzser zu defneren. Konkret wünschen wr uns Schätzfunktonen, de m Durchschntt rchtg und möglchst genau snd. Mt m Durchschntt rchtg menen wr, dass der Erwartungswert) der Stchprobenkennwertvertelung glech dem wahren Wert der Grundgesamthet sen sollte. In der Sprache der Ökonometrkernnen wrd dese Egenschaft ener Schätzfunkton Erwartungstreue genannt. Mt möglchst genau menen wr, dass de Stchprobenkennwertvertelung ene möglchst klene Varanz haben sollte, oder etwas genauer, dass de Varanz der Stchprobenkennwertvertelung der OLS Schätzer klener sen sollte als de Varanz der Stchprobenkennwertvertelungen aller verglechbaren alternatven Schätzfunktonen. Ene Schätzfunkton, de dese zwete Egenschaft erfüllt, wrd n der Sprache der Ökonometrkernnen effzent genannt. In desem Kaptel werden wr zuerst zegen, dass de OLS-Schätzer unter bestmmten Annahmen tatsächlch erwartungstreu und effzent snd (d.h. genauer snd als alle anderen verglechbaren lnearen Schätzfunktonen). Des st das Ergebns des bekannten Gauss-Markov Theorems, das n der Ökonometre ene zentrale Rolle spelt. Tatsächlch wrd sch en großer Tel deser Veranstaltung mt der Frage beschäftgen, was zu tun st, wenn ene oder mehrere der Gauss-Markov Annahmen verletzt snd. Da das Gauss-Markov Theorem n der Ökonometre ene derart grundlegende Rolle spelt, werden wr es etwas ausführlcher bewesen. De Erwartungstreue und Effzenz der OLS-Schätzer, de mt Hlfe des Gauss- Markov Theorems bewesen werden, snd sogenannte Klene Stchprobenegenschaften, d.h. se gelten auch n klenen Stchproben (oder genauer, unabhängg von der Stchprobengröße). Leder lassen sch dese Klene Stchprobenegenschaften n komplzerteren Fällen ncht mmer bewesen (z.b. wenn enge der Gauss-Markov Annahmen ncht erfüllt snd). Deshalb werden wr m letzten Abschntt enge asymptotsche Egenschaften dskuteren. De wchtgste deser asymptotschen Egenschaften st de Konsstenz. Etwas verenfachend gesprochen st ene Schätzfunkton konsstent, wenn se mt zunehmender Stchprobengröße mmer genauer wrd. Schleßlch werden wr noch ganz kurz den mttleren quadratschen Fehler (mean square error) vorstellen. Nach deser etwas ausführlchen Vorschau können wr uns nun an de Arbet machen. Für alle, denen deses Kaptel etwas schwerg erschent, en klener Trost vorab: deses Kaptel wrd m übernächsten Kaptel Schrtt für Schrtt wederholt allerdngs n Matrxschrebwese.

3 Egenschaften des OLS-Schätzers Klene Stchprobenegenschaften Klene Stchprobenegenschaften snd we berets erwähnt unabhängg von der Stchprobengröße gültg, das heßt, se gelten auch n klenen Stchproben. De beden wchtgsten klene Stchprobenegenschaften snd: 1. Erwartungstreue (Unverzerrthet): Ene Schätzfunkton b für den wahren Wert β der Grundgesamthet st erwartungstreu ( unbased ), wenn E(b) = β und zwar für jeden belebgen Stchprobenumfang N. Be ncht erwartungstreuen Schätzern wrd E(b) β Verzerrung(bas) genannt. Ernnern wr uns, der Erwartungswert st enfach en mt den Wahrschenlchketen gewchtetes Mttel über alle möglchen Ausprägungen ener Zufallsvarable. Erwartungstreue sagt also nchts über das Ergebns ener enzelnen Schätzung aus, sondern st ene Egenschaft ener Schätzfunkton. Dahnter steht mest de Vorstellung enes repeated samplng.. Effzenz: Ene Schätzfunkton heßt effzent, wenn se erwartungstreu st, und varanzmnmal unter allen verglechbaren erwartungstreuen Schätzfunktonen st: var(b) var(b ) wobe b jede belebge lneare und erwartungstreue Schätzfunkton für β sen kann. Effzenz bezeht sch mmer auf de theoretsche Varanz und beruht auf enem Verglech von Schätzfunktonen, st also en relatves Konzept. Deshalb muss stets angeben werden, nnerhalb welcher Klasse von Schätzfunktonen en Schätzer effzent st. In desem Kaptel werden wr zegen, dass der OLS-Schätzer unter ener Rehe von Annahmen nnerhalb der Klasse aller unverzerrten lnearen Schätzfunktonen effzent st. We schon erwähnt, dese Egenschaften bezehen sch ncht auf ene gegebene Stchprobe, sondern auf Erwartungswerte, d.h. das gemttelte Ergebns wederholter Stchprobenzehungen (repeated samplng)! Enführung und Wederholung Zur Erläuterung starten wr mt enem bekannten Fall aus der enführenden Statstk, ener unvaraten Zufallsvarable y. Dabe wrd üblcherwese angenommen, dass alle Beobachtungen aus der glechen Vertelung gezogen wurden (also dentsch vertelt snd), und dass de enzelnen y unterenander statstsch unabhängg snd. Des wrd üblcherwese mt d abgekürzt für ndependent and dentcally-dstrbuted. Zudem nehmen wr an, dass der Erwartungswert von y n der Grundgesamthet µ se (d.h. E(y) = µ), und dass de theoretsche Varanz ene endlche Zahl σ se

4 Egenschaften des OLS-Schätzers 9 (d.h. var(y) = σ ). Man beachte, dass de emprsche Varanz, de auf Grundlage von Realsatonen berechnet wrd, mmer ene endlche Zahl st, des muss für de theoretsche Varanz aber keneswegs gelten. Deser datengenererende Prozess (DGP) wrd kompakt angeschreben als y d(µ,σ ) Aus der Statstk wssen wr, dass unter desen Annahmen der Mttelwert ener Stchprobe ȳ en unverzerrter Schätzer für den Mttelwert der Grundgesamthet µ st E(ȳ) = µ De Vertelung deser Stchprobenmttelwerte ȳ, de man be wederholten Stchprobenzehungen erhält, st ene Stchprobenkennwertvertelung (samplng dstrbuton). In der enführenden Statstk wrd gezegt, dass de Varanz der Mttelwerte glech der Varanz der Grundgesamthet (var(y) := σ ) dvdert durch de Stchprobengröße N st: var(ȳ) := σ ȳ = σ N Da de Varanz der Grundgesamthet σ üblcherwese ebensoweng beobachtbar st wedermttelwert µdergrundgesamthet, mussde wahre Varanzσ ebenfallsaus der Stchprobe geschätzt werden. Den Schätzer für de Varanz der Grundgesamthet σ bezechnen wr mt s (n der Lteratur wrd für den Schätzer von σ manchmal auch das Symbol σ verwendet, d.h. s := σ ). In der enführenden Statstk (sowe m statstschen Appendx) wrd gezegt, dass m Fall unvarater Vertelungen der Schätzer s = 1 N 1 (y ȳ) en erwartungstreuer Schätzer für de Varanz der Grundgesamthet σ st. Genau das gleche wollen wr nun für den bvaraten Fall y = b 0 +b 1 x +e zegen, nur untersuchen wr anstelle der Stchprobenkennwertvertelung des Mttelwertes ȳ (der als Schätzer für µ verwendet wrd) de Stchprobenkennwertvertelungen von b 0 und b 1, de als Schätzer für β 0 und β 1 denen. Wr werden m Folgenden annehmen, dass de erklärende Varable x determnstsch (d.h. ncht stochastsch) st. Im Zusammenhang mt wederholten Stchprobenzehungen( repeated samplng )bedeutetdes, dassmmernurneuey generertwerden, da be jedem Durchgang en neuer Störterm ε gezogen wrd, ncht aber de x; d.h. wr nehmen an, de x snd fxed n repeated samplng. Konkret nehmen wr m Folgenden an, dass de x kene Zufallsvarablen snd. Des mag vellecht etwas wllkürlch erschenen, denn tatsächlch gbt es häufg kenen vernünftgen Grund anzunehmen, warum nur de y stochastsch sen sollen und

5 Egenschaften des OLS-Schätzers 93 de x ncht, werden doch häufg sowohl de x als auch de y von datengenererenden Prozessen (DGP) erzeugt, de außerhalb unserer Enflussnahme stehen. Wenn wr zum Bespel ene Konsumfunkton Konsumausgaben = b 0 + b 1 Enkommen +e schätzen, so macht es tatsächlch weng Snn anzunehmen, dass de Konsumausgaben stochastsch snd, das Enkommen aber determnstsch se. Der enzge Grund für de Annahme determnstscher x st tatsächlch, dass des de folgenden Abletungen ganz erheblch erlechtern wrd. Allerdngs st dese Annahme ncht ganz so streng we es auf den ersten Blck schenen mag. Wr werden später sehen, dass de mesten Schlussfolgerungen auch für stochastsche x gültg bleben, wenn (und nur wenn!) de x und de ε n der Grundgesamthet unkorrelert (oder genauer, stochastsch unabhängg) snd. In anderen Worten, das meste was wr m folgenden zegen werden glt asymptotsch (d.h. für sehr große Stchproben) auch für stochastsche x, solange verenfacht gesprochen de Kausaltät endeutg von x zu y läuft, oder n anderen Worten, wenn der datengenererende Prozess, der de x erzeugt, unabhängg st vom datengenererenden Prozess st, der de y erzeugt Erwartungstreue der geschätzten OLS-Koeffzenten Wr werden nun zegen, dass der auf Sete 5 berechnete Schätzer b 1 = ẍÿ = ẍy := (x x)y ẍ ẍ (x x) (mt = 1,...,N) tatsächlch erwartungstreu st (zwe Punkte über ener Varable bezechnen weder Abwechungen vom Mttelwert, z.b. ẍ := x x). Dazu st es wchtg zu erkennen, dass dese Schätzfunkton für b 1 lnear n den y st, d.h. der Schätzer b 1 kann auch geschreben werden als b 1 = N w y (3.1) =1 d.h. b 1 st ene gewchtete Summe der y mt den Gewchten w := ẍ N j=1ẍ j := (x x) j (x j x) Des st unproblematsch, da de x annahmegemäß determnstsch snd ( fxed n repeated samplng).offenschtlch stb 1 alsoenelneare Schätzfunkton;der geschätzte Parameter b 1 st ene Lnearkombnaton der stochastschen y, wobe de w de (determnstschen) Gewchte darstellen, de ene Funkton der x snd. De Gewchte w := ẍ / jẍ j haben dre wchtge Egenschaften, de wr glech benötgen werden: 1. w = 0 (de Summe der Gewchte st Null)

6 Egenschaften des OLS-Schätzers da w = ( ) ẍ = jẍ j ẍ mt,j = 1,...,N, wel de Summe der Abwechungen vom Mttelwert mmer Null st, d.h. ẍ := (x x) = N x N x = 0! w = 1/ da ẍ mt,j = 1,...,N. w ẍ = w = w x = 1 wr zegen, dass w x = 1 ( ) ẍ = jẍ j jẍ j = 0 ẍ ( ẍ ) = 1 ẍ w x = (x x)x (x x) = = = x x x x x x +N x x N x x N x +N x x N x x N x (da x = N x) = 1 Mt desen dre Egenschaften bewaffnet können wr uns nun an den egentlchen Bewes für de Erwartungstreue machen. Bewes der Erwartungstreue: Um de Unverzerrthet (Erwartungstreue) von b 1 zu zegen müssen wr enen Zusammenhang zwschen der Schätzfunkton b 1 und dem entsprechenden Wert β 1 der Grundgesamthet herstellen, und davon den Erwartungswert blden. Dazu wrd n der Regel nach dem folgenden Muster vorgegangen: man setzt den wahren Zusammenhang der Grundgesamthet, y = β 0 +β 1 x +ε, n de Schätzfunkton (3.1) en: b 1 = w y = w (β 0 +β 1 x +ε ) = β 0 w +β 1 w x + w ε = β 1 + w ε (3.)

7 Egenschaften des OLS-Schätzers 95 da wr gerade gezegt haben, dass w = 0 und w x = 1. Nun blden wr davon den Erwartungswert ( E(b 1 ) = E β 1 + ) w ε = β 1 + E(w ε ) (wel E(c) = c) = β 1 + ( ) ẍ ε E jẍ j ( = β 1 +E (x ) x)(ε 0) (x x) (3.3) Der OLS-Schätzer b 1 für β 1 st nur dann erwartungstreu, d.h. E(b 1 ) = β 1, wenn de x mt den Störtermen ε der Grundgesamthet m Erwartungswert unkorrelert snd, oder genauer, wenn de erklärenden x Varablen und de Störterme ε der Grundgesamthet stochastsch unabhängg snd. Man beachte, dass aus der Mechank des OLS Schätzers (d.h. aus den Bedngungen 1. Ordnung) zwar x e = 0 folgt, dass des aber nur für de Stchprobe glt, ncht notwendgerwese aber für de Störterme ε der Grundgesamthet! We wr aus Glechung (3.3) erkennen können, glt E(b 1 ) = β 1 nur, wenn de Störterme der Grundgesamthet ncht mt der erklärenden Varable x korrelert snd! Wann mmer cov(x,ε) 0 st der OLS Schätzer verzerrt! Exogentät: x Varablen, de mt den Störtermen ε der Grundgesamthet unkorrelert snd (oder genauer, stochastsch unabhängg snd), nennt man n der Ökonometre exogene Regressoren. In anderen Worten, exogene Regressoren snd unkorrelert mt der ncht-systematschen (unbeobachteten) Komponente von y. Umgekehrt werden x Varablen, de mt dem Störterm ε korrelert snd, endogene Regressoren genannt. We aus Glechung (3.3) hervorgeht, führen endogene Regressoren mmer zu enem Bas, d.h. verzerrten Schätzungen. Leder snd endogene Regressoren en zemlch häufges Problem, es gbt mehrere Ursachen de zu ener stochastschen Abhänggket zwschen Störtermen ε und erklärenden Varablen x führen. Enge Bespele dafür snd Messfehler n den x- Varablen, wenn relevante x Varablen ncht berückschtgt wurden, oder wenn de Varablen durch en smultanes System erzeugt werden. In solchen Fällen von Endogentät snd we wr soeben gesehen haben de OLS- Schätzer systematsch verzerrt! Dese teferen Probleme werden wr erst n späteren Kapteln ausführlch dskuteren. Im Moment wollen wr uns das Leben aber noch enfach machen und determnstsche x annehmen. Wenn x determnstsch st, st natürlch auch w determnstsch ( fxed n repeated samplng ), also können de w vor den Erwartungswertoperator

8 Egenschaften des OLS-Schätzers 96 geschreben werden. Für determnstsche x recht de wesentlch wenger strenge Annahme E(ε ) = 0, damt der Schätzer unverzerrt st, denn E(b 1 ) = β 1 + w E(ε ) = β 1 wenn E(ε ) = 0 Vel enfacher lässt sch zegen, dass b 0 = ȳ b 1 x ebenfalls en unverzerrter Schätzer für β 0 st E(b 0 ) = E[(β 0 +β 1 x) b 1 x)] = β 0 Wr fassen zusammen: b 1 = cov(y,x)/var(x) st en erwartungstreuer (unverzerrter) Schätzer für β 1, wenn de Störterme der Grundgesamthet ε mt den x unkorrelert snd. Be determnstschen x recht de wesentlch wenger strenge Annahme E(ε ) = 0. Wr halten also fest, dass de OLS-Schätzer zumndest be determnstschen x erwartungstreu snd, wenn E(ε ) = 0! De Varanz und Kovaranz der geschätzten OLS Koeffzenten Wr haben mehrfach betont, dass de geschätzten Koeffzenten b 0 und b 1 Zufallsvarablen snd. Den Erwartungswert deser Koeffzenten haben wr berets berechnet und festgestellt, dass de OLS-Schätzer zumndest für determnstsche x erwartungstreu snd! Als nächstes wollen wr de Varanzen von b 0 und b 1 berechnen. Dese Varanzen werden es uns schleßlch erlauben statstsche Tests durchzuführen. De Varanz von b 1 st defnert var(b 1 ) = E[b 1 E(b 1 )] = E[b 1 β 1 ] (da E(b 1 ) = β 1, sehe oben) ( ) = E w ε (da b 1 = β 1 + w ε ; s. Glechung (3.)) = E ( w 1 ε 1 +w ε + +w N ε N + +w 1 w ε 1 ε + +w N 1 w N ε N 1 ε N ) (3.4) Deser letzte Ausdruck st mt all den Kreuztermen etwas unappettlch lang, um her weter zukommen benötgen wr zusätzlche Annahmen über de Störterme ε. Das Problem wrd massv verenfacht, wenn wr annehmen. ε d ( 0,σ ) Des st ene sehr kompakte Schrebwese für ε st unabhängg und dentsch vertelt (d steht für ndependent and dentcally dstrbuted ) mt E(ε ) = 0 und var(ε ) =

9 Egenschaften des OLS-Schätzers 97 σ ; das heßt, vor der Klammer steht de Art der Vertelung, das erste Argument n der Klammer st der Erwartungswert, das zwete Argument de Varanz (generell werden n der Klammer de Parameter der Vertelung angegeben, n desem Fall snd des Erwartungswert und Varanz). Im enzelnen umfasst des folgende Annahmen: 1. alle Störterme ε snd dentsch vertelt (d.h. werden aus der glechen Vertelung gezogen); des kommt m zweten von d (dentcally dstrbuted) zum Ausdruck. De Varanz deser Vertelungen st konstant, d.h. ene reelle Zahl σ. Anders ausgedrückt, alle ε haben de gleche Varanz σ. Ist dese Annahme erfüllt sprcht man von homoskedastschen Störtermen, st de Annahme verletzt sprcht man von Heteroskedastztät.. Unabhänggket der Zehungen, d.h. E(ε ε j ) = 0 für j (des mplzert auch cov(ε,ε j ) = 0 für j); des kommt m ersten von d (ndependent) zum Ausdruck. Wenn dese Annahme verletzt st sprcht man von Autokorrelaton. 3. E(ε ) = 0: Dese Annahme haben wr berets für den Bewes der Erwartungstreue benötgt. (Wenn de x stochastsch snd wrd de wesentlch strengere Annahme E(ε x) = 0 benötgt, d.h. der bedngte Erwartungswert der ε muss Null sen. Damt werden wr uns erst später beschäftgen.) Um Glechung (3.4) zu verenfachen benötgen wr de ersten zwe deser dre Annahmen, d.h E(ε ) = σ und E(ε ε j ) = 0 für j. Wennde Annahme E(ε ε j ) = 0erfüllt st (d.h. kene Autokorrelaton vorlegt) fallen de Kreuzterme n Glechung (3.4) weg, deshalb glt be Gültgket deser Annahme ( ) var(b 1 ) = E wε Wenn de x (und damt automatsch auch de w ) determnstsch snd können de w vor den Erwartungswertoperator gezogen werden var(b 1 ) = w E(ε ) Wenn zusätzlch de erste Annahme E(ε ) = σ (kene Heteroskedastztät) erfüllt st glt schleßlch var(b 1 ) = w σ = σ w da σ en fxer Parameter der Grundgesamthet st. Nun haben wr berets vorhn gezegt (Sete 94), dass w = ẍ ( ẍ ) = 1 (x x). Deshalb st de Varanz des OLS-Schätzers für b 1 glech var(b 1 ) = σ (x x)

10 Egenschaften des OLS-Schätzers 98 y = x +ε, ε N(0,0.5) y = x +ε, ε N(0,) y y x x Abbldung 3.1: Wahrer Zusammenhang ( Populaton Regresson Functon ) strchlert) und Stchprobenregessonsfunktonen mt unterschedlcher Varanz von ε (σ ). Des st en wchtges Ergebns! De Varanz von b 1 st en Maß für de Genaugket des Schätzers, d.h. en Schätzer st umso genauer, je klener de Varanz von b 1 st. Anhand deser Formel können wr berets erkennen, wovon de Präzson des Schätzers für de Stegung β 1 abhängt. Ceters parbus st de Varanz von b 1 umso klener, je klener de Varanz der Grundgesamthet σ st. Abbldung 3.1 zegt zwe Stchproben, deschnur ndervaranzdergrundgesamthet σ unterscheden (de Populaton Regresson Functon oder PRF st n beden Fällen y = x +ε, aber m lnken Panel st σ = 0.5, m rechten Panel st σ = ). Offenschtlch st de Schätzung umso genauer, je klener σ st!....je größer de Streuung der x, d.h. (x x) st, da dese m Nenner steht. Abbldung 3. zegt zwe Stchproben mt glechem σ, de sch nur n der Streuung der x unterscheden (m lnken Panel legen de x zwschen 0.5 und 7, m rechten Panel zwschen.5 und 4.5. Offenschtlch st de Schätzung umso genauer, je größer de Streuung (bzw. Varanz) der x st! 3....jegrößerderStchprobenumfangN st,da N =1 (x x) mtdemstchprobenumfang N zunmmt. Offenschtlch können wr b 1 umso genauer schätzen, je größer de Stchprobe st. Ähnlch (wennglech etwas mühsamer) kann man zegen, dass de Varanz des Interzepts b 0 folgendermaßen berechnet werden kann: var(b 0 ) = E[b 0 E(b 0 )] = σ x N ẍ

11 Egenschaften des OLS-Schätzers 99 y = x +ε, ε N(0,0.5) y = x +ε, ε N(0,0.5) y 6 y x x Abbldung 3.: Unterschedlche Varanz der x, Wahrer Zusammenhang (Populaton Regresson Functon PRF, strchlert) und SRF (Sample Regresson Functon, durchgezogen). Da b 0 und b 1 Zufallsvarablen snd kann man auch de Kovaranz zwschen den beden Schätzern berechnen. Dese st defnert cov(b 0,b 1 ) = E{[b 0 E(b 0 )][b 1 E(b 1 )]} = E[(b 0 β 0 )(b 1 β 1 )] Wr ernnern uns, dass b 0 = ȳ b 1 x und be Erwartungstreue von b 1 glt E(b 0 ) = ȳ β 1 x. Daraus folgt b 0 E(b 0 ) = x(b 1 β 1 ). Wenn wr des oben ensetzen erhalten wr cov(b 0,b 1 ) = E[(b 0 β 0 )(b 1 β 1 )] = xe(b 1 β 1 ) = xvar(b 1 ) De Kovaranzen zwschen den Koeffzenten werden wr später für Tests von gemensamen Hypothesen ( jont hypothess ) benötgen. Wr fassen zusammen: unter den bsher getroffenen Annahmen determnstscher x und ε d(0,σ ) glt E(b 1 ) = β 1 var(b 1 ) = σ [x x] E(b 0 ) = β 0 var(b 0 ) = σ x N [x x] cov(b 0,b 1 ) = xσ [x x]

12 Egenschaften des OLS-Schätzers En Schätzer für de Varanz des Störterms der Grundgesamthet σ Nun haben wr zwar enen Schätzer für b 0 und b 1 sowe ene Formel für deren Varanzen, aber n desen Formeln für de Varanzen kommt de unbekannte Varanz des Störterms der Grundgesamthet σ vor. Deshalb müssen wr als nächstes enen erwartungstreuen Schätzer s (bzw. σ ) für das wahre σ der Grundgesamthet herleten. Leder kommt das σ n dem nach der OLS Methode zu mnmerenden Ausdruck mn (y b 0 b 1 x ) ncht vor, deshalb müssen wr m folgenden enen ndrekten und telwese etwas mühsamen Weg gehen, um enen Schätzer für σ zu erhalten. Wr ernnern uns, das wahre Modell der Grundgesamthet st und für de Mttelwerte glt 3 Das Modell n Abwechungsform st also y = β 0 +β 1 x +ε ȳ = β 0 +β 1 x+ ε y ȳ = β 1 (x x)+(ε ε) Man beachte, dass das Interzept β 0 be der Dfferenzenbldung wegfällt. Wr snd an enem Schätzer für de Varanz der unbeobachtbaren Störterme der Grundgesamthet ε nteressert. Da wr dese ncht kennen st es nahelegend, dazu von den beobachtbaren Stchprobenresduen e auszugehen. Deshalb versuchen wr enen Zusammenhang zwschen den Störtermen ε und den Stchprobenresduen e herzustellen (bzw. zwschen deren Varanzen). DazusetzenwrdenwahrenZusammenhang dergrundgesamthet ÿ = β 1 ẍ +(ε ε) n den Stchproben-Zusammenhang e = ÿ b 1 ẍ en und erhalten e = β 1 ẍ +(ε ε) b 1 ẍ = (β 1 b 1 )ẍ +(ε ε) Wr snd letztendlch an ener Varanz nteressert, deshalb quadreren wr desen Ausdruck e = (b 1 β 1 ) ẍ +(ε ε) (b 1 β 1 )ẍ (ε ε) und summeren über alle N Beobachtungen auf (beachte, dass N =1ẍ = 0) e = (b 1 β 1 ) ẍ + (ε ε) (b 1 β 1 ) ẍ ε und nehmen von beden Seten den Erwartungswert [ ] E e = E(b 1 β 1 ) [ ] ẍ +E (ε ε) E [(b 1 β 1 ) ] ẍ ε }{{}}{{}}{{} A B C De folgenden Ausführungen halten sch eng an Gujarat y = Nβ 0 +β 1 x + ε. Dvderen durch N gbt ȳ = β 0 +β 1 x+ ε.

13 Egenschaften des OLS-Schätzers 101 De folgende Rechnere st etwas umständlch, se werden später sehen, dass sch des n Matrxschrebwese deutlch enfacher darstellen lässt. Nun aber ans Werk! Wr haben berets gezegt dass var(b 1 ) = E(b 1 β 1 ) = σ ẍ = σ (x x) Daraus folgt, dass der erste Term A = σ. Der zwete Term B = E[ (ε ε) ] = (N 1)σ, wenn de ε d(0,σ ), denn [ ] [ ] E (ε ε) = E (ε ε ε+ ε ) = E ( ( ) ε ε 1 1 ε j )+ ε j N N j j = E(ε ) E [ ] 1 (ε ε j ) + E N j = Nσ N E(ε ) + ( ) 1 E(ε N j ) j = Nσ σ + ( ) 1 σ N N j = Nσ σ +σ = (N 1)σ ( 1 N j ) ε j wobe wederholt von den Annahmen E(ε ) = σ und E(ε ε j ) = 0 für j (d.h. Unabhänggket) Gebrauch gemacht wrd. Übungsaufgabe: Zegen Se, dass E( ε ) = σ /N. Welche Annahmen snd dazu erforderlch? Für den drtten Term C = E[(b 1 β 1 ) ẍ ε ] berückschtgen wr, dass b 1 = ẍÿ = ẍ(β 1 ẍ +ε ) = β 1 + ẍε ẍ ẍ ẍ weshalb ẍε = (b 1 β 1 ) ẍ. Ensetzen n C = E[(b 1 β 1 ) ẍ ε ] unter Berückschtgung von var(b 1 ) = E[b 1 E(b 1 )] = σ /...x gbt [ ] C = E (b 1 β 1 ) ẍ = σẍ ẍ = σ Wr fassen nun de Terme A, B und C zusammen [ ] E e = σ +(N 1)σ σ = (N )σ

14 Egenschaften des OLS-Schätzers 10 Daraus können wr weder enen erwartungstreuen Schätzer für de Varanz der Grundgesamthet σ bestmmen, denn aus der letzten Glechung folgt E( e ) N = σ Also st e s := N en erwartungstreuer Schätzer für σ, wel E(s ) = σ. Wr können also tatsächlch aus den Stchprobenresduen e enen erwartungstreuen Schätzer s für de Varanz der Grundgesamthet σ berechnen, ndem wr de Quadratsumme der Resduen e durch de Anzahl der Frehetsgrade N dvderen. De Wurzel deses erwartungstreuen Schätzers wrd n der Lteratur Standardfehler der Regresson ( standard error of regresson oder standard error of estmate ) genannt s := σ = e N (3.5) Man beachte aber, dass wr für de Herletung wederholt de Annahme gemacht haben, dass de Varanz der Störterme konstant st, E(ε ) = σ (d.h. kene Heteroskedastztät vorlegt), und dass de Störterme unterenander unkorrelert snd, E(ε ε j ) = 0 für j (d.h. kene Autokorrelaton vorlegt). Ist mndestens ene deser Annahmen verletzt wrd der nach obger Formel berechnete Standardfehler der Regresson falsche Ergebnsse lefern, d.h. en verzerrter Schätzer für σ sen. 4 Frehetsgrade: Wr haben gesehen, dass wr zur Berechnung enes erwartungstreuen Schätzers für σ de Quadratsumme der Stchprobenresduen e durch N dvderen müssen, ncht durch N, we man das ad hoc erwarten würde. Warum st das so? De Schätzung von Parametern st eng verbunden mt der jewels zur Verfügung stehenden Informaton. Für ene ntutve Erklärung ernnern wr uns an de Herletung des OLS-Schätzers. Dazu haben wr folgenden Ausdruck mnmert mn b 0,b 1 N =1 e = mn b 0,b 1 N (y b 0 b 1 x ) =1 Für jeden zu schätzenden Parameter erhalten wr ene Bedngungen erster Ordnung e = (y b 0 b 1 x ) = e = 0 b 0 }{{} e e = (y b 0 b 1 x ) x b 1 }{{} = x e = 0 e 4 Man beachte aber, dass wr dese beden Annahmen ncht benötgt haben, um de Erwartungstreue der Schätzer b 0 und b 1 zu zegen.

15 Egenschaften des OLS-Schätzers 103 Dese beden Glechungen legen ene Restrkton auf de Resduen. Wenn wr z.b. nur de Resduen e 1,e,...,e N kennen würden, könnten wr de beden fehlenden Resduen e N 1 und e N mt Hlfe deser beden Bedngungen 1. Ordnung e = x e = 0 berechnen. Zwe der Resduen snd deshalb ncht fre, sondern 0, snd durch de Bedngungen erster Ordnung determnert, und enthalten deshalb kene Informaton über de Störterme der Grundgesamthet ε. Da wr für jeden zu schätzenden Parameter ene Bedngung erster Ordnung haben, verleren wr mt jedem geschätzten Parameter enen Frehetsgrad. In desem Fall haben wr zwe Parameter geschätzt (b 0 und b 1 ), deshalb verleren wr zwe Frehetsgrade. Mt Hlfe des Schätzers s (Standardfehler der Regresson) können wr nun de erwartungstreuen Schätzer für de Varanz der Parameter b 0 und b 1, d.h. s b 0 und s b 1 aus den Stchprobendaten berechnen, de uns später de Durchführung statstscher Tests ermöglchen wrd. Wr fassen nochmals zusammen: b 1 = s b 1 = (x x)(y ȳ) (x x) s (x x) b 0 = ȳ b 1 x s b 0 = cov(b 0,b 1 ) = s x N (x x) xs (x x) s := ˆσ = e N 3. Gauss-Markov Theorem Bewesen muss ch desen Käs, sonst st de Arbet unserös. (F. Wlle) Bsher haben wr uns ausschleßlch mt der Erwartungstreue des OLS-Schätzers und mt der Schätzung von dessen Varanz beschäftgt. In desem Abschntt werden wr nun de Effzenz des OLS-Schätzers bewesen. Das Gauss-Markov Theorem besagt nämlch, dass der OLS-Schätzer unter bestmmten Annahmen von allen möglchen lnearen und erwartungstreuen Schätzfunktonen de klenste Varanz hat, bzw.

16 Egenschaften des OLS-Schätzers 104 Unter den (Gauss schen) Annahmen des klassschen lnearen Regressonsmodells hat der OLS-Schätzer nnerhalb der Klasse aller lnearen und erwartungstreuen Schätzfunktonen de klenste Varanz, oder n anderen Worten, er st BLUE, d.h. en Best Lnear Unbased Estmator. De OLS-Schätzfunkton st we wr berets gesehen haben lnear, da z.b. b 1 = ( ẍ/ jẍ j )y = w y. Wr werden nun zegen, dass wenn de unten angeführten Gauss-Markov Annahmen erfüllt snd der OLS-Schätzer effzent st, d.h. var(b OLS ) var(b ) wobe b jede belebge lneare und erwartungstreue Schätzfunkton für β sen kann. Das Gauss-Markov Theorem und de zugrunde legenden Gauss-Markov Annahmen spelen n der Ökonometre ene ähnlch fundamentale Rolle we das Modell vollständger Konkurrenz n der Mkroökonomk, se stellen das Referenzmodell schlechthn dar. Enen Großtel der restlchen Veranstaltung werden wr uns mt Fällen beschäftgen, wenn de Gauss-Markov Annahmen ncht erfüllt snd. Enge deser Annahmen haben wr berets be der Herletung des Schätzers für σ kennen gelernt, aber wr werden se nun noch enmal ausführlch und etwas überschtlcher zusammenstellen Annahmen des klassschen lnearen Regressonsmodells (CLRM) De Annahmen bezehen sch auf de funktonale Spezfkaton des Modells (Annahme 1), auf den Störterm (Annahmen 4) oder auf de erklärenden Varablen x (Annahmen 5 8). 1. De wahre Bezehung zwschen den erklärenden Varablen x und der zu erklärenden Varablen y (d.h. de Populaton Regresson Functon ) st lnear n den Parametern (Wahl der rchtgen Funktonsform). Wenn wr K erklärende x Varablen haben y = β 0 +β 1 x 1 +β x + +β K x K +ε De Parameter der Grundgesamthet β 0,β 1,...,β K gelten für alle N Beobachtungen und snd konstant. Außerdem se das Regressonsmodell korrekt spezfzert, d.h. es wurden de rchtgen x Varablen gewählt (Wahl der rchtgen Varablen). Das bedeutet, es fehlen kene relevanten x Varablen, und de m Modell verwendeten x Varablen snd ncht rrelevant.. De Störterme ε der Grundgesamthet haben enen Erwartungswert Null: E(ε ) = 0

17 Egenschaften des OLS-Schätzers Y vs. X 900 Y vs. X Y X Y X Abbldung 3.3: Heteroskedastsche Störterme: De Varanz der Störterme σ st ncht konstant. 3. Homoskedastztät: alle ε haben de gleche konstante Varanz σ : var(ε ) := E[ε E(ε )] = E(ε ) = σ Wenn de Resduen dese Annahme verletzen sprcht man von Heteroskedastztät. Abbldung 3.3 zegt zwe Regressonen, be denen de Annahme ener konstanten Varanz der Grundgesamthet offenschtlch verletzt st, be denen also Heteroskedastztät vorlegt. 4. De Störterme ε der Grundgesamthet snd ncht autokorrelert, d.h. de Korrelaton zwschen den Störtermen ε und ε j für j st glech Null: E(ε ε j ) = 0 für j We berets mehrfach erwähnt mplzert dese Annahme auch Cov(ε,ε j ) = 0, aber umgekehrt folgt aus ener Kovaranz von Null ncht notwendgerwese stochastsche Unabhänggket, da de Kovaranz nur lneare Abhänggketen msst. Abbldung 3.4 zegt zwe Fälle mt autokorrelerten Störtermen. De dre vorhergehenden Annahmen betreffen den Störterm der Grundgesamthet und können folgendermaßen kompakt angeschreben werden ε d(0,σ ) De restlchen Annahmen betreffen de erklärenden Varablen x. 5. De erklärenden Varablen x snd determnstsch, d.h. de x werden be wederholten Stchprobenzehungen ( repeated samplng ) als fest gegebene (determnstsche) Größen angenommen. Da wr uns für de Parameter β 0, β 1 und σ der bedngten Vertelung f(y x) nteresseren darf de Randvertelung von x, d.h. f(x) kene Informaton über β 0, β 1 oder σ enthalten. Des wrd der Fall sen, wenn der datengenererende Prozess, der de x erzeugt, unabhängg vom Prozess st, der de y erzeugt.

18 Egenschaften des OLS-Schätzers 106 Postve Autokorrelaton: ρ = +0.8 y = x +ε, (strchlert) ε = 0.8ε 1 +ε, ε N(0,1) Negatve Autokorrelaton: ρ = 0.9 y = x +ε, (strchlert) ε = 0.9ε 1 +ε, ε N(0,1) y 6 Wahrer Zusammenhang ŷ = β 0 + β 1 x y 6 Wahrer Zusammenhang ŷ = β 0 + β 1 x x OLS ŷ = b 0 + b 1 x x OLS ŷ = b 0 + b 1 x Abbldung 3.4: Autokorrelerte Störterme: De Störterme snd unterenander korrelert, d.h. Cov(ε,ε j ) 0 (strchlerte Lne:Populaton Regresson Functon, durchgezogene Lne:Sample Regresson Functon). Wr werden später zegen, dass de Annahme E(ε x ) = E(ε ) = 0 das heßt, dass de auf x bedngten Erwartungswerte von ε glech Null snd, stochastsche Unabhänggket zwschen x und ε mplzert, was auch cov(ε,x ) = 0 mplzert. 6. De erklärenden Varablen x snd lnear unabhängg (d.h. kene perfekte Multkollneartät). 7. De Stchprobenvaranz von x, Var(x ), st ene postve und endlche Zahl. 8. De Anzahl der Beobachtungen N st größer als de Anzahl der zu schätzenden Parameter K. 3.. Bewes für de Effzenz des OLS-Schätzers (Gauss-Markov Theorem) Der Bewes der Effzenz des OLS-Schätzers st ener der Höhepunkte jeder enführenden Ökonometre-Veranstaltung, geneßen Se also das Folgende.5 De Grunddee deses Beweses funktonert folgendermaßen: 1. Wr gehen von ener belebgen lnearen Schätzfunkton aus.. Wr ermtteln de notwendgen Bedngungen, unter denen dese lneare Schätzfunkton erwartungstreu st. 5 Wer mt dem Geneßen Probleme hat se getröstet, Se werden n der Veranstaltung auch noch Anwendungsorenterteres erleben.

19 Egenschaften des OLS-Schätzers Wr mnmeren de Varanz deser belebgen lnearen Schätzfunkton unter der Nebenbedngung, dass dese lneare Schätzfunkton erwartungstreu st. 4. Wr werden sehen, dass de aus der Mnmerung resulterende also varanzmnmale Schätzfunkton genau der OLS-Schätzer st. Deshalb st der OLS Schätzer varanzmnmal. Allerdngs werden wr m Laufe der Bewesführung enge Annahmen benötgen, de sogenannten Gauss-Markov Annahmen, de wr m letzten Kaptel berets aufgezählt haben, und deshalb glt der Bewes nur unter Gültgket deser Annahmen. Wr begnnen mt dem Stegungsparameter b 1. Um de Effzenz des OLS-Schätzers b 1 zu bewesen mnmeren wr nun de Varanz von b 1 unter der Nebenbedngung, dass der Schätzer erwartungstreu sen soll. Um de Bedngungen für de Erwartungstreue herzuleten starten wr mt ener belebgen lnearen Schätzfunkton b 1 (sprch b 1 Schlange) für den Stegungsparameter b1 = N c y =1 wobe de c (belebge) determnstsche Gewchte snd und natürlch Funktonen der x sen können. Unverzerrthet bedeutet Ensetzen des obgen Schätzers gbt: E( b 1 ) = E( c y ) E( b 1 ) = β 1 = c E(y ) (da c determnstsch) = c (β 0 +β 1 x ) [E(ε ) = 0] = β 0 c +β 1 c x = β 1 wenn c = 0 und c x = 1 Das heßt, damt c y en unverzerrter Schätzer für β 1 st müssen de Bedngungen c = 0 und c x = 1 erfüllt sen. 6 Nun mnmeren wr de Varanz von b 1 unter desen beden Nebenbedngungen für Unverzerrthet. De Varanz von b 1 st ( ) var( b 1 ) = var c y = c var(y ) (wel de y statstsch unabhängg snd) = c σ = σ c 6 Man beachte, dass de Gewchte w = ẍ / j ẍ j auf Sete 93 dese Bedngungen erfüllten.

20 Egenschaften des OLS-Schätzers 108 da unter den Annahmen determnstscher x und E(ε ) = 0 glt var(y ) = var(ε ) = σ,wel var(y ) := E[β 0 +β 1 x +ε E(β 0 +β 1 x +ε )] = E[ε E(ε )] ) = E(ε ) = σ. Man beachte, dass wr dabe auch von den Gauss-Markov Annahmen über den Störterm ε d(0,σ ) (d.h. unter anderem, kene Autokorrelaton und kene Heteroskedastztät) Gebrauch gemacht haben. Wr suchen nun de Gewchte c 1,c,...,c N, de de Varanz von b 1 unter den Nebenbedngungen c = 0 und c x = 1 (Erwartungstreue) mnmeren. Des st ene enfache Mnmerungsaufgabe unter Nebenbedngungen und kann z.b. mt der Lagrange Methode enfach gelöst werden. Da wr zwe Nebenbedngungen haben benötgen wr zwe Lagrangemultplkatoren λ 1 und λ. De Lagrangefunkton st L(c 1,...,c N,λ 1,λ ) = σ c λ 1 ( c ) und de Bedngungen erster Ordnung für en Optmum snd L c 1 = c 1 σ λ 1 λ x 1 = 0 L c = c σ λ 1 λ x = 0. L = c N σ λ 1 λ x N = 0 c N L = c = 0 λ 1 L = c x 1 = 0 λ ( ) λ c x 1 Aus desen N + Glechungen können de Unbekannten c 1,...,c N,λ 1 und λ berechnet werden. De ersten N Glechungen können geschreben werden als Aufsummeren deser Glechungen gbt c 1 = 1 σ (λ 1 +λ x 1 ) c = 1 σ (λ 1 +λ x ). c N = 1 σ (λ 1 +λ x N ) c = 0 = 1 σ (λ 1N +λ x ) da c = 0 ene Bedngung erster Ordnung st.

21 Egenschaften des OLS-Schätzers 109 Wr können de erste Glechung von obgem Glechungssystem mt x 1, de zwete mt x usw. multplzeren c 1 x 1 = 1 σ (λ 1x 1 +λ x 1) c x = 1 σ (λ 1x +λ x ). c N x N = 1 σ (λ 1x N +λ x N ) Aufsummeren gbt ( ) c x = 1 = 1 λ σ 1 x +λ (x ) wobe c x = 1 weder ene Bedngung erster Ordnung st. Desebeden Glechungen könnennach λ 1 undλ gelöst werden (ncht so schüchtern, versuchen Se s ruhg mal!) λ 1 = λ = σ x N( x ) ( x ) Nσ N( x ) ( x ) Dese Glechungen können schleßlch n engesetzt werden und geben de Lösung c = 1 σ (λ 1 +λ x ) c = Nx j x j N( j x j ) ( j x j) = (x x) j (x j x) = ẍ jẍ j Übungsaufgabe: Zegen Se, dass (x ) 1 N ( x ) = (x x). Hnwes: es st enfacher zu zegen, dass (x x) glech (x ) 1 N ( x ) st. Deshalb st b1 = n ẍ y c y = ẍ =1 ene effzente(d.h. erwartungstreue und varanzmnmale) Schätzfunkton. Aber des st genau de Glechung des OLS-Schätzers (vgl. Sete 5). Damt haben wr gezegt, dass der OLS-Schätzer tatsächlch de mnmale Varanz unter allen lnearen erwartungstreuen Schätzfunktonen hat, wenn de Gauss-Markov Annahmen erfüllt snd. QED Deser Ansatz lefert auch ene alternatve Möglchket de Varanz von b 1 zu berechnen, denn wr haben vorhn gezegt, dass Var( b 1 ) = σ c.

22 Egenschaften des OLS-Schätzers 110 Wr multplzeren c = Nx j x j N( j x j ) ( j x j) mt c und Summeren über alle (für,j = 1,...,N) c = N (c x ) c j x j N( j x j ) ( j x j) Da c = 0 und c x = 1 folgt also c = N N( x ) ( x ) = 1 ẍ var( b 1 ) = σ ẍ Des st wederum exakt de Varanz des OLS-Schätzers. Ähnlch kann en BLU 7 Schätzer für b 0 und dessen Varanz berechnet werden: b0 = ȳ b 1 x var( b 0 ) = σ ( x ) N ẍ Ene allgemenere untere Abschätzung der Varanzen ener erwartungstreuen Schätzfunkton erlaubt de Rao-Cramer sche Unglechung (sehe z.b. Kmenta 1990, S. 160f, Frohn 1995). 3.3 Asymptotsche Egenschaften ( Große Stchprobenegenschaften ) Wr haben bsher Schätzfunktonen für b 0 und b 1 hergeletet, de es uns erlauben aus den beobachtbaren Daten ener Stchprobe Informatonen über nteresserende Parameter ener unbekannten Grundgesamthet zu ermtteln. Um de Anwendbarket deser Schätzer unter verschedenen Bedngungen beurtelen zu können, müssen deren Egenschaften beurtelt werden können. De zwe wchtgsten Egenschaften von Schätzfunktonen, de wr bsher untersucht haben, snd de Unverzerrthet und Effzenz. Dese Egenschaften gelten unabhängg von der Stchprobengröße, also auch n klenen Stchproben. In manchen Fällen snd auch de Stchprobenkennwertvertelungen von solchen Schätzern bekannt, zum Bespel de Vertelung der Mttelwerte aus wederholten Zufallsstchprobenzehungen, de aus ener normalvertelten Grundgesamthet gezogen wurden. 7 BLUE bedeutet Best Lnear Unbased Estmator, man sprcht also von von enem BLU Schätzer.

23 Egenschaften des OLS-Schätzers 111 Aber oft kennt man de Vertelung der Grundgesamthet ncht, und manchmal können dese sogenannten Klene-Stchproben Egenschaften aufgrund mathematscher Probleme ncht ermttelt werden. In solchen Fällen wrd mest auf sogenannte Große-Stchproben Egenschaften (asymptotsche Egenschaften) zurückgegrffen. Am enfachsten können de grundlegenden asymptotschen Konzepte anhand der Vertelung des Mttelwertes ener Zufallsvarablen veranschaulcht werden. Se X ene Zufallsvarable mt unbekannter Dchtefunkton, von der aber bekannt st, dass Mttelwert µ und Varanz σ fxe Zahlen snd, d.h. ncht unendlch groß snd. Aus deser Vertelung werden N Zahlen gezogen und daraus der Stchprobenmttelwert x N berechnet, wobe das tefgestellte N angbt, auf wevelen Beobachtungen der Stchprobenmttelwert beruht. Deses N brngt zum Ausdruck, dass wr egentlch ene Folge von Schätzern untersuchen, denn wenn zusätzlche Beobachtungen dazukommen, ändert sch n der Regel auch de Schätzfunkton. Für den enfachen Stchprobenmttelwert st ene solche Folge von Schätzfunktonen z.b. { } { x} N = x 1, x 1 +x, x 1 +x +x 3,..., x 1 +x + +x N 3 N Dese Mttelwerte snd natürlch selbst weder Zufallsvarablen mt ener Dchtefunkton f( x N ). De asymptotsche Theore untersucht z.b., we sch ene Zufallsvarable x N und deren Vertelung verhält, wenn de Stchprobengröße N gegen Unendlch geht, d.h. N. Asymptotsche Egenschaften snd vor allem n Fällen von Bedeutung, n denen sch klene Stchprobenegenschaften ncht ermtteln lassen, oder wenn man wssen möchte, ob sch der Erwartungswert ener verzerrten Schätzfunkton wengstens mt stegender Stchprobengröße (d.h. für N ) enem wahren Parameter µ zubewegt. Da de folgenden Ausführungen zemlch allgemen gehalten snd schreben wr θ für enen belebgen Parameter ener Vertelung, und mt ˆθ bezechnen wr we üblch de Schätzfunkton für desen Parameter (θ könnte zum Bespel der Mttelwert µ oder der Stegungskoeffzent β 1 aus unserem früheren Bespel sen) Konsstenz (Consstency) De Konsstenz st vermutlch de für uns wchtgste asymptotsche Egenschaft, da se n der Regel am enfachsten zu bewesen st. De Grunddee st zemlch enfach, Konsstenz bedeutet enfach, dass en Schätzer umso genauer werden sollte, umso größer de Stchprobe st. De formale Defnton seht zunächst etwas schwerg aus: ˆθ N st ene konsstente Schätzfunkton für θ wenn glt [ ] lm P ˆθ N θ < δ = 1 δ > 0 N das heßt, dass de Wahrschenlchket(P), dass mt stegendem Stchprobenumfang der Absolutbetrag der Dfferenz zwschen ˆθ N und θ klener als ene belebg klene Zahl δ wrd, gegen 1 konvergert.

24 Egenschaften des OLS-Schätzers 11 f(ˆθ) N = N = 1000 N = 100 N = 50 N = 10 θ ˆθ 100 ˆθ 10 ˆθ Abbldung 3.5: Konsstente Schätzer können n klenen Stchproben verzerrt sen, konvergeren aber mt stegendem Stchprobenumfang der Wahrschenlchket nach gegen den wahren Wert θ. Etwas ungenau lässt sch des folgendermaßen ausdrücken: wenn der Stchprobenumfang sehr sehr groß wrd, wrd es sehr wahrschenlch, dass der Schätzer sehr nahe bem wahren Wert θ der Grundgesamthet legt. Wenn der Stchprobenumfang N unendlch groß wrd kollabert de Dchtefunkton ener konsstenten Schätzfunkton ˆθ N m Punkt θ (sehe Abb. 3.5). Ene hnrechende, aber ncht notwendge Bedngung für Konsstenz st, dass lm E(ˆθ N ) = θ und N lm var(ˆθ N ) = 0 N d.h. wenn der Schätzer asymptotsch unverzerrt 8 st und de Varanz gegen Null geht. Um de tefere Bedeutung der Konvergenz zu verstehen benötgt man enge Begrffe aus der Stochastk, de her nur ganz kurz gestreft werden. Konvergenz der Wahrschenlchket nach ( Convergence n Probablty, auch Stochastsche Konvergenz genannt) st en zentrales Konzept zur Klärung des Verhaltens von Zufallsvarablen be wachsendem Stchprobenumfang. Se gbt verenfacht gesprochen an, n welchem Berech sch m Falle unendlch veler Expermente de Zufallsvarable befndet. Das Konzept der stochastschen Konvergenz wrd benötgt um Gesetze der großen Zahl zu bewesen. Gesetze der großen Zahl Generell snd Gesetze der großen Zahlen mest Aussagen über das Verhalten von Parametern (Mttelwerten oder anderen Momenten) ener großen Zahl von Zufallsvarablen. 8 Asymptotsche Erwartungstreue (Asymptotc Unbasedness): ˆθ N st ene asymptotsch erwartungstreue Schätzfunkton für θ wenn glt: lm N E(ˆθ N ) = θ.

25 Egenschaften des OLS-Schätzers 113 Bespel: Für ene unendlche Folge von Zufallsvarablen x 1,x,..., de alle denselben Erwartungswert µ bestzen, wrd folgende Konvergenzaussage als (en) schwaches Gesetz der großen Zahlen bezechnet: Das arthmetsche Mttel von N Zufallsvarablen x N = (x 1 + x + + x N )/N konvergert stochastsch gegen µ; das bedeutet, für jede postve Zahl δ (belebg klen) glt lm N P ( x N µ < δ) = 1 Deses schwache Gesetz der großen Zahl glt bespelswese, wenn de Zufallsvarablen x 1,x,x 3,... endlche Varanzen σ1,σ,... haben, de zudem durch ene gemensame obere Grenze beschränkt snd, sowe unterenander unkorrelert snd (d.h., Cov(x,x j ) = 0, falls j). Konsstenz enes Schätzers bedeutet, dass ene Folge von Schätzfunktonen ˆθ N stochastsch gegen das wahre θ konvergert, also en Gesetz der großen Zahl erfüllt st, oder n anderen Worten, ene Folge von Schätzfunktonen ˆθ N konvergert n Wahrschenlchket gegen den wahren Wert θ. Des wrd oft kürzer geschreben als ˆθ p θ Dafür hat sch auch de Notaton des sogenannten probablty-lmts (plm) engebürgert: plm ˆθ N = θ st also äquvalent zu [ ] lm P ˆθ N θ < δ = 1 δ > 0 N wobe δ belebg klen gewählt werden kann. De Bedeutung der Konsstenz resultert wesentlch daraus, dass das Rechnen mt probablty-lmts relatv enfach st. Regeln für das Rechnen mt probablty-lmts 1. Wenn c ene Konstante st glt plm c = c. Wenn ˆθ 1 und ˆθ konsstente Schätzfunktonen snd glt plm (ˆθ 1 + ˆθ ) = plm ˆθ 1 +plm ˆθ plm (ˆθ 1ˆθ ) = plm ˆθ 1 plm ˆθ plm ˆθ 1 ˆθ = plm ˆθ 1 plm ˆθ (für ˆθ 0,plm ˆθ 0) Man beachte, dass de letzten beden Egenschaften für den Erwartungswertoperator nur dann gelten, wenn ˆθ 1 und ˆθ stochastsch unabhängg snd. Aus desen Gründen st Konsstenz üblcherwese enfacher zu bewesen als Erwartungstreue oder Effzenz.

26 Egenschaften des OLS-Schätzers Slutsky-Theorem: Wenn ˆθ ene konsstente Schätzfunkton fürθ st und h(ˆθ) ene stetge Funkton von ˆθ st glt: plm h(ˆθ) = h(θ) Man sagt auch, dass sch de Konsstenz überträgt. Wenn ˆθ ene konsstente Schätzfunktonfürθ st, dannstz.b. 1/ˆθ auchenekonsstente Schätzfunkton für 1/θ (für ˆθ 0), oder lnˆθ st ene konsstente Schätzfunkton für für lnθ (für ˆθ > 0). Des glt ncht für den Erwartungswertoperator! Bespel: Unverzerrthet und Konsstenz des OLS- Schätzers be stochastschen Regressoren (x) Bsher haben wr angenommen, dass de erklärende Varable x determnstsch st, d.h. dass be wederholten Stchprobenzehungen nur verschedene y gezogen werden, aber de x fx gegeben snd. In desem Unterabschntt nteresseren uns de Egenschaften des OLS-Schätzers, wenn de erklärende Varable x ebenso stochastsch st. Auf Sete 5 haben de de Formel für den OLS-Schätzer berets hergeletet: b 1 = ẍ ÿ ẍ wobe ẍ = x x und ÿ = y ȳ. Um de Erwartungstreue zu überprüfen setzen wr weder denwahrenzusammenhang ÿ = β 1 ẍ +ε enundbldendenerwartungswert ] [ẍ ε E[b 1 ] = β 1 +E ẍ Wenn nun de ẍ stochastsch snd hängt de Erwartungstreue von der gemensamen Wahrschenlchketsvertelung von ẍ und ε ab (man beachte, dass E(x/y) E(x)/E(y)!). De Erwartungstreue des Schätzers b 1 können wr nur zegen wenn wr annehmen, dass alle ẍ (d.h. ẍ 1,ẍ,...ẍ N ) stochastsch unabhängg von allen ε (d.h. ε 1,ε,...ε N ) snd. In desem Fall glt ] [ẍ ε E ẍ = [ ( )] ẍ E ẍ ε = [ ( ] ẍ E ẍ )E(ε ) = [ ( ] (x x) E )E(ε (x x) ) = 0 da E(ε ) = 0.

27 Egenschaften des OLS-Schätzers 115 Um de Konsstenz zu zegen blden wr das probablty-lmt und wenden de entsprechenden Rechenregeln an ] [ẍ ε plmb 1 = plmβ 1 +plm ẍ [ ] plm ẍ ε = β 1 + plm ẍ = β 1 + plm[ ] 1 N ẍ ε plm [ ẍ ] 1 N Wr haben Zähler und Nenner des zweten Ausdrucks durch N dvdert und erhalten damt konsstente Schätzer für de Varanz und Kovaranz der Grundgesamthet. 9 Der Schätzer b 1 st also konsstent, wann mmer de Störterme der Grundgesamthet ε und de erklärenden Varablen ẍ unkorrelert snd, d.h. wenn [ ] 1 plm ẍ ε = 0 N da n desem Fall plmb 1 = β σẍ = β 1 Im Untersched zum Bewes für de Erwartungstreue müssen für Konsstenz ncht alle x 1,x,...x N mt allen ε 1,ε,...ε N unkorrelert sen, sondern es genügt für Konsstenz, wenn de x ener Beobachtung oder Zetperode mt den entsprechenden ε der glechen Beobachtung oder Perode unkorrelert snd! Wchtg st aber nach we vor de Annahme, dass de Störterme der Grundgesamthet ε mt dem Regressor x unkorrelert snd. Ist dese Annahme ncht erfüllt st der OLS-Schätzer auch ncht konsstent! Im wesentlchen verlangen wr von den Regressoren x also, dass se nur über den spezfzerten Zusammenhang y = β 0 + β 1 x + ε mt den y verknüpft snd, und dass es kene anderen ncht spezfzerten Zusammenhänge zwschen x und y gbt we z.b. be smultanen Glechungssystemen da dese anderen ncht spezfzerten Zusammenhänge ene Korrelaton zwschen den ε und x bewrken würden, de zu systematsch verzerrten Schätzern führt Asymptotsche Normalvertelung En Schätzer st asymptotsch normalvertelt, wenn sene Stchprobenkennwertvertelung mt zunehmender Stchprobengröße gegen de Normalvertelung konvergert. Das dahnter legende stochastsche Konzept st ene Konvergenz hnschtlch der Vertelung ( Convergence n Dstrbuton ). Verenfacht gesprochen bedeutet des, dass de Vertelung ener Folge von Schätzern ˆθ N aus Stchproben des Umfangs N, de alle derselben Grundgesamthet entnommen wurden, mt zunehmendem Stchprobenumfang n ene Normalvertelung übergeht, und das unabhängg von der Vertelung der Grundgesamthet! Bewese der Konvergenz hnschtlch der Vertelung führen zu den Zentralen Grenzwertsätzen. 9 Ob wr durch N oder N 1 dvderen spelt kene Rolle wenn N.

28 Egenschaften des OLS-Schätzers 116 f(ˆθ) verzerrt, aber klene Varanz erwartungstreu, aber große Varanz θ ˆθ Abbldung 3.6: Mean Square Error Abwägung zwschen erwartungstreuen Schätzfunktonen mt großer Varanz und verzerrten Schätzfunktonen mt klener Varanz Asymptotsche Effzenz ˆθ se en Schätzer für θ. De Varanz der asymptotschen Vertelung von ˆθ heßt asymptotsche Varanz von ˆθ. Wenn ˆθ konsstent st und de asymptotsche Varanz klener st als de aller anderen konsstenten Schätzer, dann heßt ˆθ asymptotsch effzent. 3.4 Der Mttlere Quadratsche Fehler (Mean Square Error, MSE) Wr haben uns bsher nur mt erwartungstreuen Schätzfunktonen beschäftgt. Manchmal st aber kene erwartungstreue Schätzfunkton verfügbar. In solchen Fällen wrd manchmal auf den Mean Square Error (MSE) zurückgegrffen, der Varanz und Verzerrung zusammenfaßt und sch deshalb besonders zur Beurtelung ncht erwartungstreuer Schätzfunktonen egnet (sehe Abb. 3.6). Wr begnnen weder ganz allgemen und bezechnen enen nteresserenden Parameter ener Vertelung mt θ, und den Schätzer für desen Parameter mt ˆθ. Ene konkrete Schätzung erhält man, wenn man de Stchprobenbeobachtungen n de Formel für ˆθ ensetzt. Folgende Konzepte snd m folgenden von Bedeutung:

29 Egenschaften des OLS-Schätzers 117 Stchprobenfehler = ˆθ θ Verzerrung = E(ˆθ) θ Mean Square Error = E(ˆθ θ) ] Varanz = E [ˆθ E(ˆθ) Der Stchprobenfehler st enfach der Untersched zwschen dem Schätzer aus der Stchprobe und dem wahren Wert der Grundgesamthet. De Größe des Stchprobenfehlers wrd sch üblcherwese von Stchprobe zu Stchprobe unterscheden. De Verzerrung st de Dfferenz zwschen dem Mttelwert der Stchprobenvertelung enes Schätzers und dem wahren Wert der Grundgesamthet. Dese st für enen Schätzer en fester Wert der Null oder unglech Null sen kann, sch aber ncht zwschen Stchproben unterschedet. Der Mean Square Error msst de Streuung der Vertelung enes Schätzers um den wahren Wert. Er ähnelt darn der Varanz, aber während de Varanz de Streuung um den Erwartungswert der Vertelung msst, gbt der MSE de Streuung um den wahren Wert an. Für erwartungstreue Schätzfunktonen snd Varanz und MSE natürlch glech, aber für ncht erwartungstreue Schätzfunktonen müssen se unterscheden werden. Des kann folgendermaßen gezegt werden: MSE(ˆθ) = E(ˆθ θ) = E[ˆθ E(ˆθ)+E(ˆθ) θ] = E[ˆθ E(ˆθ)] +E[E(ˆθ) θ] +E[ˆθ E(ˆθ)][E(ˆθ) θ] = E[ˆθ E(ˆθ)] +E[E(ˆθ) θ] + +{[E(ˆθ)] [E(ˆθ)] θe(ˆθ)+θe(ˆθ)} = E[ˆθ E(ˆθ)] +E[E(ˆθ) θ] = Var(ˆθ)+[Verzerrung(ˆθ)] Deser Zusammenhang glt für alle Schätzer. Akademsche Forscher negen oft dazu unverzerrte Schätzer selbst auf Kosten enes größeren MSE zu bevorzugen, da se hre Stude als ene von velen Studen wahrnehmen und hoffen, dass sch de größere Streuung über de velen Studen mttelt. In velen praktschen Anwendungen gbt es allerdngs nur ene Schätzung (Stude), und da spelt es kene Rolle, ob der Fehler aus ener systematschen Verzerrung oder ener größeren Varanz resultert Fehler st Fehler. Für Prognosen st zum Bespel en klener MSE oft wchtger als Unverzerrthet.