Das lineare Regressionsmodell

Transkript

1 Kapitel 2 Das lineare Regressionsmodell 2.1 Das statistische Modell Schreibweise und Annahmen Die generische Form des univariaten Regressionsmodells ist durch y t = x t (β) + ε t (2.1) gegeben. Dabei bezeichnet y t die t-te Beobachtung der abhängigen Variable. Die abhängige Variable ist eine eindimensionale reelle Zufallsvariable. Die nichtlineare skalare Regressionsfunktion x t (β) bestimmt den mittleren Wert von y t gegeben die Parameter β und bestimmten unabhängigen Variablen auch Regressoren genannt. Falls x t (β) unter anderem auch von verzögerten Werten der abhängigen Variable abhängt, spricht man von einem dynamischen Modell. Kennzeichnend für das Regressionsmodell ist, dass die Zufälligkeit in y t gegeben x t (β) ausschliesslich durch einen additiven Störterm ε t hervorgerufen wird. Die stochastischen Eigenschaften des Störterms bestimmen die statistischen Eigenschaften des Modells und der Schätzer. Im Folgenden wollen wir uns auf das lineare Regressionsmodell beschränken, bei dem die Regressionsfunktion, x t (β), eine lineare Funktion ist. Der Zusammenhang kann dann wie folgt geschrieben werden: y t = x t (β) + ε t = β 1 x 1t + β 2 x 2t + + β K x Kt + ε t (2.2) = x t β + ε t, (2.3) wobei x kt die t-te Beobachtung des k-ten Regressors bezeichnet. Die Anzahl der Regressoren wird mit K bezeichnet. Der lineare Zusammenhang wird durch die unbekannten Parameter β 1,..., β K bestimmt, die in einem K-diemnsionalen Spaltenvektor zusammengefasst werden. Wir gehen davon aus, dass eine Stichprobe {(y t, x 1t,..., x Kt )} der Grösse mit K gezogen wird. Somit bezeichnet die Anzahl Beobachtungen. Der K-dimensionale Zeilenvektor x t fasst die t-ten Beobachtungen der Regressoren zusammen: x t = (x 1t, x 2t,..., x Kt ). Der Koeffizientenvektor β = (β 1, β 2,..., β K ) gibt den Effekt der Regressoren auf 5

2 die abhängige Variable y t wieder. Ceteris paribus gilt: y t x kt = β k, k = 1,..., K. In Matrixschreibweise: y 1 x 11 x x K1 y 2 x 12 x x K2. = y }{{} } x 1 x {{ x K } y X β 1 β 2.. β K }{{} β + ε 1 ε 2.. ε }{{} ε (2.4) Kompakt lässt sich das lineare Regressionsmodell wie folgt schreiben: y = Xβ + ε. (2.5) Jede Zeile der X Matrix entspricht demnach einer Beobachtung, während jede Spalte der X Matrix einer Variablen zugeordnet ist. Der Koeffizientenvektor β stellt zusammen mit Vε, der Varianz des Störterms, die unbekannten und zu ermittelnden Parameter des Regressionsmodells dar. Das Ziel besteht darin, diese unbekannten Parameter aus der Stichprobe zu schätzen und eventuell Hypothesen über diese Parameter zu testen. Das Regressionsproblem ist nur dann sinnvoll, wenn die K Regressoren linear unabhängig sind. In diesem Fall hat die Matrix X den Rang K. Eine notwendige Bedingung dafür ist, dass die Anzahl der Beobachtungen grösser als die Anzahl der Regressoren ist, d.h. K. Um die statistischen Eigenschaften des Regressionsmodells zu untersuchen, müssen weitere Annahmen, insbesondere über die Verteilung des Störterms getroffen werden. Die folgende Liste fasst die Annahmen des klassischen linearen Regressionsmodells zusammen. 1. Funktionale Form: Das Modell ist linear: y = Xβ + ε mit β <. 2. Exogenität der Regressoren: (a) X ist deterministisch. (b) Die Regressoren sind stochastisch, haben keine Information bezüglich des Störterms: E(ε X) = 0. Diese Annahme impliziert: cov(ε, X) = E(X ε) = 0. (c) Die Regressoren sind stochastisch und es gilt: plim X ε = 0. Dabei ist Annahme 2a in einem gewissen Sinn die stärkste, gefolgt von den Annahmen 2b und schliesslich 2c. 3. Keine Multikollinearität: (a) X ist deterministisch mit rang(x) = K. Daraus folgt: (X X) 1 existiert. (b) Es gilt: plim 1 X X = Q positiv definit und daher invertierbar. Somit ( ) 1 gilt aufgrund des Slutzky-heorem s 1: plim = Q 1. Dabei ist Annahme 3a stärker als Annahme 3b. X X 6

3 4. Erwartungswert des Störterms: Eε t = 0 für alle t. Diese Annahme ist nicht restriktiv, sofern sich unter den Regressoren eine Konstante befindet. 5. Homoskedastizität: Die Varianz des Störterms ist über alle Beobachtungen hinweg konstant: Eε 2 t = σ 2 mit 0 < σ 2 < für alle t. Bei stochastischen Regressoren muss diese Annahme dahingehend abgeändert werden, dass nun E(ε 2 t X) = σ 2 mit 0 < σ 2 < für alle t 6. Keine Autokorrelation: Die Störterme sind zwischen den Beobachtungen unkorreliert: Eε t ε s = 0 für alle t und s mit t s. Bei stochastischen Regressoren muss diese Annahme dahingehend abgeändert, dass nun E(ε t ε s X) = 0 für alle t und s mit t s. 7. Normalität: Die Störterme sind multivariat normal verteilt: ε N(0, Σ). Die Annahmen Homoskedastizität (Annahme 5) und keine Autokorrelation (Annahme 6) bedeuten, dass Eεε = σ 2 I bzw. E(εε X) = σ 2 I ist. Gilt zusätzlich Annahme 7, so ist Σ = σ 2 I. In den Abschnitten 2.2 und werden die statistischen Konsequenzen dieser Annahmen analysiert. Der obige Annahmenkatalog ist recht restriktiv und wird in vielen praktischen Situationen nicht erfüllt. Da die Annahmen 3 und 4 durch Elimination linear abhängiger Regressoren bzw. durch Hinzufügen einer Konstanten leicht behoben werden können, beschäftigen wir uns hauptsächlich mit den Annahmen 2 und 7 sowie 5 und 6. Eine eingehende Diskussion von Annahme 1 ist nicht eil dieser Vorlesung. Das lineare Modell bildet aber dennoch die Grundlage für das Verständnis nicht-linearer Modelle (siehe Davidson and MacKinnon (1993)) Die Kleinstquadratemethode Die meisten Schätzer in der Ökonometrie können als Lösung eines Optimierungsproblems aufgefasst werden. 1 Gegeben eine bestimmte Stichprobe minimiert der Kleinstquadrate-Schätzer oder OLS-Schätzer ( ordinary least squares ) die Summe der quadrierten Residuen: S(β) = ε ε = ε 2 t = t=1 (y t x t (β)) 2 = t=1 t=1 (y t x t β) 2 min β R K (2.6) Die Lösung des Minimierungsproblems ergibt den OLS-Schätzer für β, ˆβ OLS, wobei meist der Index OLS vernachlässigt wird: ( ) 1 ( ) OLS-Schätzer: ˆβOLS = (X X) 1 X y = x tx t x ty t t=1 t=1 (2.7) Beweis. Setzt man in S(β) ein und multipliziert aus, so erhält man: S(β) = (y Xβ) (y Xβ) = y y β X y y Xβ + β X Xβ }{{} Skalar = y y 2y Xβ + β X Xβ. 1 Siehe die Diskussion des M-Schätzers in Wooldridge (2002, Kapitel 12). 7

4 Differentiation nach β und Nullsetzen liefert die Bedingung erster Ordnung für ein Minimum: S(β) = 2(y X) + 2X Xβ = 0. β Daraus ergibt sich die Normalgleichung für β: Normalgleichung: (X X)β = X y. Da per Annahme 3 keine Multikollinearität herrscht, ist X X invertierbar und es folgt obige Formel für ˆβ OLS. Diese Lösung stellt auch ein Minimum dar, da S(β) β β = 2X X als Produkt einer Matrix mit seiner ransponierten eine positiv semi-definite Matrix ergibt. Sie ist sogar positiv definit, da X vollen Rang hat. Eine geometrische Interpretation des OLS-Schätzers ergibt sich, wenn man die Schätzung als Projektion versteht. Dazu betrachten wir die Matrizenoperatoren M X bzw. M und P X bzw. P: P = P X = X(X X) 1 X, M = M X = I X(X X) 1 X = I P. Man kann leicht durch nachrechnen beweisen, dass gilt: Symmetrie: P = P M = M Idempotenz: M M = M P P = P Orthogonalität: P M = 0 P X = X M X = 0 Der Operator P projiziert daher auf den durch die Spalten von X aufgespannten Raum, während M auf den dazu orthogonalen Raum projiziert. Mit Hilfe dieser Operatoren lässt sich OLS-Schätzer auch ohne Differentiation herleiten: Beweis. Es gilt: S(β) = (y Xβ) (y Xβ) = ((M + P)y Xβ) ((M + P)y Xβ) Nach Ausmultiplikation erhält man: = (M y (Xβ P y)) (M y (Xβ P y)). S(β) = y M y + (Xβ P y) (Xβ P y). Dies ist eine Summe von Quadraten, die minimal wird, wenn (Xβ P y) (Xβ P y) = 0 ist. Dies ist aber äquivalent mit Xβ P y = 0 bzw. mit X(β (X X) 1 (X y)) = 0, was gleichbedeutend ist mit β = (X X) 1 X y. Die OLS-Residuen bzw. Residuen sind definiert als: e = ˆε = y ŷ = y X ˆβ = (I X(X X) 1 X)y = M y (2.8) Da X e = X M y = 0 ist, stehen die OLS-Residuen orthogonal zu den Regressoren X. Falls unter den Regressoren sich auch eine Konstante befindet, so gilt diese Aussage auch für sie. Die Summe der Residuen muss daher dann null sein (d.h t=1 e t = 0). 8

5 2.1.3 Güte der Anpassung Mittelwertbereinigung Definiert man ι = (1, 1,..., 1), so lässt sich ein Operator M 0 wie folgt definieren: M 0 = I ι(ι ι) 1 ι = I 1 ιι. Dieser Operator entspricht einer Regression gegen eine Konstante mit anschliessender Berechnung der Residuen. Da die Regression gegen eine Konstante der Schätzung des Mittelwerts entspricht, bereinigt M 0 um den Mittelwert. Es gilt daher für x = (x 1,..., x ) : Das Bestimmtheitsmass R 2 M 0 x = x 1 x. x x Definition 6. Das Bestimmtheitsmass R 2 ist definiert als: R 2 = 1 e e y M 0 y = P X M 0 y y M 0 y = 1 SSE SS = SSR SS, (2.9) wobei e = M y die Kleinstquadrateresiduen der Regression bezeichnet. SSE, SSR und SS stehen für error sum of squares, residual sum of squares und total sum of squares. Die zweite Gleichung ist nur gültig, wenn sich eine Konstante unter den Regressoren befindet, d.h. wenn P X ι = ι. heorem 9. Falls X eine Spalte mit einer Konstanten enthält, gilt: 0 R 2 1. Beweis. Es gilt: M 0 y = M 0 X ˆβ + M 0 e = M 0 X ˆβ + e. Daraus folgt: y M 0 y = ( ˆβ X + e ) M 0 X ˆβ + ( ˆβ X + e )e = ˆβ X M 0 X ˆβ + e M 0 X ˆβ + ˆβ Xe + e e = ˆβX M 0 Xβ + }{{}}{{} e e SSR SSE 1 = ˆβX M 0 Xβ y M 0 y } {{ } 0 + e e y M 0 0. y }{{} 0 Bemerkung 2. Falls X keine Konstante enthält, ist M 0 e e und e M 0 X 0. Das R 2 ist in diesem Fall beliebig, es kann sogar negativ werden. 9

6 Das korrigierte Bestimmtheitsmass R 2 Da das R 2 und daher die Anpassung an eine gegebene Stichprobe mit der Anzahl der Regressoren immer steigt, empfiehlt es sich statt dem R 2 das korrigiertes R 2 zu betrachten. Definition 7. Das korrigierte R 2 is definiert als: R 2 = 1 e e/( K) y M 0 y/( 1) = 1 1 K (1 R2 ). (2.10) Das korrigierte R 2 kann fallen, falls ein zusätzlicher Regressor in die Gleichung eingebaut wird; es kann sogar negativ werden. R 2 bzw R 2 können dazu verwendet werden, um zwischen verschiedenen Modellen zu wählen. Betrachten wir dazu N Modelle der Form: y = X i β i + ε i i = 1,..., N. Dann wählt man jenes Modell, das das höchste R 2 bzw R 2 hat. Diese Regel macht allerdings nur dann Sinn, wenn die abhängige Variable in allen Modellen die selbe ist und wenn das wahre Modell sich tatsächlich unter den zur Auswahl stehenden Modellen befindet. 2.2 Eigenschaften in kleinen Stichproben Da der OLS-Schätzer eine Funktion der Zufallsvariable y und daher auch von ε ist, ist auch ˆβ OLS selbst wieder eine Zufallsvariable. Um deren Verteilung zu untersuchen, betrachten wir vorerst deren Mittelwert und Varianz. Es gilt folgender Satz: heorem 10. Unter den Annahmen 1, 2a, 3a und 4 ist ˆβ OLS erwartungstreu, d.h. E ˆβ OLS = β. Falls zusätzlich noch Annahmen 5 und 6 gelten, ist die Varianz des Schätzers gleich V ˆβ OLS = σ 2 (X X) 1. Beweis. Setzt man in die Formel für den OLS-Schätzers das wahre Modell ein, so erhält man: ˆβ = (X X) 1 X y = (X X) 1 X (Xβ + ε) = β + (X X) 1 X ε E ˆβ = β + E ( (X X) 1 X ε ) = β + (X X) 1 X Eε = β, da Eε gemäss Annahme 4 null ist. Der OLS-Schätzer ist daher erwartungstreu. Seine Varianz errechnet sich wie folgt: V ˆβ ( = E [( ˆβ β)( ˆβ β) ] = (X X) 1 X (Eεε ) X(X X) 1 }{{} =σ 2 I = σ 2 (X X) 1 10

7 Falls X nicht deterministisch, sondern stochastisch ist, kann (X X) 1 X nicht vor den Erwartungsoperator E gezogen werden und der Beweis geht nicht durch. Wir können aber die Annahme, dass X deterministisch ist durch die schwächere Annahme 2b ersetzen und die bedingte Erwartung von E( ˆβ X) bestimmen: E( ˆβ X) = β + E((X X) 1 X ε X) = β + (X X) 1 X E(ε X) = β. ˆβ ist somit erwartungstreu gegeben X. Da dies für beliebige Regressormatrizen X mit der Eigenschaft 2b gilt, gilt dies auch im Mittel: E ˆβ = E(E( ˆβ X)) = β. Der OLS-Schätzer ist daher unter dieser schwächeren Annahme erwartungstreu. 2 Man kann nun zeigen, dass der OLS-Schätzer unter gewissen Annahmen effizient innerhalb einer bestimmten Klasse von Schätzern ist. heorem 11 (Gauss-Markov heorem). Unter den Annahmen 1, 2a, 3a, 5 und 6 ist der OLS-Schätzer der beste lineare erwartungstreue Schätzer ( best linear unbiased estimator, BLUE) von β. Dies gilt auch für jede beliebige Linearkombination w β. D.h. der OLS-Schätzer ist auch bezüglich jedes einzelnen Koeffizienten BLUE. Beweis. Wir müssen zeigen, dass für jeden alternativen linearen und erwartungstreuen Schätzer A der OLS-Schätzer effizienter ist, d.h. dass V ˆβ A V ˆβ OLS eine positiv semi-definite Matrix ist. Der Beweis erfolgt in drei Schritten. Erster Schritt: Da ˆβ A ein linearer Schätzer ist, gibt es eine Matrix C, so dass ˆβ A = Cy. Da nun ˆβ A = Cy ein erwartungstreuer Schätzer für alle möglichen β sein soll, muss E ˆβ A = EC(Xβ + ε) = CXβ + CEε = CXβ = β sein. Daraus folgt, dass CX = I K ist. Zweiter Schritt: Die Varianz von ˆβ A berechnet sich nun wie folgt: V ˆβ [ A = E ( ˆβ A E ˆβ A )( ˆβ A E ˆβ A ) ] = E [( ˆβ A β)( ˆβ A β) ] = E(Cεε C ) = CE(εε )C = σ 2 CC. Dritter Schritt: Der Vergleich der beiden Varianzen ergibt: V ˆβ A V ˆβ OLS = σ 2 (CC (X X) 1 ) = σ 2 (CC (X X) 1 (X X) 1 + (X X) 1 ) = σ 2 (CC CX(X X) 1 (X X) 1 X C + (X X) 1 (X X)(X X) 1 ) = σ 2 ( C (X X) 1 X ) ( C (X X) 1 X ). Da das Produkt einer Matrix mit seiner ransponierten immer eine positiv semidefinite Matrix ergibt, ist die Differenz der beiden Varianzen positiv semi-definit. Somit ist ˆβ OLS effizienter als ˆβ A. Man beachte, dass das Gauss-Markov heorem ohne Annahme über die Verteilung auskommt. Ausserdem kann man zeigen, dass es effizientere Schätzer als 2 Obige Schlussfolgerung ist eine Konsequenz des Gesetzes der Iterierten Erwartung. 11

8 den OLS-Schätzer gibt, wenn man die Klasse der zulässigen Schätzer auf nichtlineare und nicht-erwartungstreue Schätzer erweitert. Geht man zusätzlich noch von Annahme 7 aus, so kann gezeigt werden, dass der OLS-Schätzer effizient innerhalb der Klasse aller Schätzer ist (siehe Kapitel 6). Falls X stochastisch ist, kann man Annahme 2a wieder durch die schwächeren Annahme 2b ersetzen, so dass das Gauss-Markov-heorem auch für stochastische Regressoren gilt. 2.3 Das esten von Hypothesen Verteilung des OLS-Schätzers Da der OLS-Schätzer eine Funktion der Zufallsvariable ε ist, ist auch er eine Zufallsvariable. Um seine exakte Verteilung zu bestimmen sind weitere Annahmen notwendig, insbesondere über die Verteilung der Störterme ε t. Als besonders nützlich hat sich dabei die Annahme 7 erwiesen. Da nun die Störterme normal verteilt sind und der OLS-Schätzer linear von diesen Störtermen abhängt, ist auch der OLS-Schätzer normalverteilt: ˆβ N(β, σ 2 (X X) 1 ). Insbesondere gilt, dass auch der Schätzer für jeden einzelnen Koeffizienten normal verteilt ist: ˆβ k N(β k, σ 2 (X X) 1 kk ) k = 1,..., K, wobei (X X) 1 kk das k-te Diagonalelement der Matrix (X X) 1 bezeichnet. Dieses wird in der Folge mit S kk bezeichnet. Somit gilt für die standardisierte Verteilung: z k = ˆβ k β k N(0, 1). σ2 S kk σ 2 ist jedoch in den meisten Fällen nicht bekannt. Es kann aber aus den Residuen geschätzt werden. Da e = M y = M(Xβ + ε) = M ε, ist e e = ε M M ε = ε M ε. Weiter gilt: E(e e) = E(tr(e e)) = E(tr(ε M ε)) = E(tr(M ε ε)) = tr(m E(ε ε) ) = σ 2 tr(m). }{{} =σ 2 I Die Berechnung der Spur von M ergibt: tr(m) = tr(i X(X X) 1 X ) = tr(i ) tr(x(x X) 1 X ) = tr((x X) 1 (X X)) = K. Ein erwartungstreuer Schätzer von σ 2 ist daher: ˆσ 2 = s 2 = Die geschätzte Varianz von ˆβ ist demnach s 2 (X X) 1. e e K = y M y K. (2.11) 12

9 Um die Verteilung der standardisierte Grösse zu bestimmen, betrachten wir: ( K) s2 σ 2 = e e ( ε ) ( ε ) σ 2 = M χ 2 tr(m) σ σ = χ2 K. Diese Verteilung ist unabhängig von β k, so dass t k = ˆβ k β k = s2 S kk ˆβ k β k σ 2 S kk ( K)s 2 /σ 2 K t K. (2.12) Diese t-statistik kann nun zum testen der Nullhypothese H 0 : β = β 0 verwendet werden est linearer Restriktionen Betrachten wir nun den Hypothesentest einer einzelnen linearen Restriktion: H 0 : r 1 β 1 + r 2 β r K β K = r β = q. Da ˆβ normal verteilt ist, ist auch r ˆβ normal verteilt. Wir können daher in Analogie zu vorhin folgende t-statistik betrachten: t = r ˆβ r β V(r ˆβ) = ˆq q V(r ˆβ) t K, wobei V(r ˆβ) = s 2 r (X X) 1 r. Betrachten wir nun den simultanen est J linear unabhängiger Restriktionen, J K: H 0 : Rβ = q, wobei R eine J K Matrix mit Rang J ist und ein q ein Vektor der Dimension J. Betrachten wir einige Beispiele: est eines einzelnen Koeffizienten: H 0 : β k = q: R = ( ) est mehrerer Koeffizienten auf null: H 0 : β 1 = β 2 = β 3 = 0: R = und q = est auf Gleichheit: H 0 : β 1 = β 2 = β 3 : ( ) R = und q = ( ) 0 0 Genauso wie vorhin ist wegen der Normalverteilung von ˆβ, auch R ˆβ q normal verteilt mit Varianz V(R ˆβ q) = RV(β)R = σ 2 R(X X) 1 R. 13

10 Wald-est Wir betrachten nun den est der Nullhypothese H 0 : Rβ = q gegen die Alternativhypothese H 1 : Rβ q. Als eststatistik betrachten wir wiederum die Abweichung der Schätzung zur Hypothese relativ zur Genauigkeit der Schätzung. Diese Idee den est zu gestalten wird als Wald-est bezeichnet. Er ist wie folgt definiert: W = (R ˆβ q) V(R ˆβ q) 1 (R ˆβ q) = (R ˆβ q) [ σ 2 R(X X) 1 R ] 1 (R ˆβ q) χ 2 J (2.13) In der Praxis ist σ 2 nicht bekannt und wird durch den unverzerrten Schätzer s 2 ersetzt. Die so ermittelte neue eststatistik ist als Verhältnis von zwei χ 2 - verteilten Zufallsvariablen F J, K -verteilt: F = (R ˆβ q) [ s 2 R(X X) 1 R ] 1 (R ˆβ q) J = (R ˆβ q) [ R(X X) 1 R ] 1 (R ˆβ q)/j e e/( K) = (R ˆβ q) [ σ 2 R(X X) 1 R ] 1 (R ˆβ q)/j ( K)(s 2 /σ 2 )/( K) (2.14) (2.15) (2.16) F J, K (2.17) est nicht-linearer Hypothesen Oft steht man vor der Situation, dass zwar eine Schätzung ˆβ des Parameters β vorliegt, man aber eigentlich an einer Funktion dieses Parameters f(β) interessiert ist. Es liegt nahe f( ˆβ ) als Schätzung für f(β) zu verwenden. Dabei stellt sich die Frage, wie sich die Verteilung von ˆβ auf f( ˆβ ) überträgt. Die Anwendung der aylor-approximation erster Ordnung erlaubt für den Fall einer asymptotisch normal verteilten Grösse folgenden Satz herzuleiten: heorem 12. Sei { ˆβ } eine K-dimensionale Folge von Zufallsvariablen mit d der Eigenschaft ( ˆβ β) N(0, Σ), dann gilt: ( f( ˆβ ) d ) f(β) N (0, f(β) Σ f(β) ), wobei f : R K R J eine in einer Umgebung von f(β) stetig differenzierbare Funktion mit der Matrix der partiellen Ableitungen (Jacobi-Matrix) f(β) = f(β)/ β ist. Beweis. Siehe Serfling (Serfling, 1980, ). Bemerkung 3. Im Fall eindimensionaler Zufallsvariablen ( ˆβ β) N(0, σ 2 ) und f : R R gilt: ( f( ˆβ ) d ) f(β) N ( 0, [f (β)] 2 σ 2). d 14

11 Bemerkung 4. Die J K Jacobi-Matrix der partiellen Ableitungen ist folgendermaßen definiert: f 1(β) f β (β) β K f(β) = f(β)/ β = f J (β) β 1... f J (β) β K Bemerkung 5. Da β im Allgemeinen nicht bekannt ist, wird in der Praxis die Jacobi-Matrix für β = ˆβ ausgewertet. Dieses Verfahren wird in der Literatur auch als Delta-Methode bezeichnet. Beispiel Angenommen es wurde unter den Standardannahmen in einer multiplen Regression ein Wert von ˆβ = 0.6 für einen Koeffizienten β ermittelt. Die geschätzte Varianz sei V ˆβ = 0.2. Dann kann die Varianz von f( ˆβ) = 1/ ˆβ = durch approximiert werden. ˆV(f( ˆβ)) = [ 1 ˆβ 2 ] 2 ˆσ 2ˆβ = Asymptotische Eigenschaften des OLS-Schätzers Unter den klassischen Annahmen über das Regressionsmodell gilt: E ˆβ = β V ˆβ = σ 2 (X X) 1 = σ2 ( X ) 1 X. 1 Falls nun zusätzlich gilt, dass lim X 1 X = Q bzw. plim X X = Q eine positiv definite und daher nicht-singuläre Matrix ist, so konvergiert V ˆβ in Wahrscheinlichkeit gegen null für gegen unendlich, da 1 X X gegen Q und σ2 gegen null konvergiert. Aufgrund von Bemerkung 1 in Abschnitt 1.1 ist der OLS- Schätzer daher konsistent. Der OLS-Schätzer ist auch dann konsistent, wenn die Annahme 2a bzw. 2b durch die schwächere Annahme 2c ersetzt wird. In diesem Fall gilt: plim ˆβ = plim (X X) 1 X y = plim (X X) 1 X (Xβ + ε) ( X = β + plim(x X) 1 X ) 1 X X ε ε = β + plim ( X X = β + plim ) 1 } {{ } Q 1 X ε plim }{{} 0 Dies zeigt, dass der OLS-Schätzer unter sehr allgemeinen Bedingungen konsistent ist. = β 15

12 Da wir meist auch an der Verteilung des Schätzers interessiert sind, insbesondere dann wenn wir Hypothesen testen möchten, sind weitere Annahmen notwendig. Bisher sind wir davon ausgegangen, dass ε normal verteilt ist. Dies hat uns erlaubt, die Verteilungen der entsprechenden eststatistiken zu bestimmen. Die Annahme der Normalverteilung ist aber in vielen Fällen restriktiv. Leider ist es für andere Annahmen über die Verteilung meist nicht möglich die exakte Verteilung des Schätzers bei kleinen Stichproben in einer für den Anwender brauchbaren Form zu ermitteln. Um dieses Problem zu umgehen, kann man zwei Strategien verfolgen. Bei der ersten betrachten wir die asymptotische Verteilung des Schätzers, d.h. die Verteilung für gegen unendlich. Dabei stellt sich heraus, dass unter recht allgemeinen Bedingungen die asymptotische Verteilung wiederum eine Normalverteilung ist, so dass die vorher betrachteten ests approximativ ihre Gültigkeit behalten. Die zweite Strategie beruht auf Resampling-Verfahren, bei der die Verteilung durch Monte-Carlo Simulation ermittelt wird (siehe Kapitel 8). Gehen wir von folgenden Annahmen aus: 1, 2c, 4 und 6, wobei wir letzte Annahme verschärfen, indem wir statt Unkorreliertheit Unabhängigkeit 3 verlangen. Es gilt: ( X ) 1 ( ) X 1 ( ˆβ β) = X ε. Da nun [ ( X ) ] 1 ( ) ( ) X 1 1 plim X ε = Q 1 X ε, müssen wir nur die Grenzverteilung, falls sie existiert, von 1 X ε = 1 t=1 x tε t = w mit w = 1 t=1 w t = 1 t=1 x tε t betrachten. w ist daher der Durchschnitt von unabhängigen Zufallsvariablen x tε t ist. Aufgrund von Annahme 2b ist der Erwartungswert dieser Zufallsvariable null und die Varianz ist gegeben durch Vx tε t = σ 2 E(x tx t ) = σ 2 Q t wegen Annahme 5. Die Varianz von w ist daher: σ 2 Q = σ2 (Q Q ). Da nun wegen Annahme 2c kein erm diese Summe dominiert, gilt lim σ 2 Q = σ 2 Q. Wir können somit den Lindberg-Levy Zentralen Grenzwertsatz auf w anwenden: ( ) 1 X ε d N(0, σ 2 Q). Daraus folgt: ( ) 1 Q 1 X ε d N(Q 1 0, Q 1 (σ 2 Q)Q 1 ). Wir erhalten somit die asymptotische Verteilung: ( ˆβ β) d N(0, σ 2 Q 1 ). 3 Die Folge {(x t, ε t)} soll eine Folge unabhängiger Zufallsvariablen sein. 16

13 In endlichen Stichproben kann daher die Verteilung des OLS-Schätzers durch ( ) A ˆβ OLS N β, σ2 Q 1 approximiert werden, wobei in der Praxis σ 2 durch e e/( K) und Q 1 / durch (X X) 1 geschätzt werden. Der Vollständigkeit halber zeigen wir noch, dass σ 2 konsistent durch e e/( K) geschätzt wird. Aufgrund der Überlegungen in Abschnitt gilt: s 2 = 1 K ε M ε = 1 K [ ε ε ( ε ) ( X X X ) 1 ( ε ) ] X Der zweite erm in der eckigen Klammer konvergiert unter den gemachten Annahmen in Wahrscheinlichkeit gegen null, so dass wir nur ε ε/ = 1 t=1 betrachten müssen. Da ε 2 t eine Folge unabhängiger Zufallsvariablen mit konstantem Mittelwert σ 2 < ist, braucht es nur sehr schwache zusätzliche Annahmen, dass der Mittelwert 1 t=1 gegen σ2 konvergiert. Es eine hinreichende Annahme ist, dass E ε 2 t 1+δ < für ein δ > 0. Die t-statistik für den est einer linearen Restriktion folgt asymptotisch einer Normalverteilung: t = ˆβ k β d N(0, 1). s 2 (X X) 1 kk Man kann daher die Verteilung der t-statistik für grosse Stichproben durch die Standardnormalverteilung approximieren. Diese Schlussfolgerung legt nahe, dass für mittlere Stichproben die t K -Verteilung eine gute Approximation darstellt. Da die kritischen Werte der t-verteilung absolut gesehen grösser als jene der Standardnormalverteilung sind, empfiehlt es sich, um den Fehler erster Ordnung zu kontrollieren, die t-verteilung zu verwenden. Ähnliche Überlegungen gelten bezüglich der F-Statistik für den est mehrerer linearer Restriktionen. Es kann gezeigt werden, dass die Wald-Statistik W = JF = ẽ ẽ e e e e/( K) = (R ˆβ q) [s 2 R(X X) 1 R ] 1 (R ˆβ q) asymptotisch χ 2 -verteilt ist mit J Freiheitsgraden. Da die kritischen Werte der F-Verteilung von oben gegen 1/J mal die entsprechende χ 2 -Verteilung konvergieren, empfiehlt es sich die F-Statistik mit den kritischen Werten aus der F-Verteilung zu verwenden. 2.5 ests mittels Vergleich der Anpassungsgüte OLS-Schätzung unter Restriktionen Wir betrachten nun die OLS-Schätzung unter Nebenbedingungen. Ausgangspunkt bildet nach wie vor das lineare Regressionsmodell: y = Xβ + ε. 17

14 Allerdings gehen wir davon aus, dass die Parameter zusätzlichen Restriktionen genügen sollen. Der Einfachheit halber betrachten wir nur lineare Nebenbedingungen der Form: Rβ = q. Der Kleinstquadrateschätzer ist daher die Lösung folgenden Minimierungsproblems: S(β) = (y Xβ) (y Xβ) min β NB:Rβ = q Die Nebenbedingung enthält im Allgemeinen zusätzliche Information über die Parameter, so dass sich der Schätzer unter Berücksichtigung der Nebenbedingung vom nicht-restringierten Schätzer unterscheidet! Die Lösung kann mit Hilfe der Lagrange-Funktion L bestimmt werden: L = (y Xβ) (y Xβ) + 2λ (Rβ q), wobei λ den Vektor der Lagrange-Multiplikatoren bezeichnet. Nach Differentiation von L nach β und λ erhält man die Bedingungen erster Ordnung: L β = 2X (y Xβ) + 2R λ = 0 L = 2(Rβ q) = 0 λ Dies stellt ein Gleichungssystem in den beiden Unbekannten β und λ dar: ( ) ( ) ( ) X X R β X = y. R 0 λ q Die Lösung β und λ ist gegeben durch: β = ˆβ (X X) 1 R [ R(X X) 1 R ] 1 (R ˆβ q) λ = [ R(X X) 1 R ] 1 (R ˆβ q) V( β) = σ 2 (X X) 1 σ 2 (X X) 1 R [ R(X X) 1 R ] 1 R(X X) 1 }{{}}{{} positiv definite matrix V ˆβ Verglichen mit dem unrestringierten Fall nimmt die Varianz ab, da die Restriktion zusätzliche Information über die Parameter beinhaltet. Die Anpassung an die Daten ist allerdings schlechter Vergleich der Anpassung als est Man nun die Nullhypothese H 0 =: Rβ = q testen, in dem man Güte der Anpassung, gemessen an der Fehlerquadratsumme, des restringierten Modells mit jener des unrestringierten Modells vergleicht. Dies entspricht dem Abstand auf der y-achse in Abbildung 2.1. Der Wald-est, zum Vergleich, beruht auf dem Abstand von ˆβ = β OLS mit β 0, dem Wert unter der Nullhypothese. Da die Residuen im restringierten Modell gleich ẽ = y X β = y X ˆβ X( β ˆβ) = e X( β ˆβ) 18

15 00 Fehlerquadratsumme H 0 : β=1 β OLS β Abbildung 2.1: Fehlerquadratsumme ist, ist die entsprechende Fehlerquadratsumm gegeben durch: ẽ ẽ = e e + ( β ˆβ) (X X)( β ˆβ) e e. Somit ist die Differenz der Fehlerquadratsummen gleich: ẽ ẽ e e = (R ˆβ q) [R(X X)R ] 1 (R ˆβ q). Dieser Ausdruck ist aber, bis auf σ 2, gleich dem Wald-est. Die entsprechende F-Statistik kann daher geschrieben werden als F = (ẽ ẽ e e)/j e e/( K) = (R2 R 2 )/J (1 R 2 )/( K) F J, K Man kann also die F-Statistik für die Nullhypothese H 0 : Rβ = q auch durch die, entsprechend standardisierten, Differenzen der Fehlerquadratsummen berechnen. 4 Welche der beiden Berechnungsmethoden man wählt, ist daher eine Sache der Bequemlichkeit. Während beim Wald-est nur eine Regression berechnet werden muss, ist die Berechnung der eststatistik aufwendiger, da zweimal eine Matrix invertiert werden muss, müssen in dieser Variante des ests zwei Regressionen berechnet werden. Signifikanz der Regression Angenommen wir wollen die Hypothese testen, dass alle Koeffizienten bis auf die Konstante gleich null sind. Da unter der Restriktion, dass alle Parameter 4 Diese Aussage gilt in dieser allgemeinen Form nur für das lineare Regressionsmodell. 19

16 bis auf die Konstante null sind, das R 2 = 0 ist, ergibt obige Formel für die F-Statistik: R 2 /(K 1) F = (1 R 2 )/( K), da ja J = K 1 ist est auf Strukturbruch Eine wichtige Anwendung des obigen estprinzips stellt der est auf Strukturbruch oder Chow-est dar. Angenommen zwei oder mehrere Zeitperioden oder auch zwei oder mehrere Gruppen und wir wollen die Hypothese testen, ob die Parameter über die Zeitperioden bzw. Gruppen hinweg konstant sind Wir betrachten zuerst einmal den Fall von zwei Gruppen. Getestet werden soll die Nullhypothese, dass die Koeffizienten der beiden Gruppen gleich sind. Dazu schätzen wir zuerst das unrestringierte Modell, d.h. das Modell mit Strukturbruch: ( y1 ) = y 2 ( ) ( ) X1 0 β1 + 0 X 2 β 2 ( ε1 ε 2 ). Die Nullhypothese lautet: H 0 : β 1 = β 2. Daher ist R = (I, I) und q = 0. Der Kleinstquadrateschätzer ist gegeben durch: ( ) ( (X1 ) ( ) ) 1 ( ) ( ) ( ) ˆβ1 0 X1 0 X1 0 y1 X 1 ( ) = = 1 X 1 0 X 1 y 1 ˆβ 2 0 X 2 0 X 2 0 X 2 y 2 0 X 2X 2 X 2y 2 Man könnte die Nullhypothese mittels Wald-est testen. Einfacher ist es allerdings, die Fehlerquadratsummen zu vergleichen. Man sieht, dass die Regression in zwei eilregressionen zerfällt: ˆβ 1 = (X 1X 1 ) 1 (X 1y 1 ) mit Fehlerquadratsumme: e 1e 1 ˆβ 2 = (X 2X 2 ) 1 (X 2y 2 ) mit Fehlerquadratsumme: e 2e 2. Somit ist die Fehlerquadratsumme des unrestringierten Modells: e e = e 1e 1 + e 2e 2. Im restringierte Modell ohne Strukturbruch ist β = β 1 = β 2. Somit ist das Regressionsmodell gegeben durch: ( ) ( ) ( ) y1 X1 ε1 = β + mit Fehlerquadratsumme: ẽ ẽ. y 2 X 2 ε 2 wobei Die F-Statistik für den est auf Strukturbruch (Chow-est) ist daher: F = (ẽ ẽ (e 1e 1 + e 2e 2 ))/J (e 1 e 1 + e 2 e 2)/( 2K) F J, 2K, (2.18) J = Anzahl der Restriktionen (im einfachsten Fall J = K) 2K = Anzahl Regressoren im unrestringierten Modell = Gesamtzahl der Beobachtungen 20

17 Man kann den est leicht auf mehr Gruppen erweitern. Ausserdem kann man untersuchen, dass nur einige Parameter ändern. Es müssen lediglich die Freiheitsgrade in der F-Statistik, F n1,n 2, entsprechend angepasst werden. Dabei ist der erste Freiheitsgrad, n 1, gleich der Anzahl der Restriktionen, währen der zweite Freiheitsgrad dem Freiheitsgrad im unrestringierten Modell (Anzahl der Beobachtungen minus Anzahl der Regressoren) entspricht. Wichtig für den Chow-est ist aber die Annahme, dass die Varianz über alle Gruppen hinweg konstant ist. est auf Strukturbruch bei unbekanntem Bruchzeitpunkt Im Kontext von Zeitreihen ist meist der genaue Zeitpunkt des Strukturbruchs nicht bekannt. Vielmehr gibt es eine Zeitspanne [t 0, t 1 ] mit [t 0, t 1 ] [1, ], in der der Strukturbruch vermutet wird. Man kann nun den Chow-est dahingehend verändern, dass man ihn für alle mögliche Zeitpunkte t [t 0, t 1 ] durchführt und für jeden dieser Zeitpunkte die entsprechende F-Statistik F t, t = t 0,..., t 1, berechnet. Anschliessend betrachtet man den maximalen Wert der F-Statistiken: QLR = max{f(t 0 ),..., F(t 1 )}. (2.19) Diese est-statistik wird als Quandt-Likelihood-Ratio-Statistik oder als sup- Wald-Statistik bezeichnet, wobei die Nullhypothese besagt, dass alle Parameter des Regressionsmodells über die Zeit konstant sind. Die QLR-eststatistik ist allerdings nicht mehr F-verteilt. Ihre asymptotische Verteilung hängt einerseits von der Anzahl der getesteten Restriktionen aber auch von t 0 / bzw. t 1 /, den sogenannten trimming -Werten, ab. Übliche trimming -Werte sind 0.15 und Die Verteilung wurde von Andrews (1993) in tabellierter Form vorgelegt. Die QLR-Statistik hat viele für die praktische Arbeit nützliche Eigenschaften: Die QLR-Statistik kann dazu verwendet werden, um auf einen Strukturbruch in allen Koeffizienten oder nur in einer eilmenge (z.b. nur der Konstanten) zu testen. Der est zeigt nicht nur einzelne diskrete Parameterveränderungen an, sondern schlägt auch bei multiplen Strukturbrüchen zu unterschiedlichen Zeitpunkten und/oder bei einer langsamen Veränderungen der Koeffizienten an. Falls es einen klaren Strukturbruch in der Regressionsgleichung gibt, kann der Zeitpunkt mit dem höchsten Wert der F-Statistik als Schätzer für den Zeitpunkt des Strukturbruchs verwendet werden. 2.6 Probleme bei der Spezifikation der Modelle Partielle Regression Wir betrachten ein Regressionsmodell mit zwei Gruppen von Regressoren X 1 und X 2 : y = Xβ + ε = X 1 β 1 + X 2 β 2 + ε, 21

18 wobei X = (X 1, X 2 ) ist. Der OLS-Schätzer von β wird durch die Normalgleichungen X 1X 1 ˆβ1 + X 1X 2 ˆβ2 = X 1y X 2X 1 ˆβ1 + X 2X 2 ˆβ2 = X 2y bestimmt. Man kann dieses simultane Gleichungssystem lösen, indem man in einem ersten Schritt aus der ersten Gleichung ˆβ 1 = (X 1X 1 ) 1 (X 1y) (X 1X 1 ) 1 (X 1X 2 ) ˆβ 2 bestimmt und im zweiten Schritt dieses Ergebnis in die zweite Gleichung einsetzt. Nach einige Umformungen erhält man: ˆβ 2 = [ X 2(I X 1 (X 1X 1 ) 1 X 1)X 2 ] 1 X 2 (I X 1 (X 1X 1 ) 1 X 1)y = (X 2 M 1 X 2 ) 1 (X 2 M 1 y) = ( X 2 X 2 ) 1 X2 ỹ, wobei X2 = M 1 X 2 und ỹ = M 1 y ist. Dieses Ergebnis wird oft als Satz von Frisch, Waugh und Lovell bezeichnet. 5 Er besagt, dass ˆβ 2 durch ein zweistufiges Verfahren ermittelt werden kann. Regressiere in einem ersten Schritt X 2 und y gegen X 1 und bilde anschliessend die Residuen X 2 und ỹ. Regressiere dann in einem zweiten Schritt ỹ gegen X 2. Dieser Satz zeigt, dass, wenn man in einem ersten Schritt alle Variablen mit der selben Prozedur bereinigt (z.b. Mittelwert-, rend- oder Saisonbereinigung), man das Ergebnis für die restlichen Koeffizienten nicht beeinträchtigt Vernachlässigte Regressoren In den bisherigen Analyse sind wir implizit davon ausgegangen, dass das Regressionsmodell korrekt spezifiziert ist, insbesondere dass X alle relevanten Regressoren enthält. Um die Auswirkungen eines fehlspezifizierten Modells zu untersuchen betrachten wird folgende Situation. Das wahre Modell ist: y = X 1 β 1 + X 2 β 2 + ε. Für die Schätzung wird allerdings das fehlspezifizierte Modell y = X 1 β 1 + ε geschätzt. Dieses hat die Regressoren X 2 vernachlässigt. Die OLS-Schätzung von β 1 ergibt: ˆβ 1 = (X 1X 1 ) 1 X 1y = (X 1X 1 ) 1 X 1(X 1 β 1 + X 2 β 2 + ε) = β 1 + (X 1X 1 ) 1 (X 1X 2 β 2 + (X 1X 1 ) 1 X 1ε. Erwartung und Varianz des Schätzers sind: E ˆβ 1 = β 1 + (X 1X 1 ) 1 X 1X 2 β 2 V ˆβ 1 = σ 2 (X 1X 1 ) 1 Da (X 1X 1 ) 1 X 1X 2 β 2 im Allgemeinen nicht null ist, ist der OLS-Schätzer nicht mehr erwartungstreu und somit verzerrt. Man spricht in dieser Situation von 5 Siehe Davidson and MacKinnon (1993). 22

19 einem omitted variable bias. Das Ausmass und die Richtung der Verzerrung hängen einerseits vom Effekt der vernachlässigten Variablen, β 2, als auch vom Zusammenhang zwischen X 1 und X 2 ab. Man beachte, dass die Matrix (X 1X 1 ) 1 X 1X 2 den Koeffizienten einer Regression von X 2 auf X 1 entspricht. Nur wenn β 2 = 0 oder X 1X 2 = 0 null ist, ist der OLS-Schätzer von β 1 unverzerrt. Im Fall einer bivariaten Regression kann man die Verzerrung explizit berechnen: Dabei entspricht E ˆβ 1 = β 1 + β 2 t=1 (x 1t x 1 )x 2t t=1 (x 1t x 1 ) 2. P t=1 (x 1t x 1 )x 2t P t=1 (x1t x1)2 dem geschätzten Koeffizienten, ˆδ 1 der Regression x 2t = δ 0 + δ 1 x 1t + u t. Der Bias oder die Verzerrung ist dann gegeben durch: Eβ 1 β 1 = β 2ˆδ1. Wir können das in der folgenden abelle zusammenfassen. corr(x 1, x 2 ) > 0 corr(x 1, x 2 ) < 0 β 2 > β 2 < In der korrekten Regression wird β 1 geschätzt als ˆβ 1.2 = (X 1 M 2 X 1 ) 1 (X 1 M 2 )y mit M 2 = I X 2 (X 2X 2 ) 1 X 2. Für diesen Schätzer gilt: ˆβ 1.2 = (X 1 M 2 X 1 ) 1 X 1 M 2 (X 1 β 1 + X 2 β 2 + ε) }{{} y = β 1 + (X 1 M 2 X 1 ) 1 X 1 M 2 X 2 β 2 +(X 1 M 2 X 1 ) 1 X 1 M 2 ε }{{} =0,da M 2 X 2 =0 = β 1 + (X 1 M 2 X 1 ) 1 X 1 M 2 ε. Somit sind Erwartung und Varianz gegeben durch: E ˆβ 1.2 = β 1 V ˆβ 1.2 = E [ (X 1 M 2 X 1 ) 1 X 1 M 2 εε M 2 X 1 (X 1 M 2 X 1 ) 1] = σ 2 (X 1 M 2 X 1 ) 1 Ein Vergleich der Inversen der beiden Varianzmatrizen ergibt: (V ˆβ 1 ) 1 (V ˆβ 1.2 ) 1 = 1 σ 2 (X 1X 1 ) 1 σ 2 (X 1 M 2 X 1 ) = 1 σ 2 X 1(I M 2 )X 1 = 1 σ 2 X 1X 2 (X 2X 2 ) 1 X 2X 1. Dies ist eine eine positiv semi-definite Matrix, daher gilt: V ˆβ 1 V ˆβ 1.2. Der Schätzer ˆβ 1 ist zwar verzerrt, er liefert aber die kleinere Varianz und somit auch die höheren t-werte als der erwartungstreue Schätzer ˆβ

20 Ein zusätzliches Problem besteht in der Schätzung von σ 2. Es gilt: ˆσ 2 = s 2 = e 1e 1 K 1 e 1 = M 1 y = M 1 (X 1 β 1 + X 2 β 2 + ε) = M 1 X 2 β 2 + M 1 ε, wobei K 1 die Anzahl der Regressoren in X 1 bezeichnet. Daher gilt: E(e 1e 1 ) = E(β 2X 2 M 1 +ε M 1 )(M 1 X 2 β 2 + M 1 ε) = β 2X 2 M 1 X 2 β 2 + Eβ 2X 2 M 1 ε + Eε M 1 X 2 β 2 + Eε M 1 ε = β 2 X 2 M 1 X 2 β 2 }{{} +( K 1 )σ 2 0,d.h. Verzerrung nach oben Somit lassen sich folgende Schlussfolgerungen ziehen: Die Schätzungen von β 1 und σ 2 sind verzerrt. Die geschätzte Varianz von ˆβ 1 kann geringer sein als jene von ˆβ 1.2 Falls X 1X 2 = 0, ist ˆβ 1 unverzerrt. Allerdings bleibt s 2 weiterhin nach oben verzerrt Zu viele Regressoren Wir betrachten nun den Fall, dass das wahre Modell weniger Regressoren enthält als jenes, das geschätzt wird. Wir haben also folgende Situation: wahres Modell : geschätztes Modell: y = X 1 β 1 + ε y = X 1 β 1 + X 2 β 2 + ε Das Schätzmodell ist somit a priori nicht falsch(!), es wurde lediglich die Information β 2 = 0 nicht berücksichtigt. Der OLS-Schätzer ist nach wie vor erwartungstreu: ( ) ˆβ1 E = ˆβ 2 Das selbe gilt für den Schätzer der Varianz: ( ) β1. 0 e e E = σ 2 K 1 K 2 Es schaut daher so aus, als ob es immer günstiger wäre, eher zu viele als zu wenige Regressoren zu verwenden. Das Problem mit dieser Ansicht ist, dass die Präzision der Schätzung mit der Zahl der Regressoren abnimmt; die Varianz der Koeffizienten ist bei der Regression mit weniger Variablen kleiner. Ausserdem besteht in einem Modell mit sehr vielen Regressoren eher das Problem der Multikollinearität (siehe Abschnitt 2.6.4). 24

21 2.6.4 Multikollinearität Exakte Multikollinearität tritt auf, wenn Annahme 3 verletzt ist, wenn also der Rang von X kleiner als K ist. In diesem Fall sind die Spalten von X linear abhängig, so dass die Matrix X X singulär ist und daher nicht invertiert werden kann; der OLS-Schätzer also nicht berechnet werden kann. Diese Situation ist insofern unproblematisch, als dass der Computer eine Fehlermeldung ausgibt und somit auf das Problem hinweist. Anders verhält es sich, wenn X X fast exakt multikollinear ist. Diese Situation ist nicht genau definierbar, sondern kann aber anhand folgender Symptome festgemacht werden: Kleine Änderungen in den Daten, z.b. durch Weglassen einer Beobachtung, verursachen grosse Änderungen in den geschätzten Parametern. Die geschätzten Koeffizienten haben eine hohe geschätzte Standardabweichung (kleine t-werte), obwohl sie gemeinsam signifikant sind bzw. das R 2 hoch ist. Die Koeffizienten haben falsche Vorzeichen oder unplausible Grössenordnungen. Da die Varianz des Koeffizienten ˆβ j gleich V ˆβ j = σ 2 (1 R 2 j ) t=1 (x jt x j ) 2 ist, bedeutet Multikollinearität, dass entweder die Variable x jt wenig variiert ( t=1 (x jt x j ) 2 klein) oder dass der Effekt der j-ten Variablen bereits durch die restlichen Regressoren erfasst worden ist (R 2 j nahe bei eins). Dabei bezeichnet R 2 j das R2 der Regression der j-ten Variablen auf die restlichen Variablen. Zwar werden in der Literatur einige mechanistische Verfahren zur Milderung der Auswirkungen der Multikollinearität vorgeschlagen, doch handelt es sich letztlich um ein Informations- bzw. Datenproblem, und nicht um ein Problem der statistischen Methode. Es empfiehlt sich daher in dieser Situation die Anzahl der Beobachtungen zu erhöhen; zusätzliche a priori Information, etwa aufgrund theoretischer Überlegungen, bei der Schätzung zu berücksichtigen; eine oder mehre Variablen wegzulassen. Die letzte der drei Empfehlungen ist problematisch, da nun ein anderes Modell und damit andere Parameter geschätzt werden Proxy-Variable Oft stehen eine oder mehrere Variable, die für die Erklärung der abhängigen Variable, wichtig sind nicht zur Verfügung. Es besteht somit die Möglichkeit, dass die OLS-Schätzung mit einem omitted-variable-bias behaftet ist. Man kann nun versuchen, dieses Problem zu umgehen, indem man die fehlenden Variablen durch sogenannte Proxy-Variable ersetzt. Dabei handelt es sich um Variable, von denen angenommen wird, dass sie sich ähnlich wie die fehlenden 25

22 Variablen verhalten, dass also beide Variablen korreliert sind. Wie immer man sich entscheidet, man handelt sich einen Spezifikationsfehler ein. Wir wollen nun das Problem anhand des folgenden wahren Modells untersuchen: y t = β 0 + β 1 x 1t + β 2 x 2t + β 3 x 3t + ε t. Dabei wird angenommen, dass für die Variable x 3t keine Messungen zur Verfügung stehen, dass es aber eine Proxy-Variable x 3t gibt. Damit nun x 3t eine gute Proxy- Variable für x 3t ist, muss in der Regression x 3t = δ 0 + δ 3 x 3t + v t δ 3 0 sein. Die Lösung des Spezifikationsproblems besteht nun darin, in der ursprünglichen Regression ( wahres Modell) x 3t durch x 3t zu ersetzen. 6 Dies wird als plugin -Lösung bezeichnet. Diese Lösung beruht auf zwei Annahmen: 1. Das wahre Modell erfüllt die klassischen Eigenschaften des Regressionsmodells, insbedondere Annahme 2b. Ausserdem ist ε t mit x 3t unkorreliert; d.h. x 3t ist irrelevant (hat keinen direkten Effekt) in der Regression von y t auf x 3t, wenn für x 1t und x 2t kontrolliert wird. 2. v t ist mit x 1t, x 2t, x 3t unkorreliert. D.h. es gilt: E(x 3t x 1t, x 2t, x 3t ) = E(x 3t x 3t ) = δ 0 + δ 3 x 3t. Die plug-in -Lösung liefert folgende Regression: y t = β 0 + β 1 x 1t + β 2 x 2t + β 3 (δ 0 + δ 3 x 3t + v t ) + ε t = (β 0 + β 3 δ 0 ) + β 1 x 1t + β 2 x 2t + (β 3 δ 3 )x 3t + (ε t + β 3 v t ) Unter der Annahmen 1 und 2 werden β 1 und β 2 erwartungstreu geschätzt. Der Effekt von x 3t wird jedoch verzerrt geschätzt, da β 3 δ 3 β 3 ist. Ist nun aber Annahme 2 verletzt, so gilt x 3t = δ 0 + δ 1 x 1t + δ 2 x 2t + δ 3 x 3t + v t mit δ 1 und/oder δ 2 ungleich null. Die plug-in -Lösung liefert dann folgende Regression: y t = β 0 + β 1 x 1t + β 2 x 2t + β 3 (δ 0 + δ 1 x 1t + δ 2 x 2t + δ 3 x 3t + v t ) + ε t = (β 0 + β 3 δ 0 ) + (β 1 + β 3 δ 1 )x 1t + (β 2 + β 3 δ 2 )x 2t + (β 3 δ 3 )x 3t + (ε t + β 3 v t ). Somit haben wir keine erwartungstreue Schätzung mehr. Diese Überlegungen führen somit zu folgender Schlussfolgerung: Die Verwendung einer Proxy-Variable ist insbesondere dann geboten, wenn keine hohe Korrelation mit den anderen Variablen besteht und wenn diese Variable tatsächlich wichtig ist; ansonsten scheint es sicherer zu sein, keine Proxy-Variable zu verwenden. Letztlich bleibt es auch eine Frage der Abwägung, welcher Spezifikationsfehler wichtiger ist. 6 Man erkennt, dass das Problem Ähnlichkeiten mit dem Errors-in-Variable -Problem hat. Siehe Kapitel 5. 26

23 Literaturverzeichnis D. W. Andrews. ests for parameter instability and structural change with unknown change point. Econometrica, 61: , M. Arellano. Panel Data Econometrics. Oxford University Press, Oxford, B. H. Baltagi. Econometric Analysis of Panel Data. John Wiley & Sons, Chichester, 2nd edition, R. Davidson and J. G. MacKinnon. Estimation and Inference in Econometrics. Oxford University Press, New York, W. H. Greene. Econometric Analysis. Pearson Education International, 5th edition, K. Neusser. Zeitreihenanalyse in den Wirtschaftswissenschaften. eubner- Verlag, Wiesbaden, R. J. Serfling. Approximation heorems of Mathematical Statistics. John Wiley and Sons, New York, J. M. Wooldridge. Econometric Analysis of Cross Section and Panel Data. MI Press, Cambridge, Massachusetts,