Grundlagen der Ökonometrie (für Wirtschaftsmathematikstudenten und mathematisch orientierte Volkswirtschaftsstudenten) Prof. Dr.

Transkript

1 Grundlagen der Ökonometrie (für Wirtschaftsmathematikstudenten und mathematisch orientierte Volkswirtschaftsstudenten) Prof Dr Enno Mammen

2 0 Exkurs: Orthogonaltransformationen, Projektionen im R n In diesem Exkurs werden einige Fakten aus der linearen Algebra zusammengestellt, auf die wir in der Vorlesung häufig zurückgreifen werden Orthogonaltransformationen werden häufig auftauchen, da viele Argumente essentiell vereinfacht werden können, indem man zu einer anderen Basis übergeht Projektionen eines Punktes bestimmen Elemente eines linearen Teilraumes, die minimalen Abstand zu dem Punkt haben Mit Hilfe von Projektionen wird der Kleinste Quadrate Schätzer beschrieben werden Dies ist das Schätzverfahren in linearen Modellen, das wir in der Vorlesung ausgiebig diskutieren werden Der letzte Punkt des Exkurses sind symmetrische positiv semidefinite Matrizen Dies sind genau die Matrizen, die als Kovarianzmatrizen auftreten können Wir werden sehen, dass nach einem geeigneten Basiswechsel symmetrische positiv semidefinite Matrizen in den neuen Koordinaten zu Diagonalmatrizen werden Betrachte x, y R n mit Norm x 2 = x x 2 n und Skalarprodukt < x, y > = x 1 y x n y n = x T y Für x R n sei L = {ax : a R} die Gerade durch x und den Ursprung Die Projektion von y auf L ist der zu y nächste Punkt a 0 x L, also y a 0 x 2 = min a 0 < y a 0 x, y a 0 x > = y T y 2a 0 < x T y > +a 2 0 < x T x > a 0 = xt y x T x Man sagt für x, y 0: y ist orthogonal zu x a 0 = 0 x T y = 0 Notation: x y Klar: x y y x Betrachten zwei Orthogonalbasen des R n : e 1 = 1 0 0, e 2 = ,, e n = ; 1

3 und also: f 1,, f n paarweise orthogonal, f j = 1 Betrachte O = (f 1,, f n ) Dann gilt: f 1,, f n, f j = Oe j Basistransformation Weiter sei x R n, also x = x 1 e x n e n Betrachte y = O T x = f T 1 f T n x = f T 1 x f T n x f T j x ist die j-te Koordinate von x bezüglich der Basis f 1,, f n, also x = y 1 f y n f n O T x gibt die Koordinate von x in der neuen Basis an O T heißt auch Koordinatentransformation Es gilt O T O = f T 1 ( f 1,, f n ) f T n = (f T i f j ) n i,j=1 = I n ( f 1,, f n Orthonormalbasis) Andere Herleitung: O e j }{{} =f j Basistransformation }{{} =e j Koordinaten von f j in neuer Basis O T Also: O T Oe j = e j O T O = I n Äquivalent: Die Spaltenvektoren einer Matrix O bilden eine Orthonormalbasis O T O = I n Definition 01 Eine Matrix O mit O T O = I n heißt orthogonale Matrix 2

4 Satz 01 Sei O orthogonal Dann gilt: (i) (ii) O 1 = O T O T ist orthogonal (iii) O 1, O 2 orthogonal O 1 O 2 orthogonal (iv) Für x R n : O x = x Beweis (i) (ii) zu zeigen: (O T ) T O T = I n (iii) zu zeigen: Beweis: (O T ) T O T }{{} = O O 1 = I n wegen(i) (O 1 O 2 ) T O 1 O 2 }{{} = I n }{{} O T 2 O T 1 O 1 O 2 = O T 2 O 2 (iv) O x 2 = x T O T O x = x T x = x 2 Definition 02 Eine n n Matrix A heißt positiv definit (positiv semidefinit), falls x T A x > 0 x R n, x 0, (x T A x 0 x R n ) Satz 02 Sei A symmetrisch, positiv semidefinit Dann existiert O orthogonal, D Diagonal mit Elementen 0 und A = O D O T Falls A positiv definit ist, sind Diagonalelemente von D strikt positiv Der Satz kann so interpretiert werden Nach einem geeigneten Basiswechsel werden symmetrische positiv semidefinite Matrizen in den neuen Koordinaten zu Diagonalmatrizen Diese Tatsache kann vielfach zur Vereinfachung von Argumenten genutzt werden 3

5 Beweisskizze Zeige zunächst: Es existiert Orthonormalbasis g 1,, g n von Eigenvektoren von A mit Eigenwerten λ 1 λ n 0 Beweis durch Iteration: Maximiere g T A g unter Nebenbedingung g T g = 1 Lagrange: Differenziere g T A g λ(g T g 1) Dies ergibt: A g λ g = 0 Dh Alle Lösungen g sind Eigenvektoren g T A g λ(g T g 1) wird durch (einen evtl nicht eindeutigen) Eigenvektor g 1 = g mit größtem Eigenwert λ 1 maximiert Maximiere nun g T A g unter Nebenbedingung g T g = 1, g g 1 Setze Lösung gleich g 2 und iteriere Wähle dann: O = (g 1 g n ), λ 1 λ2 0 D = 0 λ n Dann gilt für x R n : O T x = α 1 α n sind die Koordinaten von x bezüglich g 1,, g n : x = α 1 g α n g n λ 1 α 1 Weiter gilt D O T x = λ n α n und somit: O D O T x = λ 1 α 1 g λ n α n g n = A (α 1 g α n g n ) = A x Da dies für alle x gilt, folgt O D O T = A Definition 03 Sei A symmetrisch, positiv semidefinit mit A = O D O T für D diagonal, O orthogonal Dann ist für α 0 die Matrix A α definiert als O D α O T Für A positiv definiert, kann α R gewählt werden Anmerkung: Man kann zeigen, dass die Definition eindeutig ist und somit Sinn macht 4

6 Satz 03 Sei A symmetrisch positiv (semi-) definit Dann gilt für α, β R (α, β 0) (i) A α A β = A α+β, (ii) A α A β = A β A α Beweis Korollar 04 Jede Kovarianzmatrix ist symmetrisch positiv semidefinit Zu jeder symmetrischen positiv semidefiniten Matrix A existiert eine Verteilung mit Kovarianzmatrix A Beweis Sei Σ Kovarianzmatrix von X ObdA gelte E[X] = 0 Dann Σ = (E[X i X j ]) ij = (E[X j X i ]) ij = Σ T Σ symmetrisch Weiter zu zeigen: a T Σ a 0 Es gilt 0 E(a T X) 2 = a T (E[X X T ]) a = a T Σ a Definition 04 Sei L ein linearer Teilraum des R n mit Dimension k, dh L = {x : a 1 x a k x k mit a 1,, a k R} = span(x 1,, x k ) für linear unabhängige Vektoren x 1,, x k R n Dann heißt für y R n das Element z L mit (Orthogonal-) projektion von y auf L Schreibweise: z = Π L y z = arg min y z 2 z L Wir schreiben auch Π L für die Matrix, die der Orthogonalprojektion Π L entspricht Satz 05 Sei ein linearer Teilraum durch paarweise orthogonale Vektoren x 1,, x k mit x j = 5

7 1 aufgespannt Dann gilt mit X T = x T 1 x T k 0 0 n Zeilen, oder X T = x T 1 x T k, dass Π L = X X T Beweis Erweitere x 1,, x k zu einer Orthonormalbasis x 1,, x n von R n Seien für x, z, R n die Vektoren x, z, die Koordinaten von x, z, bezüglich x 1,, x n Dann gilt: x L x k+1 = = x n = 0 Daraus folgt: Π L z hat neue Koordinaten z1,, z k, 0,, 0 Folgerung mit D k = } k Zeilen und XT = x T 1 x T n : Π L = X D k XT Man sieht leicht, dass X D k XT = X X T Korollar 06 Sei ein linearer Raum L aufgespannt durch Vektoren x 1,, x k Dann gilt mit x T X T = 1 : x T k Π L = X (X T X) 1 X T 6

8 Beweis Betrachte z 1,, z k R n mit Z T = z T 1 z T k = (XT X) 1 2 X T Es gilt z T 1 ( z 1 z k ) = (X T X) 1 2 (X T X) (X T X) 1 2 = Ik z T k z 1,, z k sind paarweise orthogonal mit z j = 1 und spannen L auf Π L = Z Z T = X (X T X) 1 X T Beipiel 1 Sei X n p-matrix mit Rang p, y R n, L = {Xb : b R p } Dann gilt: Π L y = X ( X T X ) 1 X T y Wir geben nun drei Beweise für diese Aussage Beweis 1 Sei b 0 so gewählt, dass Π L y = Xb 0 Dann gilt b 0 argmin y Xb 2 b Differenzieren von b y Xb 2 ergibt (siehe Vorlesung) b 0 = ( X T X ) 1 X T y Π L y = X ( X T X ) 1 X T y Beweis 2 Behauptung folgt aus: (i) X ( X T X ) 1 X T u = u für u L, (ii) X ( X T X ) 1 X T u = 0 für u L Beweis von (i): u L b : u = Xb X ( X T X ) 1 X T u = X ( X T X ) 1 X T Xb = Xb = u 7

9 Beweis von (ii): u L (Xb) T u = 0 b R p b T X T u = 0 b R p X T u = 0 X ( X T X ) 1 X T u = 0 Beweis 3 Spaltenvektoren von X spannen L auf Daraus folgt, dass Spaltenvektoren f 1,, f p von X ( X T X ) 1/2 den Raum L aufspannen (da X T X vollen Rang hat) Weiter gilt, dass f 1,, f p paarweise orthogonal und normiert sind, da (f 1 f p ) T (f 1 f p ) = (X ( X T X ) ) 1/2 T (X ( X T X ) ) 1/2 Also: = ( X T X ) 1/2 X T X ( X T X ) 1/2 = I X ( X T X ) 1 X T u = X ( X T X ) 1/2 ( X T X ) 1/2 X T = (f 1 f p ) (f 1 f p ) T u f 1 T u = (f 1 f p ) fp T u = ( f T 1 u ) f ( f T p u ) f p Dies ist die Projektion von u auf span(f 1,, f p ) = L Beipiel 2 Sei A p n-matrix mit Rang p, y R n, L = {x : Ax = 0} Dann gilt: Π L y = (I A T ( AA T ) ) 1 A y Beweis Wir müssen zeigen: Sei A T = (a 1 a p ) Es gilt L = {x : x T u = 0 }{{} x u = span (a 1,, a p ) = { A T b : b R p} Π L = A T ( AA T ) 1 A für alle u R n mit Au }{{ = 0} } u span(a 1,,a p) 8

10 Behauptung folgt wie in Beipiel 1 1 Lineares Modell Modellgleichung: Y i = X T i β + ε i (11) Y 1,, Y n X 1,, X n R-wertige Zufallsvariable Vektoren R p oder R p -wertige Zufallsvariablen } beobachtet β R p, ε 1,, ε n R-wertige Zufallsvariablen } unbekannt, unbeobachtet Beispiel: (Einfache lineare Regression) Y i = β 1 + β 2 Z i + ε i mit β = β 1, X i = 1, p = 2 Z i β 2 (Statistik II: Y i Testscores, Z i Klassengröße) Bezeichnungen: Y i X i β ε i abhängige Variable, Zielgröße unabhängige Variable, Einflussgröße, Kovariable Parameter Fehler(variable) Modellannahmen: Es gilt (11) mit (M1a)[zufälliges Design] (Y 1, X 1 ),, (Y n, X n ) sind unabhängige identisch verteilte Zufallsvariablen und 9

11 (M1b) es gilt E[ε i X i ] = 0 oder (M2)[deterministisches Design] ε 1,, ε n sind unabhängig, identisch verteilt mit E[ε i ] = 0 X 1,, X n sind deterministische Vektoren R p Beispiel: (lineare Regression) Hier: Y i = β 1 + β 2 Z i + β 3 Z 2 i + + β p Z p 1 i X i = 1 Z i Z 2 i Z p 1 i + ε i Kann so nichtlineare Zusammenhänge zwischen X und E[Y X] modellieren Allgemeiner: Y i = p β j ψ j (Z i ) + ε i (12) j=1 mit ψ 1,, ψ p Basisfunktionen, zum Beispiel Splinefunktionen Anmerkung: Modell (11) heißt linear wegen linearer Parametrisierung: β E β [Y X] linear Z E β [Y X] eventuell nichtlinear Durch den Ansatz (12) können komplexere Modelle approximiert werden Beispiel: (Varianzanalyse) Schicke J Proben an I Labore Y ij Messwert von Labor i für Probe j Modell: Y ij = β j + ε ij (Einfachklassifikation) Durch Umindizierung lässt sich das als (11) schreiben (n = I J, p = J) Frage: β 1 = = β J, gibt es Unterschiede zwischen den Laboren? 10

12 Modifikation: Modelliere β 1 = = β J als uiv Zufallsvariable und frage: Wie groß ist V ar(β j )? Varianzanalyse, Random Coefficient Model (wird in der Vorlesung nicht diskutiert) Komplexeres Modell (Varianzanalyse) Habe k = 1,, K verschiedene Typen von Proben: Y ijk = β jk + ε ijk (Zweifachklassifikation) 11 Andere Regressionsmodelle a) Nichtlineare Modelle Y i = m(x i, β) + ε i m(, ) bekannte Funktion b) Nichtparametrische Modelle Beispiel: Y i = m(x i ) + ε i mit m glatt oder m(x) = l=1 β lψ l (x) für geeignete Basisfunktionen mit stark abfallendem l β l c) Verallgemeinerte lineare Modelle Y i P θi θ i = G(X T i θ), G bekannt Beispiel: Y i binär ( {0,1}-wertig ) mit P (Y i = 1) = G(X T i θ) ( oder P (Y i = 1 X i ) = G(X T i θ) ) d) Semiparametrische Modelle Beispiel: Y i = m(u i ) }{{} +Vi T β + ε i nichtparametrisch 11

13 2 Methode der kleinsten Quadrate Wir beginnen mit einem Lemma, das später den Kleinste Quadrate Schätzer motivieren wird Das Lemma verallgemeinert folgenden Sachverhalt: Für eine Zufallsvariable Y wird E[(Y µ) 2 ] durch µ = E[Y ] minimiert Lemma 21 In den Modellen (M1a,b) und (M2) gilt unter der zusätzlichen Annahme E[ε 2 i ] < + : Beweis β argmin b [ n ] E (Y i Xi T b) 2 [ n ] E (ε i + Xi T (β b)) 2 = E [ n ε 2 i ] [ n ] + 2 E (Xi T (β b))ε i }{{}}{{} hängt nicht von b ab = 0 [ n + E (Xi T (β b)) ] 2 (21) Für den letzten Term gilt: [ n ] E (Xi T (β b)) 2 [ n ] = E ((β b) T X i Xi T (β b)) [ n ] = (β b) T E X i Xi T (β b) Dies ist minimal für b = β Anmerkung: Lemma 21 gilt auch für Modell (M1), falls wir (M1b) ersetzen durch: (M1b ) E[X i ε i ] = 0 Dann verschwindet auch der gemischte Term 12

14 Wir betrachten nun ein Stichprobenanalogon ˆβ zu (21): mit Y = Y 1 Y n, X = ˆβ argmin b = argmin b X T 1 X T n n (Y i Xi T b) 2 (22) Y Xb 2, x 2 = n x i für x = x 1 x n Rn Definition 21 Jede (messbare) Wahl von ˆβ in (22) heißt Kleinster Quadrate Schätzer Betrachte folgenden linearen Teilraum von R n : L = {Xb : b R p } Erwartungsraum Lemma 22 Es ist äquivalent: (i) ˆβ erfüllt (22) (ii) X ˆβ = Π L Y (iii) X T X ˆβ = X T Y Normalgleichungen Beweis (i) (ii) (ii) (iii) : (ii) Y X ˆβ L (Y Xβ) T Xb = 0 b R p (iii) Korollar 23 Hat X vollen Rang, so gilt ˆβ = (X T X) 1 X T Y 13

15 Beispiel: (einfache lineare Regression) Neue Parametrisierung: Dann X i = 1 Z i Z X T X = und Y i = β 1 + β 2 (Z i Z) + ε i 1 n mit Z = Z i n n X i Xi T = = n n (Z i Z) n 0 0 n (Z i Z) 2 n (Z i Z) n (Z i Z) 2 ˆβ = (X T X) 1 X T Y = (X T X) 1 = 1 n n Y i n (Z i Z)Y i n (Z i Z) 2 n Y i n (Z i Z)Y i Beispiel: (Einfach Klassifikation) Y ij = β j + ε ij, i = 1,, I; j = 1,, J Dann: ˆβ j = Y i = 1 I I Y ij 3 Die multivariate Normalverteilung Nichtdegenerierte multivariate Normalverteilungen können direkt über ihre Dichte definiert werden Eine Normalverteilung heißt nichtdegeneriert, falls ihre Kovarianzmatrix vollen Rang hat In der Vorlesung werden wir aber oft Zufallsvariablen mit degenerierten Normalverteilungen betrachten Beispiele für solche Zufallsvariablen sind Projektionen von nichtdegenerierten normalverteilten Zufallsvariablen auf lineare Teilräume Dies ist etwa der Fall für X ˆβ im Falle eines 14

16 deterministischen Designs und normalverteilten uiv Fehlervariablen Dies wird im nächsten Paragraphen behandelt Zur allgemeinen Einführung der multivariaten Normalverteilung wählen wir folgenden Weg Wir führen zunächst die multivariate Standardnormalverteilung ein und definieren dann andere normalverteilte Zufallsvariablen als lineare Transformation von standardnormalverteilten Zufallsvariablen Definition 31 Sei Z 1,, Z k uiv N(0, 1) Die Verteilung von Z = Z 1 heißt k- dimensionale Standardnormalverteilung N(0, I k ) 1 0 (Hier ist I k = die k k Einheitsmatrix) 0 1 Z k Definition 32 Sei A eine m k Matrix, b R m und Z N(0, I k ) Dann heißt die Verteilung von AZ+b Normalverteilung mit Erwartungswertvektor b und Kovarianmatrix AA T, geschrieben N(b, AA T ) Damit die letzte Definition Sinn macht, müssen wir folgende beiden Lemmata zeigen Lemma 31 Seien A 1, A 2 m k 1 bzw m k 2 Matrizen und seien Z 1, Z 2 N(0, I k1 ) bzw N(0, I k2 ) verteilt Es gelte A 1 A T 1 = A 2A T 2 Dann haben A 1Z 1 und A 2 Z 2 dieselbe Verteilung Lemma 32 Sei A m k Matrix, b R m, Z N(0, I k ) Dann gilt: E[AZ + b] = b (31) Cov[AZ + b] = AA T (32) Für den Beweis von Lemma 31 benutzen wir: Lemma 33 (Cramer - Wold Device) Für zwei Zufallsvariablen Z 1 und Z 2 auf R k gilt: L(Z 1 ) = L(Z 2 ) L(a T Z 1 ) = L(a T Z 2 ) a R k Lemma 33 kann zum Beispiel unter Zuhilfenahme von multivariaten charakteristischen Funktionen bewiesen werden 15

17 Beweis (von Lemma 31) Wir nehmen obda an, dass k 1 = k 2 gilt Ansonsten füllt man die kleinere Matrix von A 1 und A 2 mit Nullen auf Sei a R m Wir müssen zeigen L(a T 1 Z 1 ) = L(a T A 1 Z 1 ) = L(a T A 2 Z 2 ) = L(a T 2 Z 2 ) (33) mit a j = A T j a Es gilt a 1 2 = a T 1 a 1 = a T A 1 A T 1 a = a T A 2 A T 2 a = a T 2 a 2 = a 2 2 OBdA, sei a 1 2 = a 2 2 = 1 Seien O j orthogonale Transformationen, die als erste Zeile a T j enthalten Dann ist a T j Z j das erste Element von O j Z j (33) folgt also aus Beweis von 34 Wir zeigen O j Z j N(0, I k ) L(O 1 Z 1 ) = L(O 2 Z 2 ) (34) Es gilt, die Dichte f Zj von Z j ist gleich: f Zj (z) = ( ) k ( 1 2 exp 1 ) 2π 2 zt z Für die Dichte f Xj von X j = O j Z j gilt: f Xj (x) = ( ) k ( 1 2 exp 2π 1 2 (O 1 j ) x) T (Oj 1 x) 1 det(o j ) Wir zeigen nun f Z1 (z) = f Z2 (z) = f X1 (z) = f X2 (z) Dies gilt wegen (O 1 j det(o j ) = 1, z) T (O 1 j z) = z T (O 1 ) T O 1 z j = z T O j O 1 j z = z T z j Beweis (von Lemma 32) (i) E[AZ + b] = AE[Z] + b = b (ii) Cov[AZ + b] = E[(AZ)(AZ) T ] = AE[ZZ T ]A T = AA T 16

18 Anmerkung: Sei Σ k k symmetrisch, positiv semidefinit, dann existiert A mit Σ = AA T Wir haben also N(b, Σ) definiert für b R k, Σ (k k) symmetrisch, positiv semidefinit Es wird nicht vorausgesetzt, dass Σ vollen Rang hat Korollar 34 Sei Z N(0, σ 2 I k ) und sei O eine k k Orthogonalmatrix Dann gilt: L(OZ) = L(Z) = N(0, σ 2 I k ) Korollar 35 Sei Z N(b, Σ) Dann gilt: AZ + a N(Ab + a, AΣA T ) Korollar 36 Sei Z N(0, σ 2 I k ), L 1, L 2 lineare Teilräume R k mit L 1 L 2 Dann sind Π L1 Z und Π L2 Z unabhängig und es gilt: L(Π Lj Z) = N(0, σ 2 Π Lj ) Beweise der Korollare: Korollare 34 und 35 folgen direkt aus Lemma 31 (siehe auch seinen Beweis) Für den Beweis von Korollar 36 wähle eine Koordinatentransformation, so dass die ersten dim(l 1 ) Basisvektoren L 1 aufspannen und die nächsten dim(l 2 ) Basisvektoren L 2 Seien Z die Koordinaten von Z in dieser Basis Dann gilt L(Z ) = N(0, σ 2 I k ) und die Unabhängigkeit von Π L1 Z und Π L2 Z folgt aus der Unabhängigkeit von (Z 1,, Z dim(l 1 ) ) und (Z dim(l 1 )+1,, Z dim(l 1 )+dim(l 2 ) ) Korollar 37 Sei Z N(0, σ 2 I k ) Sei L ein q-dimensionaler Teilraum von R k Dann gilt: Π L Z 2 σ 2 χ 2 q Definition 33 Seien U 1,, U m uiv N(0, 1) Dann heißt die Verteilung von S 2 = U U 2 m (zentrale) χ 2 -Verteilung mit m Freiheitsgraden Notation: S 2 χ 2 m Die Verteilung von S 2 = (U 1 + δ) U 2 m heißt nichtzentrale χ 2 -Verteilung mit m Freiheitsgraden und Nichtzentralitätsparameter δ 2 Notation: S 2 χ 2 m(δ 2 ) 17