Statistische Eigenschaften der OLS-Schätzer, Residuen,

Transkript

1 Statistische Eigenschaften der OLS-Schätzer, Residuen, Bestimmtheitsmaß Stichwörter: Interpretation des OLS-Schätzers Momente des OLS-Schätzers Gauss-Markov Theorem Residuen Schätzung von σ 2 Bestimmtheitsmaß o1-03.tex/0

2 Interpretation der β i Das Regressionsmodell sei OLS-Anpassung ergibt Y t = β 1 + β 2 X 2t β k X kt + u t Ŷ t = b 1 + b 2 X 2t b k X kt b i : mittlere Änderung von Y, wenn X i = 1 (und X j, j i, unverändert) Beachte! Der OLS-Schätzer b i ist davon abhängig, welche andere Regressoren im Modell enthalten sind! o1-03.tex/1

3 Konsumfunktion mit und ohne Trend o1-03.tex/2

4 Konsumfunktion mit und ohne Trend Für β y aus erhalten wir C t = α + β y Y t + u t b cy = s cy s 2 y Für β y aus erhalten wir C t = α + β y Y t + β t T t + u t b cy.t = s cys 2 t s ct s ty s 2 ys 2 t s 2 yt = b cy b ct b ty 1 r 2 yt In allgemeinerer Notation gilt für die analogen Schätzer von β 2 aus Y t = β 1 + β 2 X 2t + β 3 X 3t + u t : b y2.3 = b y2 b y3 b 32 1 r 2 23 o1-03.tex/3

5 Die Beta-Koeffizienten Beta-Koeffizient oder standardisierter Regressionskoeffizient: b i = b i s i s y ergibt sich als OLS-Schätzer im Modell mit standardisierten Variablen Y t = β 1 + β 2X 2t β kx kt + u t mit Yt = (Y t Y )/s y und Xit = (X ti X i )/s i, wobei Y, X i (x y, s i ) die Mittelwerte (Standardabweichungen) der Y t, X it sind. mittlere Änderung von Y in Standardabweichungen der Y t bei Änderung von X i um s i o1-03.tex/4

6 Statistische Eigenschaften des KQ-Schätzers linear in u t, t = 1,..., n. Eigenschaften: (a) (b) b = (X X) 1 X y = (X X) 1 X (Xβ + u) = β + (X X) 1 X u E{b} = E{β+(X X) 1 X u} = β+(x X) 1 X E{u} = β wegen E{u} = 0 Var{b} = Var{β + (X X) 1 X u} = (X X) 1 X Var{u}X(X X) 1 = σ 2 (X X) 1 X X(X X) 1 = σ 2 (X X) 1 wegen Var{u} = σ 2 I (c) aus u N(0, σ 2 I) folgt b N[β, σ 2 (X X) 1 ] o1-03.tex/5

7 Beispiel: Einfache Regression Die OLS-Schätzer für die Regressionskoeffizienten von haben sich ergeben zu b = Invertieren der Matrix Y t = α + βx t + u t t (X t x)(y t ȳ) a = ȳ b x X X = ergibt die Diagonalelemente t (X t x) 2 n n x n x t Xt 2 Var{b} = σ 2 [(X X) 1 ] 22 = Var{a} = σ 2 [(X X) 1 ] 11 = σ 2 σ 2 t (X t x) 2 1 n + x2 Beachte! Die Standardabweichung von b (auch ihr Standardfehler genannt) hängt vom Design der Stichprobe ab! Die Schätzung ist umso genauer, je größer n je größer s x s 2 x o1-03.tex/6

8 Gauss-Markov Theorem Gelten für das Regressions-Modell y = Xβ + u die Standard-Annahmen ( klassisches Modell) (a) r(x) = k (b) X it fix für i = 1,..., k und t = 1,..., n (c) E{u} = 0 (d) Var{u} = σ 2 I dann ist der Kleinst-Quadrat Schätzer b = (X X) 1 X y der beste, lineare, erwartungstreue (BLU) Schätzer für β bester Schätzer b: für beliebiges b gilt Var{b } Var{b} 0 (p.s.) b ist effizient gegenüber allen linearen, erwartungstreuen Schätzern o1-03.tex/7

9 Beweis des Gauss-Markov Theorems Sei β = Cy ein linearer, erwartungstreuer Schätzer E{ β} = E{CXβ + Cu} = CXβ = β; daraus folgt CX = I. Wir erhalten Var{ β} = Var{CXβ + Cu} = Cσ 2 IC = CC σ 2. Wir suchen ein D so, daá C = (X X) 1 X + D; aus CX = I folgt wegen (X X) 1 X X + DX = I + DX = I, daß DX = 0. Aus CC = [(X X) 1 X + D][(X X) 1 X + D] = (X X) 1 X X(X X) 1 + DD = (X X) 1 + DD und der Positiv-semidefinitheit von DD ergibt sich, daß CC (X X) 1 positiv semidefinit ist; b hat minimale Varianz. o1-03.tex/8

10 Konsumfunktion für Österreich, Residuen o1-03.tex/9

11 Eigenschaften der Residuen y = Xβ + u = Xb + e = ŷ + e Vektor der Residuen e = y ŷ = y Xb Eigenschaften: (a) e und X sind orthogonal X e = X e cos(x, e) = 0 (b) e und ŷ sind orthogonal ŷ e = b X e = 0 (c) y y = (ŷ + e) (ŷ + e) = ŷ ŷ + e e + ŷ e + e ŷ = ŷ ŷ + e e t Y 2 t = t Ŷ 2 t + t e 2 t o1-03.tex/10

12 Für e gilt Schätzung der Varianz σ 2 e = y Xb = My = M(Xβ + u) = Mu wegen MX = (I X(X X) 1 X )X = X X(X X) 1 X X = 0. Damit ergibt sich e e = u M Mu = u Mu wegen der Idempotenz von M. Aus u N(0, σ 2 I) oder u/σ N(0, I) folgt T = e e σ 2 = 1 σ 2u Mu χ 2 (n k) da Aus r(m) = Sp(M) = Sp[I X(X X) 1 X ] = Sp I Sp[X(X X) 1 X ] = n k E{T } = 1 σ 2 E {e e} = n k folgt 1 n k E {e t e 2 t e} = E{ n k } = σ2 sodaß ˆσ 2 ein erwartungstreuer Schätzer von σ 2 ist: ˆσ 2 = 1 e 2 n k t. t o1-03.tex/11

13 Regression mit Interzept (inhomogenes Regressions-Modell) X e = t x te t = 0 mit x t = (X 1t,..., X kt ), oder t X it e t = 0, i = 1,..., k inhomogenes Regressions-Modell: X 1t = 1, Eigenschaften: t = 1,..., n (a) t e t = 0 (b) aus t Y t = t(ŷt + e t ) = t Ŷt folgt Y = Ŷ (c) Y = 1 n ( t i b i X it ) = i 1 b i X it = n t i b i X i = b 1 + b 2 X 2... b k X k mit X i = 1 n t X it, i = 1,..., k o1-03.tex/12

14 Erklärungsvermögen der linearen Regression (a) Y = i b i X i (b) Zerlegung der Variation der erklärten Variablen TSS = (Y t Y ) 2 = t t = ESS + RSS (Ŷt Y ) 2 + t e 2 t (c) TSS: total sum of squares, Gesamtvariation ESS: explained sum of squares, (durch die Regression) erklärte Variation (oft auch RSS (!) bezeichnet) RSS: residual sum of squares, residuale oder nicht erklärte Variation (oft auch ESS (!) bezeichnet) 0 RSS TSS 1 aus RSS 0 folgt: RSS TSS 0 aus ESS = TSS RSS 0 folgt: TSS RSS oder RSS TSS 1 o1-03.tex/13

15 Bestimmtheitsmaß R 2 = ESS TSS = 1 RSS TSS = 1 t e 2 t t (Y t Y ) 2 Eigenschaften: (a) 0 R 2 1 (b) R 2 ist das Quadrat der Korrelation r Y, Ŷ Ŷ : r Y, Ŷ = t (Y t Y )(Ŷt Y ) t (Y t Y ) 2 t (Ŷt Y ) 2 zwischen Y und = t (Ŷt Y ) 2 t (Y t Y ) 2 = R 2 (c) Achtung! Wenn β 1 = 0, gilt nicht notwendigerweise R 2 0; R 2 kann negativ sein! o1-03.tex/14

16 Bestimmtheitsmaß, Forts. (d) R 2 bleibt bei linearer Transformation von Y oder X unverändert. (A) Transformation der X x tβ = i β i X it = i γ i (r i X it + s i ) = i Xβ = Zγ = XDγ γ i Z it = z tγ = x tdγ ˆγ = (Z Z) 1 Z y = (D X XD) 1 D X y = D 1 (X X) 1 (D ) 1 D X y = D 1 (X X) 1 X y Zˆγ = XDˆγ = XDD 1 (X X) 1 X y = Xb (B) Transformation der Y z = ay = a(xβ + u) = Xγ + v ˆγ = (X X) 1 X (ay) = ab ˆv = z ẑ = ay X ˆγ = ay axb = ae o1-03.tex/15

17 Adjustiertes Bestimmtheitsmaß Das adjustiertes Bestimmtheitsmaß R 2 berücksichtigt die Zahl der erklärenden Variablen: R 2 = 1 n 1 n k t e 2 t t (Y t Y ) 2 = 1 n 1 n k (1 R2 ) ˆσ 2 : unverzerrter Schätzer von σ 2 s 2 y: unverzerrter Schätzer von σ 2 y = 1 ˆσ2 s 2 y Beim Vergleich des Erklärungsgrades zweier Modelle mit unterschiedlicher Zahl von erklärenden Variablen ist R 2 gegenüber R 2 vorzuziehen. o1-03.tex/16

18 Die Matrizen P (hat-matrix) und M ŷ = X(X X) 1 X y = P y e = y Xb = y X(X X) 1 X y = [I X(X X) 1 X ]y = My P = X(X X) 1 X und M = I X(X X) 1 X sind (a) symmetrisch: P = [X(X X) 1 X ] = X(X X) 1 X = P M = [I X(X X) 1 X ] = (I P ) = I P = M (b) idempotent: P P = [X(X X) 1 X ][X(X X) 1 X ] = X(X X) 1 X = P MM = (I P )(I P ) = I P P +P P = I P = M (c) wenn X vollen Rang hat: r(p ) = k r(m) = n k o1-03.tex/17