Konfidenz-, Prognoseintervalle und Hypothesentests IV im multiplen linearen Regressionsmodell mit heteroskedastischen Störgrößen

Transkript

1 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Konfidenz-, Prognoseintervalle und Hypothesentests IV im multiplen linearen Regressionsmodell mit heteroskedastischen Störgrößen Ein approximatives symmetrisches Konfidenzintervall für a β zum Konfidenzniveau 1 α erhält man bei heteroskedastischen Störgrößen durch [ ] a β tn (K+1);1 α a V 2 hc ( β)a, a β + tn (K+1);1 α a V 2 hc ( β)a mit einer geeigneten (heteroskedastie-konsistenten) Schätzmatrix V hc ( β). Bei der Konstruktion von Konfidenzellipsen bzw. -ellipsoiden ist natürlich analog eine geeignete Darstellung der F -Statistik (siehe z.b. Folie 267) zu verwenden, man erhält einen (approximativen) Konfidenzbereich zum Konfidenzniveau 1 α also nun (unter Beibehaltung der bisherigen Bezeichnungen) mit der Menge {c R L (A β c) [ A V hc ( β)a ] 1 (A β c) L FL,n (K+1);1 α }. Ökonometrie (SS 2018) Folie 269

2 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Konfidenz-, Prognoseintervalle und Hypothesentests V im multiplen linearen Regressionsmodell mit heteroskedastischen Störgrößen (Approximative) Intervallprognosen für E(y 0 ) gegeben x 0 zur Vertrauenswahrscheinlichkeit 1 α (auch interpretierbar als Konfidenzintervalle zum Konfidenzniveau 1 α für E(y 0 ) gegeben x 0 ) erhält man nun in der Gestalt [ ] x 0 β tn (K+1);1 α x 2 0 Vhc ( β)x 0, x 0 β + tn (K+1);1 α x 2 0 Vhc ( β)x 0 mit einer geeigneten (heteroskedastie-konsistenten) Schätzmatrix V hc ( β). Intervallprognosen von y 0 gegeben x 0 sind nun nicht mehr sinnvoll durchführbar, da man keine Informationen mehr über die von u 0 verursachte Schwankung von y 0 hat! Ökonometrie (SS 2018) Folie 270

3 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Robuste Standardfehler Die Verwendung von heteroskedastie-konsistenten Schätzern für die Standardabweichungen von β k (bzw. weitergehender die Verwendung eines heteroskedastie-konsistenten Schätzers für die Schätzung von V( β)) wird auch als Verwendung robuster Standardfehler bezeichnet. Gängige Statistik-Software erlaubt die Verwendung robuster Standardfehler, auch wenn standardmäßig in der Regel von homoskedastischen Störgrößen ausgegangen wird. In der Statistik-Software R implementiert beispielsweise die Funktion hccm ( heteroscedasticity-corrected covariance matrix ) im Paket car verschiedene Varianten heteroskedastie-konsistenter Schätzungen von V( β) bei den Auswertungen zu linearen Regressionsmodellen. Die Verwendung robuster Standardfehler trotz homoskedastischer Störgrößen ist unkritisch. Moderne Lehrbücher empfehlen zunehmend eine generelle Verwendung robuster Standardfehler. Ökonometrie (SS 2018) Folie 271

4 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Beispiel: Robuste Standardfehler I Berechnung von V( β) und V hc1 ( β) im Beispiel von Folie 207: > library(car) > fit <- lm(lohnhöhe ~ Ausbildung + Alter) > print(vcov(fit),digits=6) # "standard" (Intercept) Ausbildung Alter (Intercept) Ausbildung Alter > Vhhc1 <- hccm(fit, type="hc1") > print(vhhc1,digits=6) # "robust" (Intercept) Ausbildung Alter (Intercept) Ausbildung Alter Ökonometrie (SS 2018) Folie 272

5 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Beispiel: Robuste Standardfehler II t-tests auf Signifikanz der einzelnen Koeffizienten: > print(coeftest(fit)) # "standard" t test of coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-06 *** Ausbildung ** Alter * --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 > print(coeftest(fit, vcov. = Vhhc1)) # "robust" t test of coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-06 *** Ausbildung ** Alter * --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Ökonometrie (SS 2018) Folie 273

6 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Beispiel: Robuste Standardfehler III Die Schätzung unter Zulassung heteroskedastischer Störgrößen führt im Beispiel zu kleineren p-werten der Tests auf Signifikanz der einzelnen Parameter. Insbesondere ist nun der Koeffizient zum Regressor Ausbildung sogar zum Signifikanzniveau α = bzw. der Koeffizient zum Regressor Alter sogar zum Signifikanzniveau α = 0.01 signifikant positiv! Der t-test zum Test der linearen Hypothese bzw. H 0 : β 1 2 β 2 0 gegen H 1 : β 1 2 β 2 > 0 H 0 : a β c gegen H 1 : a β > c mit a = [ ] und c = 0 wird im Folgenden statt unter der Annahme von Homoskedastie der Störgrößen unter Zulassung heteroskedastischer Störgrößen durchgeführt. Ökonometrie (SS 2018) Folie 274

7 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Beispiel: Robuste Standardfehler IV Mit V hc1 ( β) wie auf Folie 272 angegeben erhält man nun zunächst a Vhc1 ( β)a = [ ] = und mit a β = [ ] = die realisierte Teststatistik t = a β c a V hc1 ( β)a = = H 0 kann nun zum Signifikanzniveau α = 0.05 anders als bei Annahme homoskedastischer Störgrößen also abgelehnt werden, da t = (1.74, ) = (t 17;0.95, ) = (t n (K+1);1 α, ) = K. Ökonometrie (SS 2018) Folie 275

8 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Beispiel: Robuste Standardfehler V Mit der (bereits auf Folie 218 berechneten) Punktprognose Ê(y 0) = für die erwartete Lohnhöhe eines 38-jährigen Mitarbeiters, der nach dem Hauptschulabschluss weitere 4 Ausbildungsjahre absolviert hat (also für x 0 = [ ] ), erhält man unter Annahme heteroskedastischer Störgrößen nun mit x 0 Vhc1 ( β)x 0 = [ ] = das Prognoseintervall [ x 0 β tn (K+1);1 α = 2 ] x 0 Vhc ( β)x 0, x 0 β + tn (K+1);1 α x 2 0 Vhc ( β)x 0 ] [ , = [ , ] zur Vertrauenswahrscheinlichkeit 1 α = 0.95 für E(y 0 ) gegeben x 10 = 4 und x 20 = 38. (Intervall bei homoskedastischen Störgrößen: [1565, ]) Ökonometrie (SS 2018) Folie 276

9 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Beispiel: Robuste Konfidenzellipse für β 1 und β 2 Modell von Folie 207, mit bzw. ohne Verwendung robuster Standardfehler, 1 α = 0.95 V^(β^) V^ hc1(β^) Alter β Ausbildung β 1 Ökonometrie (SS 2018) Folie 277

10 Inhaltsverzeichnis (Ausschnitt) 4 Multiple lineare Regression Multiples lineares Modell Parameterschätzung Konfidenzintervalle und Tests Punkt- und Intervallprognosen Tests einzelner linearer Hypothesen Konfidenzintervalle für Linearkombinationen Tests mehrerer linearer Hypothesen Konfidenzellipsen Multikollinearität Heteroskedastische Störgrößen Tests auf Heteroskedastie Ökonometrie (SS 2018) Folie 278

11 Tests auf Heteroskedastie der Störgrößen Neben dem Ansatz, generell eine heteroskedastie-konsistente Schätzung von V( β) zu verwenden, besteht auch die Möglichkeit, das Vorliegen von Heteroskedastizität der Störgrößen statistisch zu untersuchen, um dann bei Bedarf einen heteroskedastie-konsistenten Schätzer zu verwenden. Hierzu existieren verschiedene Hypothesentests, deren Anwendungsmöglichkeiten zum Beispiel davon abhängen, ob man eine bestimmte Quelle für die Heteroskedastie in den Störgrößen angeben kann bzw. vermutet. In der vorangegangenen Regression (Lohnhöhe regressiert auf Ausbildung und Alter) könnte man beispielsweise vermuten, dass die Varianz der Störgrößen dort groß ist, wo auch die Lohnhöhe groß ist. Ein Test, der in dieser Situation sehr gut geeignet sein kann, ist der Goldfeld-Quandt-Test. Ökonometrie (SS 2018) Folie 279

12 Goldfeld-Quandt-Test I Zur (sinnvollen) Anwendung des Goldfeld-Quandt-Tests ist es erforderlich, dass die Heteroskedastie in den Störgrößen von einer beobachteten (und identifizierten) Variablen verursacht wird und monoton in dieser Variablen ist. Die Monotonie kann sich auch dahingehend äußern, dass sich bei einem (nur) nominalskalierten Regressor mit zwei Ausprägungen (also z.b. einer Dummy-Variablen!) die Störgrößenvarianz in der einen Gruppe von der in der anderen Gruppe unterscheidet! Zur Anwendung des Goldfeld-Quandt-Tests ist es bei einer ordinal-/kardinalskalierten Variablen, die die Störgrößenvarianz monoton beeinflussen soll, sogar erforderlich, den Datensatz in eine Gruppe von Beobachtungen mit kleinen Ausprägungen und eine weitere Gruppe von Beobachtungen mit großen Ausprägungen dieser Variablen aufzuteilen (eventuell unter Auslassung eines Teils der Daten mit mittelgroßen Ausprägungen dieser Variablen). Ökonometrie (SS 2018) Folie 280

13 Goldfeld-Quandt-Test II Das ursprüngliche Regressionsmodell wird dann jeweils getrennt für die beiden Gruppen A (entspricht ggf. Gruppe mit kleinen Ausprägungen) und B (entspricht ggf. Gruppe mit großen Ausprägungen) (unter der für die Durchführung des Tests wenig schädlichen Annahme von Homoskedastie in beiden Gruppen) geschätzt. Die Anwendung des Goldfeld-Quandt-Tests läuft dann auf einen (aus der Schließenden Statistik bekannten!) F -Test zum Vergleich zweier Varianzen (unter Normalverteilungsannahme) hinaus. Unter der Nullhypothese der Homoskedastie sind insbesondere die Störgrößenvarianzen beider Gruppen, im Folgenden mit σ 2 A bzw. σ2 B bezeichnet, sowohl konstant als auch gleich. Der Test kann sowohl beidseitig als auch einseitig (links- bzw. rechtsseitig) durchgeführt werden, so erhält man die folgenden Hypothesenpaare: H 0 : σa 2 = σ2 B H 0 : σa 2 σ2 B H 0 : σa 2 σ2 B gegen gegen gegen H 1 : σa 2 σ2 B H 1 : σa 2 > σ2 B H 1 : σa 2 < σ2 B Ökonometrie (SS 2018) Folie 281

14 Goldfeld-Quandt-Test III Bezeichnen û A bzw. û B jeweils den Residuenvektor der Schätzung aus Gruppe A bzw. B, SER A bzw. SER B jeweils den Standard Error of Regression (residual standard error) der Schätzung aus Gruppe A bzw. B, n A bzw. n B die Länge des jeweils zur Schätzung verwendeten (Teil-)Datensatzes für Gruppe A bzw. B sowie K (wie üblich) die Anzahl (echter) Regressoren, so erhält man die möglichen Darstellungen F = û AûA/(n A (K + 1)) û BûB/(n B (K + 1)) = SER2 A SER 2 B der Teststatistik, die bei Gültigkeit von σ 2 A = σ2 B eine F (n A (K + 1), n B (K + 1))-Verteilung besitzt. Insgesamt erhält man die folgende Zusammenfassung des Goldfeld-Quandt-Tests: Ökonometrie (SS 2018) Folie 282

15 Zusammenfassung: Goldfeld-Quandt-Test (GQ-Test) auf Heteroskedastizität der Störgrößen Anwendungs- exakt: y = Xβ + u mit E(u) = 0, V(u) Diagonalmatrix aus σ 2 A, σ 2 B, voraussetzungen u normalverteilt, X deterministisch mit vollem Spaltenrang K + 1, Realisation y = (y 1,..., y n) beobachtet, Auswahl von zwei Gruppen A bzw. B vom Umfang n A bzw. n B aus den Beobachtungen Nullhypothese H 0 : σa 2 = σb 2 H 0 : σa 2 σb 2 H 0 : σa 2 σb 2 Gegenhypothese H 1 : σa 2 σb 2 H 1 : σa 2 > σb 2 H 1 : σa 2 < σb 2 Teststatistik F = û Aû A /(n A (K + 1)) û BûB/(n B (K + 1)) = SER2 A SER 2 B Verteilung (H 0) F unter H 0 für σa 2 = σb 2 F (n A (K + 1), n B (K + 1))-verteilt Benötigte Größen Kritischer Bereich [0, F na (K +1),n B (K +1); α 2 zum Niveau α (F na (K +1),n B (K +1);1 α 2 p-wert Residuenvektoren û A bzw. û B oder Standard Error of Regression SER A bzw. SER B aus jeweils separater Modellschätzung zu den Gruppen A und B ) (F na (K +1),n B (K +1);1 α, ) [0, F n A (K +1),n B (K +1);α ), ) 2 min { F (F), F (na (K +1),n B (K +1)) 1 F (F) F (n A (K +1),n B (K +1)) F (F) F (n A (K +1),n B (K +1)) } 1 F (F) F (na (K +1),n B (K +1)) Ökonometrie (SS 2018) Folie 283

16 Beispiel: Goldfeld-Quandt-Test I Teilt man den Datensatz des Lohnhöhen-Beispiels in die beiden Gruppen A zu den 10 höchsten Lohnhöhen und B zu den 10 niedrigsten Lohnhöhen auf, so erhält man die folgende Modellschätzung für Gruppe A : Call: lm(formula = Lohnhöhe ~ Ausbildung + Alter, subset = Lohnhöhe > sort(lohnhöhe)[10]) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) * Ausbildung Alter Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: 328 on 7 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 7 DF, p-value: Ökonometrie (SS 2018) Folie 284

17 Beispiel: Goldfeld-Quandt-Test II Die Schätzung für Gruppe B liefert: Call: lm(formula = Lohnhöhe ~ Ausbildung + Alter, subset = Lohnhöhe <= sort(lohnhöhe)[10]) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-05 *** Ausbildung Alter Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 7 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 7 DF, p-value: Ökonometrie (SS 2018) Folie 285

18 Beispiel: Goldfeld-Quandt-Test III Die Teststatistik des GQ-Tests erhält man also durch F = = Der rechtsseitige Test zum Signifikanzniveau α = 0.05 lehnt mit K = (F 1 α;na (K+1),n B (K+1), ) = (F 0.95;7,7, ) = (3.79, ) wegen F K die Nullhypothese der Homoskedastie der Störgrößen also ab und entscheidet sich für eine größere Störgrößenvarianz in der Gruppe, die zu den größeren Lohnhöhen gehört. Ökonometrie (SS 2018) Folie 286

19 Beispiel: Goldfeld-Quandt-Test IV Visualisierung der Abhängigkeit der ûi 2 vom Regressor Lohnhöhe und des GQ-Tests Punktwolke der abhängigen Variablen und der quadrierten Residuen quadrierte Residuen u ^ 2 i SER B 2 SER A Lohnhöhe y i Ökonometrie (SS 2018) Folie 287

20 Beispiel: Goldfeld-Quandt-Test V Schneller lässt sich die Fragestellung mit dem Befehl gqtest aus dem Paket lmtest bearbeiten. Die Verwendung der Voreinstellung teilt den Datensatz gemäß der Ordnung einer vorgegebenen Variablen in zwei (möglichst) gleich große Teile und macht einen einseitigen Test auf positive Abhängigkeit der Störgrößenvarianz von der vorgegebenen Variablen (wie im Beispiel): > library(lmtest) > gqtest(lm(lohnhöhe~ausbildung+alter),order.by=lohnhöhe) Goldfeld-Quandt test data: lm(lohnhöhe ~ Ausbildung + Alter) GQ = , df1 = 7, df2 = 7, p-value = alternative hypothesis: variance increases from segment 1 to 2 Ökonometrie (SS 2018) Folie 288