4 Multiple lineare Regression Multikollinearität 4.9

Transkript

1 Multikollinearität Erinnerung: Unter der (gemäß Modellannahmen ausgeschlossenen) perfekten Multikollinearität versteht man eine perfekte lineare Abhängigkeit unter den Regressoren (einschließlich des Absolutglieds ). Bei perfekter Multikollinearität ist eine Schätzung des Modells mit dem vorgestellten Verfahren nicht möglich. Im Unterschied zur perfekten Multikollinearität spricht man von imperfekter Multikollinearität, wenn die Regressoren (einschließlich des Absolutglieds ) beinahe (in einem noch genauer zu spezifizierenden Sinn!) lineare Abhängigkeiten aufweisen. Eine (konventionelle) Schätzung des Modells ist dann (abgesehen von numerischen Schwierigkeiten in sehr extremen Fällen) möglich, die Ergebnisse können aber (i.d.r. unerwünschte) Besonderheiten aufweisen. Ökonometrie (SS 2014) Folie 241

2 Perfekte Multikollinearität I Perfekte Multikollinearität tritt in linearen Modellen mit Absolutglied (wie hier betrachtet) zum Beispiel dann auf, wenn Modelle mit sog. Dummy-Variablen falsch spezifiziert werden. Unter Dummy-Variablen versteht man Regressoren, die nur die Werte 0 und 1 annehmen. Oft werden nominalskalierte Regressoren mit Hilfe von Dummy-Variablen in lineare Modelle einbezogen, indem den vorhandenen (!) Ausprägungen separate Dummy-Variablen zugeordnet werden, die jeweils den Wert 1 annehmen, wenn die entsprechende Ausprägung vorliegt, und 0 sonst. Wird zu jeder vorhandenen Ausprägung eine solche Dummy-Variable definiert, hat offensichtlich immer genau eine der Dummy-Variablen den Wert 1, alle anderen den Wert 0. Damit ist aber offensichtlich die Summe über alle Dummy-Variablen stets gleich 1 und damit identisch mit dem (und insbesondere linear abhängig zum) Absolutglied. Ökonometrie (SS 2014) Folie 242

3 Perfekte Multikollinearität II Lösung: (Genau) eine Dummy-Variable wird weggelassen. Damit nimmt die zu dieser Dummy-Variablen gehörende Ausprägung des Merkmals eine Art Benchmark oder Bezugsgröße ein. Die Koeffizienten vor den im Modell verbliebenen Dummy-Variablen zu den anderen Merkmalsausprägungen sind dann als Änderung gegenüber dieser Benchmark zu interpretieren, während der Effekt der Benchmark selbst im Absolutglied enthalten (und ohnehin nicht separat zu messen) ist. Beispiel: Einbeziehung des Merkmals Geschlecht mit den beiden (auch im Datensatz auftretenden!) Ausprägungen weiblich und männlich mit Hilfe einer Dummy-Variablen weiblich (oder alternativ männlich) ist korrekt, während Aufnahme der beiden Variablen weiblich und männlich zwangsläufig zu perfekter Multikollinearität führt. Lineare Abhängigkeiten zwischen Regressoren können auch ohne (fehlerhafte) Verwendung von Dummy-Variablen auftreten. Ökonometrie (SS 2014) Folie 243

4 Perfekte Multikollinearität III Beispiel 1: Sind in einem Modell die Regressoren durchschnittl. Monatseinkommen (Monat), Jahressonderzahlung (Sonderzahlung) und Jahreseinkommen (Jahr) enthalten, besteht wegen des Zusammenhangs Jahr = 12 Monat + Sonderzahlung offensichtlich perfekte Multikollinearität. Beispiel 2: Sind gleichzeitig die Regressoren Nettoeinnahmen mit reduz. MWSt. (NettoReduziert), Nettoeinnahmen mit regul. MWSt. (NettoRegulär) und Bruttoeinnahmen (Brutto) enthalten, besteht wegen des Zusammenhangs Brutto = 1.07 NettoReduziert NettoRegulär ebenfalls perfekte Multikollinearität. Lösung: Eine der Variablen im linearen Zusammenhang weglassen (wird von Statistik-Software meist automatisch erledigt). Ökonometrie (SS 2014) Folie 244

5 Beispiel: Imperfekte Multikollinearität I Imperfekte Multikollinearität kann im Beispiel 1 aus Folie 244 auch nach Elimination des Regressors Jahr auftreten: Oft ist die Jahressonderzahlung (mehr oder weniger) linear vom durchschnittlichen Monatseinkommen abhängig ( 13. Monatsgehalt ). Dies kann zu beinahe linearen Abhängigkeiten zwischen den Regressoren führen. In einem (fiktiven) linearen Modell werden die monalichen Ausgaben für Nahrungs- und Genussmittel in Haushalten (NuG) durch die Anzahl Personen im Haushalt (Personen), das durchschn. Monatseinkommen (Monat) und die jährliche Sonderzahlung (Sonderzahlung) erklärt. Im (ebenfalls fiktiven) Datensatz der Länge n = 25 beträgt die Korrelation zwischen den Regressoren Monat und Sonderzahlung 0.972, wie auch im folgenden Plot visualisiert ist. Ökonometrie (SS 2014) Folie 245

6 Beispiel: Imperfekte Multikollinearität II Darstellung der Regressoren Monat und Sonderzahlung Punktwolke der Regressoren Monat und Sonderzahlung Sonderzahlung x 3i Monat x 2i Ökonometrie (SS 2014) Folie 246

7 Beispiel: Imperfekte Multikollinearität III Schätzergebnisse des vollständigen Modells Call: lm(formula = NuG ~ Personen + Monat + Sonderzahlung) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) Personen e-05 *** Monat Sonderzahlung Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 21 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 3 and 21 DF, p-value: 4.097e-08 Ökonometrie (SS 2014) Folie 247

8 Beispiel: Imperfekte Multikollinearität IV In der Schätzung des vollständigen Modells ist nur der Koeffizient des Regressors Personen signifikant von Null verschieden (zu gängigen Signifikanzniveaus). Insbesondere die (geschätzten) Koeffizienten zu den Regressoren Monat und Sonderzahlung sind zwar (wie zu erwarten) positiv, durch die vergleichsweise großen Standardfehler jedoch insignifikant. Es liegt die Vermutung nahe, dass die Schätzung der Koeffizienten deshalb so ungenau ausfällt, weil die Effekte der beiden Regressoren wegen der hohen Korrelation im linearen Modellansatz kaum zu trennen sind. Die imperfekte, aber große (lineare) Abhängigkeit der beiden Regressoren Monat und Sonderzahlung überträgt sich auf einen stark ausgeprägten (negativen!) Zusammenhang der Koeffizientenschätzer zu diesen Regressoren, was sich auch in Konfidenzellipsen zu den entsprechenden Parametern widerspiegelt: Ökonometrie (SS 2014) Folie 248

9 Beispiel: Imperfekte Multikollinearität V Konfidenzellipse (1 α = 0.95) für β 2 und β 3 im vollständigen Modell Sonderzahlung β Monat β 2 Ökonometrie (SS 2014) Folie 249

10 Beispiel: Imperfekte Multikollinearität VI Bei Betrachtung der Konfidenzellipse fällt auf, dass die Ellipse sehr flach ist. Grund hierfür ist die bereits erwähnte starke negative (geschätzte) Korrelation der Schätzfunktionen β 2 und β 3, die sich aus der geschätzten Varianz-Kovarianzmatrix V( β) = als Korr( β 2, β 3 ) = = errechnen lässt. Fasst man die Regressoren Monat und Sonderzahlung in dem Regressor Jahr = 12 Monat + Sonderzahlung zusammen, erhält man folgende Ergebnisse: Ökonometrie (SS 2014) Folie 250

11 Beispiel: Imperfekte Multikollinearität VII Modell mit Regressor Jahr statt Regressoren Monat und Sonderzahlung Call: lm(formula = NuG ~ Personen + Jahr) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) Personen e-06 *** Jahr e-09 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 22 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 22 DF, p-value: 5.449e-09 Ökonometrie (SS 2014) Folie 251

12 Beispiel: Imperfekte Multikollinearität VIII Nun ist auch der Koeffizient zum (aggregierten) Regressor Jahr (hoch) signifikant von Null verschieden (und wie zu erwarten positiv). Trotz der Reduzierung der Zahl der Regressoren bleibt der Anteil der erklärten Varianz beinahe unverändert, das adjustierte Bestimmtheitsmaß vergrößert sich sogar. Nicht wesentlich andere Resultate sind zu beobachten, wenn man einen der Regressoren Monat oder Sonderzahlung aus dem ursprünglichen Modell entfernt. Ist das Weglassen von Regressoren oder eine Umspezifikation des Modells möglich und sinnvoll, kann man das Problem der (imperfekten) Multikollinearität also dadurch umgehen. Ansonsten kann man den bisher dargestellten Folgen von imperfekter Multikollinearität nur durch einen vergrößerten Stichprobenumfang entgegenwirken. Ökonometrie (SS 2014) Folie 252

13 Beispiel: Imperfekte Multikollinearität IX Modell ohne Regressor Sonderzahlung Call: lm(formula = NuG ~ Personen + Monat) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) Personen e-06 *** Monat e-09 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: 151 on 22 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 22 DF, p-value: 5.901e-09 Ökonometrie (SS 2014) Folie 253

14 Beispiel: Imperfekte Multikollinearität X Modell ohne Regressor Monat Call: lm(formula = NuG ~ Personen + Sonderzahlung) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) Personen e-05 *** Sonderzahlung e-08 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 22 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 22 DF, p-value: 1.53e-08 Ökonometrie (SS 2014) Folie 254

15 Beispiel: Imperfekte Multikollinearität XI Das Vorliegen von imperfekter Multikollinearität bedeutet im Übrigen nicht, dass die Resultate der Schätzung nicht mehr nützlich oder gar falsch sind, insbesondere bleiben verwertbare Prognosen meist möglich. Im vollständigen Modell erhält man außerdem beispielsweise mit dem Konfidenzintervall zum Konfidenzniveau 1 α = 0.95 für die Summe β 2 + β 3, also für a β mit a = [ ], mit [0.1781, ] eine deutlich präzisere Schätzung als für die einzelnen Koeffizienten β 2 (Konfidenzintervall zum Niveau 1 α = 0.95: [ , 0.425]) und β 3 (Konfidenzintervall zum Niveau 1 α = 0.95: [ , ]). Werden die schlecht zu trennenden Effekte also (z.b. durch geeignete Linearkombination) zusammengefasst, sind wieder präzisere Schlüsse möglich. Auch die Frage, ob wenigstens einer der Koeffizienten β 2 bzw. β 3 signifikant (α = 0.05) von Null verschieden ist, kann mit einem Blick auf die Konfidenzellipse auf Folie 249 (oder mit einem passenden F -Test) klar positiv beantwortet werden. Ökonometrie (SS 2014) Folie 255

16 Messung von imperfekter Multikollinearität I Ausstehend ist noch die präzisere Festlegung einer Schwelle für die lineare Abhängigkeit zwischen den Regressoren, ab der man üblicherweise von imperfekter Multikollinearität spricht. Man benötigt zunächst ein Maß für die lineare Abhängigkeit der Regressoren. Dazu setzt man zunächst jeden der K (echten) Regressoren separat als abhängige Variable in jeweils ein neues Regressionsmodell ein und verwendet als unabhängige, erklärende Variablen jeweils alle übrigen Regressoren in der folgenden Gestalt: x 1i = γ 0 + γ 2 x 2i + γ 3 x 3i γ K 1 x (K 1)i + γ K x Ki + u i, x 2i = γ 0 + γ 1 x 1i + γ 3 x 3i γ K 1 x (K 1)i + γ K x Ki + u i,.. x (K 1)i = γ 0 + γ 1 x 1i + γ 2 x 2i + γ 3 x 3i γ K x Ki + u i, x Ki = γ 0 + γ 1 x 1i + γ 2 x 2i + γ 3 x 3i γ K 1 x (K 1)i + u i... Ökonometrie (SS 2014) Folie 256

17 Messung von imperfekter Multikollinearität II Die K resultierenden Bestimmtheitsmaße Rk 2 (k {1,..., K}) werden dann verwendet, um die sogenannten Varianz-Inflations-Faktoren (VIF) zu definieren. 1 VIF k := 1 Rk 2 Offensichtlich gilt VIF k 1, und VIF k wächst mit zunehmendem R 2 k (es gilt genauer VIF k = 1 R 2 k = 0 und VIF k R 2 k 1). Sind Regressoren mit einem Varianz-Inflations-Faktor von mehr als 10 im Modell enthalten, spricht man in der Regel vom Vorliegen von imperfekter Multikollinearität oder vom Multikollinearitätsproblem, es existieren aber auch einige andere Faustregeln. Ökonometrie (SS 2014) Folie 257

18 Messung von imperfekter Multikollinearität III In der Darstellung (mit den Abkürzung x k und s kk aus Folie 191) Var( β k ) = σ 2 n s kk VIF k = σ 2 n i=1 (x ki x k ) 2 VIF k der geschätzten Varianz der Parameterschätzer β k ist die Bezeichnung Varianz-Inflations-Faktor selbsterklärend. In der im Beispiel durchgeführten Schätzung des vollständigen Modells ergeben sich die folgenden Varianz-Inflations-Faktoren: Regressor Personen Monat Sonderzahlung VIF Nach der oben genannten Faustregel liegt also ein Multikollinearitätsproblem bei den Regressoren Monat und Sonderzahlung vor. Ökonometrie (SS 2014) Folie 258

19 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Heteroskedastie der Störgrößen I Die Annahme 2 an die Störgrößen u i auf Folie 186 lautet Var(u i ) = σ 2 für alle i {1,..., n}, es wird also die Gleichheit aller Störgrößenvarianzen gefordert. Die Gleichheit der Varianz mehrerer Zufallsvariablen wird auch als Homoskedastie oder Homoskedastizität dieser Zufallsvariablen bezeichnet. Man spricht bei Erfüllung der Annahme 2 an die Störgrößen damit auch von homoskedastischen Störgrößen. Das Gegenteil von Homoskedastie wird mit Heteroskedastie oder Heteroskedastizität bezeichnet. Ist Annahme 2 an die Störgrößen verletzt, gilt also (mit σ 2 i := Var(u i )) σ 2 i σ 2 j für mindestens eine Kombination i, j {1,..., n}, so spricht man von heteroskedastischen Störgrößen. Ökonometrie (SS 2014) Folie 259

20 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Heteroskedastie der Störgrößen II Im Folgenden untersuchen wir die Auswirkungen des Vorliegens heteroskedastischer, aber (nach wie vor) unkorrelierter Störgrößen. Es gelte also σ σ V(u) = diag(σ1, 2..., σn) 2 := σn σn 2, V(u) ist also eine Diagonalmatrix. Sind die Störgrößen gemeinsam normalverteilt (gilt also Annahme sind die u i noch unabhängig, aber nicht mehr identisch verteilt. 4 ), so Ökonometrie (SS 2014) Folie 260

21 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Heteroskedastie der Störgrößen III Auswirkungen von Heteroskedastie in den Störgrößen bei Schätzung des Modells mit der OLS-/KQ-Methode Der Vektor von Schätzfunktionen β bleibt unverzerrt für β. (Die Koeffizientenschätzer bleiben prinzipiell sinnvoll und gut einsetzbar.) β ist nicht mehr effizient (varianzminimal). (Je nach Situation, insbesondere bei bekannter Struktur der Heteroskedastie, sind präzisere Schätzfunktionen konstruierbar. Dies wird in dieser Veranstaltung aber nicht weiter besprochen.) Konfidenzintervalle und Tests werden in der bisherigen Ausgestaltung unbrauchbar! Ursächlich für den letzten (und folgenreichsten) Aspekt ist, dass bei der Herleitung bzw. Berechnung von V( β) bzw. V( β) regelmäßig die (bei Heteroskedastie falsche!) Spezifikation V(u) = σ 2 I n eingesetzt bzw. verwendet wurde. Ökonometrie (SS 2014) Folie 261

22 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Schätzung von V( β) bei Heteroskedastie I Bei Vorliegen von Heteroskedastie in den Störgrößen kann V( β) nicht mehr so stark wie auf Folie 198 vereinfacht werden, man erhält lediglich [ ( V( β) ) ( ) ] [ ((X = E β E( β) β E( β) = E X) 1 X u ) ( (X X) 1 X u ) ] = E [ (X X) 1 X uu X(X X) 1] = (X X) 1 X E(uu )X(X X) 1 = (X X) 1 X V(u)X(X X) 1. Bei unbekannter Form von Heteroskedastie wurde als (unter moderaten Bedingungen) konsistenter Schätzer für V(u) von White zunächst (Econometrica, 1980) die folgende Funktion vorgeschlagen: û û V hc0 (u) := diag(û1, 2..., ûn) 2 = ûn ûn 2 Ökonometrie (SS 2014) Folie 262

23 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Schätzung von V( β) bei Heteroskedastie II Auf dieser Basis wurden weitere heteroskedastie-konsistente Schätzer entwickelt, einer davon ist die (für bessere Eigenschaften in kleinen Stichproben um Freiheitsgrade korrigierte) Variante n V hc1 (u) := n (K + 1) diag(û2 1,..., ûn) 2 û n 0 û =. n (K + 1) ûn ûn 2 Einsetzen in die Darstellung von V( β) aus Folie 262 liefert dann z.b. V hc1 ( β) := (X X) 1 X Vhc1 (u)x(x X) 1 als (konsistenten) Schätzer für die Varianz-Kovarianz-Matrix V( β). Ökonometrie (SS 2014) Folie 263

24 4 Multiple lineare Regression Heteroskedastische Störgrößen 4.10 Konfidenz-, Prognoseintervalle und Hypothesentests I bei heteroskedastischen Störgrößen Konfidenz- und Prognoseintervalle sowie Hypothesentests müssen nun auf der Verteilungsaussage β N(β, (X X) 1 X V(u)X(X X) 1 ) bzw. β N(β, (X X) 1 X V(u)X(X X) 1 ) aufbauen, die durch eine geeignete Schätzung von V(u) nutzbar gemacht wird. Die Verwendung eines heteroskedastie-konsistenten Schätzers V hc (u) für V(u) bzw. V hc ( β) für V( β) führt dazu, dass viele bei Homoskedastie (zumindest bei gemeinsam normalverteilen Störgrößen) exakt gültigen Verteilungsaussagen nur noch asymptotisch und damit für endliche Stichprobenumfänge nur noch näherungsweise (approximativ) gelten (selbst bei gemeinsam normalverteilten Störgrößen). Ökonometrie (SS 2014) Folie 264