Übung V Lineares Regressionsmodell

Transkript

1 Universität Ulm Ulm Germany Dipl.-WiWi Michael Alpert Institut für Wirtschaftspolitik Fakultät für Mathematik und Wirtschaftswissenschaften Ludwig-Erhard-Stiftungsprofessur Sommersemester 2007 Übung V Lineares Regressionsmodell 1. Methode der Kleinsten Quadrate Seite 2 2. Berechnung der Koeffizienten Seite 4 3. Standardfehler und Konfidenzintervall Seite 8 4. Bestimmtheitsmaß Seite t-statistik und F -Statistik Seite Weitere Kriterien Seite Zusammenfassung des Beispiels Seite 15 Helmholtzstr. 20, Raum E 03 Tel , Fax Michael.Alpert@uni-ulm.de

2 1. Methode der Kleinsten Quadrate Die Methode der Kleinsten Quadrate, auch Ordinary Least Squares (OLS) genannt, wird im linearen Regressionsmodell angewendet. Zwischen einer endogenen Variable y (Regressand, erklärte bzw. abhängige Variable) und einer exogenen Variable x (Regressor, erklärende bzw. unabhängige Variable) existiert ein funktionaler Zusammenhang : y t = β 0 + β 1 x t + ε t (bei einem Regressor) y t = β 0 + β 1 x 1,t + β 2 x 2,t β k x k,t + ε t Abkürzungen: β 0 : Absolutglied β 1 : Koeffizient der exogenen Variable t: Zeitindex mit t = 1,2,..., T ε: Störterm (Residuum, Fehler) In jedem Modell existiert ein Störterm ε, da der funktionale Zusammenhang zwischen y und x nicht zu einer 100%igen Erklärung führt. 2

3 Die Methode der Kleinsten Quadrate minimiert die Summe der Residuenquadrate durch Bestimmung der Koeffizienten β 0 und β 1 mittels partieller Ableitungen: Min T t=1 ˆε t 2 = T t=1 (y t ˆβ 0 ˆβ 1 x t ) 2 Die Quadrierung verhindert, dass sich Residuen mit unterschiedlichen Vorzeichen aufheben. Die OLS-Schätzung ist der beste lineare erwartungstreue Schätzer, falls gilt: Die Matrix der Regressoren ist fest vorgegeben, nicht stochastisch und besitzt vollen Rang. Die normalverteilten Residuen sind zufällig, d.h. es existiert keine Systematik in den Fehlern. Für die Residuen gilt Erwartungswert E(ε) = 0 und Varianz-Kovarianzmatrix E(ε 2 ) = σ 2 I T. Modellierung : ökonomisches Modell: y t = β 0 + β 1 x t empirisches Modell: y t = β 0 + β 1 x t + ε t ökonometrisches Modell: y t = ˆβ 0 + ˆβ 1 x t + ˆε t bzw. ŷ t = ˆβ 0 + ˆβ 1 x t 3

4 2. Berechnung der Koeffizienten Die Berechnung der Koeffizienten und der statistischen Gütekriterien wird im Folgenden an einem einfachen Beispiel praktiziert. Für die Zeitpunkte t = 1, 2,..., 5 sind folgende Werte für endogene und exogene Variable vorgegeben: x: 1,2,3,4,5 y: 3,3,4,6,9 Ziel der Methode der Kleinsten Quadrate: Min ˆε 2 t bzw. Min (y t ŷ t ) 2 bzw. Min (y t ˆβ 0 ˆβ 1 x t ) 2 Vorgehensweise: Schritt 1: Partielle Ableitung ˆε 2 t ˆβ 0 Schritt 2: Partielle Ableitung ˆε 2 t ˆβ 1 Schritt 3: Berechnung der Koeffizienten 4

5 Schritt 1 ˆε 2 t ˆβ 0 = 2 (y t ˆβ 0 ˆβ 1 x t ) ( 1). = 0 2 ( 1) (y t ˆβ 0 ˆβ 1 x t ) = 0 (y t ˆβ 0 ˆβ 1 x t ) = 0 y t ˆβ0 ˆβ1 x t = 0 y t ˆβ 0 t ˆβ1 x t = 0 : t ȳ ˆβ 0 ˆβ 1 x = 0 ˆβ 0 = ȳ ˆβ 1 x Schritt 2 ˆε 2 t ˆβ 1 = 2 (y t ˆβ 0 ˆβ 1 x t ) ( x t ). = 0 2 ( 1) (y t ˆβ 0 ˆβ 1 x t ) x t = 0 (y t ˆβ 0 ˆβ 1 x t ) x t = 0 y t x t ˆβ0 x t ˆβ1 x t x t = 0 x t y t ˆβ0 x t ˆβ1 x 2 t = 0 : t x y ˆβ 0 x ˆβ 1 x 2 = 0 x y (ȳ ˆβ 1 x) x ˆβ 1 x 2 = 0 x y x ȳ + ˆβ 1 x x ˆβ 1 x 2 = 0 x y x ȳ = ˆβ 1 x 2 ˆβ 1 x 2 ˆβ 1 (x 2 x 2 ) = x y x ȳ ˆβ 1 = x y x ȳ (x 2 x 2 ) 5

6 Schritt 3 Berechnung der Steigung (Koeffizient des Regressors): ˆβ 1 = = 3 2 = 1, 5 Für das Absolutglied ergibt sich: ˆβ 0 = ȳ ˆβ 1 x = 5 1, 5 3 = 0, 5 Damit lautet die Gleichung : y t = 0, ˆ5 + 1, ˆ5 x t + ˆε t bzw. ŷ t = 0, ˆ5 + 1, ˆ5 x t Die Schätzwerte der abhängigen Variable ŷ t werden anhand der Koeffizienten β 0 und β 1 für jeden Zeitpunkt t berechnet: ŷ t = 0, ˆ5 + 1, ˆ5 x t ŷ 1 = 0, ˆ5 + 1, ˆ5 x 1 = 0, ˆ5 + 1, ˆ5 1 = 2 ŷ 2 = 0, ˆ5 + 1, ˆ5 x 2 = 0, ˆ5 + 1, ˆ5 2 = 3, 5 ŷ 3 = 0, ˆ5 + 1, ˆ5 x 3 = 0, ˆ5 + 1, ˆ5 3 = 5 ŷ 4 = 0, ˆ5 + 1, ˆ5 x 4 = 0, ˆ5 + 1, ˆ5 4 = 6, 5 ŷ 5 = 0, ˆ5 + 1, ˆ5 x 5 = 0, ˆ5 + 1, ˆ5 5 = 8 Die Schätzwerte ŷ und die Originalwerte y stimmen in der Regel nicht überein. Die Differenz sind die Residuen ε. 6

7 Die Summe der Residuen ist immer Null: ˆε t = (y t ŷ t ) ˆε t = (3 2) + (3 3, 5) + (4 5) + (6 6, 5) +(9 8) = 1 0, 5 1 0, = 0 Die Summe der Residuenquadrate beträgt hier 3,5. ˆε 2 t = (y t ŷ t ) 2 ˆε 2 t = (3 2) 2 + (3 3, 5) 2 + (4 5) 2 + (6 6, 5) 2 +(9 8) 2 = 1 + 0, , = 3, 5 Wenn ˆβ 0, ˆβ 1 anders gewählt werden, ist die Summe der Residuenquadrate größer. Interpretation des berechneten Koeffizienten ˆβ 1 : Wenn die Variable x eine Einheit höher liegt, liegt die endogene Variable y ˆβ 1 Einheiten höher. (additives Modell) Wenn die Variable x ein Prozent höher liegt, liegt die endogene Variable y ˆβ 1 Prozent höher. (multiplikatives Modell) Wenn die Variable x eine Einheit höher liegt, liegt die endogene Variable y ˆβ 1 Prozent höher. (semi-log Modell) Ob eine Interpretation der Koeffizienten ökonomisch sinnvoll ist, hängt vom Modell, statistischen Gütekriterien und ökonometrischen Testverfahren ab! 7

8 3. Standardfehler und Konfidenzintervall Ein wichtiges statistisches Gütekriterium ist der Standardfehler, der als Wurzel aus der Varianz wichtige Hinweise über die Streuung der Daten liefert. Je geringer der Standardfehler, desto höher die Zuverlässigkeit der Schätzergebnisse und deren Interpretation. Zu unterscheiden sind der Standardfehler der Originalwerte der endogenen Variable, der Standardfehler der Schätzung sowie der Standardfehler der Koeffizienten. Berechnung des Standardfehlers σ der Originalwerte : σ 2 = 1 t 1 (y t ȳ) 2 σ 2 = ((3 5)2 + (3 5) 2 + (4 5) 2 +(6 5) 2 + (9 5) 2 ) = 26 4 = 6, 5 σ = σ 2 = 6, 5 2, 5495 Berechnung des Standardfehlers ˆσ der Schätzung : ˆσ 2 = 1 t k ˆε 2 t ˆσ 2 = , 5 1, 1667 ˆσ = ˆσ 2 = 1, , 0801 k ist die Summe der Koeffizienten einschließlich des Absolutglieds. 8

9 Berechnung des Standardfehlers des Absolutglieds ˆβ 0 : var( β ˆ 0 ) = ˆσ 2 x 2 var( ˆ t (x 2 x 2 ) β 0 ) = 1, var( β ˆ 0 ) = 1, , 1329 = 1, , 1 1, 2834 Berechnung des Standardfehlers des Koeffizienten ˆβ 1 : var( β ˆ 1 ) = ˆσ 2 1 var( ˆ t (x 2 x 2 ) β 1 ) = 1, var( β ˆ 1 ) = 0, , 3416 = 1, , 1 0, 1167 Die Standardfehler der Koeffizienten ermöglichen die Berechnung der Konfidenzintervalle. Bei Normalverteilung der Residuen bestimmt das Intervall [ ˆβ i ± 2 ˆσ i ] bei einer Irrtumswahrscheinlichkeit von α = 5% in 95% der Fälle den Bereich, der den wahren, aber unbekannten Koeffizienten β i enthält. Berechnung des Konfidenzintervalls des Absolutglieds ˆβ 0 : [ ˆβ 0 ± 2 ˆσ 0 ] [0, 5 ± 2 1, 13] [ 1, 76; 2, 76] Berechnung des Konfidenzintervalls des Koeffizienten ˆβ 1 : [ ˆβ 1 ± 2 ˆσ 1 ] [1, 5 ± 2 0, 34] [0, 82; 2, 18] 9

10 4. Bestimmtheitsmaß Das Bestimmtheitsmaß R 2 gibt den Anteil der erklärten Varianz an, d.h. wieviel Prozent der Varianz durch das Modell erklärt werden. Je höher der Wert im Wertebereich [0; 1] ist, desto größer ist die Erklärungskraft des Modells. Berechnung des Bestimmtheitsmaßes : R 2 = S ŷŷ S yy = 1 Sˆεˆε S yy S yy = 1 t (y t ȳ) 2 S yy = 1 5 ((3 5)2 + (3 5) 2 + (4 5) 2 + (6 5) 2 +(9 5) 2 ) = 26 5 = 5, 2, oder alternativ: S yy = y 2 ȳ 2 = 1 5 ( ) 5 2 = 30, 2 25 = 5, 2 Sˆεˆε = 1 t ( ˆε t ˆ ε) 2 = 1 t ( ˆε 2 t ) Sˆεˆε = 1 5 3, 5 = 0, 7 R 2 = 1 0,7 5,2 1 0, 1346 = 0, 8654 Das korrigierte Bestimmtheitsmaß R 2 berücksichtigt bestrafend die Anzahl der Regressoren und kann auch negative Werte annehmen. Berechnung des korrigierten Bestimmtheitsmaßes : R 2 = 1 t 1 t k (1 R2 ) R 2 = (1 0, 8654) = , 1346 = 0,

11 5. t-statistik und F -Statistik Ein wichtiges Gütekriterium bei der Überprüfung des funktionalen Zusammenhangs zwischen x und y ist die t-statistik. Die Nullhypothese der t-statistik testet, ob der wahre Koeffizient null ist. Bei Normalverteilung bzw. asymptotischer Normalverteilung (mindestens 30 Beobachtungen) kann man die Werte der t-statistik mit dem kritischen Wert der N(0,1)-Verteilung vergleichen. Bei einer Irrtumswahrscheinlichkeit von α = 5% beträgt der kritische Wert 1,96. Das Vorzeichen der t-statistik spielt keine Rolle, da es nur vom Koeffizienten und somit von der Richtung des funktionalen Zusammenhangs von x auf y abhängt. Ein Wert der t-statistik vom Betrag größer als 1,96 bedeutet einen signifikanten Einfluss dieser Variable auf y. Faustregel: Vergleich, ob t-wert betragsmäßig größer als 2 ist, d.h. t-wert> 2. Berechnung der t-statistik des Absolutglieds ˆβ 0 : ˆβ 0 var( β ˆ 0 ) = 0,5 1, ,5 1, = 0, 4413

12 Berechnung der t-statistik des Koeffizienten ˆβ 1 : ˆβ 1 var( β ˆ 1 ) = 1,5 0,1167 1,5 0,3416 = 4, 3911 Alternativ kann der Wert der t-statistik mit Prob. verglichen werden. Diese gibt den kritischen Wert für die Irrtumswahrscheinlichkeit α an, ab dem die Nullhypothese nicht mehr verworfen werden kann. Prob(t-statistic)< α : Nullhypothese verwerfen, Prob(t-statistic)> α : Nullhypothese nicht verwerfen. Die F -Statistik überprüft, ob alle Koeffizienten mit Ausnahme des Absolutgliedes gleich Null sind bzw. ob das Bestimmheitsmaß R 2 gleich Null ist. Berechnung der F -Statistik: F = R2 1 R 2 t k k 1 F = 0, , = 0,8654 0, = 19, 2883 Dieser Wert wird mit dem kritischen Wert der F(k-1,tk)-Verteilung verglichen. Einfacher ist die Betrachtung von Prob(F -statistic). Dieser Wert gibt die Grenzirrtumswahrscheinlichkeit an, ab der die Nullhypothese nicht mehr verworfen werden kann, d.h. Prob(F -statistic)< α : Nullhypothese verwerfen, Prob(F -statistic)> α : Nullhypothese nicht verwerfen. 12

13 6. Weitere Kriterien EViews weist den Wert der Durbin-Watson-Statistik aus. Diese überprüft das Problem der Autokorrelation. Bei Autokorrelation weisen die Residuen eine Systematik auf, da der Fehlerterm von einem/mehreren Vorgängerfehler(n) abhängt. Die Durbin-Watson-Statistik kann Werte zwischen null und vier annehmen. Ein Wert nahe bei zwei spricht gegen das Problem der Autokorrelation. Ein Wert nahe bei null bzw. vier ist ein Hinweis für das Vorliegen von positiver bzw. negativer Autokorrelation. Berechnung der Durbin-Watson-Statistik : 5 t=2 (ˆε t ˆε t 1 ) 2 d = 5 (ˆε t) 2 t=1 d = ( 0,5 1)2 +( 1 ( 0,5)) 2 +( 0,5 ( 1)) 2 +(1 ( 0,5)) ( 0,5) 2 +( 1) 2 +( 0,5) ) d = ( 1,5)2 +( 0,5) 2 +0,5 2 +1, ( 0,5) 2 +( 1) 2 +( 0,5) ) d = 2,25+0,25+0,25+2,25 1+0,25+1+0,25+1 d = 5 3,5 1, 4286 Dieser Wert muß mit dem kritischen Wert verglichen werden. 13

14 Da die Aussagekraft der Durbon-Watson-Statistik begrenzt ist, wird bei Autokorrelation oft ein Breusch- Godfrey-Test durchgeführt. Dieser ist - im Gegensatz zum Durbin-Watson-Test - auch bei dynamischen Modellen anwendbar und beschränkt die Untersuchung der Systematik nicht auf den Vorgängerfehler ˆε t 1. EViews weist auch den Mittelwert der endogenen Variable y aus. Berechnung des Mittelwerts : ȳ = 1 t y t ȳ = ( ) = 5 = 5 Der Mittwelwert von ŷ ist immer identisch mit dem Mittelwert von y. Die Gütekriterien geben wertvolle Hinweise auf die Qualität des empirischen Modells. Ordentliche empirische Arbeiten zeichnen sich - unter anderem - dadurch aus, dass bei speziellen Problemen wie Autokorrelation, Heteroskedastizität oder Strukturbruch geeignete ökonometrische Tests durchgeführt werden. Eine Beschränkung auf statistische Gütekriterien allein erlaubt keine gesicherte ökonomisch sinnvolle Interpretation der Ergebnisse. 14

15 7. Zusammenfassung des Beispiels Daten: t x y x y x 2 ŷ ˆε ˆε Σ φ Erklärung der Variablen: t: Zeitindex x: unabhängige Variable y: abhängige Variable k: Anzahl der Koeffizienten (inkl. Absolutglied) ŷ: Schätzwert der abhängigen Variable ε: Fehler ˆε: geschätzter Fehler β 0 : Parameter (Absolutglied) ˆβ 0 : geschätzter Parameter (Absolutglied) β 1 : Parameter (Steigung) ˆβ 1 : geschätzter Parameter (Steigung) 15

16 ================================= obs X Y ================================= ================================= Y X ============================================================ Dependent Variable: Y Method: Least Squares Sample: 1 5 Included observations: 5 ============================================================ Variable CoefficientStd. Errort-Statistic Prob. ============================================================ C X ============================================================ R-squared Mean dependent var Adjusted R-squared S.D. dependent var S.E. of regression Akaike info criteri Sum squared resid Schwarz criterion Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) ============================================================ 16