Ökonometrische Methoden III: Die lineare Regression

Transkript

1 Ökonometrische Methoden III: Die lineare Regression Vorlesung an der Ruprecht-Karls-Universität Heidelberg WS 006/007 Prof. Dr. Lars P. Feld Ruprecht-Karls-Universität Heidelberg, Universität St. Gallen (SIAW-HSG), CREMA und CESifo

2 Ökonometrische Methoden III: Die lineare Regression Das Schätzverfahren OLS Die Mechanik von OLS: Minimierung der Quadrate umerische Eigenschaften und Anpassungsgüte Das klassische lineare Regressionsmodell Inferenz Das lineare Regressionsmodell mit mehreren Regressoren Zusammenfassung

3 Literatur Lechner, M. (00), Methoden der empirischen Wirtschaftsforschung, Skript, Universität St. Gallen, Kapitel 5, 6 und 7. 3

4 Übung Programmaufruf Eviews: Start/Programme/Statistik/EViews4 oder :\Statistik\EViews4.\EViews4.exe Eviews Workfiles (nur Lesezugriff): F:\Eviews-Daten\*.wf Eigenen Ordner einrichten: X:\Eviews-Dateien\ Workfiles von F:... nach X... kopieren und nur mit diesen Kopien arbeiten. 4

5 Das Schätzverfahren OLS I Regressionszusammenhang in der Population E( Y X = x) = α + xβ otation: 0 0 Y: Zu erklärende (abhängige) Zufallsvariable; y: ein bestimmter Wert (Realisation) von Y. X: Erklärende (unabhängige) Zufallsvariable; x: ein bestimmter Wert von X. α 0 : Konstante; (unbekannter) wahrer Wert des Parameters α. β 0 : Steigungsparameter; (unbekannter) wahrer Wert des Parameters β. 5

6 Das Schätzverfahren OLS II Regressionszusammenhang in der Population Regression von Y auf X : der mittlere Wert von Y gegeben ein bestimmter Wert von X (bedingter Erwartungswert von Y gegeben X = x) wird als eine lineare Funktion von x aufgefasst. Zusammenhang zwischen X und Y ist nicht exakt. Die erwarteten Werte für alle möglichen Werte von X bilden die sogenannte Regressionsgerade. Stochastischer linearer Zusammenhang zwischen den Variablen Y und X. Aussagen über die Wahrscheinlichkeiten des Auftretens von Werten ober- bzw. unterhalb des erwarteten Wertes. 6

7 Das Schätzverfahren OLS III Abbildung : Beispiel - Bedingte Verteilung der individuellen Konsumausgaben für unterschiedliche Einkommensniveaus Quelle: Gujarati, Abb.., S

8 Das Schätzverfahren OLS IV Umformulierung der Regressionsfunktion mit Hilfe eines Fehlerterms (U): U Y E( Y X = x) = Y α xβ 0 0 Y = E( Y X = x) + U = α + xβ + U ; mit E( U X = x) = 0 (per Definition). 0 0 Am Modell hat sich nichts geändert! Interpretation: Y lässt sich durch eine systematische Komponente α0 + xβ0 und eine zufällige Komponente U erklären. Die zufällige Komponente enthält keinerlei Information über die systematische Komponente (und umgekehrt). 8

9 Das Schätzverfahren OLS V Mögliche Interpretationen des Fehlerterms U: Zufällige Abweichung der Realisation y i von Y X xi =, bzw. von ihrem bedingten Erwartungswert α0 + x i β0 (technische Erklärung, die immer gilt). Ungenauigkeit der Theorie, die den Zusammenhang von Y und X erklären soll (z.b. erklärt Humankapital sicher nur einen Teil des Einkommens). Explizite stochastische Komponente, die in der Theorie eine wohl definierte Rolle spielt (z.b. CAPM: diversifizierbares Risiko). Im vorhandenen Datensatz nicht beobachtete Variable. Gilt dann E( U X = x) = 0? (Ein Problem falls U mit X korreliert ist, da dann die Trennung zwischen Fehlerterm und erklärenden Variablen nicht mehr eindeutig ist). Variablen, die für die Analyse nicht von Interesse sind, aber trotzdem einen Einfluss auf Y haben könnten. Gilt dann E( U X = x) = 0? (Problem falls U mit X korreliert). Messfehler. Gilt dann E( U X = x) = 0? (Stichprobenregression fehlspezifiziert). Auffangen einer Fehlspezifikation des Modells (d.h. evtl. vorhandene ichtlinearitäten etc. Gilt dann E( U X = x) = 0? (Problem falls U mit X korreliert). 9

10 Das Schätzverfahren OLS VI DIE REGRESSIOSFUKTIO I DER STICHPROBE Es erscheint intuitiv plausibel, die Koeffizienten, definiert anhand der Populationsgrößen, mittels der korrespondierenden Stichprobengrössen zu schätzen (Analog- Prinzip). Somit erhält man als Schätzverfahren für: E( Y ) : y = y ; i = i E( X ) : x = x ; i = i Var( X ) : ˆ σ ( ) ; x = xi x i= ˆ x : ( i ) σ = Var x ; Cov( Y, X ) : ˆ σ = ( x x )( y y ) ; ˆ σ yx : = Cov ( yi, xi ). yx i i i= 0

11 Das Schätzverfahren OLS VII Setzt man die einzelnen Teile zusammen, dann erhält man das gewünschte Schätzverfahren für die beiden Koeffizienten α 0 und β 0 : ˆ β ˆ σ ( x x )( y y ) ( x x )( y y ) i i i i yx i = i = = = = ˆ σ x ( xi x ) ( xi x ) i= i= ; ( x x )( y y ). i i ˆ i = y x = y x ( xi x ) i= = ˆ α β

12 Das Schätzverfahren OLS VIII AMERKUGE Im Gegensatz zur Regressionsgeraden in der Population ( E( Y X = x) = α0 + xβ0 ), ist die Regressionsgerade in der Stichprobe yˆ, = ˆ α + x ˆ β zufällig! i i Das Residuum einer Beobachtung u ˆ, i, das mit dem Fehlerterm in der Populationsregression korrespondiert, wird als Abweichung der Schätzung yˆ, i von der tatsächlichen Realisation y, i definiert: uˆ ˆ ˆ ˆ, i = yi y, i = yi α xiβ.

13 Das Schätzverfahren OLS IX Abbildung : Regressionsgeraden basierend auf zwei unterschiedlichen, zufälligen Stichproben aus der gleichen Population Quelle: Gujarati, Abb..3, S

14 Die Mechanik von OLS: Minimierung der Quadrate I Man kann das zuvor beschriebene Schätzverfahren mit Hilfe eines anderen Ansatzes erhalten, der auch den amen ordinary least squares (Methode der kleinsten Quadrate, KQ) erklärt. OLS minimiert die Summe der quadrierten Abstände der einzelnen Beobachtungen zu der Regressionsgeraden. 4

15 Die Mechanik von OLS: Minimierung der Quadrate II Abbildung 3: Das OLS - Schätzverfahren y x 5

16 Die Mechanik von OLS: Minimierung der Quadrate III ZIELFUKTIO: ˆ = ui = yi xi α, β i= α, β i=. ( ˆ α, β ) arg min [ ( α, β )] arg min [ α β ] (d.h. ˆ α und ˆ β sind die Argumente der Funktion ui ( α, β ), die die Summe [ ui ( α, β )] minimieren). i= 6

17 Die Mechanik von OLS: Minimierung der Quadrate IV BEDIGUGE ERSTER ORDUG: α : i= ( uˆ ) α, i = 0 = ( y ˆ α x ˆ β ) i= i i α = ( ˆ ˆ yi α xi β )( ) = 0. i= β : i= ( uˆ ) β, i = 0 = ( y ˆ α x ˆ β ) i= i i β = ( ˆ ˆ yi α xiβ )( xi ) = 0. i= 7

18 Die Mechanik von OLS: Minimierung der Quadrate V Aus diesen Gradienten erhält man die sogenannten OLS- ormalgleichungen: ORMALGLEICHUGE: α : y ˆ α ( x ) ˆ = + β ˆ α ˆ = y x β ; i i i= i= β : ( y ) ( ) ˆ ( ) ˆ ixi = xi α + xi β i= i= i=. 8

19 Die Mechanik von OLS: Minimierung der Quadrate VI Hieraus lässt sich nach einigen Umformungen ˆ β direkt ableiten: ( y ˆ ˆ ixi ) = ( xi )( y x β ) + ( xi ) β i= i= i= ˆ α = y x ˆ β ˆ ( y ) ( ) ( ) ˆ ixi = x y x β + xi β i= i= ˆ ( y ) ( ) ˆ ixi x y = x β + xi β i= i= [ ( x ) ] ˆ i= i x β ˆ = i= β ( y x ) x y i= i i x i x 9

20 Die Mechanik von OLS: Minimierung der Quadrate VII ˆ i= β = ( y x ) x y i= i i x i x = = i= [( y y )( x x )] i i i= ( x x ) i ˆ β = Cov ( yi, xi ) Var ( x ). i 0

21 Die Mechanik von OLS: Minimierung der Quadrate VIII Dieser Übergang ist gültig, denn es gilt: Var ( x ) = ( x x ) = ( x + x x x ) = i i i i i= i= = + = ( xi ) ( xi ) x x ( xi ) x i= i= i= x ; Cov ( y x ) = [( y y )( x x )] = ( y x + x y y x y x ) = ( y x ) x y i i i i i i i i i i i= i= i=

22 umerische Eigenschaften und Anpassungsgüte I Die numerischen Eigenschaften eines Schätzverfahrens gelten unabhängig vom zugrundeliegenden Modell und sind somit immer gültig wenn das entsprechende Schätzverfahren angewendet wird. Das OLS Schätzverfahren ist eine Funktion der Daten und kann daher immer berechnet werden. Das OLS Schätzverfahren ist eine eindeutige Punktschätzung. Die OLS Regressionsgerade kann direkt aus der Schätzung der Koeffizienten berechnet werden.

23 umerische Eigenschaften und Anpassungsgüte II umerische Eigenschaften. Die Regressionsgerade geht durch den Mittelwert der Daten. Die Residuen sind mit dem Mittelwert der geschätzten Abhängigen in der Stichprobe unkorreliert. Die Residuen sind mit der erklärenden Variablen in der Stichprobe unkorreliert. Anpassungsgüte Das geläufigste Maß zur Messung der Anpassungsgüte ist das Bestimmtheitsmaß: R 3

24 umerische Eigenschaften und Anpassungsgüte III Herleitung des Bestimmtheitsmaßes Zerlegung gemäß Definition des Residuums: y ˆ ˆ i = y, i + u, i. Varianzzerlegung: Var ˆ ˆ ˆ ˆ ( yi ) = Var ( y, i ) + Var ( u, i ) + Cov ( y, i, u, i ). Cov ( yˆ, u ˆ ) = 0 Vereinfachung:,, i i 4

25 umerische Eigenschaften und Anpassungsgüte IV Herleitung des Bestimmtheitsmaßes Interpretation von Var ( ˆ y, i ) : Durch die Schätzung erklärte Varianz. von Var ( ˆ u, i ) : Durch die Schätzung nicht erklärte Varianz. Anteil der erklärten Varianz an der Gesamtvarianz: ˆ ˆ Var ( y ) Var ( u ) R Var ( y ) Var ( y ), i, i = = ; i i 5

26 umerische Eigenschaften und Anpassungsgüte V Eigenschaften des Bestimmtheitsmaßes 0 R ; R = R = 0 keine Anpassung; perfekte Anpassung. OLS minimiert uˆ, i = i= Var, i da uˆ, i = 0 i= ( uˆ ) OLS maximiert das R! 6

27 umerische Eigenschaften und Anpassungsgüte VI Eigenschaften des Bestimmtheitsmaßes R ausgedrückt in Termini der Summe der Quadrate (sum of squares, SS): R ( yˆ ˆ, i y ) ( u, i) i= i= = = ( yi y ) ( yi y ) i= i= ; R = Estimated SS Residual SS Total SS = Total SS. 7

28 umerische Eigenschaften und Anpassungsgüte VII Eigenschaften des Bestimmtheitsmaßes R hat auch eine Interpretation als Maß für die Korrelation zwischen tatsächlichem und vorhergesagtem Wert der abhängigen Variablen. DIES LÄSST SICH WIE FOLGT ZEIGE: Corr ( y, yˆ ) = ρ( y, yˆ ) = i, i i, i Cov ( y, yˆ ) i, i Var ( y ) Var ( yˆ ) i, i = Cov ( yˆ + uˆ, yˆ ), i, i, i Var ( y ) Var ( yˆ ) i, i 8

29 umerische Eigenschaften und Anpassungsgüte VIII Eigenschaften des Bestimmtheitsmaßes = Var yˆ i (, ) 0 Cov ( yˆ, yˆ ) + Cov ( yˆ, uˆ ), i, i, i, i Var ( y ) Var ( yˆ ) i, i = Var ( yˆ ), i Var ( y ) Var ( yˆ ) i, i = Var Var ( yˆ ), i ( y ) i = R. 9

30 Das klassische lineare Regressionsmodell I Annahmen Das Modell ist linear in den Parametern. Diese auf den ersten Blick sehr restriktive Annahme kann in vielen Fällen harmlos sein, da man durch geschickte Definition der funktionalen Form der Variablen, die in X auftreten, ein hohes Maß an Flexibilität erreichen kann. Der Erwartungswert des Fehlerterms ist 0 und variiert nicht mit X. Die Unkorreliertheit von U und X, ist zentral für die statistischen Eigenschaften. Problematisch: 'Modellfehlspezifikationen', z.b. fehlende Variablen, die mit den enthaltenen Variablen korreliert sind. Fehlende Variablen sind implizit im Fehlerterm enthalten. 30

31 Das klassische lineare Regressionsmodell II Annahmen Die Realisationen von U sind identisch und unabhängig verteilt und die Varianz von U ist unabhängig von X (Homoskedastie). Modellverletzungen durch Heteroskedastie und Autokorrelation. 3

32 Das klassische lineare Regressionsmodell III Abbildung 4: Homoskedastie Quelle: Gujarati, Abb. 3.4, S. 6. 3

33 Das klassische lineare Regressionsmodell IV Abbildung 5: Heteroskedastie Quelle: Gujarati, Abb. 3.5, S

34 Das klassische lineare Regressionsmodell V Abbildung 6: Unterschiedliche Abhängigkeiten der Fehlerterme: (a) positive Autokorrelation; (b) negative Autokorrelation (c) keine Autokorrelation. Quelle: Gujarati, Abb. 3.6, S

35 Das klassische lineare Regressionsmodell VI Annahmen Deterministischer, nicht konstanter Regressor Bsp: Multikollinearität, d.h. man kann dann die erklärende Variable nicht mehr von der Konstanten unterscheiden und das OLS-Schätzverfahren für den Steigungsparameter ist nicht mehr definiert. ormalverteilte Fehlerterme Viele der 'guten' statistischen Eigenschaften von OLS bleiben auch ohne diese Annahme erhalten, jedoch wird die Inferenz bei Gültigkeit dieser Annahme vereinfacht. 35

36 Das klassische lineare Regressionsmodell VII Eigenschaften OLS ist unverzerrt Ein Schätzverfahren ist unverzerrt (unbiased), wenn der Erwartungswert des geschätzten Parameters gleich dem wahren Wert des unbekannten Parameters ist. OLS ist BLUE (Gauss-Markov-Theorem) OLS besitzt im klassischen linearen Regressionsmodell die kleinste mögliche Varianz aller in Y linearen und unverzerrten Schätzverfahren (der Beweis wird hier nicht aufgeführt). OLS wird daher Best Linear Unbiased Estimator genannt. 36

37 Grundprinzipien Inferenz I Das Ziel von Testverfahren ist es, Rückschlüsse darüber zu erhalten, ob die für die Schätzung verwendete Stichprobe tatsächlich aus einer Population mit den angenommenen Eigenschaften stammt oder ob man von einer Fehlspezifikation dieser Eigenschaften auszugehen hat. Der wohl am meisten verwendete Test ist der sogenannte t-test bzw. Signifikanztest. Ziel dieses Testverfahrens ist es, herauszufinden, ob eine entsprechende Variable tatsächlich zu einer bestimmten Spezifikation eines Modells 'gehört' (Signifikanz) oder ob ihr Einfluss statistisch vernachlässigbar ist. 37

38 Grundprinzipien Inferenz II Zuerst sind zwei Hypothesen zu definieren: die ullhypothese H 0 und die Alternativhypothese H, die eine für möglich gehaltene Verletzung der ullhypothese darstellt. Das Testverfahren ist eine auf den Daten basierende Vorschrift, die besagt, ob die ullhypothese abgelehnt wird oder nicht. Somit ist das Testverfahren eine Zufallsvariable (da die Daten zufällig sind). Die Rolle der beiden Alternativen ist asymmetrisch: Man wird immer nur die Ablehnung oder ichtablehnung von H 0 als Ergebnis erhalten. Insbesondere wird H nicht notwendigerweise dadurch angenommen, dass H 0 abgelehnt wird. 38

39 Inferenz III Signifikanztests des Steigungsparameters Überprüfung der Hypothese, dass der (wahre) Steigungsparameter der Regressionsgeraden gleich a sei. Dabei wird im folgenden von der Gültigkeit der Annahme der ormalverteilung der Fehlerterme ausgegangen. 0 H : β 0 = a, H : β0 a. 39

40 Inferenz IV Für die Schätzung des Steigungsparameters mit OLS wurde die ormalverteilung des Schätzverfahrens für β 0 abgeleitet: ˆ ~ (, σ 0 β ) β 0 Var ( x ) i 0 H ˆ σ 0 β ~ ( a, ). Var ( x ) i Die Standardabweichung ergibt sich daher als σ Var 0 ( x ) i. 40

41 Inferenz V Abbildung 7: Die ormalverteilung von ˆ β in termini des Mittelwertes ( β 0 ) und des Standardfehlers von ˆ β Hinweis: b steht für ˆ β, sd für die Standardabweichung. Quelle: Dougherty, Abb. 3.4, S. 9. 4

42 Inferenz VI Um den Test durchzuführen, ersetzen wir nun in Abbildung 7 das unbekannte β 0 durch a, dem Wert der unter der Hypothese 0 H für β 0 postuliert wird. Ausgehend von der dargestellten Verteilung sehen wir, dass fast alle Realisationen der ZV ˆ β unter der ullhypothese (d.h. bei Gültigkeit von und σ 0 a + zu liegen kommen. Var ( x ) i 0 H ) zwischen a σ Var 0 ( x ) i Als Ergebnis der Schätzung von ˆ β sind drei Szenarien vorstellbar: ) ˆ β kommt weit im Inneren dieses Intervalls zu liegen. ) ˆ β liegt in der ähe von σ 0 a ±. Var ( x ) i 3) ˆ β liegt deutlich außerhalb der Grenzen. 4

43 Fall () Inferenz VII Keinerlei Evidenz gegen die Gültigkeit der ullhypothese ableiten. Fall (3) Evidenz gegen die ullhypothese sehr stark, denn eine solche Realisation ist unter der ullhypothese zwar möglich, jedoch höchst unwahrscheinlich. Fall () Da die exakte Intervallgrenze vom gewählten Signifikanzniveau abhängt, lässt sich Fall ) ohne weitergehende Betrachtungen nicht analysieren. 43

44 T-Test Inferenz VIII Die Varianz der Fehlerterme ist normalerweise unbekannt und muss durch einen geschätzten Wert ersetzt werden. Häufig wird als Schätzer die T-Statistik verwendet. tˆ ( K) = ( ˆ β a) / ˆ σ Var ( x ) i 44

45 Inferenz IX T-Test Diese modifizierte Statistik hat eine Verteilung aus der Klasse der sogenannten t Verteilungen. Die Mitglieder dieser Klasse unterscheiden sich durch ihre Anzahl an Freiheitsgraden (degrees of freedom; df). Im Vergleich zur Standardnormalverteilung haben diese Verteilungen dickere Enden. Mit zunehmenden Freiheitsgraden nähern sich die t- Verteilungen jedoch der Standardnormalverteilung beliebig nahe an. 45

46 Inferenz X Hinweis: Da die Eigenschaften der Teststatistiken in endlichen Stichproben auf der Gültigkeit der ormalverteilungsannahme für die Fehlerterme beruhen, ist es sinnvoll, diese Annahme ebenfalls zu überprüfen. Der am häufigsten angewandte Test hierfür ist der Spezifikationstest von Jarque und Bera. Er basiert darauf, mit Hilfe der Residuen einen Hinweis darauf zu erhalten, ob die zentralen, standardisierten dritten und vierten Momente (Schiefe = Skewness: SK, Wölbung = Kurtosis: K ) den korrespondierenden Momenten der omalverteilung entsprechen ( SK = 0, K = 3). Die Teststatistik lautet für die ullhypothese 'U normalverteilt': sk ( k 3) JB = ; mit sk = ( ˆ σ ) 3 uˆ i, i= 3/ ; k = ( σ ) 4 uˆ i, i= ˆ. JB d χ (). 46

47 Inferenz XI Tabelle : Signifikanzniveaus basierend auf verschiedenen t-verteilungen Kritischer Bereich Signifikanzniveau (p- Werte) 0 % 5% % 0.% Einseitiger Test (df = 8) ±.40 ±.85 ±.90 ± 4.50 (df = 8) ±.33 ±.73 ±.55 ± 3.6 (df = 98) ±.9 ±.66 ±.37 ± 3.8 Beidseitiger Test (df = 8) ±.85 ±.3 ± 3.56 ± 5.04 (df = 8) ±.73 ±.0 ±.88 ± 3.9 (df = 98) ±.66 ±.98 ±.63 ± 3.39 Anmerkung: Diese Zahlen sind Ergebnis einer Abfrage in Gauss ( Zeile!). Sie können jedoch auch in EVIEWS oder jedem Ökonometrie- und Statistikbuch nachgeschlagen werden. 47

48 Das lineare Regressionsmodell mit mehreren Regressoren I Um ökonomische Zusammenhänge zu modellieren, kommt man normalerweise nicht umhin, mehrere Erklärungsfaktoren zu berücksichtigen. Die korrespondierende Erweiterung des einfachen linearen Regressionsmodells ist das sogenannte multiple Regressionsmodell. y = x β + x β x β x β + u i, i,0, i,0 k, i k,0 K, i K,0 i K y = x β + u i k, i k,0 i k = 48

49 Das lineare Regressionsmodell mit mehreren Regressoren II Annahmen des klassischen linearen Regressionsmodells K ) k βk,0 k = K Y = X + U yi = xk, iβk,0 + ui, i =,..., k = Linearität in den Parametern. ) E( U ) = E( U X = x, X = x,..., X K = xk ) = 0 E( UX k ) = 0, k =,..., K E( Y X = x, X = x,..., X K = xk ) = X k βk,0 Erwartungswert des Fehlerterms gleich 0 und unabhängig von X,..., X K. K k = 49

50 Das lineare Regressionsmodell mit mehreren Regressoren III Annahmen des klassischen linearen Regressionsmodells ) σ 0 wenn i = j E ( U iu j ) = E ( U iu j x, i,..., xk, i ) =, i, j =,..., Keine Autokorrelation 0 wenn i j und keine Heteroskedastie. ) Die W erte der erklärenden Variablen sind vorgegeben. Die erklärenden Variablen sind linear unabhängig (M ultikollinearität bei linearer Abhängigkeit, aber nicht bei nicht-linearer). 3) U ~ (0, σ ). orm alverteilung des Fehlerterm s. 0 50

51 Das lineare Regressionsmodell mit mehreren Regressoren IV Berechnung Minimiert man die Quadrate der Residuen ( i= ( y x β ) i i ) bezüglich β, so erhält man als Ausdruck für das OLS Verfahren ˆ β OLS x, i x, ix, i x, ixk, i x, i yi i i i i x x x x x y, i, i, i K, i, i i = i i i xk, ix, i x K, i xk, i y i i i i. 5

52 Das lineare Regressionsmodell mit mehreren Regressoren V Residuen Die OLS Residuen sind orthogonal zu allen Regressoren. Wenn im Modell eine Konstante enthalten ist, dann folgt daraus direkt: x uˆ = uˆ = 0, i i i i= i= uˆ i = 0. (gemäß der Definition von x,i ) i= Daher verläuft die Regressionshyperebene durch die Mittelwerte der Daten: uˆ i = i= ˆ ( y x β ) = y x ˆ β = y x ˆ β = 0 ˆ y i i i i i= i= i= = x β. Außerdem folgt die Gleichheit der Mittelwerte der beobachteten abhängigen Variablen und der entsprechenden vorhergesagten Werte: y = yˆ mit yˆ = x ˆ β x ˆ = β. i i= 5

53 Das lineare Regressionsmodell mit mehreren Regressoren VI Bestimmtheitsmaß An der Berechnung des R ändert sich beim Übergang zur multivariaten Regression nichts. R K Var ( x ˆ ) ˆ ˆ Var y β =, i Var k u =, i i Covar (,, ˆ ( ) xi k u, i ) 0 ( ) uˆ = = = = Var ( y ) Var ( y ) Var ( y ) Var ( y ) i i i i. 53

54 Das lineare Regressionsmodell mit mehreren Regressoren VII Bestimmtheitsmaß Man kann durch Hinzunahme weiterer Regressoren, die keine linearen Funktionen der schon enthaltenen Regressoren sind, das Bestimmtheitsmaß beliebig nahe an annähern. Daher wird ein korrigiertes Bestimmtheitsmaß berechnet. R u K = Var y /( ) ˆ /( ) ( ) i = K ( R ) R < R. 54

55 Das lineare Regressionsmodell mit mehreren Regressoren VIII Bestimmtheitsmaß Das korrigierte Bestimmtheitsmaß kann fallen, wenn weitere Regressoren aufgenommen werden. Es kann sogar negativ werden. Problem der Hinzunahme einer Konstanten Keine Interpretation des Bestimmtheitsmaßes in einem Modell ohne Konstante. 55

56 Das lineare Regressionsmodell mit mehreren Regressoren IX Eigenschaften von OLS ) ˆk, β ist unverzerrt, k =,..., K. ) Var( ˆ βk, ) und Covar( ˆ β ˆ k,, β l, ), k l, k, l =,..., K, sind Funktionen des Parameters σ 0 und der beobachteten Werten der erklärenden Variablen X,..., X K. 3) Kein anderes in Y lineares und unverzerrtes Schätzverfahren hat eine geringere Varianz (Gauss Markov Theorem, Best Linear Unbiased Estimator). 4) Das OLS Schätzverfahren ist eine normalverteilte Zufallsvariable: ˆ β ~ ( β, Var( ˆ β )), k =,..., K. k, 0 k, Die Schätzverfahren für die unbekannten Koeffizienten sind gemeinsam normalverteilt. 56

57 Das lineare Regressionsmodell mit mehreren Regressoren X Inferenz Für die Berechnung und die Verteilung der t-tests ändert sich beim Übergang vom univariaten zum multivariaten Regressionsmodell nichts. t( K) = ( ˆ β a) / Vˆ k, Interpretation des t-tests kk H 0 ˆ β = a. : k, Es wird beim Signifikanztest zum Beispiel überprüft, ob die Variable k keinen Einfluss ausübt, gegeben den Einfluss aller anderen Variablen. Die Ergebnisse des Tests hängen von den anderen Variablen in die Regressionsgleichung ab. 57

58 Das lineare Regressionsmodell mit mehreren Regressoren XI F-Test für die Signifikanz der Residuen R Ist das Bestimmtheitsmaß signifikant von null verschieden? Residuenzerlegung des Bestimmtheitsmaßes: K Var ( x ˆ ) ˆ ˆ Var y β =, i Var k u =, i i Covar (,, ˆ ( ) xi k u, i ) 0 ( ) uˆ = = = = Var ( y ) Var ( y ) Var ( y ) Var ( y ) i i i i R ( yˆ ˆ, i y ) ( u, i ) i= i= = = ( yi y ) ( yi y ) i= i= = ESS = TSS RSS Estimated SS ( ESS) Residual SS ( RSS) =. Total SS ( TSS) Total SS ( TSS) 58

59 Das lineare Regressionsmodell mit mehreren Regressoren XII F-Test für die Signifikanz der Residuen Den F-Test auf die Signifikanz der Regression erhält man mit den beiden Varianzkomponenten ESS und RSS und deren Freiheitsgraden (df). Die Freiheitsgrade für ESS sind K- (Anzahl der geschätzten Koeffizienten außer der Konstanten) und für RSS sind es -K. F( K, K) = ESS /( K ). RSS /( K) 59

60 Das lineare Regressionsmodell mit mehreren Regressoren XIII F-Test für die Signifikanz der Residuen Die F-Statistik entspricht einer F-Verteilung mit den entsprechenden Freiheitsgraden. Die kritischen Werte werden üblicherweise in der Ökononmetriesoftware angegeben. F-Test für die gemeinsame Signifikanz von Koeffizienten Die Intuition des Tests ist folgende: Man vergleicht den 'Fit' des Modells mit den entsprechenden Regressoren (unrestringiertes Modell) mit dem 'Fit' des Modells ohne diese Regressoren (restringiertes Modell). 60

61 Das lineare Regressionsmodell mit mehreren Regressoren XIV F-Test für die gemeinsame Signifikanz von Koeffizienten Wenn die Verbesserung des 'Fit' beim Übergang vom restringierten zum unrestringierten Modell statistisch signifikant ist, dann wird das restringierte Modell verworfen, d.h. die Koeffizienten sind gemeinsam statistisch signifikant von null verschieden. Man kann zeigen, dass folgende Prüfgröße einer F- Verteilung folgt: F( K M, K) = R U ( RSS RSS ) /( K M ) U RSS /( K) = U R ( R R ) /( K M ) U ( ) /( ) R K. 6

62 Das lineare Regressionsmodell mit mehreren Regressoren XV F-Test für die gemeinsame Signifikanz von Koeffizienten U RSS : RSS des unrestringierten Modells. R RSS : RSS des restringierten Modells (es gilt RSS R U RSS ). U R : R R : K : M : R des unrestringierten Modells. R des restringierten Modells. Anzahl der Koeffizienten im unrestringierten Modell. Anzahl der Koeffizienten im restringierten Modell. K M : Anzahl der im restringierten Modell auf 0 gesetzten Koeffizienten. 6

63 Das lineare Regressionsmodell mit mehreren Regressoren XVI t-test für die Gleichheit zweier Koeffizienten 0 H : βk,0 = βl,0 : = 0 k l. 0 H βk,0 βl,0 H β β : k,0 l,0 : 0 k l. H βk,0 βl,0 t-statistik: t( K) = ˆ β ˆ β k, l, Var( ˆ β ˆ β ) k, l,. Var( ˆ β ˆ β ) = Var( ˆ β ) + Var( ˆ β ) Cov( ˆ β, ˆ β ). mit k, l, k, l, k, l, 63

64 Zusammenfassung OLS als das am häufigsten angewendete Schätzverfahren. Bedeutsamkeit der Annahmen und Eigenschaften: Heteroskedastie und Autokorrelation Omitted Variable Bias. Inferenz mit t-test: Bedeutsamkeit der ormalverteilungsannahme. Multivariate Regression Herstellung der ökonomischen ceteris paribus Bedingung. 64