Zusammenfassung: Einfache lineare Regression I

4 Multiple lineare Regression Multiples lineares Modell 41 Zusammenfassung: Einfache lineare Regression I Bisher: Annahme der Gültigkeit eines einfachen linearen Modells y i = β 0 + β 1 x i + u i, i {1,, n}, mit der abhängigen Variablen (Regressand) yi, einer unabhängigen, erklärenden Variablen (Regressor) xi, wobei 1 x i als deterministisch angenommen wird und 2 sx 2 > 0 gelten muss, der Störgröße ui, wobei 1 E(u i ) 0, 2 Var(u i ) σ 2 > 0, 3 Cov(u i, u j ) = 0 für alle i, j mit i j sowie meist darüberhinaus eine 4 gemeinsame Normalverteilung der u i, damit insgesamt u i iid N(0, σ 2 ) angenommen wird Ökonometrie (SS 2014) Folie 181 4 Multiple lineare Regression Multiples lineares Modell 41 Zusammenfassung: Einfache lineare Regression II Auf Grundlage dieses Annahmen-Komplexes: Verwendung der KQ-Methode, um eine geschätze Regressionsgerade y = β 0 + β 1 x mit den zugehörigen KQ-Prognosen ŷ i = β 0 + β 1 x i und den zugehörigen KQ-Residuen û i = y i ŷ i zu bestimmen Bestimmung von Konfidenzintervallen und Durchführung von Hypothesentests für die Regressionsparameter β 0 und β 1 Bestimmung von bedingten Punktprognosen und Prognoseintervallen für die abhängige Variable y zu neuen Werten der unabhängigen, erklärenden Variablen x Problem: (Perfekte) Validität der Ergebnisse nur, wenn Modell korrekt und Annahmen-Komplex erfüllt ist! Im Folgenden: Erweiterung des einfachen linearen Regressionsmodells zum multiplen linearen Regressionsmodell Untersuchung der Konsequenz von Annahmeverletzungen Geeignete Reaktion auf bzw geeignete Verfahren im Fall von Annahmeverletzungen Ökonometrie (SS 2014) Folie 182

4 Multiple lineare Regression Multiples lineares Modell 41 Konsequenz bei weggelassener erklärender Variablen I Der omitted variable bias Eine Möglichkeit der Verletzung der Annahmen des einfachen linearen Modells: Modell ist tatsächlich komplexer, y i hänge auch von einer weiteren erklärenden Variablen x i linear in der Gestalt y i = β 0 + β 1 x i + β 2 x i + ɛ i, i {1,, n}, mit β 2 0 ab, wobei die üblichen Annahmen für die Störgrößen ɛ i (insbesondere E(ɛ i ) 0) gelten sollen Wird statt des komplexeren Modells die Gültigkeit eines einfachen linearen Modells angenommen, ist die Abhängigkeit von x i offensichtlich in der Störgröße u i subsummiert, man erhält die Darstellung y i = β 0 + β 1 x i + β 2 x i + ɛ i u i, i {1,, n} Damit gilt im einfachen Modell jedoch E(u i ) = β 2 x i, die Annahme E(u i ) 0 ist also verletzt, sobald x i 0 für mindestens ein i {1,, n} gilt! Ökonometrie (SS 2014) Folie 183 4 Multiple lineare Regression Multiples lineares Modell 41 Konsequenz bei weggelassener erklärender Variablen II Der omitted variable bias Werden trotz dieser Annahmenverletzung Parameterschätzer im einfachen linearen Modell bestimmt, so erhält man beispielsweise für β 1 β 1 = (x i x) ns 2 X (x i x) = β 0 ns 2 X =0 y i = +β 1 und damit E( β s X, X 1 ) = β 1 + β 2 (x i x) ns 2 X (x i x)x i ns 2 X s 2 X! =1 (β 0 + β 1 x i + β 2 x i + ɛ i ) +β 2 (x i x) x i ns 2 X! = s X, X s 2 X + (x i x)ɛ i ns 2 X (s X, X bezeichnet wie üblich die empirische Kovarianz zwischen X und X ) Damit ist β 1 nicht mehr erwartungstreu für β 1, falls s X, X 0 gilt, auch Konfidenzintervalle und Tests werden dann unbrauchbar! Ökonometrie (SS 2014) Folie 184

4 Multiple lineare Regression Multiples lineares Modell 41 Das multiple lineare Regressionsmodell I Lösung des Problems durch Schaffung der Möglichkeit, weitere erklärende Variablen einzubeziehen Erweiterung des einfachen linearen Modells um zusätzliche Regressoren x 2i,, x Ki zum multiplen linearen Modell y i = β 0 + β 1 x 1i + + β K x Ki + u i, i {1,, n}, bzw in Matrixschreibweise mit y = y 1 y n, X = y = Xβ + u 1 x 11 x K1 1 x 1n x Kn, β = β 0 β 1 β K, u = u 1 u n Ökonometrie (SS 2014) Folie 185 4 Multiple lineare Regression Multiples lineares Modell 41 Das multiple lineare Regressionsmodell II Modellannahmen im multiplen linearen Regressionsmodell übertragen sich (zum Teil verallgemeinert) aus einfachem linearen Modell: Für die K unabhängigen, erklärenden Variablen (Regressoren) x 1i,, x Ki wird angenommen, dass 1 die x ki deterministisch sind (für i {1,, n}, k {1,, K}) und dass 2 sich für kein k {1,, K} der Regressor x ki als (für alle i {1,, n} feste) Linearkombination einer Konstanten und der übrigen Regressoren darstellen lässt Äquivalent dazu: Die Regressormatrix X hat vollen (Spalten-)Rang K + 1 x 1i lässt sich nicht als Linearkombination einer Konstanten und der übrigen Regressoren x 2i,, x Ki darstellen Für die Störgrößen u i wird 1 E(u i ) 0 bzw E(u) = 0 mit dem Nullvektor 0 := (0,, 0), 2 Var(u i ) σ 2 > 0, 3 Cov(u i, u j ) = 0 für alle i, j mit i j sowie meist darüberhinaus eine 4 gemeinsame Normalverteilung der u i, damit insgesamt u i iid N(0, σ 2 ) bzw u N(0, σ 2 I n ) mit der (n n)-einheitsmatrix I n angenommen Ökonometrie (SS 2014) Folie 186

4 Multiple lineare Regression Multiples lineares Modell 41 Das multiple lineare Regressionsmodell III Für den Erwartungswert von y i gilt nun E(y i ) = β 0 + β 1 x 1i + + β K x Ki, i {1,, n}, die Regressionsgerade aus dem einfachen linearen Modell wird also nun zu einer Regressionsebene, beschrieben durch die Regressions-Parameter β 0,, β K Der Regressionsparameter (und Steigungskoeffizient) β k gibt nun für k {1,, K} die erwartete Änderung (ohne den Einfluss der Störgröße u i ) von y i an, die aus der Erhöhung des Regressors x ki um eine Einheit resultiert, wenn alle anderen Regressoren konstant gehalten werden Zur Schätzung der Parameter des multiplen Regressionsmodells wird wiederum die Methode der Kleinsten Quadrate (Least Squares, auch Ordinary Least Squares) verwendet Ökonometrie (SS 2014) Folie 187 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell I Die Anwendung der KQ-Methode im multiplen linearen Modell führt zur Suche nach β 0, β 1,, β K R mit (y i ( β 0 + β 1 x i1 + + β K x Ki )) 2! = min β 0,β 1,,β K R (y i (β 0 + β 1 x i1 + + β K x Ki )) 2 In Matrixschreibweise ist also der Vektor β = ( β 0, β 1,, β K ) R K+1 gesucht mit (y X β) (y X β)! = min β R K+1 (y Xβ) (y Xβ) (Zu Matrizen A bzw Vektoren b seien hier und im Folgenden wie üblich mit A bzw b jeweils die transponierten Matrizen bzw Vektoren bezeichnet) Ökonometrie (SS 2014) Folie 188

4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell II Die Matrixdarstellung erlaubt eine kompakte Lösung der Optimierung: Für die zu minimierende Funktion f (β) := (y Xβ) (y Xβ) = y y β X y y Xβ + β X Xβ erhält man den Gradienten = y y 2β X y + β X Xβ f (β) β = 2X y + 2X Xβ = 2(X Xβ X y) und damit wegen der Invertierbarkeit (!) von X X als Lösung von f (β) β! = 0 β = (X X) 1 X y, die wegen der positiven Definitheit (!) von X X auch (einzige) Lösung des Minimierungsproblems ist Ökonometrie (SS 2014) Folie 189 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell III Die Invertierbarkeit von X X ist gewährleistet, da nach Annahme die (n (K + 1))-Matrix X vollen (Spalten-)Rang K + 1 und damit auch die ((K + 1) (K + 1))-Matrix X X vollen Rang K + 1 hat Da X vollen (Spalten-)Rang besitzt, ist X X außerdem positiv definit Eine Verletzung der getroffenen Annahme, dass X vollen (Spalten-)Rang besitzt, bezeichnet man auch als perfekte Multikollinearität der Regressormatrix X Bei Vorliegen von perfekter Multikollinearität ist die KQ-Methode zwar immer noch (allerdings nicht wie eben beschrieben!) durchführbar, der optimale Vektor β ist allerdings nicht mehr eindeutig bestimmt, der zugehörige Parametervektor β damit nicht mehr identifiziert Perfekte Multikollinearität kann durch (zum Teil offensichtliche) Unachtsamkeiten bei der Zusammenstellung der Regressoren entstehen (später mehr!) Ökonometrie (SS 2014) Folie 190

4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell IV Eine andere Darstellung des KQ-Schätzers β ist gegeben durch β 1 β K = s 11 s 12 s 1K s K1 s K2 s KK 1 s 1Y s KY und β 0 = y ( β 1 x 1 + + β K x K ) mit x k = 1 n x ki, s kj = 1 n (x ki x k )(x ji x j ), y = 1 n y i, s ky = 1 n (x ki x k )(y i y) für k, j {1,, K} Ökonometrie (SS 2014) Folie 191 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell V Offensichtlich erhält man für K = 1 hiermit die abgesehen von der leicht abweichenden Notation zum KQ-Schätzer im einfachen linearen Modell übereinstimmende Darstellung Für K = 2 lässt sich die Darstellung β 1 = s 1Y s 11 sowie β0 = y β 1 x 1 β 1 = s 22s 1Y s 12 s 2Y s 11 s 22 s 2 12, β2 = s 11s 2Y s 12 s 1Y s 11 s 22 s 2 12, β0 = y ( β 1 x 1 + β 2 x 2 ) für die KQ-Schätzer ableiten Ökonometrie (SS 2014) Folie 192

4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell VI Wie im einfachen linearen Regressionsmodell definiert man zu den KQ/OLS-geschätzten Parametern β = ( β 0, β 1,, β K ) mit ŷ i := β 0 + β 1 x 1i + β K x Ki, i {1,, n} bzw ŷ := X β die vom (geschätzten) Modell prognostizierten Werte der abhängigen Variablen auf der geschätzten Regressionsebene sowie mit û i := y i ŷ i, i {1,, n} bzw û := y ŷ die Residuen, also die Abstände (in y-richtung) der beobachteten Werte der abhängigen Variablen von den progostizierten Werten auf der geschätzten Regressionsebene Es gilt (analog) n ûi = 0 sowie n x kiû i = 0 für k {1,, K} bzw X û = X (y ŷ) = X y X X β = X y X X(X X) 1 X y = 0 Ökonometrie (SS 2014) Folie 193 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell VII Damit gilt weiter ŷ û = (X β) û = β X û = 0 sowie mit 0 = n ûi = n (y i ŷ i ) auch n y i = n ŷi y = ŷ So erhält man y y = (ŷ + û) (ŷ + û) = ŷ ŷ + û ŷ + ŷ û +û û =0 =0 und durch Substraktion von ny 2 = nŷ 2 auf beiden Seiten y y ny 2 = ŷ ŷ nŷ 2 + û û und damit insgesamt die bekannte Streuungszerlegung (y i y) 2 Total Sum of Squares = (ŷ i ŷ) 2 Explained Sum of Squares + û 2 i Residual Sum of Squares Ökonometrie (SS 2014) Folie 194

4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell VIII Wie im einfachen linearen Modell misst das multiple Bestimmtheitsmaß R 2 = 1 n û2 i n (y i y) 2 = n (ŷ i ŷ) 2 n (y i y) 2 = 1 RSS TSS = ESS TSS den Anteil der durch den (geschätzten) linearen Zusammenhang erklärten Streuung an der gesamten Streuung der abhängigen Variablen Es gilt weiterhin 0 R 2 1 Bei der Hinzunahme weiterer erklärender Variablen (Regressoren) in ein bestehendes lineares Modell kann sich im Laufe der KQ/OLS-Schätzung der Zielfunktionswert an der Minimumstelle, RSS = n û2 i, offensichtlich höchstens weiter verringern Damit führt die Hinzunahme weiterer (auch eigentlich irrelevanter) Regressoren höchstens zu einer Zunahme des multiplen Bestimmtheitsmaßes R 2 Ökonometrie (SS 2014) Folie 195 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell IX Um einen aussagekräftigeren Vergleich der Bestimmtheitmaße eines ursprünglichen und eines erweiterten Modells durchführen zu können, kann das adjustierte Bestimmtheitsmaß R 2 := 1 1 n (K+1) RSS 1 n 1 TSS = 1 n 1 RSS n (K + 1) TSS verwendet werden Dieses kann sich bei Erweiterung eines Modells um zusätzliche Regressoren auch verringern (und sogar negativ werden) Es gilt (offensichtlich) stets R 2 R 2 1 Ökonometrie (SS 2014) Folie 196

4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell X Bei der Berechnung von R 2 wird die für σ 2 = Var(u i ) erwartungstreue Schätzfunktion verwendet σ 2 = 1 n (K + 1) ûi 2 = û û n (K + 1) = RSS n (K + 1) Wie im einfachen linearen Modell wird die positive Wurzel + σ2 dieser Schätzfunktion als Standard Error of the Regression (SER) oder residual standard error bezeichnet Die Korrektur um K + 1 Freiheitsgrade erklärt sich dadurch, dass nun K + 1 Beobachtungen nötig sind, um die Regressionsebene (eindeutig) bestimmen zu können Ökonometrie (SS 2014) Folie 197 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell XI Die Schätzfunktion β = (X X) 1 X y ist offensichtlich linear in den y i Einsetzen von y = Xβ + u liefert die Darstellung β = (X X) 1 X y = (X X) 1 X (Xβ + u) = (X X) 1 (X X)β + (X X) 1 X u = β + (X X) 1 X u von β, unter der Annahme E(u) = 0 folgt daraus sofort E( β) = β und damit die Erwartungstreue von β für β Für die (Varianz-)Kovarianzmatrix V( β) von β erhält man mit der obigen Darstellung für β wegen der Symmetrie von (X X) 1 weiter [ ( V( β) ) ( ) ] = E β E( β) β E( β) [ ((X = E X) 1 X u ) ( (X X) 1 X u ) ] = E [ (X X) 1 X uu =V(u)=σ 2 I n X(X X) 1] = σ 2 (X X) 1 X X(X X) 1 = σ 2 (X X) 1 Ökonometrie (SS 2014) Folie 198

4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell XII Die (symmetrische) Matrix V( β) enthält alle Varianzen der Parameterschätzer β 0, β 1,, β K sowie deren paarweise Kovarianzen in der Gestalt V( β) = Var( β 0 ) Cov( β 0, β 1 ) Cov( β 0, β K ) Cov( β 1, β 0 ) Var( β 1 ) Cov( β 1, β K ) Cov( β K, β 0 ) Cov( β K, β 1 ) Var( β K ) V( β) = σ 2 (X X) 1 kann unter Zuhilfenahme von σ 2 durch geschätzt werden V( β) = σ 2 (X X) 1 Ökonometrie (SS 2014) Folie 199 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell XIII Man erhält so Schätzwerte für die Varianzen der Schätzer β 0, β 1,, β K sowie deren paarweise Kovarianzen in der Gestalt Var( β 0 ) Ĉov( β 0, β 1 ) Ĉov( β 0, β K ) V( β) Ĉov( = β 1, β 0 ) Var( β1 ) Ĉov( β 1, β K ) Ĉov( β K, β 0 ) Ĉov( β K, β 1 ) Var( βk ) Die (positiven) Wurzeln der Hauptdiagonalelemente von σ β0 := V( β), Var( β 0 ), σ β1 := Var( β 1 ),, := Var( β σ βk K ), werden wie üblich als Standardfehler der Parameterschätzer β 0, β 1,, β K bezeichnet Ökonometrie (SS 2014) Folie 200

4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell XIV Zusammengefasst erhält man unter bisherigen Annahmen an X sowie den anfangs getroffenen Annahmen 1 E(u i ) 0, 2 Var(u i ) σ 2 > 0, 3 Cov(u i, u j ) = 0 für alle i, j mit i j an die Störgrößen u i, i {1,, n}, dass β eine in yi lineare Schätzfunktion ist, β erwartungstreu für β ist, β die Varianz-Kovarianzmatrix V( β) = σ 2 (X X) 1 besitzt Der Satz von Gauß-Markov sichert darüberhinaus, dass β sogar die beste lineare unverzerrte Schätzfunktion (BLUE) ist Unter der zusätzlichen Annahme einer 4 gemeinsamen Normalverteilung der u i erhält man mit der Linearität sofort die Normalverteilungseigenschaft von β, also β N ( β, σ 2 (X X) 1) Außerdem kann man zeigen, dass β dann sogar varianzminial unter allen für β erwartungstreuen Schätzfunktionen ist Ökonometrie (SS 2014) Folie 201 4 Multiple lineare Regression Parameterschätzung 42 Schätzung im multiplen linearen Modell XV Auch ohne Normalverteilungsannahme für die u i kann man unter gewissen technischen Voraussetzungen (die hier nicht näher ausgeführt werden) zeigen, dass die Verteilung von β bei wachsendem Beobachtungsumfang n gegen eine (mehrdimensionale) Normalverteilung konvergiert In der Praxis bedeutet dies, dass man auch für endliches n als geeignete Näherung der Verteilung von β häufig eine mehrdimensionale Normalverteilung mit dem Erwartungswertvektor β und der Varianz-Kovarianzmatrix σ 2 (X X) 1 verwenden kann Wie gut diese Näherung ist, hängt wieder von vom konkreten Anwendungsfall ab; insbesondere steigt die Qualität der Näherung idr mit wachsendem n, ist die Näherung umso besser, je ähnlicher die tatsächliche Verteilung der ui einer Normalverteilung ist In der Praxis beurteilt man die Nähe der Verteilung der (unbeobachteten!) Störgrößen u i zu einer Normalverteilung mit Hilfe der (geschätzten!) Residuen û i Ökonometrie (SS 2014) Folie 202

4 Multiple lineare Regression Konfidenzintervalle und Tests 43 Konfidenzintervalle und Tests für einzelne Parameter Konfidenzintervalle und Tests für einzelne Parameter können ganz analog zum einfachen linearen Modell konstruiert werden Für die Komponenten β k, k {0,, K}, des Parameterschätzers β gilt bei Normalverteilungsannahme an die u i exakt (sonst ggf approximativ) β k β k σ βk t(n (K + 1)), k {0,, K} Hieraus ergeben sich für k {0,, K} unmittelbar die zum einfachen linearen Modell analogen Formeln der (ggf approximativen) (symmetrischen) Konfidenzintervalle für β k zum Konfidenzniveau 1 α bzw zur Vertrauenswahrscheinlichkeit 1 α als [ ] βk t n (K+1);1 α 2 σ βk, βk + t n (K+1);1 α 2 σ βk Ebenfalls analog erhält man t-tests für die Regressionsparameter β 0, β 1,, β K Ökonometrie (SS 2014) Folie 203 4 Multiple lineare Regression Konfidenzintervalle und Tests 43 Zusammenfassung: t-test für den Parameter β k im multiplen linearen Regressionsmodell Anwendungs- exakt: y = Xβ + u mit u N(0, σ 2 I n ), voraussetzungen approx: y = Xβ + u mit E(u) = 0, V(u) = σ 2 I n, σ 2 unbekannt, X deterministisch mit vollem Spaltenrang K + 1, Realisation y = (y 1,, y n ) beobachtet Nullhypothese H 0 : β k = βk 0 H 0 : β k βk 0 H 0 : β k βk 0 Gegenhypothese H 1 : β k βk 0 H 1 : β k > βk 0 H 1 : β k < βk 0 Teststatistik Verteilung (H 0 ) Benötigte Größen βk = t = β k βk 0 σ βk t für β k = βk 0 (näherungsweise) t(n (K + 1))-verteilt [ ] (X X) 1 X y k, σ βk = wobei û = y X(X X) 1 X y σ 2 [(X X) 1 ] kk mit σ 2 = û û n (K+1), Kritischer Bereich (, t n (K+1);1 α 2 ) (t n (K+1);1 α, ) (, t n (K+1);1 α ) zum Niveau α (t n (K+1);1 α 2, ) p-wert 2 (1 F t(n (K+1)) ( t )) 1 F t(n (K+1)) (t) F t(n (K+1)) (t) Ökonometrie (SS 2014) Folie 204