Tests einzelner linearer Hypothesen I

Transkript

1 4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5 Tests einzelner linearer Hypothesen I Neben Tests für einzelne Regressionsparameter sind auch Tests (und Konfidenzintervalle) für Linearkombinationen von Regressionsparametern problemlos möglich. Bei Vorliegen der Normalverteilungseigenschaft u i iid N(0, σ 2 ) bzw. u N(0, σ 2 I n ) gilt bekanntlich β N ( β, σ 2 (X X) 1), und auch ohne Normalverteilungsannahme an die u i ist die approximative Verwendung einer (mehrdimensionalen) Normalverteilung für β oft sinnvoll. Damit gilt allerdings nicht nur β k N(β k, σ 2 ) bzw. β k N(βk, σ 2 ) für k {0,..., K}, sondern darüberhinaus, dass jede beliebige Linearkombination der Koeffizientenschätzer β 0, β 1,..., β K (näherungsweise) normalverteilt ist. Ökonometrie (SS 2014) Folie 221

2 4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5 Tests einzelner linearer Hypothesen II Tests über einzelne Linearkombinationen von Regressionsparametern lassen sich mit Hilfe von K + 1 Koeffizienten a 0, a 1,..., a K R für die Parameter β 0, β 1,..., β K sowie einem Skalar c R in den Varianten H 0 : H 1 : K a k β k = c H 0 : k=0 K a k β k c H 0 : k=0 K a k β k c vs. vs. vs. K a k β k c K H 1 : a k β k > c K H 1 : a k β k < c k=0 k=0 bzw. in vektorieller Schreibweise mit a := [ a 0 a 1 a K ] als H 0 : a β = c H 0 : a β c H 0 : a β c k=0 k=0 vs. vs. vs. H 1 : a β c H 1 : a β > c H 1 : a β < c formulieren. Ökonometrie (SS 2014) Folie 222

3 4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5 Tests einzelner linearer Hypothesen III Mit den bekannten Rechenregeln für die Momente von Linearkombinationen eines Zufallsvektors (vgl. Folie 50) erhält man zunächst a β N ( a β, σ 2 a (X X) 1 a ) bzw. a β N ( a β, σ 2 a (X X) 1 a ). Ersetzt man die unbekannte Störgrößenvarianz σ 2 wie üblich durch den (erwartungstreuen) Schätzer σ 2, so erhält man die Verteilungsaussage a β a β σ a (X X) 1 a t(n (K + 1)) bzw. a β a β σ t(n (K +1)), a (X X) 1 a woraus sich in gewohnter Weise Konfidenzintervalle und Tests konstruieren lassen. Ökonometrie (SS 2014) Folie 223

4 4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5 Zusammenfassung: t-test für einzelne lineare Hypothesen im multiplen linearen Regressionsmodell Anwendungs- exakt: y = Xβ + u mit u N(0, σ 2 I n), voraussetzungen approx.: y = Xβ + u mit E(u) = 0, V(u) = σ 2 I n, σ 2 unbekannt, X deterministisch mit vollem Spaltenrang K + 1, Realisation y = (y 1,..., y n) beobachtet Nullhypothese H 0 : a β = c H 0 : a β c H 0 : a β c Gegenhypothese H 1 : a β c H 1 : a β > c H 1 : a β < c Teststatistik a β c t = σ a (X X) 1 a Verteilung (H 0) t für a β = c (näherungsweise) t(n (K + 1))-verteilt Benötigte Größen β = (X X) 1 X y, σ 2 = û û, wobei û = y X β n (K + 1) Kritischer Bereich (, t n (K+1);1 α 2 ) (t n (K+1);1 α, ) (, t n (K+1);1 α ) zum Niveau α (t n (K+1);1 α 2, ) p-wert 2 (1 F t(n (K+1)) ( t )) 1 F t(n (K+1)) (t) F t(n (K+1)) (t) Ökonometrie (SS 2014) Folie 224

5 4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5 Beispiel: Test einer einzelnen linearen Hypothese I Im vorangegangenen Beispiel (Lohnhöhe erklärt durch Ausbildung und Alter) kann (im korrekt spezifizierten Modell) zum Beispiel getestet werden, ob der (isolierte) Effekt eines weiteren Ausbildungsjahres mehr als doppelt so groß wie der (isolierte) Effekt eines zusätzlichen Lebensjahres ist, also ob β 1 > 2 β 2 gilt. Die passende Hypothesenformulierung lautet in diesem Fall H 0 : β 1 2 β 2 0 gegen H 1 : β 1 2 β 2 > 0 bzw. in der bisherigen Schreibweise mit a = [ ] und c = 0. H 0 : a β c gegen H 1 : a β > c Ökonometrie (SS 2014) Folie 225

6 4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5 Beispiel: Test einer einzelnen linearen Hypothese II Mit (X X) 1 und σ wie auf Folie 218 angegeben erhält man zunächst a (X X) 1 a = [ ] = und mit a β = [ ] = die realisierte Teststatistik t = a β c σ a (X X) 1 a = = H 0 kann hier zum Signifikanzniveau α = 0.05 nicht abgelehnt werden, da t = / (1.74, ) = (t 17;0.95, ) = (t n (K+1);1 α, ) = K. Ökonometrie (SS 2014) Folie 226

7 4 Multiple lineare Regression Konfidenzintervalle für Linearkombinationen 4.6 Konfidenzintervalle für (einzelne) Linearkombinationen Ein (ggf. approximatives) symmetrisches Konfidenzintervall für a β zum Konfidenzniveau 1 α erhält man auf vergleichbare Art und Weise durch: [ ] a β tn (K+1);1 α σ a (X X) 1 a, a β 2 + tn (K+1);1 α σ a (X X) 1 a 2 Im vorangegangenen Beispiel erhält man somit ein Konfidenzintervall für β 1 2 β 2, also für a β mit a = [ ], zum Konfidenzniveau 1 α = 0.95 unter Verwendung der bisherigen Zwischenergebnisse sowie von t 17;0.975 = 2.11 durch: [ a β tn (K+1);1 α 2 σ a (X X) 1 a, a β + tn (K+1);1 α = ] σ a (X X) 1 a 2 ] [ , = [ , ] Ökonometrie (SS 2014) Folie 227

8 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 (Simultane) Tests mehrerer linearer Hypothesen I Neben einzelnen linearen Hypothesen können auch mehrere lineare Hypothesen simultan überprüft werden. Die Nullhypothese H 0 solcher Tests enthält L lineare (Gleichheits-)Restriktionen in der Gestalt a 10 β 0 + a 11 β a 1K β K = c 1 a 20 β 0 + a 21 β a 2K β K = c 2... a L0 β 0 + a L1 β a LK β K = c L bzw. K a lk β k = c l für l {1,..., L}. k=0 Ökonometrie (SS 2014) Folie 228

9 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 (Simultane) Tests mehrerer linearer Hypothesen II Mit dem L-dimensionalen Vektor c := [ c 1 ] c L und der (L (K + 1))-Matrix A := a 10 a 11 a 1K... a L0 a L1 a LK lässt sich die Nullhypothese auch als Aβ = c schreiben. H 1 ist (wie immer) genau dann erfüllt, wenn H 0 verletzt ist, hier also wenn mindestens eine Gleichheitsrestriktion nicht gilt. Da Vektoren genau dann übereinstimmen, wenn alle Komponenten gleich sind, kann das Hypothesenpaar also in der Form kompakt notiert werden. H 0 : Aβ = c gegen H 1 : Aβ c Ökonometrie (SS 2014) Folie 229

10 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 (Simultane) Tests mehrerer linearer Hypothesen III Zur Konstruktion eines Hypothesentests fordert man zunächst, dass A weder redundante noch zu viele Linearkombinationen enthält, dass A also vollen Zeilenrang L besitzt. Eine geeignete Testgröße zur gemeinsamen Überprüfung der L linearen Restriktionen aus der Nullhypothese ist dann (A β c) [ A(X X) 1 A ] 1 (A β c) /L F = û û/(n (K + 1)) (A β ] 1 c) [ σ2 A(X X) 1 A (A β c) = L. Man kann zeigen, dass F bei Gültigkeit von H 0 : Aβ = c unter den bisherigen Annahmen (einschließlich der Annahme u N(0, σ 2 I n )) einer sogenannten F -Verteilung mit L Zähler- und n (K + 1) Nennerfreiheitsgraden folgt, in Zeichen F F (L, n (K + 1)). Ökonometrie (SS 2014) Folie 230

11 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 (Simultane) Tests mehrerer linearer Hypothesen IV Die F -Statistik aus Folie 230 ist im Wesentlichen eine (positiv definite) quadratische Form in den empirischen Verletzungen A β c der Nullhypothese. Besonders große Werte der F -Statistik sprechen also gegen die Gültigkeit der Nullhypothese. Entsprechend bietet sich als kritischer Bereich zum Signifikanzniveau α K = (F L,n (K+1);α, ) an, wobei mit F m,n;p das p-quantil der F (m, n)-verteilung (F -Verteilung mit m Zähler- und n Nennerfreiheitsgraden) bezeichnet ist. Auch bei Verletzung der Normalverteilungsannahme ist eine approximative Annahme der F (L, n (K + 1))-Verteilung (unter H 0!) und damit ein approximativer Test sinnvoll. Ökonometrie (SS 2014) Folie 231

12 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 Grafische Darstellung einiger F (m, n)-verteilungen für m, n {2, 5, 10} f(x) F(2, 2) F(5, 2) F(10, 2) F(2, 5) F(5, 5) F(10, 5) F(2, 10) F(5, 10) F(10, 10) x Ökonometrie (SS 2014) Folie 232

13 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen Quantile der F (m, n)-verteilungen F m,n;0.95 n\m Ökonometrie (SS 2014) Folie 233

14 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 Zusammenfassung: F -Test für L 1 lineare Restriktionen im multiplen linearen Regressionsmodell Anwendungs- exakt: y = Xβ + u mit u N(0, σ 2 I n), voraussetzungen approx.: y = Xβ + u mit E(u) = 0, V(u) = σ 2 I n, σ 2 unbekannt, X deterministisch mit vollem Spaltenrang K + 1, Realisation y = (y 1,..., y n) beobachtet, c R L, (L (K + 1))-Matrix A mit vollem Zeilenrang L Nullhypothese Gegenhypothese H 0 : Aβ = c H 1 : Aβ c (A β ] 1 c) [ σ2 A(X X) 1 A (A β c) Teststatistik F = L Verteilung (H 0) Benötigte Größen β = (X X) 1 X y, σ 2 = F ist (approx.) F (L, n (K + 1))-verteilt, falls Aβ = c û û, wobei û = y X β n (K + 1) Kritischer Bereich (F L,n (K+1);1 α, ) zum Niveau α p-wert 1 F F (L,n (K+1)) (F ) Ökonometrie (SS 2014) Folie 234

15 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 Ein spezieller F -Test auf Signifikanz des Erklärungsansatzes Eine spezielle, häufig verwendete Ausgestaltung des F -Tests überprüft (simultan), ob mindestens ein Regressor einen (signifikanten) Effekt auf den Regressanden hat. Die Hypothesen lauten also: H 0 : β 1 =... = β K = 0 gegen H 1 : β k 0 für mind. ein k {1,..., K} Die realisierte Teststatistik zu diesem Test, die Anzahl der (Zähler- und Nenner-)Freiheitsgrade der (F -)Verteilung unter H 0 sowie der p-wert der realiserten Teststatistik sind üblicherweise Bestandteil von Regressionsoutputs zu Schätzungen linearer Modelle mit Statistik-Software. In der Schätzung des korrekt spezifizierten Modells aus Folie 207 liest man beispielsweise die realisierte Teststatistik F = 15.29, 2 Zähler- und 17 Nennerfreiheitsgrade der F -Verteilung unter H 0 sowie den p-wert ab. Ökonometrie (SS 2014) Folie 235

16 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 Alternative Darstellungen der F -Statistik I Es kann gezeigt werden, dass man unter den getroffenen Annahmen die realisierte F -Statistik auch berechnen kann, in dem man neben dem eigentlichen unrestringierten Regressionsmodell das sogenannte restringierte Regressionsmodell schätzt und die Ergebnisse vergleicht. Die Schätzung des restringierten Modells erfolgt als Lösung des ursprünglichen KQ-Optimierungsproblems unter der Nebenbedingung Aβ = c. Werden mit RSS 0 die Summe der quadrierten Residuen bzw. mit R 2 0 das Bestimmtheitsmaß der restringierten Modellschätzung bezeichnet, lässt sich die F -Statistik auch als F = (RSS 0 RSS)/L RSS/(n (K + 1)) = (R 2 R0 2)/L (1 R 2 )/(n (K + 1)) darstellen, wenn mit RSS, R 2 bzw. K wie üblich die Summe der quadrierten Residuen, das Bestimmtheitsmaß bzw. die Anzahl der Regressoren des unrestringierten Modells bezeichnet werden und L die Anzahl der linearen Restriktionen (Anzahl der Zeilen von A) ist. Ökonometrie (SS 2014) Folie 236

17 4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7 Alternative Darstellungen der F -Statistik II Insbesondere wenn die linearen Restriktionen im Ausschluss einiger der Regressoren bestehen, die Nullhypothese also die Gestalt H 0 : β j = 0 für j J {1,..., K} mit J = L besitzt, kann die Schätzung des restringierten Modells natürlich durch die Schätzung des entsprechend verkleinerten Regressionsmodells erfolgen. Im bereits betrachteten Spezialfall J = {1,..., K} bzw. H 0 : β 1 =... = β K = 0 gegen H 1 : β k 0 für mind. ein k {1,..., K} gilt offensichtlich R0 2 = 0, damit kann die F -Statistik ohne weitere Schätzung auch durch R 2 /K F = (1 R 2 )/(n (K + 1)) ausgewertet werden. Ökonometrie (SS 2014) Folie 237

18 4 Multiple lineare Regression Konfidenzellipsen 4.8 Konfidenzellipsen für mehrere Parameter I Konfidenzintervalle für einen Regressionsparameter β k zur Vertrauenswahrscheinlichkeit 1 α bestehen aus genau den hypothetischen Parameterwerten βk 0, zu denen ein (zweiseitiger) Signifikanztest zum Signifikanzniveau α (mit H 0 : β k = βk 0 ) die Nullhypothese nicht ablehnt. Dieses Konzept lässt sich problemlos auf Konfidenzbereiche (simultan) für mehrere Regressionsparameter erweitern; wegen der resultierenden Gestalt werden diese Konfidenzellipsen oder ggf. Konfidenzellipsoide genannt. Für eine Teilmenge J = {j 1,..., j L } {0,..., K} mit J = L enthält also ein Konfidenzbereich für den Parameter(teil)vektor (β j1,..., β jl ) zum Konfidenzniveau 1 α genau die Vektoren (β 0 j 1,..., β 0 j L ), für die ein F -Test zum Signifikanzniveau α mit diese Nullhypothese nicht verwirft. H 0 : β j1 = β 0 j 1... β jl = β 0 j L Ökonometrie (SS 2014) Folie 238

19 4 Multiple lineare Regression Konfidenzellipsen 4.8 Konfidenzellipsen für mehrere Parameter II Da der F -Test H 0 genau dann nicht verwirft, wenn für die Teststatistik (A β ] 1 c) [ σ2 A(X X) 1 A (A β c) F = L F L,n (K+1);1 α gilt, wird der Konfidenzbereich zum Niveau 1 α also durch die Menge {c R L (A β c) [ σ2 A(X X) 1 A ] 1 (A β c) L FL,n (K+1);1 α } beschrieben, wobei die Matrix A aus L Zeilen besteht und die Zeile l jeweils in der (zu β jl gehörenden) (j l + 1)-ten Spalte den Eintrag 1 hat und sonst nur Nullen beinhaltet. Konfidenzellipsen bzw. -ellipsoide sind auch für mehrere Linearkombinationen der Regressionsparameter als Verallgemeinerung der Konfidenzintervalle für einzelne Linearkombinationen ganz analog konstruierbar, es muss lediglich die entsprechende (allgemeinere) Matrix A eingesetzt werden. Ökonometrie (SS 2014) Folie 239

20 4 Multiple lineare Regression Konfidenzellipsen 4.8 Beispiel: Konfidenzellipse für β 1 und β 2 im korrekt spezifizierten Modell von Folie 207 Alter β Ausbildung β 1 Ökonometrie (SS 2014) Folie 240