Testen von Regressionskoeffizienten bei multipler Regression (ausführlichere Erläuterungen und Zahlenbeispiele) 1

Transkript

1 Prof. Dr. Peer von der Lippe (aisik) Januar 7 Universiä Duisburg-Essen, Campus Essen Tesen von Regressionskoeffizienen bei mulipler Regression (ausführlichere Erläuerungen und Zahlenbeispiele). Übersich Gegeben is die geschäze Regressionsgleichung ŷ α + x + x K x K i (K is hier die Anzahl der Regressoren, nich die Anzahl der zu schäzenden Regressionskoeffizienen, die wegen α bei dieser Noaion K + is; darauf is bein Vergleich der Formeln in diesem Papier mi ensprechenden Formeln an anderer elle, wo die Noaion evl. anders gewähl wurde, zu achen). Die geschäzen Varianzen σ der Regressionskoeffizienen und dami auch die andardabweichungen ( σs, σ, σ,...) werden benöig, um Konfidenzinervalle zu berechnen und α Hypoheseness durchzuführen. Im Falle von K Regressoren gil ) (bei -Vereilung mi T-3 Freiheisgeraden denn 3 K +) σ σ (und σ analog) mi ( R ) σ T. σ α + (x ) σ + (x ) σ Die folgenden Formeln für + x x σ (K, T 3 σ α σ und sind leich als spezielle Fälle hieraus herleibar. ) sowie σ im Falle der einfachen linearen Regression (K ) σ σ mi xx u x σ σ sowie σ α σ σ T + x T xx T Bei der muliplen Regression sind jez folgende Tess möglich. ignifikanzess (-Tess) über einzelne Regressionskoeffizienen bzw. eine Linearkombinaion von Regressionskoeffizienen. a) Die Nullhypohese könne dann lauen H : 3 oder,5 oder +, so dass b) Die Nullhypohese is eine Gleichung, die mehrere Regressionskoeffizienen umfass. Die Hypohese + wäre ein Beispiel für eine Linearkombinaion, die allgemein formulier k' c in diesem Beispiel wären die Vekoren k ' [ ] ' [ ] und der kalar c ). Und eine Ar von ignifikanzess, die es bei einfacher Regression noch nich gib:. ignifikanzess (F-Tess) über einige bzw. alle Regressionskoeffizienen a) alle: ignifikanz des Gesamzusammenhangs (K Regressoren) 3 H :... K Vgl. Download "Übersich zur chäz- und Tesheorie in der Regressionsanalyse". Im Grunde sind dor alle Formeln und Vorgehensweisen, die hier erläuer werden, auch bereis genann und knapp dargesell. Der hier vorliegende Download is dazu nur eine weiere Erläuerung und Veranschaulichung mi Zahlenbeispielen. sandard deviaions, oder sandard errors 3 Das Absoluglied α wird hier nich berache.

2 von der Lippe, Tesen bei mulipler Regression (Ökonomerie, Uni DU) b) einige (mehrere): sind die (zusäzlichen) Regressoren x 3 und x 4 signifikan? (über x und x wird keine Hypohese gebilde) H : 3 4 ( und können dann irgendwelche Were haben) Bei Gelung von H ha das Modell jez L (Anzahl der Gleichheiszeichen zählen!) Resrikionen (oder "Linearkombinaionen"). Man erhäl somi das folgende chema Hypoheseness bei mulipler Regression -Tes F-Tes a) -Tes für einzelne Koeffizienen Tes on an individual coefficien b) Linearkombinaion von Regressionskoeffizienen a) alle Regressoren join significance es on he coefficiens in he general model b) einige Regressoren join significance es on a subgroup of regression coefficiens. Der -Tes (und das Konfidenzinervall) für einen einzelnen Regressionskoeffizienen (Fall a) Bei der Hypohese H : i c is die Prüfgröße Zahlenbeispiel (Affenaufgabe) T 5 Geschäze Gleichung V σ 44,84 3,4 c T-K- (äquivalen F, T-K- ) 4 i σ i ŷ 8+,5x, 349, σ /(T ) 349/3 6, 33 3,4,46 ( X'X), r,8864, r,7857, 68, 8,5 H : Prüfgröße 3,373, σ,46 yy der Tabellenwer der -Vereilung bei T- 3 Freiheisgraden und einem ignifikanzniveau von 5 % zweiseiig is,3534 also is,5 gegen gesicher, da 3,373 >,3534. Die Grenzen des 95 % Konfidenzinervalls sind dann ensprechend bei,5 +,3534, 46 und bei α sind die Grenzen - 8 ±, , Der Tes läuf also auf das Gleiche hinaus wie ein F-Tes mi der Prüfgröße, die dann F-vereil is mi einem und T - K - Freiheisgraden (vgl. Abschn. 4b).

3 von der Lippe, Tesen bei mulipler Regression (Ökonomerie, Uni DU) 3 3. Tesen einer (L ) Linearkombinaion (linearen Resrikion) mi dem -Tes (Fall b) H : r + r q (Beispiel aus dem Buch von L.v.Auer,. 94) 5. r ' r r q is Die geschäze andardabweichung von dieser Linearkombinaion 6 [ ] σ σ σ R. dann se r r r r mi + σ und die Prüfgröße laue dann r' ( R.) ( R.) ( R.) T 3 q T K. se Auch dieser Tes is wieder äquivalen eines Tess der Prüfgröße mi der F-Vereilung bei L und T-K- Freiheisgraden gem. Abschn. 5. Auch das isoliere Tesen eines Regressors ewa (Abschn. ) is ein pezialfall dieses Abschnis. Dann is r und r. Die (geschäze) andardabweichung se σ is dann / einfach [ σ / ( R )].. Zahlenbeispiele für diesen Tes sind in der Lieraur nich leich zu finden, weil der Zahlenwer für die Kovariaion (x x)(x x ) meis nich migeeil wird. Im Folgenden ein Beispiel aus Murphy, Inroducory Economerics, p. 9 ŷ,584,494 x +,5 mi T 4, K. x Für die ummen der (quadrieren) Abweichungen erhäl man 473, 983 3,6 und 63,54. Die Hypohese könne hier lauen oder : +. Für die andardabweichung der Linearkombinaion erhäl man bei H σ 7,838 und R r, 88.. / 7,838,88 se +,455 und die berechnee Prüfgröße is dann, ,5 (,494 +,5) 3,549. ie is mi dem Tabellenwer der -Vereilung zu,455 vergleichen. Der Tabellenwer der -Vereilungs-Tabelle is bei T-K Freiheisgraden und 5% einseiig,8, so dass H abzulehnen is. Auch bei einer größeren ichprobe nich signifikan, weil der ensprechende Wer der andardnormalvereilung,6449 beräg. Mi der Hypohese H : +, 5 erhiele man jedoch einen viel kleineren Zähler in der Prüfgröße, nämlich,57 und dami,496, was <,8 is, also diese H könne man nich verwerfen. / 5 q is hier eine Konsane wie c. 6 Eine spezielle Linearkombinaion dieser Ar lieg auch den bekannen Formeln für das Prognoseinervall bei linearer einfacher Regression zugrunde mi k und k x, sowie dem Koeffizienenvekor [α ], also mi dem Modell α + x.

4 4 von der Lippe, Tesen bei mulipler Regression (Ökonomerie, Uni DU) 4. Der F-Tes für ignifikanz aller Regressoren (Fall a) a) Zweifache Regression Demonsrier wieder mi dem Beispiel aus Murphy, Inroducory Economerics, p. 9 ŷ,584,494 x +,5 x mi T 4, K (Anzahl der Regressoren), die geschäzen andardabweichungen sind σ, 897 und σ, Die -Were / σ sind 5,34 bei und 3,99 bei (ensprechend nimm F die Were 8, bzw. 5,8 an). Bei diesen Weren für sind die Regressionskoeffizienen für sich genommen jeweils gegen und gesicher. ind sie auch zusammen genommen von Null verschieden? Kann also auch H : (mi L Resrikionen) verworfen werden? Dazu is die folgende Tabelle zu berechnen (ME mean square error Variaion / Anzahl der Freiheisgerade) 7 Variaion Freiheisgrade ME erklär (Regression) 7,96 residual 374, 595 (nich erklär) K 7,96 356, 48 T-K- 374,595 7, 838 oal yy 86, 89 T- 3 Die F-vereile Prüfgröße is dann erklärevarianz / K F F K, T-K- Residual Varianz /(T K ) Im Beispiel is F 356,48 / 7,838 9,966 und der Wer in der F-Tabelle bei 5 % ignifikanzniveau und und Freiheisgraden is 3,47. Also is H zu verwerfen und und sind vermulich nich beide Null (was nich überrasch weil ja auch jeder Regressor einzeln, also für sich genommen, nach -Tes signifikan is). Der Gesamzusammenhang is gesicher. 8 b) Einfache Regression als pezialfall Wieder Affenaufgabe als Beispiel. Das Ergebnis des F-Tess is naürlich das gleiche wie beim -Tes. is zu errechnen als r yy, ,8 79,8. 7 Terminologie: eine Variaion is eine umme von Abweichungsquadrae (Abweichungen einer Größe von ihrem Mielwer). Eine Varianz is eine Variaion dividier durch die Anzahl der Freiheisgrade. Es gib bei der obigen Ar der Varianzanalyse nur zwei Variaionsquellen: erklär (durch die Regressionsgleichung) und nich erklär (örgröße). 8 o, wie man bei einem Regressor ein Konfidenzinervall mi der -Vereilung besimm, so kann man auch für zwei Regressoren gemeinsam eine Konfidenzellipse mi der F-Vereilung besimmen (oder allgemein ein Konfidenzellipsoid bei K Regressoren). Auch hier is der Fall eines Regressors (Konfidenzinervall, -Vereilung) wieder ein pezialfall des Falles mehrerer Regressoren (Konfidenzellipsoid, F-Vereilung).

5 von der Lippe, Tesen bei mulipler Regression (Ökonomerie, Uni DU) 5 erklär residual Variaion Freiheisgrade ME 79,8 (Regression) K 79,8 349 (nich erklär) T-K- 3 6,33 σ u Beache: K is hier die Anzahl der Regressoren, nich die Anzahl der zu schäzenden Parameer. Die is k K+. Mi k wären die Freiheisgrade ensprechend k- und T-k. F,46 wie man sieh, is das gleich denn 3,373. Wenn es nur einen Regressor x gib, is der "Gesam"-Zusammenhang naürlich dann gesicher, wenn der eine Regressor signifikan is, also beim -Tes H abgelehn wird. 5. Der F-Tes für eine Teilgruppe von Regressoren (ignifikanz hinzukommender Regressoren) ( Fall b) Es is zu unerscheiden: das unresringiere Modell (mi allen Regressoren), ewa ŷ α + x +x x 5 (K 5) und das resringiere Modell (bei Gelung von H ), wenn alle hinzukommenden Regressoren (zusammen) nich signifikan sind, ewa (als Beispiel) : (es gil L 4 Resrikionen und R q H die Marix R is hier gleich der Einheismarix I) Die umme der Quadrae der Abweichungen (Residuen) is größer beim resringieren Modell als beim vollen (nich-resringieren) Modell, denn wenn die hinzugenommenen Regressoren eine Erklärungskraf haben, wirk sich das dahingehende aus, dass die umme der quadrieren geschäzen Were der örgröße verringer. Die F-vereile Prüfgröße laue jez ( ) / L F F L, T-K- und es gil / (T K ) is die umme der quadrieren Abweichungen im resringieren Modell (bei Gelung von H ) und is die ensprechende umme im vollen Modell (mi allen Regressoren). gil weil yy yy + beim vollen Modell und in gleicher weise auch + beim resringieren Modell. 9 Die F-aisik ha deshalb die zusäzliche (durch hinzukommende Regressoren) erkläre Variaion im Zähler. Das folgende Zahlenbeispiel is wieder dem Buch von Murphy ennommen (T 5): 9 Die (nich erkläre) Residualvariaion nimm somi im gleichen Maße ab wie die erkläre Variaion zunimm, wenn man vom resringieren Modell (ohne die Regressoren ) zum vollen Modell übergeh. Die Differenz wäre nur dann Null, wenn wie in H angenommen wird, die zusäzlichen Regressoren keinen Erklärungsbeirag liefern würden.

6 6 von der Lippe, Tesen bei mulipler Regression (Ökonomerie, Uni DU) erklär Variaion df* ME 98 (volles Modell, alle Regressoren) K 5 98/5 39,6 residual 34,7 (nich erklär im vollen Modell) T - K ,7/44 3,6 erklär im resringieren** Modell residual im resringieren Modell 58, K 58, u & * df degrees of freedom (Anzahl der Freiheisgrade) ** ohne die vier Regressoren x,,x 5, also nur mi x Man verifizier leich, dass gil yy & 74,5 T - K , ,758,+74,533,7 und man erhäl auch ŷ ŷ 98 58, 39,8 und 74,5 34,7 39, 8 und L K - K 4. Die Prüf- 39,8/ 4 9,95 größe is dann F 3, 5 F 4,44. 34,7 / 44 3,6 F-Tabelle bei 95% und 99% icherhei und 4 und 44 Freiheisgraden 95%:,58 99%: 3,78 Die zu x (resringieres Modell gem. H ) hinzugekommenen Regressoren x,, x 5 liefern einen signifikanen Erklärungsbeirag (H wird verworfen) auf dem 5%, nich aber auf dem % ignifikanzniveau, denn die errechnee Prüfgröße F is größer als der Tabellenwer bei 5% (3,5 >,58). H is aber nich zu verwerfen auf dem % Niveau, denn bei % is der Tabellenwer der F-Vereilung 3,78 > 3,5. Zwei Ergänzungen: F-Tes im resringieren Modell (T-K ) 58, Der Regressor x is im resringieren Modell signifikan, denn dann is F 43, 5 3,635 F. Das Ergebnis is gleich dem, was man mi dem -Tes erhäl mi 43, 5, 48 6,597. Die Tabellenwere für die ignifikanzniveaus 5% und % sind 5 % % F-Vereilung (F,48 ) 4,4 7,9 - Vereilung ( 48 ),67,39 Der (einzige) Regressor x is also hochsignifikan (signifikan auf dem % Niveau) Alle fünf Regressoren im vollen Modell mi x, x,, x 5 sind zusammen genommen nich alle irrelevan, d.h. die Nullhypohese H : x x.x 5 wird verworfen, weil gil 98 / 5 39,6 F,935 F 5,44 34,7 / 44 3,6 Die Tabellenwere der F-Vereilung sind,43 (5 %) bzw. 3,46 ( %). Man sieh, dass die Berachung dieses Abschnis in die Abschn. 4 übergeh, wenn L K, also die H laue alle Regressoren sind zusammengenommen nich signifikan.