Multiple Regression. Multiple Regression. Multiple Regression in Matrizenschreibweise. Vertrauensintervalle. Prüfung des Regressionsmodells

Transkript

1 TECHNISCHE UNIVERSITÄT MÜNCHEN-WEIHENSTEPHAN MATHEMATIK UND STATISTIK INFORMATIONS- UND DOKUMENTATIONSZENTRUM R. Biometrische ud Ökoometrische Methode I WS 99/ i Matrizeschreibweise Multiples Regressiosmodell Eidimesioale Regressio i Matrizeschreibweise i Matrizeschreibweise Multiples Bestimmtheitsmaß Tafel der Variazaalyse Vertrauesitervalle Vertrauesitervall für die Schätzwerte Idividuelle Vertrauesitervalle für die Koeffiziete Vertrauesellipsoid für de Koeffizietevektor Prüfug des Regressiosmodells Partialtest der multiple Regressioskoeffiziete Test des multiple Bestimmtheitsmaßes Residueaalyse Spezielle Methode der multiple Regressio Stadardisierte partielle Regressioskoeffiziete Multiple Stadard-Regressiosgleichug Sequetielle SQ-Werte Partielles Bestimmtheitsmaß Partieller F-Test Verallgemeierter partieller F-Test Korrigiertes Bestimmtheitsmaß

2 Preis - Motorleistug - Hubraum - Zis Leistug Hubraum Zis Preis Hersteller Modell [kw] 3 [cm ] [%] [DM] Audi A Audi A Audi A Audi A BMW 316i BMW 318i BMW 32i BMW 323i BMW 328i Preis - Motorleistug - Hubraum - Zis Dreidimesioale Regressio MTB > Regress DM 3 kw cm^3 %. Regressio Aalysis The regressio equatio is DM = kw cm^ % Predictor Coef StDev T P Costat kw cm^ % % 3.9% S = R-Sq = 99.1% R-Sq(adj) = 98.5% Aalysis of Variace Source DF SS MS F P Regressio Error Total DM kw cm^3 Source DF Seq SS kw cm^ %

3 Multiples Regressiosmodell Eidimesioale Regressio i Matrizeschreibweise Meßwerte Tupel (x,x,...,x, y ) 1i 2i mi i Matrize y 1 e 1 1 x 1 Lieares Modell x 1i %$ 2 x 2i %ÿ%$ m x mi %e i y e e 2 $ $ X 1 x 2 Desig-Matrix, $ 1, $ 2,...,$ m ubekate Parameter 2 e i ormalverteilt mit E(e i) = ud Var(e i) = F, ukorreliert Regressioshyperebee i der Grudgesamtheit y e 1 1 Modellgleichuge 6 Vektorgleichug y 1 1 x 2 x 1 %e 1 E(y) x 1 %$ 2 x 2 %ÿ%$ m x m Erwartugswerte E( ) liege auf eier Hyperebee x i %e i für (11,2,ÿ,): x 2 %e 2 Parameterschätzug y x %e Ubekate wahre Parameter werde durch empirische Parameter geschätzt Matrizegleichug der Regressio ˆ b, ˆ$ 1 b 1, ˆ$ 2 b 2,..., ˆ$ m b m y 1 1 x 1 e 1 Schätzug der Erwartugswerte 1 x $ 1 % e 2 y 1 x e ŷ(x)b %b 1 x 1 %b 2 x 2 %ÿ%b m x m ŷ Schätzwert für E(y) kurz: yx@$%e bzw. E(y)X@$

4 Bestimmug der empirische Regressioskoeffiziete Gaußsches Prizip der kleiste Quadrate SQ(b,b 1 ) j e 2 i j (yi &ŷ i )2 j SQ(b)(y&X@b) 6 Miimum (yi &b &b 1 x i )2 6 Miimum (y&x@b) MSQ(b) &X Mb Normalgleichugssystem b % j x i b 1 j j x i b % j X x 2 i b 1 j x i Regressioskoeffiziete b 1 j 1 %b 1 j x i y&b 1 x j x i & 1 j b 1 j x 2 i & 1 j b X x i j x i 2 j (xi &x)( &y) SP xy s xy SQ x s 2 j (xi &x)2 x Streuuge ud Tafel der Variazaalyse SQ Total SQ y j SQ Regressio j ( &y) 2 j (ŷ i &y) 2 j i & y SQ Rest SQ Total &SQ Regressio y ŷ 2 i & (X@b) b b Variatiosursache SQ FG MQ F MQ b Regressio Regressio 1 SQ Regressio MQ Rest Rest y 2 Total y 1 SQ Rest &2 s 2 R Variaz-Kovariaz-Matrix: ˆ Var(b)s 2 R (X &1

5 i Matrizeschreibweise Matrize y y 1 e e 1 e 2 $ $ 1 y e 1 $ 1 m (m%1) 1 1 x 11 x 21 þ x m1 1 x 12 x 22 þ x m2 X " 1 x 1 x 2 þ x m (m%1) Modellgleichuge 6 Vektorgleichug x i %e i für (,2,ÿ,): y 1 y x 11 %$ 2 x 21 %ÿ%$ m x m1 %e 1 x 12 %$ 2 x 22 %ÿ%$ m x m2 %e 2 x 1 %$ 2 x 2 %ÿ%$ m x m %e Matrizegleichug der Regressio y 1 y 1 x 11 x 21 þ x m1 1 x 12 x 22 þ x " 1 x 1 x 2 þ x m $ 1 % e 1 e 2 $ m e kurz: yx@$%e bzw. E(y)X@$ i Matrizeschreibweise Modell: Schätzug der multiple oder partielle Regressioskoeffiziete: Variaz-Kovariaz-Matrix: Multiples Bestimmtheitsmaß: Tafel der Variazaalyse: yx@$%e b X ˆ Var(b)s 2 R (X &1 B SQ Regressio SQ Total Variatiosursache SQ FG MQ F SQ b Regressio Regressio m m MQ Regressio MQ Rest Rest y m 1 Total y 1 SQ Rest &m&1 s 2 R

6 Vertrauesitervalle Test der multiple Regressioskoeffiziete Partialtests Vertrauesitervall für die Schätzwerte ŷ i ±t X T i 1&" X i: i-te Zeile der Desigmatrix X Idividuelle Vertrauesitervalle für die Koeffiziete Testgröße: t b k &b ( k s bk H : $ k $ ( k die adere Regressore sid i der Gleichug H 1 : Ablehug vo H, we: b k ±t d kk 1&" kk d : k-tes Diagoalelemet vo (X &1 $ k >$ ( k $ k <$ ( k t >t &m&1;1&" t <&t &m&1;1&" Vertrauesellipsoid des Koeffizietevektors $ k $ ( k t >t &m&1;1&"/2 (b&$) 2 R $ 1 Test des multiple Bestimmtheitsmaßes Globaltest außerhalb VI 1-" ( b, b 1 ) ierhalb Testgröße: F MQ Regressio SQ Regressio /m MQ Rest SQ Rest /(&m&1) (&m&1)b m(1&b) H : H 1 : B bzw. $ 1 $ 2 ÿ$ k œk1,2,ÿ,m B> bzw. k: $ k (k1,2,ÿ,m) Ablehug vo H, we: VI 1-" F >F m,&m&1;1&"

7 Mais NPK Mais NPK - Grafik MTB > Prit N P K Ertrag Ertrag Row N P K Ertrag MTB > Correlatio Ertrag N P K. Correlatios (Pearso) Ertrag N P N.669. P K Cell Cotets: Correlatio P-Value N P 25 K 75

8 Mais NPK - Regressio Mais NPK - Variaz-Kovariaz-Matrix MTB > Name c5 = Fits c6 = Resid MTB > Name K1 = MQ_Rest m1 = (X^TX)^(-1) MTB > Regress Ertrag 3 N P K; SUBC> Fits Fits; SUBC> Residuals Resid; SUBC> MSE MQ_Rest; SUBC> XPXIverse (X^TX)^(-1); SUBC> DW. Regressio Aalysis The regressio equatio is Ertrag = N P +.63 K Predictor Coef StDev T P Costat N P K S = 9.78 R-Sq = 58.2% R-Sq(adj) = 52.7% Aalysis of Variace Source DF SS MS F P Regressio Error Total Source DF Seq SS N P K Durbi-Watso statistic = 2.4 MTB > Prit MQ_Rest (X^TX)^(-1). MQ_Rest Matrix (X^TX)^(-1) MTB > Name m2 Var(b) MTB > Multiply MQ_Rest (X^TX)^(-1) Var(b). MTB > Prit Var(b). Matrix Var(b) MTB > Diagoal Var(b) c7. MTB > Let C7 = SQRT(C7) MTB > Name c7 StDev(b) MTB > Prit StDev(b). StDev(b)

9 Mais NPK - Regressio über Matrize Mais NPK - Regressio über Matrize MTB > Name m3 X MTB > Set c8 DATA> 1( 1 : 1 / 1 )27 DATA> Ed. MTB > Copy C8 N P K X. MTB > Prit X. MTB > Name m4 X^T MTB > Traspose X X^T. MTB > Name m5 y MTB > Copy Ertrag y. MTB > Name m6 X^TX MTB > Multiply X^T X X^TX. Matrix X MTB > Ivert X^TX (X^TX)^(-1) MTB > Name m7 (X^TX)^(-1)X^T MTB > Multiply (X^TX)^(-1) X^T & CONT> (X^TX)^(-1)X^T. MTB > Name m8 b MTB > Multiply (X^TX)^(-1)X^T y b. MTB > Prit b. Matrix b MTB > Name c8 Koeff MTB > Copy b Koeff. MTB > Prit Koeff. Koeff

10 Mais NPK - Grafische Residueaalyse Frequecy Residual Residual Model Diagostics Normal Plot of Residuals I Chart of Residuals Histogram of Residuals Residuals vs. Fits Residual Residual Normal Score Observatio Number Residual Fit SL=28.64 X=. -3.SL= Stadardisierte Regressio Stadardisierte partielle Regressioskoeffiziete b ) k b s x k s y (k1,2,ÿ,m) Multiple Stadard-Regressiosgleichug ŷ&ȳ s y b ) x 1 & x 1 s x1 %b ) x 2 & x 2 s x1 %ÿ%b ) x m & x m s xm Preis - Motorleistug - Hubraum - Zis Stadardisierte Regressio MTB > Describe DM kw cm^3 %. Descriptive Statistics Variable N Mea Media TrMea StDev SE Mea DM kw cm^ % DM25535%199@kW%3.8@cm ˆ 3 &1998@% DM&46667 ˆ 199@ kw&16 %3.8@ cm3 &2157 &1998@ %&

11 Preis - Motorleistug - Hubraum - Zis Stadardisierte multiple Regressiosgleichug MTB > Name c2 DMs MTB > Name c21 kws MTB > Name c22 cm^3s MTB > Name c23 %s MTB > Ceter DM - % DMs - %s. MTB > Regress DMs 3 kws cm^3s %s. SQ-Ateil a SQ ble erklärt wird Sequetielle SQ-Werte Regressio SQ seq b k SQ bk b,b 1,ÿ,b k&1 (k1,2,ÿ,m), der zusätzlich vo eier eizele Varia- SQ Regressio b SQ seq b 1 b %SQ seq b 2 b,b 1 %ÿ%sq seq b m b,b 1,ÿ,b m&1 Regressio Aalysis The regressio equatio is DMs = kws +.22 cm^3s -.15 %s Predictor Coef StDev T P Costat kws cm^3s %s S =.129 R-Sq = 99.1% R-Sq(adj) = 98.5% Aalysis of Variace Source DF SS MS F P Regressio Residual Total 8 8. Source DF Seq SS kws cm^3s 1.34 %s Preis - Motorleistug - Hubraum - Zis Sequetielle SQ-Werte Aalysis of Variace Source DF SS MS F P Regressio Residual Total 8 8. Source DF Seq SS Reihefolge kws cm^3s %s kws cm^3s 1.34 %s Source DF Seq SS Reihefolge cm^3s kws %s cm^3s kws %s Regressio

12 Partielles Bestimmtheitsmaß Ateil der durch Eiflußgröße erklärte Gesamtvariatio, we Eifluß der adere Größe elimiiert ist Quadrat des partielle Korrelatioskoeffiziete zweidimesioal: B part yx 2.x 1 r 2 yx 2.x 1 r yx2 &r x1 x 2 (1&r 2 x 1 x 2 )@(1&r 2 yx 1 ) 2 Fragestellug: Partieller F-Test Welche zusätzliche Ateil a der Abweichugsquadratsumme erklärt ei Regressor, uter der Voraussetzug, daß alle adere Regressore bereits i der Regressiosgleichug sid? Verbessert die Aufahme eies Regressors x k zu de übrige bereits vorhadee Re- gressore x 1, x 2,..., x k-1 das Bestimmtheitsmaß wesetlich? Preis - Motorleistug - Hubraum - Zis Partielle Bestimmtheitsmaße Aalysis of Variace Source DF SS MS F P Regressio Residual Total 8 8. Source DF Seq SS kws cm^3s 1.34 %s B DMs,kWs = / 8 =.97 = 97.% B DMs,cm^3s kws =.731 / 8 =.4 =.4% B DMs,%s cm^3s,kws =.1637 / 8 =.25 = 2.5% B = 97.% +.4% + 2.5% = 99.9% = 99.1% H : $ k ŷb %b 1 x 1 %b 2 x 2 %ÿ%b k x k F (k) durch letzte Regressor erklärte zusätzliche Var. uerklärte Variatio / (&m&1) SQ seq b k b,b 1,ÿ,b k&1 SQ Rest /(&m&1) SQ seq b k b,b 1,ÿ,b k&1 MQ Rest (B&B k&1 ) (1&B) /(&m&1) )B (1&B) /(&m&1) Aahme der Alterative H 1 : $ k ŷb %b 1 x 1 %b 2 x 2 %ÿ%b k x k, we F (k) >F 1,&m&1;1&" Partieller F-Test ist idetisch mit partiellem t-test des letzte Regressors, da t (k) b k F (k) ud t &m&1;1&"/2 s F 1,&m&1;1&" bk

13 Verallgemeierter partieller F-Test Korrigiertes Bestimmtheitsmaß Fragestellug: Welche zusätzliche Ateil a der Abweichugsquadratsumme erkläre die letzte r Regressore, uter der Voraussetzug, daß alle adere Regressore bereits i der Regressiosgleichug sid? Verbessert die Aufahme der letzte r Regressore das Bestimmtheitsmaß wesetlich? H : $ k&r%1 ÿ$ k ŷb %b 1 x 1 %ÿ%b k x k B SQ Regressio 1& SQ Rest SQ Total SQ Total Bei jedem zusätzliche Regressor verrigert sich SQ Rest. Dadurch wird das Bestimmtheitsmaß größer, auch we eigetlich kei wesetlicher Eifluß auf die Regressio vorhade ist. Auch die Freiheitsgrade des Fehlers werde kleier. Das korrigierte Bestimmtheitsmaß berücksichtigt die Azahl der Regressore: F (r) durch letzte r Regressore erkl. zusätzl. Var. / r uerklärte Variatio / (&m&1) j r SQ seq letzte r Regressore / r SQ Rest /(&m&1) j r SQ seq letzte r Regressore / r MQ Rest (B&B k&r )/r (1&B) /(&m&1) )B (1&B) /(&m&1) B korr B adj 1& SQ Rest /(&m&1) SQ Total /(&1) Es diet zum Vergleich der Güte verschiede dimesioaler Regressiosmodelle. Das korrigierte Bestimmtheitsmaß ist immer kleier als das ukorrigierte Bestimmtheitsmaß, da m >. Es ka bei zusätzlicher Aufahme eier Variable sogar kleier werde. Vergleich vo mit F (r) F r,&m&1;1&"