Multiple Regression Mais-NP Zweidimensionale lineare Regression Data Display Dreidimensionale lineare Regression Multiple Regression

Transkript

1 Multiple Regression! Zweidimensionale lineare Regression Modell Bestimmung der Regressionsebene Multiples Bestimmtheitsmaß Test des Bestimmtheitsmaßes Vertrauensintervalle für die Koeffizienten Test des Achsenabschnitts Test der partiellen Regressionskoeffizienten Residuenanalyse Quadratische Regression! Dreidimensionale lineare Regression Modell Kubische Regression! Multiple Regression Modell Eindimensionale Regression in Matrizenschreibweise Multiple Regression in Matrizenschreibweise! Multikollinearität! Spezielle Methoden der multiplen Regression Standardisierte partielle Regressionskoeffizienten Sequentielle SQ-Werte und partielle Tests Tests bei der multiplen Regression Mais-NP MTB > Print Ertrag N P Fits St.Res.. Data Display Row Ertrag N P Fits St.Res

2 Mais-NP - Graphik Mais-NP - Regressionsanalyse Ertrag MTB > Name c9 = Fits c1 = St.Res. MTB > Regress Ertrag N P SUBC> Fits Fits; SUBC> SResiduals St.Res.; SUBC> Constant; SUBC> DW N P 11.5 Ertrag = N +.74 P Constant N P S = R-Sq = 54.8% R-Sq(adj) = 51.% 8 7 Regression Error Total Ertrag Source DF Seq SS N P Durbin-Watson statistic =.13 P N

3 Multiples Bestimmtheitsmaß Test des Bestimmtheitsmaßes B erklärte Variation Gesamtvariation SQ Regression SQ y n j (ŷ i &ȳ) i1 n j (y i &ȳ) i1 H : $ 1 = $ = bzw. B = H 1 : $ 1 oder $ bzw. B > Testgröße: F MQ Regression MQ Rest SQ Regression / SQ Rest /(n!3) b 1 SP yx 1 % b SP yx SQ y r yŷ Ablehnung von H, wenn F > F,n!3;1!" MTB > Correlation Ertrag Fits. Correlations (Pearson) Correlation of Ertrag and Fits =.74 MTB > Name k1 B MTB > Let B =.74** MTB > Print B. Data Display B.5476 Regression Error Total MQ Regression SQ Regression FG Regression MQ Rest SQ Rest FG Rest F MQ Regression MQ Rest > 3.4 F,4;.95 Bestimmtheitsmaß auf " = 5% signifikant größer als siehe auch p-wert

4 Test des Achsenabschnitts Test der partiellen Regressionskoeffizienten H : $ = $ * Testgröße: t b!$( s b H 1 : $ < $ *, falls t <!t n!3;1!" H 1 : $ > $ *, falls t > t n!3;1!" H 1 : $ $ *, falls t > t n!3;1!"/ Constant N P t b s b >.6 t 4;.975 Achsenabschnitt auf " = 5% signifikant verschieden von siehe auch p-wert H (1) : $ 1 = $ 1 * x ist in der Gleichung H () : $ = $ * x 1 ist in der Gleichung Testgröße: t b i!$( i s bi H 1 : $ i < $ i *, falls t <!t n!3;1!" H 1 : $ i > $ i *, falls t > t n!3;1!" H 1 : $ i $ i *, falls t > t n!3;1!"/ Constant N P t (1) b 1 s b >.6 t 4;.975 t () b s b >.6 t 4;.975 Beide partiellen Regressionskoeffizienten auf " = 5% signifikant verschieden von siehe auch p-wert

5 Mais-NP - Graphische Residuenanalyse Mais - NP: Residuenplot Residual Normal Plot of Residuals Normal Score Residual I Chart of Residuals Observation Number 3.SL=3.33 X=.73-3.SL= Histogram of Residuals Residuals vs. Fits Frequency Residual Residual Fit 5 6 Mais-NP: Shapiro-Wilk-Test auf Normalverteilung Mais - NP: Shapiro-Wilk-Test.999 Probability Average:.73 StDev: N: St.Res. 1 W-test for Normality R:.9837 P-Value (approx): >.1

6 Mais-NP: Durbin-Watson-Test auf Autokorrelation dw =.13., also keine Autokorrelation Ertrag-Stickstoff MTB > Print Ertrag N. Data Display dw o = 1.47 <.13 <.68 = 4! dw u Row Ertrag N Mais-NP: Runs-Test auf Zufälligkeit MTB > Runs St.Res.. Runs Test St.Res. K =. The observed number of runs = 16 The expected number of runs = Observations above K 15 below The test is significant at.577 Cannot reject at alpha = Ertrag N 15

7 Ertrag-Stickstoff - Quadratische Regression Mais-NPK MTB > Name c3 N^ MTB > Let N^ = N** MTB > Regress Ertrag N N^; SUBC> Constant. Ertrag = N N^ Constant N N^ S = R-Sq = 99.4% R-Sq(adj) = 99.3% Regression Error Total Ertrag Regression Plot Y = X E-3X** R-Sq =.994 MTB > Print Ertrag N P K. Data Display Row Ertrag N P K N

8 Mais-NPK - Graphik Ertrag 75 5 N P K 75 Mais-NPK - Lineare Regression MTB > Regress Ertrag 3 N P K Ertrag = N +.74 P +.63 K Constant N P K S = R-Sq = 58.% R-Sq(adj) = 5.7% Regression Error Total

9 Multikollinearität Multikollinearität Data Display Row y x_1 x_ Correlations (Pearson) y x_1 x_1.948 x_ MTB > Regress y 1 x_1; SUBC> Constant. y = x_1 Constant x_ S = 1.14 R-Sq = 89.8% R-Sq(adj) = 88.5% Regression Error Total MTB > Regress y 1 x_; SUBC> Constant y y = x_ Constant x_ x_1 S = 1. R-Sq = 89.7% R-Sq(adj) = 88.4% x_ 44 Regression Error Total

10 Multikollinearität 3 Betriebseinkommen MTB > Regress y x_1 x_; SUBC> Constant. y = x_ x_ Constant x_ x_ S = 1. R-Sq = 91.% R-Sq(adj) = 88.4% Regression Error Total Source DF Seq SS x_ x_ 1 49 MTB > Describe BE-GV. Descriptive Statistics Variable N Mean Median TrMean StDev SEMean BE LN AK GV MTB > Regress BE 3 LN AK GV; SUBC> Constant. BE = LN AK GV Constant LN AK GV S = 559 R-Sq = 91.% R-Sq(adj) = 9.6%

11 Standardisierte Regressionskoeffizienten Multiple Standard-Regressionsgleichung Standardisierte partielle Regressionskoeffizienten b ) k b s x k s y (k1,,ÿ,m) Multiple Standard-Regressionsgleichung ŷ&ȳ s y b ) x 1 & x 1 s x1 %b x & x Betriebseinkommen: s x1 %ÿ%b ) x m & x m s xm ŷ&171 DM%484 DM DM 1 %5156 DM %661 3 Standardisiertes Betriebseinkommen: ŷ& @ x 1 & %.3@ x & %.36@ x 3 & MTB > Name c5 BE_s MTB > Name c6 LN_s MTB > Name c7 AK_s MTB > Name c8 GV_s MTB > Center BE-GV BE_s-GV_s. MTB > Regress BE_s 3 LN_s AK_s GV_s; SUBC> Constant. BE_s =. +.4 LN_s +.3 AK_s +.36 GV_s Constant LN_st AK_st GV_st S =.358 R-Sq = 91.% R-Sq(adj) = 9.6% Regression Error Total Source DF Seq SS LN_s AK_s GV_s 1.685

12 Sequentielle SQ-Werte Partielles Bestimmtheitsmaß SQ-Anteil an SQ Regression, der zusätzlich von einer einzelnen Variablen erklärt wird SQ seq b k SQ bk b,b 1,ÿ,b k&1 (k1,,ÿ,m) SQ Regression b SQ seq b 1 b %SQ seq b b,b 1 %ÿ%sq seq b m b,b 1,ÿ,b m&1 Anteil der durch Einflußgröße erklärten Gesamtvariation, wenn Einfluß der anderen Größen eliminiert ist Quadrat des partiellen Korrelationskoeffizienten zweidimensional: B part yx.x 1 r yx.x 1 r yx &r x1 x (1&r x 1 x )@(1&r yx 1 ) Regression Error Total Source DF Seq SS Reihenfolge LN, AK, GV LN_s AK_s GV_s Regression Source DF Seq SS Reihenfolge GV, AK, LN GV_s AK_s LN_s Regression Regression Error Total Source DF Seq SS Reihenfolge LN, AK, GV LN_s AK_s GV_s Source DF Seq SS Reihenfolge GV, AK, LN GV_s AK_s LN_s B BE,LN = / 79. =.665 = 66.5% B BE,AK LN = / 79. =.11 = 1.1% B BE,GV LN,AK =.685 / 79. =.34 = 3.4% B BE,GV = / 79. =.775 = 77.5% B BE,AK GV =.375 / 79. =.3 = 3.% B BE,LN GV,AK = 8.98 / 79. =.15 = 1.5% 3 91.%

13 Globaltest Globaltest und Partialtests H : $ k = œ k = 1,,..., m bzw. B = H 1 : k {1,,..., m} $ k bzw. B > MTB > Regress BE_s 3 LN_s AK_s GV_s; SUBC> Constant. Testgröße: F MQ Regression MQ Rest Ablehnung von H, wenn F > F m,n-m-1;1!" SQ Regression /m SQ Rest /(n!m&1) BE_s =. +.4 LN_s +.3 AK_s +.36 GV_s H (k) : $ k = $ k * (k = 1,,..., m) Testgröße: t (k) b k!$( k s bk Partialtests H 1 (k) : $ k < $ k *, falls t (k) <!t n!m!1;1!" H 1 (k) : $ k > $ k *, falls t (k) > t n!m!1;1!" H 1 (k) : $ k $ k *, falls t (k) > t n!m!1;1!"/ Faustregel: H ablehnen, wenn t >! bei Multikollinearität sind die Tests abhängig Partialtests Constant LN_st AK_st GV_st S =.358 R-Sq = 91.% R-Sq(adj) = 9.6% Globaltest Regression Error Total Source DF Seq SS LN_s AK_s GV_s 1.685

14 Partieller F-Test Verallgemeinerter partieller F-Test Fragestellung: Welchen zusätzlichen Anteil an der Abweichungsquadratsumme erklärt ein Regressor, unter der Voraussetzung, daß alle anderen Regressoren bereits in der Regressionsgleichung sind? Fragestellung: Welchen zusätzlichen Anteil an der Abweichungsquadratsumme erklären die letzten r Regressoren, unter der Voraussetzung, daß alle anderen Regressoren bereits in der Regressionsgleichung sind? Verbessert die Aufnahme eines Regressors x k zu den übrigen bereits vorhandenen Regressoren x 1, x,..., x k-1 das Bestimmtheitsmaß wesentlich? Verbessert die Aufnahme der letzten r Regressoren das Bestimmtheitsmaß wesentlich? H : $ k&r%1 ÿ$ k ŷb %b 1 x 1 %ÿ%b k x k H : $ k ŷb %b 1 x 1 %b x %ÿ%b k x k F (k) durch letzten Regressor erklärte zusätzl. Var. / 1 unerklärte Variation / (n&m&1) SQ seq b k b,b 1,ÿ,b k&1 / 1 SQ Rest / (n&m&1) SQ seq b k b,b 1,ÿ,b k&1 MQ Rest (B&B k&1 ) / 1 (1&B) / (n&m&1) )B (1&B) / (n&m&1) F (r) durch letzte r Regressoren erkl. zusätzl. Var. / r unerklärte Variation / (n&m&1) j r SQ seq letzte r Regressoren / r SQ Rest / (n&m&1) j r SQ seq letzte r Regressoren / r MQ Rest (B&B k&r ) / r (1&B) / (n&m&1) )B (1&B) / (n&m&1) partieller F-Test identisch mit partiellem t-test des letzten Regressors, da t (k) b k s bk F (k) und t n&m&1;1&"/ F 1,n&m&1;1&"

15 Partielle F-Tests Regression Error Total Source DF Seq SS LN_s AK_s GV_s LN und AK in der Regressionsgleichung: F also signifikante Verbesserung (p klein) durch Aufnahme von GV Nur LN in der Regressionsgleichung: F (16.648%.685)/ also signifikante Verbesserung (p klein) durch Aufnahme von AK und GV