Multivariate lineare Regression. Statistik für SozialwissenschaftlerInnen II p.167

Größe: px

Ab Seite anzeigen:

Download "Multivariate lineare Regression. Statistik für SozialwissenschaftlerInnen II p.167"

Evagret Friedrich
vor 7 Jahren
Abrufe

1 Multivariate lineare Regression Statistik für SozialwissenschaftlerInnen II p.167

2 Multivariate Regression Verfahren zur Prüfung des gemeinsamen linearen Einflusses mehrerer unabhängiger Variablen auf eine metrische abhängige Variable Analog zur bivariaten Regression wird auch hier die Abhängige als lineare Funktion der Unabhängigen modelliert: y = a + b 1 x 1 + b 2 x 2 mit a = Regressionskonstante b 1 = Steigungskoeffizient des ersten Merkmals x 1 = Ausprägung des ersten Merkmals b 2 = Steigungskoeffizient des zweiten Merkmals x 2 = Ausprägung des zweiten Merkmals Auch hier ist das Ziel, eine Gerade zu finden, die Quadratsumme der Residuen minimiert, also folgender Gleichung genügt: (yi ŷ i ) 2 = min! Statistik für SozialwissenschaftlerInnen II p.168

Steigungskoeffizient des ersten Merkmals x 1 = Ausprägung des ersten Merkmals b 2 = Steigungskoeffizient des zweiten Merkmals x 2 = Ausprägung des zweiten Merkmals Auch

3 Beispiel Multivariate Regression Hypothesen: A: Je größer der Anteil der Katholiken, desto besser das CDU-Ergebnis. B: Je höher die Arbeitslosenquote, desto schlechter das CDU-Ergebnis. Wahlkreis y: CDU % x 1 : Kath. % x 2 : Arbeitslos % Neuwied 44,21 55,55 10,1 Ahrweiler 50,13 81,99 9,6 Koblenz 46,6 73,14 9,3 Cochem 50,94 70,78 10,8 Kreuznach 39,1 32,6 12 Bitburg 52,68 91,4 9,3 Trier 44,82 87,97 9,9 Montabaur 43,42 50,76 8,4 Mainz 40,86 51,36 8,3 Worms 37,99 32,81 9,6 Frankenthal 39,71 31,98 10,6 Ludwigshafen 40,86 38,01 10,1 Neustadt - S 46,48 45,61 9,3 Kaiserslautern 37,68 34,89 14,4 Pirmasens 42,79 45,98 14,4 Südpfalz 45,09 55,07 10,1 Statistik für SozialwissenschaftlerInnen II p.169

% x 2 : Arbeitslos % Neuwied 44,21 55,55 10,1 Ahrweiler 50,13 81,99 9,6 Koblenz 46,6 73,14 9,3 Cochem 50,94 70,78 10,8 Kreuznach 39,1 32,6 12 Bitburg 52,68 91,4 9,3 Trier

4 Berechnung der Regressionskoeffizienten Wie auch bei der bivariaten Regression werden die Regressionskoeffizienten a, b 1 und b 2 mit der Methode der kleinsten Quadrate geschätzt. Da die Ableitung der Koeffizienten ausgesprochen kompliziert ist, hier nur die Formeln der linearen Regression mit 2 Unabhängigen: a = ȳ b 1 x 1 b 2 x 2 b 1 = r yx 1 r yx2 r x1 x 2 1 r 2 x 1 x 2 s y s x1 b 2 = r yx 2 r yx1 r x1 x 2 1 r 2 x 1 x 2 s y s x2 Die Koeffizienten können zwischen ± schwanken, mit 0 als neutralem Wert, bei dem kein Effekt der Variable angenommen werden kann. Statistik für SozialwissenschaftlerInnen II p.170

Da die Ableitung der Koeffizienten ausgesprochen kompliziert ist, hier nur die Formeln der linearen Regression mit 2 Unabhängigen: a = ȳ b 1 x 1 b 2 x 2

5 Beispiel: Regressionskoeffizienten Korrelationsmatrix Stdabw. Mittelw Fälle y x 1 x 2 s n y 1 0,85-0,35 4,59 43,96 16 x 1 1-0,37 20,23 54,99 16 x 2 1 1,80 10,39 16 b 1 = r yx 1 r yx2 r x1 x 2 1 r 2 x 1 x 2 s y s x1 = 0, 85 ( 0, 35 0, 37) 1 ( 0, 37) 2 4, 59 20, 23 = 0, 19 b 2 = r yx 2 r yx1 r x1 x 2 1 r 2 x 1 x 2 s y s x2 = 0, 35 (0, 85 0, 37) 4, 59 1 ( 0, 37) 2 1, 8 = 0, 10 a = ȳ b 1 x 1 b 2 x 2 = 42, 96 0, 19 54, , 10 10, 39 = 34, 64 Statistik für SozialwissenschaftlerInnen II p.171

x1 x 2 1 r 2 x 1 x 2 s y s x1 = 0, 85 ( 0, 35 0, 37) 1 ( 0, 37) 2 4, 59 20, 23 = 0, 19 b 2 = r yx 2 r yx1 r x1 x 2 1 r 2 x

6 Standardisierte Koeffizienten Regressionskoeffizienten (b i ) sind abhängig von der Skala der unabhängigen Variablen und können daher nicht miteinander verglichen werden (bzgl. Stärke des Effektes) Abhilfe: Standardisierte Koeffizienten b i sie sind skalenunabhängig und schwanken zwischen 1 und +1: b 1 = r yx 1 r yx2 r x1 x 2 1 r 2 x 1 x 2 = b 1 s x 1 s y b 2 = r yx 2 r yx1 r x1 x 2 1 r 2 x 1 x 2 = b 2 s x 2 s y Je näher b i an +1( 1), desto stärker der positive (negative) Zusammenhang. 0 bedeutet kein Effekt. b Koeffizienten werden von Statistikprogrammen meist mit β bezeichnet. Statistik für SozialwissenschaftlerInnen II p.172

Stärke des Effektes) Abhilfe: Standardisierte Koeffizienten b i sie sind skalenunabhängig und schwanken zwischen 1 und +1: b 1 = r yx 1 r yx2 r x1 x 2 1 r 2 x

7 Beispiel: Standardisierte Koeffizienten Für unser Beispiel erhalten wir mit den Werten aus der Korrelationsmatrix: b 1 = b 1 s x 1 s y = 0, 19 20, 23 4, 59 b 2 = b 2 s x 2 s y = 0, 10 1, 8 4, 59 = 0, 84 = 0, 04 Demnach ist der Effekt des Katholizismus wesentlich stärker als der der regionalen Arbeitslosigkeit. Statistik für SozialwissenschaftlerInnen II p.173

10 1, 8 4, 59 = 0, 84 = 0, 04 Demnach ist der Effekt des Katholizismus wesentlich stärker

8 Der Determinationskoeffizient R 2 Die Berechnung und Interpretation des Determinationskoeffizienten erfolgt auf gleiche Weise wie bei der bivariaten Regression: R 2 ist das Verhältnis der erklärten Streuung zur Gesamtstreuung: R 2 = erklärte Streuung Gesamtstreuung = n (ŷ i ȳ) 2 i=1 n (y i ȳ) 2 i=1 Statistik für SozialwissenschaftlerInnen II p.174

Regression: R 2 ist das Verhältnis der erklärten Streuung zur Gesamtstreuung: R 2 =

9 Beispiel: R 2 Wahlkreis y i ŷ i (y i ȳ) (y i ȳ) 2 (ŷ i ȳ) (ŷ i ȳ) 2 Neuwied 44,21 44,10 0,25 0,06 0,14 0,02 Ahrweiler 50,13 49,18 6,17 38,07 5,22 27,26 Koblenz 46,6 47,53 2,64 6,97 3,57 12,76 Cochem 50,94 46,92 6,98 48,72 2,96 8,73 Kreuznach 39,1 39,52 4,86 23,62 4,44 19,69 Bitburg 52,68 51,00 8,72 76,04 7,04 49,61 Trier 44,82 50,28 0,86 0,74 6,32 40,00 Montabaur 43,42 43,38 0,54 0,29 0,58 0,34 Mainz 40,86 43,50 3,1 9,61 0,46 0,21 Worms 37,99 39,83 5,97 35,64 4,13 17,05 Frankenthal 39,71 39,56 4,25 18,06 4,40 19,35 Ludwigshafen 40,86 40,76 3,1 9,61 3,20 10,22 Neustadt - Sp 46,48 42,30 2,52 6,35 1,66 2,76 Kaiserslautern 37,68 39,69 6,28 39,44 4,27 18,24 Pirmasens 42,79 41,80 1,17 1,37 2,16 4,68 Südpfalz 45,09 44,01 1,13 1,28 0,05 0,00 703,36 315,87 230,93 ȳ 43,96 R 2 = n i=1 (ŷ i ȳ) 2 n i=1 (y i ȳ) 2 = 230,93 315,87 = 0, 73 Statistik für SozialwissenschaftlerInnen II p.175

Mainz 40,86 43,50 3,1 9,61 0,46 0,21 Worms 37,99 39,83 5,97 35,64 4,13 17,05 Frankenthal 39,71 39,56 4,25 18,06 4,40 19,35 Ludwigshafen 40,86 40,76 3,1 9,61 3,20 10,22 Neustadt - Sp 46,48 42,30 2,52

10 Signifikanztest Gesamtmodell Um zu überprüfen, ob dem Modell als Ganzes Signifikanz zugeschrieben werden kann, wird eine F -verteilte Prüfgröße berechnet Der Signifikanztest testet die Hypothese H 0 : alle β i = 0 H 1 : mindestens ein β i 0 Berechnung von F emp nach der Formel F emp = R 2 k 1 R 2 n k 1 mit df Zähler = k und df Nenner = n k 1 mit n =Zahl der Fälle k =Zahl der Unabhängigen Statistik für SozialwissenschaftlerInnen II p.176

H 1 : mindestens ein β i 0 Berechnung von F emp nach der Formel F emp = R 2 k 1 R 2 n k 1 mit df Zähler = k

11 Beispiel Signifikanz Gesamtmodell Da in unserem Beispiel R 2 = 0, 73 und n = 16; k = 2 kann F emp berechnet werden als F emp = R 2 k 1 R 2 n k 1 = 0, , = 17, 57 mit df Zähler = 2 und df Nenner = 13 kann für α = 0, 05 ein kritisches F von 3,81 ermittelt werden. Da F emp > F krit wird die H 0 verworfen und die H 1 beibehalten. Mindestens ein β-koeffizient ist ungleich Null. Statistik für SozialwissenschaftlerInnen II p.177

kann für α = 0, 05 ein kritisches F von 3,81 ermittelt werden.

12 mit Signifikanztest Koeffizienten Um eine Aussage darüber machen zu können, welche der einzelnen unabhängigen Variablen einen signifikanten Effekt auf die Abhängige ausüben, müssen die einzelnen Koeffizienten auf Signifikanz geprüft werden: H 0 : β i = 0 (ungerichtet, auch gerichtet möglich) Die Prüfgröße folgt einer t-verteilung und ist bereits aus der bivariaten Regressionsanalyse bekannt: t = b i s bi mit df = n k 1 s bi = Standardfehler des Regressionskoeffizienten b i Statistik für SozialwissenschaftlerInnen II p.178

(ungerichtet, auch gerichtet möglich) Die Prüfgröße folgt einer t-verteilung und ist bereits aus der bivariaten Regressionsanalyse

13 Beispiel Signifikanz d. Koeffizienten Da der F -Test keine Auskunft darüber gegeben hatte, welche Koeffizienten sich von Null unterscheiden, müssen die Koeffizienten von Katholizismus (x 1 ) und Arbeitslosigkeit (x 2 ) noch einzeln auf Signifikanz geprüft werden: für x 1 (Katholizsmus): H 1 : β > 0; H 0 : β 0 für x 2 (Arbeitslosigkeit): H 1 : β < 0; H 0 : β 0 Die Standardfehler der Koeffizienten lauten: s b1 = 0, 035 und s b2 = 0, 394, also sind für x 1 : t emp = b 1 s b1 = 0,19 0,035 für x 2 : t emp = b 2 s b2 = 0,10 0,394 = 5, 43 mit df = 13 = 0, 25 mit df = 13 Statistik für SozialwissenschaftlerInnen II p.179

Katholizismus (x 1 ) und Arbeitslosigkeit (x 2 ) noch einzeln auf Signifikanz geprüft werden: für x 1 (Katholizsmus): H 1 : β > 0; H 0 : β 0 für x 2

Ähnliche Dokumente

Bivariate lineare Regression. Statistik für SozialwissenschaftlerInnen II p.154

Bivariate lineare Regression. Statistik für SozialwissenschaftlerInnen II p.154 Bivariate lineare Regression Statistik für SozialwissenschaftlerInnen II p.154 Grundidee und Typen der Regression Die Regressionsanalyse dient zur Quantifizierung des Zusammenhangs und der statistisch