I.V. Methoden 4: Regressionsund Pfadanalyse WiSe 02/03

Transkript

1 I.V. Methoden 4: Regressionsund Pfadanalyse WiSe 02/03 Vorlesung: To err is human, to forgive is devine - but to include errors in your design is statistical Leslie Kish Dr. Wolfgang Langer Institut für Soziologie Martin-Luther-Universität Halle-Wittenberg Dr. Wolfgang Langer

2 Gliederung I: P Die Grundlagen der bivariaten Regression < Terminologie < Modellgleichung < Die Funktionsweise der Kleinsten-Quadrate- Schätzung < Berechnung der Regressionsparameter Der Regressionskonstanten: a oder b 0 Dem Regressionskoeffizienten / der Steigung b < Die Modellannahmen der bivariaten Regression 2

3 Gliederung II: P Anwendungsbeispiel: EB30 (1988) < Zustimmung zu Zuviele Ausländer im Land auf Prozentsatz der Nicht-EG-Ausländer an der Wohnbevölkerung P Der standardisierte Regressionskoeffizient ß < Nachteile der unstandardisierter Regressionskoeffizeinten < Berechnung von ß und seine Umrechnung in b < Nachteile des standardisierten Regressionskoeffizienten 3

4 Gliederung III: P Wie gut beschreibt das lineare Regressionsmodell die Daten im Sinne der praktischen Signifikanz? < Der Standardfehler der Regression < Der Determinationskoeffizient R² als Maßzahl der Proportionalen Fehlerreduktion < Beispiel für die Zerlegung der Abweichungsquadrate im bereits geschätzten bivariaten Regressionsmodell Berechnung des Standardfehlers der Regression Berechnung des Determinationskoeffizienten R² 4

5 Die Grundlagen der bivariaten Regression: P Ziel des Analyseverfahrens: Erklärung der Variation der abhängigen Variablen durch die Variation der unabhängigen Variablen: X º Y P Terminologie: < Unabhängige Variable: Abhängige Variable: Ursache Wirkung X Y Exogenes Merkmal Endogenes Merkmale Erklärende Variable Zu erklärende Variable Prädiktor Kriterium Faktor,Kovariate Kriterium 5

6 Wie legen wir eine Gerade durch den Punktschwarm? (Fox 1991, S.77) 6

7 Die Modellgleichung der bivariaten Regression y i ' a % b@x i % e i y i : Vektor der abhängigen Variablen x i : Vektor der unabhängigen Variablen a: Regressionskonstante (Ordinatenabschnitt) b: unstandardisierter Regressionskoeffizient (Steigung) e i : Residuum (Vorhersagefehler) 7

8 Die Bedeutung der Regressionsparameter im Sinne von Erwartungswerten: Die Regressionskonstante / der Y&Achsenabschnitt a ( b 0 ): Welchen Wert für Y erwarten wir im Durchschnitt, wenn X Null ist? a ' E ( Y X ' 0) Der Regressionskoeffizient / die Steigung b: Um welchen Wert nimmt Y im Durchschnitt zu (%) oder ab (&), wenn X um eine Einheit zunimmt? b ' E ( Y X '%1) Geometrische Interpretation der Steigung b: b ' Y X ' Gegenkathete Ankathete ' tan (α) 8

9 Die Vorgehensweise der Kleinst- Quadrate-Schätzung I: P Analytische Zerlegung der Abweichungsquadrate von Y in die Summen der durch das Regressionsmodell gebundenen und derjenigen der Fehlerquadrate (Sum of Squares oder abgekürzt: SS) j (y&ȳ )2 ' j (ŷ&ȳ) 2 % j (y&ŷ) 2 SS Total ' SS Regression % SS Error 9

10 Geometrische Darstellung der Zerlegung der Abweichungsquadrate (Greene 1993, S. 152): 10

11 Die Vorgehensweise der Kleinst- Quadrate-Schätzung I: P Minimierungskriterium: Wähle a und b so, dass die Summe der quadrierten Residuen ihr Minimum erreicht! Σ e 2 i ' Σ[ y i & (a % b@x i )] 2 ' Σ[y i & ŷ i ] 2 6 Minimum 11

12 Berechnung der Regressionskonstanten a : P Die Regressionskonstante a (b 0 ) oder der Ordinaten-/Y-Achsenabschnitt: Regressionskonstante a ' ȳ & b@ x 12

13 Berechnung des Steigungskoeffizienten b: P Der Regressions- / Steigungskoeffizient b: Regressionskoeffizient b' n j i'1 (x i &x)@(y i &y) n j i'1 (n&1) ( x i &x ) 2 (n&1) ' Kovarianz y,x Varianz x 13

14 Die BLUE-Eigenschaften der Kleinste- Quadrate-Schätzung: P Gauss-Markow-Theorem: Within the class of linear unbiased estimators of ß, the least squares estimator ß^ has minimum variance (is most efficient). Similary, "^ is the minimum variance estimator of ". (Wonnacott&Wonnacott 1981, S.31) 14

15 Vorteile der Kleinste-Quadrate-Schätzung: Wonnacott&Wonnacott (1971 1,1990 5, S. 366f.) fassen ihre Vorteile folgendermassen zusammen: P OLS leads to relatively simple formulas for calculating a and b... P OLS is closely related to ANOVA... P... In the special case where Y has no relation to X (i.e., the slope b is zero), then the OLS fit become simply ŷ ' a ŷ ' ȳ 15

16 Vorteile der Kleinste-Quadrate-Schätzung II: P Since OLS is an extension of the sample mean, it has many of the same attractive properties. For example, OLS is often efficient and unbiased. P The OLS criterion involves summing up all the squared deviations, given equal weight to each. But if some observations are less reliable than others, we could easily give them less weight. The resulting weighted regression (Weighted Least Squares, WLS) can be very flexible and robust. 16

17 Modellannahmen der bivariaten Regression: P Wir unterstellen einen linear Zusammenhang zwischen Y und X: Y = a + b x +, P Der Erwartungswert des Fehlerterms ist Null: E(,) = 0. P Die Fehlerterme, verfügen über eine konstante Varianz (Homoskedastizität) P Die Fehlerterme, korrelieren nicht über die Beobachtungen hinweg. D.h., sie sind seriell voneinander unabhängig. P Die Fehlerterme, sind unabhängig vom linearen Prädiktor b X, den vorhergesagten Werten für Y. P Die Fehlerterme, sind normalverteilt mit einem Erwartungswert Null und einer Varianz F 2. <, i ~ NV [0;F²] 17

18 Darstellung der Annahmen zum Fehlerterm (Greene 1993, S.144) 18

19 Anwendungsbeispiele EB30: %-Zustimmung Zuviele Ausländer auf %-Nicht-EG-Ausländer1988 Tab. 1: Berechnung der Kovariation, Kovarianz und Korrelation zwischen %-Zu-viele-Ausländer und %-Nicht-EG-Ausländer 1988 LAND PNEGAUSL: X PZUVIELE: Y (X i &X) (Y i &Y) (X i &X) ((Y i &Y) B 3,2 45 1,22 12,75 15,56 DK 2,0 37 0,02 4,75 0,1 D 5,3 49 3,32 16,75 55,61 F 3,9 46 1,92 13,75 26,4 GR 0,8 22-1,18-10,25 12,1 GB 1,8 47-0,18 14,75-2,66 IRL 0,5 8-1,48-24,25 35,89 I 0,4 36-1,58 3,75-5,93 LUX 2,0 31 0,02-1,25-0,03 NL 2,8 31 0,82-1,25-1,03 P 0,6 15-1,38-17,25 23,81 H 0,4 20-1,58-12,25 19,36 0 = 1,98 32,25 Kovariation = 179,18 s(x) = 1,58 13,59 Kovarianz = 16,29 Korrelation= 0,76 19

20 EB 30: Berechnung der Regressionsparameter b und a: Regressionskoeffizient b' 16,289 1,578 2 ' 16,289 2,490 '%6,542 Regressionskonstante a ' 32,250 & b@1,975 ' 32,250 & 6,542@1,975 ' 19,328 20

21 Inhaltliche Interpretation von b und a: Pb = +6,542 < Wenn der Anteil der Nicht-EG- Ausländer an der Wohnbevölkerung eines EG-Mitgliedslandes um 1 % zunimmt, steigt der Anteil der Befürworter von Zuvielen Ausländern im Land im Durchschnitt um 6,54 % an. Pa = +19,328 < Wohnen keine Nicht-EG-Ausländer im Lande, so erwarten wir im Durchschnitt einen Zustimmungsgrad von 19,33 % zu unserem Item. 21

22 Berechnung der geschätzten Werte für Y durch Einsetzen in die Modellgleichung: Berechnung der geschätzten Werte von Y: Ŷ Ŷ i ' a % b@x i Ŷ i ' 19,328 % 6,542@X i 22

23 Wo liegt unsere Regressionsgerade? GB B F D I DK 30 L NL E GR 15 P 10 IRL Prozentsatz Nicht-EG-Ausländer 23

24 Der standardisierte Regressionskoeffizient ß: P Nachteil des unstandardisierten Steigungskoeffizienten b: < Geschätzte Veränderung von Y bezieht sich auf die absolute Einheitzunahme von X < Der Effekt von X ist somit direkt abhängig von der Maßeinheit von X Ausgaben für Konsumgüter in Abhängigkeit vom Haushaltseinkommen in Lire / DM / Ein Vergleich zwischen zwei verschiedenen bivariaten Regressionsmodellen mit identischer Kriteriumsvariable ist nicht möglich, da ein gemeinsamer Maßstab fehlt. 24

25 Der standardisierte Regressionskoeffizient ß: PVorteile: < Der standardisierte Regressionskoeffizient verfügt über einen von den ursprünglichen Maßeinheiten unabhängigen Wertebereich, der sich auf das Intervall [-1;+1] beschränkt. < Hierdurch läßt sich der standardisierte Regressionskoeffizient sowohl der Richtung als auch der Stärke nach wie der Pearsonsche Produkt-Moment- Korrelationskoeffizient interpretieren. < Er gibt an, um wieviel Y gemessen in Standardabweichungen von Y im Durchschnitt zu- (+) bzw. abnimmt (-), wenn X um eine Standardabweichung von X ansteigt. 25

26 Die Berechnung des standardisierten Regressionskoeffizienten ß: Standardisierter Regressionskoeffizient β s x s y Y [&1;%1] Umkehrung: b'β@ s y s x Y ursprüngliche Wertebereich EB30&Beispiel: β ' 1,578 13,586 '%0,760 26

27 Nachteile des Koeffizienten ß: P Er eignet sich nicht für den Vergleich des Effektes einer unabhängigen Variablen zwischen verschieden Stichproben, da seine Standardisierung durch s x und s y selbst stichprobenabhängig ist. P Er eignet sich lediglich für den Vergleich der Effekte metrischen Prädiktoren innerhalb einer Stichprobe. Er tut dies aber nicht für Dummy- /Indikatorvariablen. 27

28 Wie gut beschreibt unsere Regressionsgerade den Punktschwarm? Berechnung des Standardfehlers der Regression: Standardfehler der Regression ' Σ n (y i & ŷ i ) 2 i'1 (n&k&1) ' SS Error (n&k&1) n: Stichprobenumfang k: Anzahl der unabhängigen Variablen 28

29 Der Determinationskoeffizient R² als Maß der Proportionalen Fehlerreduktion: R 2 ' E 1 & E 2 E 1 ' Σ n (y i &ȳ ) 2 & Σ n (y i &ŷ) 2 i'1 i'1 n Σ (y i &ȳ ) 2 i'1 ' SS Total & SS Error SS Total ' SS Regression SS Total ' 1 & SS Error SS Total 6 [0;1] SS: Summe der Abweichungsquadrate 29

30 Die Modellanpassung des EB30-Beispiels: Tab. 2: LAND Zerlegung der Abweichungsquadrate von Y im bivariaten Regressionsmodell: EB 30 Länderdaten. PNEGAUSL: X PZUVIELE: Y Ŷ SS Regression (Ŷ&Y) 2 SS Error ( Y&Ŷ) 2 SS Total (Y&Y) 2 B 3, ,26 64,20 22,44 162,56 DK 2, ,41 0,03 21,05 22,56 D 5, ,00 473,09 25,01 280,56 F 3, ,84 158,55 1,34 189,06 GR 0, ,56 59,11 6,56 105,06 GB 1, ,10 1,31 252,70 217,56 IRL 0,5 8 22,60 93,14 213,13 588,06 I 0, ,94 106,20 197,55 14,06 LUX 2, ,41 0,03 1,99 1,56 NL 2, ,65 29,11 44,16 1,56 P 0, ,25 80,94 68,12 297,56 E 0, ,94 106,20 3,78 150,06 Mittelwert 0 = 1,98 32,25 Zerlegung der Abweichungsquadrate: s (x) = 1,58 13,59 SS Total = 2030,25 SS Regression = 1171,91 a = 19,33 b = 6,54 SS Error = 857,83 30

31 Berechnung des Standardfehlers der Regression des EB 30 Beispiels: Standardfehler der Regression ' SS Error n&k&1 ' 857,83 n & 1 & 1 ' 857,83 10 ' 9,26 Die durchschnittliche Abweichung der Datenpunkte von der Regressionsgeraden beträgt 9,26 Einheiten von Y. 31

32 Berechnung des Determinationskoeffizienten R² im EB 30 Beispiel: R 2 ' 1 & 857, ,25 ' 1171, ,25 ' 0,5772 R 2 in % ' 0,5772(100 ' 57,72 % 57,7 % der Variation der Zustimmung zum Item Zuviele Ausländer im Land wird durch die Variation des Anteils der Nicht-EG-Ausländer gebunden bzw. erklärt 32

33 Berechnung des multiplen r : Multiples r ' R 2 Y [0;1] EB 30 Länderdaten: Multiples r ' 0,5772 ' 0,76 Nur bei der bivariaten Regression ist das multiple r mit dem Pearsonschen Produkt-Moment- Korrelationskoeffizienten identisch! 33