I.V. Methoden 4: Regressionsund Pfadanalyse WiSe 02/03

Transkript

1 I.V. Methoden 4: Regressionsund Pfadanalyse WiSe 02/03 Vorlesung: He uses statistics as a drunken man use lampposts - for support rather than for illumination. Andrew Lang Dr. Wolfgang Langer Institut für Soziologie Martin-Luther-Universität Halle-Wittenberg Dr. Wolfgang Langer 2002

2 Gliederung I: PIdentifikation von Scheinkausalität und Suppressionseffekten PBestimmung der praktischen Signifikanz < Der Determinationskoeffizient R² < Die Theil-Adjustierung des Determinationskoeffizienten R² Adjustiert PDie Bestimmung der statistischen Signifikanz < Testvoraussetzungen < Die Logik des globalen und partiellen F-Tests < Die Logik des T-Tests für einzelne Regressionsparameter

3 Identifikation von Scheinkausalität und Suppressionseffekten Analysestrategie: Vergleich der bivariaten mit den partiellen Steigungskoeffizienten Bivariate Regression Multiple Regression X1 b Y X1 Y X1 b Y X1. X2 Y Scheinkausalität: b Y X1 0 b Y X1. X2 = 0 Suppressionseffekt: b Y X1 = 0 b Y X1. X2 0 X2

4 Beispiel für Scheinkausalität: X1 b X1 b Y X1. X2 Y X1 = 0 Y + - Anzahl der Störche Geburtenrate X2 + Bevölkerungsdichte Y Bivariate Steigung: b Y X1 > 0 Partielle Steigung: b Y X1. X2 = 0

5 Beispiel für einen Suppressionseffekt: X1 b X1 b Y X1. X2 Y X1 0 Y 0 - Alter (Kohorte) Liberalismus X2 + Bildungsabschluß Y Bivariate Steigung: b Y X1 = 0 Partielle Steigung: b Y X1. X2 0

6 Welches Vorzeichen hat der unterdrückte partielle Effekte? Sein Vorzeichen hängt von den Vorzeichen der Korrelation zwischen X 1 und X 2 sowie Y und X 2 ab. ß YX1.X2 < 0 Allgemeine Formel: β yx1.x 2 β 1 r yx 1 & r x1 x 2 1 & r 2 x 1 x 2 Vorliegen eines Suppressionseffekts: r yx1 0 β yx1.x 2 β 1 0 & r yx x1 x 2 1 & r 2 x 1 x 2 wenn r YX1 r X1X ß YX1.X2 > 0 wenn r YX1 r X1X

7 Bestimmung der praktischen Signifikanz I: Der Determinationskoeffizient R² als Maß der Proportionalen Fehlerreduktion (PRE-Maß) R 2 1 & (y i &ŷ) 2 i1 1 & (y i &ȳ) 2 i1 SS Errors SS Total SS Regression SS Total 6 [0;1]

8 Bestimmung der praktischen Signifikanz II: PVorteil: Klare Interpretation Wie viel Prozent der Varianz/Variation von Y wird durch die Gesamtheit der Prädiktoren erklärt oder gebunden? PNachteile beim Modellvergleich: < Unterschiedliche Fallzahlen bleiben unberücksichtigt < Unterschiedliche Anzahl von exogenen Variablen nicht kontrolliert

9 Bestimmung der praktischen Signifikanz III: Der Adjustierte Determinationskoeffizient R² adjustiert von Henry Theil (1964) Adjustiertes R 2 1 & (n&1) (n&k) 1&R 2 n: Stichprobenumfang k: Anzahl der unabhängigen Variablen / geschätzten Steigungskoeffizienten

10 Bestimmung der praktischen Signifikanz IV: P Vorteile: < Kontrolle unterschiedlicher Stichprobenumfänge < Kontrolle der Unterschiede der Anzahl exogener Merkmale P Nachteile: < Das Adjustierte R² kann negative Werte annehmen, wenn der Determinationskoeffizient R² sehr niedrig ist (R² < 0,05: Modellierung des weißen Rauschens ) (S. Greene 1993, S. 193)

11 Bestimmung der statistischen Signifikanz I: Wie können wir von unserem Stichprobenbefund auf die Parameter der Grundgesamtheit schließen? (Anwendungsfall des Alptraums Methoden 3") P Voraussetzungen der Testverfahren: < Vorliegen einer unverzerrten einfachen oder mehrstufigen Zufallsstichprobe < Normalverteilung der Residuen des Regressionsmodell: NV - (:=0; F² = konstant) < Residuen dürfen nicht mit den vorgesagten Werten von Y korrelieren < Residuen müssen seriell unabhängig sein

12 Bestimmung der statistischen SignifikanzII: Der globale F-Test als Omibus-Testverfahren für alle geschätzten Steigungskoeffizienten: Nullhypothese: Alle Steigungskoeffizienten sind Null. (Bezieht sich auf die Grundgesamtheit!) H 0 : b 1 b 2.. b k 0 H 0 : R 2 0 oder alternativ:

13 Berechnung der Prüfgröße des globalen F-Tests Globaler F&Test (D.F.1;D.F.2) SS Regression / k SS Errors / (n&k&1) R 2 / k (1&R 2 ) / (n&k&1) folgt F & Verteilung Legende: D.F.1=k Anzahl der unabhängigen Variablen k (F.G.1) D.F.2=n-k-1 Stichprobenumfang abzüglich Anzahl unabhängiger Variablen abzüglich Eins (F.G.2) n: Stichprobenumfang k: Anzahl der unabhängigen Variablen (geschätzten Steigungskoeffizienten)

14 Arbeitsschritte beim globalen F-Test P 1.Schritt: P 2.Schritt: P 3.Schritt: Berechnung der empirischen Prüfgröße F PR, der Freiheitsgrade 1 (F.G.1) sowie der Freiheitsgrade 2 (F.G.2) Ermittlung des theoretischen F-Werts für die angestrebte Irrtumswahr-scheinlichkeit " bei gegebenen F.G.1 und F.G.2 Fällen der Testentscheidung: < Annahme der Nullhypothese H 0,wenn gilt: F PR < F krit. (" = 0,05; F.G.1=k; F.G.2=n-k-1) < Ablehnung der Nullhypothese H 0, wenn gilt: F PR $ F krit. (" = 0,05; F.G.1=k; F.G.2=n-k-1)

15 Berechnung des multiplen linearen Regressionsmodell mit SPSSfWin: Modellzusammenfassung b Modell 1 Modell 1 Standardf Korrigiertes ehler des R R-Quadrat R-Quadrat Schätzers,772 a,596,507 9,54202 a. Einflußvariablen : (Konstante), Prozentsatz Postmaterialisten, Prozentsatz Nicht-EG-Ausländer b. Abhängige Variable: Prozentsatz zuviele Ausländer Regression Residuen Gesamt ANOVA b Quadrats Mittel der umme df Quadrate F Signifikanz 1210, ,399 6,649,017 a 819, , , a. Einflußvariablen : (Konstante), Prozentsatz Postmaterialisten, Prozentsatz Nicht-EG-Ausländer b. Abhängige Variable: Prozentsatz zuviele Ausländer Koeffizienten a Wie berechnen wir per Hand den zugehörigen globalen F- Test? Modell 1 (Konstante) Prozentsatz Nicht-EG-Ausländer Prozentsatz Postmaterialisten a. Abhängige Variable: Prozentsatz zuviele Ausländer Standardisierte Nicht standardisierte Koeffizienten Koeffizienten Standardfehler B Beta T Signifikanz 14,934 8,145 1,834,100 5,299 2,646,615 2,003,076,456,702,200,649,532

16 Durchführung des F-Tests per Hand : Globaler F&Test (D.F.1;D.F.2) SS Regression / k SS Errors / (n&k&1) R 2 / k (1&R 2 ) / (n&k&1) F PR 1210, ,452 12&2&1 1210, , ,399 91,050 6,649.6,65 D.F.1 / F.G.1 k 2 D.F.2 / F.G.2 n & k & 1 12 & 2 & 1 9 Testentscheidung: Bestimmung von F (krit, 1-"= 1-0,05=0,95; F.G.1=2; F.G.2=9) = 4,26 Da F PR $ F krit (6,65 $ 4,26) ist, können wir die Nullhypothese H 0 verwerfen! K Modell gilt für die Grundgesamtheit mit einer Irrtumswahrscheinlichkeit von weniger als 5 %.

17 Für den F-Test benötigte Tabelle der kritischen F- Werte für die Irrtumswahr-scheinlichkeit " = 0,05

18 Fortsetzung der F-Tabelle: (Greene 1993, Anhang)

19 Der partielle F-Test für hierarchische Modellfolgen I: Partieller F-Test: Anwendung für eine hierarchische Folge von Regressionsmodellen, für die gilt: M 1 d M 2,, d.h., M 1 ist eine echte Teilmenge von M 2 Beispiel: M1: X 1,X 2 M2: X 1,X 2,X 3,X 4 Nullhypothese: Die in M 2 im Vergleich zu M 1 zusätzlich enthaltenen Prädiktoren X 3 und X 4 üben keinen statistisch bedeutsamen Einfluß auf Y aus.

20 Der partielle F-Test für hierarchische Modellfolgen II: Nullhypothese und Prüfgröße H 0 : b 3 b 4 0 oder alternativ: H 0 : R 2 M 2 & R 2 M 1 R 2 M 2,M 1 0 Partieller F&Test (D.F.1;D.F.2) SS Regression (M 1,M 2 ) / k SS Errors(M2 ) /(n&k&1) (M 2 ) R 2 M 2,M 1 / k (1&R 2 M 2 ) / (n&k M2 &1) folgt F & Verteilung D.F.1: Differenz der Anzahl unabhängiger Variab len in M 2 und M 1 D.F.2: Stichprobenumfang abzüglich Anzahl unabhängiger Variablen von M 2 abzüglich Eins. k: Differenz der Anzahl der Steigungskoeffizienten in M 2 und M 1 n: Stichprobenumfang k M 2 : Anzahl der Steigungskoeffizienten von M 2

21 Der T-Test für die einzelnen Regressionsparameter b 0, b 1, b 2 I: Nullhypothese H 0 : b X = 0 Alternativhypothese H A : b X 0 T-Test (D.F.) = / 0 Schätzer & b H0 / Standardfehler 0 /0 b x -0 S.E. bx /0 folgt T - Verteilung Anzahl der Freiheitsgrade = n -2

22 Der T-Test II: Anwendung im bivariaten Regressionsmodell: Die Schätzung des Standardfehlers des Regressionskoeffizienten b: Standardfehler b ˆ Varianz(b ) n Σ (y i & ŷ i ) 2 i1 n &2 n Σ (X i & x ) 2 i1 Standardfehler der Regression Variation X

23 Der T-Test III: Schätzung des Standardfehlers der Regressionskonstanten im bivariaten Regressionsmodell Standardfehler a ˆ Varianz (a) (y i & ŷ i ) 2 i1 ( 1 2 (n&2) n % x x (x i & x x ) 2 i1 (n&1) ( (n&1) (y i & ŷ i ) 2 i1 (n&2) ( 1 n % x x 2 (x i & x x ) 2 i1

24 T-Test IV: Schätzung der Standardfehler partieller Regressionskoeffizienten Standardfehler byx 1.X 2 ˆ Varianz(b YX1.X 2 ) (y i & ŷ i ) 2 i1 n&k&1 (X 1i & x 1 ) 2 ( (1&r 2 X i1 1,X 2 ) (y i & ŷ i ) 2 / (n&k&1) i1 (X 1i & x 1 ) 2 ( (1&r 2 X i1 1,X ) 2 Standardfehler der Regression Variation X1 ( (1&r 2 X 1,X 2 ) Standardfehler byx 2.X 1 ˆ Varianz(b YX2.X 1 ) (y i & ŷ i ) 2 i1 n&k&1 (X 2i & x 2 ) 2 ( (1&r 2 X i1 1,X ) 2 (y i & ŷ i ) 2 / (n&k&1) i1 (X 2i & x 2 ) 2 ( (1&r 2 X i1 1,X ) 2 Standardfehler der Regression Variation X2 ( (1&r 2 X 1,X 2 )

25 Der T-Test 5: Arbeitsschritte P1.Schritt:Berechnung der empirischen Prüfgröße und der Freiheitsgrade (n-2) P2.Schritt:Ermittlung des kritischen T-Werts für die Irrtumswahrscheinlichkeit von "=5% mit Flächeninhalten 1-"=0,95 (einseitig) oder 1-"/2=0,975 (zweiseitig) in der T-Tabelle für n-2 Freiheitsgrade P3.Schritt: Fällen der Testentscheidung (zweiseitig) < Annahme von H 0, wenn gilt: T PR < T krit;1-"/2=0,975;f.g.=n-2 < Ablehnung von H 0, wenn gilt: T PR $ T krit;1-"/2=0,975;f.g.=n-2

26 Die Tabellierung der kritischen T-Werte der Student-T-Verteilung (Greene 1993, Anhang) Daumenregel für ein Signifikanzniveau von mindestens 5 %: T PR = /0 b x $ 2 S.E. b x /0 Gilt ab nur für n $ 50!