Institut für Soziologie Christian Ganser. Methoden 2. Regressionsanalyse I: Lineare Regression

Transkript

1 Institut für Soziologie Methoden 2 Regressionsanalyse I: Lineare Regression

2 Inhalt 1. Grundidee und Vorgehen 2. Güte eines Regressionsmodells 3. Regressionskoeffizienten Signifikanz und Interpretation 4. Anwendungsbeispiel 5. Kategoriale Einflussgrößen 6. Zusammenfassung und Kochrezept 7. Übungsaufgaben # 2

3 Grundidee und Vorgehen Vergleich mit bisherigen Verfahren Mit Zusammenhangsanalysen, Mittelwertvergleichen und Varianzanalysen können Hypothesen getestet werden Vorhersagen zu individuellen Werten in der abhängigen Variable auf Basis der unabhängigen Größen können allerdings nicht gemacht werden. Während in bisherigen Verfahren einfacher Korrelationsanalysen die betrachteten Größen größtenteils symmetrisch waren, ist nun eine Unterscheidung in abhängige (AV) und unabhängige Variablen (UV) unabdingbar. # 3

4 Grundidee und Vorgehen Begriff und Skalenniveau Regressieren heißt zurückführen auf : Eine AV wird auf UVs zurückgeführt, sprich: eine AV wird auf UVs regressiert. Dabei ist die Kontrolle auf eine Vielzahl von verschiedenen Einflussgrößen möglich Regression ist in den Sozialwissenschaften das am weitesten verbreitete Analyseverfahren Bivariate lineare OLS-Regression untersucht den Zusammenhang zwischen: einer metrischen AV und einer. metrischen oder dichotomen UV. # 4

5 Grundidee und Vorgehen Keine Kausalanalyse! Trotz der Aufteilung in AV und UV kann mit einer Regressionsanalyse keine Kausalität nachgewiesen werden Theoretische Vorüberlegung unabdingbar Kausalität ist mit statistischen Verfahren alleine nicht nachzuweisen. Kausale Wirkungsvermutungen sollten immer theoretisch fundiert werden dies gilt auch für komplexere statistische Analyseverfahren # 5

6 Grundidee und Vorgehen Beispiele 1. Wie wirkt sich das Einkommen einer Person auf deren Lebenszufriedenheit aus? 2. Welche Einstellung gegenüber Homosexuellen erwartet man bei Personen bestimmten Alters? 3. Wie hoch ist der durchschnittlich erwartete BMI (Body-Mass-Index) einer Person, wenn diese ein mittelmäßig gesundes Ernährungsverhalten zeigt? Oder in gerichteter Form 1. Erhöht sich die Lebenszufriedenheit mit steigendem Einkommen? 2. Sind Ältere Homosexuellen gegenüber ablehnender eingestellt als Jüngere? 3. Steigt der BMI bei ungesunder Ernährung? # 6

7 Grundidee und Vorgehen Beispiele Oder als Forschungshypothese formuliert: H 1 : H 2 : H 3 : Je höher das Einkommen ist, desto höher ist die Lebenszufriedenheit. Je älter eine Person ist, desto ablehnender ist sie Homosexuellen gegenüber eingestellt. Je ungesünder die Ernährung ist, desto höher ist der BMI. Dies alles ist allgemein gültig formuliert es gilt für eine ganze Population. Von Interesse ist daher das bedingte Populationsmittel. # 7

8 Grundidee und Vorgehen Bedingtes Populationsmittel Das bedingte Populationsmittel wird geschrieben als E(y x) E steht für Erwartungswert Auf die Beispiele übertragen heißt das: 1. E(Lebenszufriedenheit Einkommen) Werte der abhängigen Variable Bei gegebenen Werten der unabhängigen Variable daher bedingter Erwartungswert 2. E(Einstellung zu Homosexuellen Alter) 3. E(BMI Ernährung) # 8

9 Grundidee und Vorgehen Grafische Darstellung Vorhergesagt wird also das bedingte Populationsmittel E(y x) Daher braucht man zur Berechnung der Vorhersage eine ganze Population. Jede Person dieser Population lässt sich als Punkt in einem Koordinatensystem darstellen. Auf der x-achse befindet sich die unabhängige Variable, auf der y-achse die abhängige Variable. # 9

10 Grundidee und Vorgehen Grafische Darstellung Berechnung der Variablen comp index_ernae= ((9-v21_1)+(9-v21_2)+v21_3 +v21_5+ v21_6+ v21_7)/6. comp bmi=v28/((v27/100)*(v27/100)). recode bmi (50 thru highest=-77). mis val bmi (-77). Streudiagramm graph /scatter index_ernae with bmi. # 10

11 Grundidee und Vorgehen Grafische Darstellung # 11

12 Grundidee und Vorgehen Populationsregressionsfunktion Diese Punktewolke soll von einer Geraden beschrieben werden (Populationsregressionsfunktion - PRF): y i = E(y x i ) + u i wobei u i die Abweichung der y i vom bedingten Populationsmittel angibt. u i nennt man auch Residuum oder stochastischer Fehlerterm. # 12

13 Grundidee und Vorgehen Populationsregressionsfunktion Im linearen bivariaten Fall heißt die Populationsregressionsfunktion : E(y x i ) = β 0 + β 1 x i β 0 und β 1 sind die Regressionskoeffizienten Die oben genannte Gleichung beschreibt einen linearen Zusammenhang (Gerade) zwischen X und Y β 0 gibt dabei an, an welcher Stelle die Gerade die Y-Achse schneidet β 1 gibt die Steigung der Geraden an # 13

14 Grundidee und Vorgehen Stichprobenregressionsfunktion Meist liegt nur eine Stichprobe vor. Daher schätzt man die PRF mit dieser Stichprobe und erhält eine Gleichung: Stichprobenregressionsfunktion (SRF). Schätzer werden durch Dach gekennzeichnet: Beispiel: Welchen durchschnittlich BMI hat eine Person, wenn der Ernährungsindex den Wert 4 annimmt? # 14

15 Grundidee und Vorgehen Stichprobenregressionsfunktion # 15

16 Grundidee und Vorgehen Stichprobenregressionsfunktion Steigungskoeffizient β 1 Residuum û Achsenabschnitt β 0 # 16

17 Grundidee und Vorgehen OLS-Schätzung Die Gerade wird so durch die Punktewolke gelegt, dass die Summe der quadrierten Residuen möglichst klein wird (sog. Kleinste-Quadrate- Methode oder auch Ordinary Least Squares (OLS)). Das zu lösende Problem lautet also: Die Residuen werden quadriert, weil sich sonst positive und negative Abweichungen ausgleichen stärkere Abweichungen stärker in die Berechnung einfließen sollen Der Erwartungswert der Residuen ist gleich 0, im Durchschnitt sind die Fehler also 0: E(u)=0. n min u i i 1 2 # 17

18 Güte eines Regressionsmodells R² Wie gut passt die Gerade zu den Daten? Berechnung des Bestimmtheitsmaßes R² R² basiert auf Zerlegung der Gesamtstreuung in Streuungskomponenten: Die Gesamtvariation der tatsächlichen Werte von Y lässt sich zerlegen in durch die Regression erklärte und unerklärte Variation: (Total Sum of Squares = Explained Sum of Squares + Residual Sum of Squares) TSS TSS ESS RSS ESS ( Yˆ Y) 2 ( Y 2 i Y) RSS u 2 i R² ergibt sich als der Anteil der erklärten Variation an der Gesamtvariation. ˆi # 18

19 Güte eines Regressionsmodells R² ESS Mittelwert RSS # 19

20 Güte eines Regressionsmodells R² R² ist also ein Anteil. Folglich liegt R² zwischen 0 und 1 R² entspricht bei nur einer unabhängigen Variable dem quadrierten Korrelationskoeffizienten Interpretation von R²: R² = 0 die Regressionsfunktion trägt nichts zur Erklärung von Y bei R² = 1 die Regressionsfunktion erklärt Y perfekt (alle Punkte liegen genau auf der Geraden) Beispielweise: R² = 0,35 35% der Varianz werden durch die unabhängige Variable erklärt. # 20

21 Güte eines Regressionsmodells F-Test Ebenfalls auf dieser Streuungszerlegung basiert der F-Test Dieser Test informiert darüber, ob die unabhängige(n) Variable(n) zur Erklärung der abhängigen Variable beitragen H 0 : Die unabhängigen Variablen tragen nicht zur Erklärung der abhängigen Variable bei H 1 : Mindestens eine unabhängige Variable trägt zur Erklärung der abhängigen Variable bei # 21

22 Güte eines Regressionsmodells F-Test Zunächst werden Freiheitsgrade berechnet: Freiheitsgrade gesamt: Fallzahl N - 1 Freiheitsgrade der Residuen: N-J-1 mit J = Zahl der unabhängigen Variablen Freiheitsgrade der Regression = Freiheitsgrade gesamt-freiheitsgrade der Residuen Dann werden jeweils Mittel der Quadrate berechnet: Mittel der Quadrate = Quadratsumme/Freiheitsgrade Die Prüfgröße F ergibt sich als: Mittel der Quadrate der Regression Mittel der Quadrate der Residuen # 22

23 Regressionskoeffizienten Signifikanz Neben der Gesamtgüte des Modells ist insbesondere von Interesse, ob einzelne Variablen einflussreich sind Dazu wird zunächst für jeden Koeffizienten (hier: 0 ˆ und ) der Standardfehler se(β j ) berechnet Diese entsprechen der Standardabweichung der Koeffizienten, wenn man immer wieder eine Stichprobe ziehen würde Stichprobenschwankung ˆ 1 # 23

24 Regressionskoeffizienten Signifikanz Mit dem Standardfehler kann bestimmt werden, wie treffsicher ein Koeffizient ist. Dafür werden die Koeffizienten durch die Standardfehler dividiert. Der resultierende T-Wert dient als Prüfgröße des T-Tests H 0 : Der Koeffizient ist nicht von 0 verschieden (die Variable hat keinen Einfluss) H 1 : Der Koeffizient ist von 0 verschieden (die Variable hat einen Einfluss) # 24

25 Regressionskoeffizienten Interpretation Interpretation von β 0 : Durchschnittlicher Wert der AV, wenn alle anderen Einflussgrößen gleich 0 sind. Interpretation von β 1 : Verändert sich die UV um eine Einheit, so verändert sich die AV um β 1 Einheiten. # 25

26 Anwendungsbeispiel Befehl regression /statistics coeff CI anova R /dependent BMI Abhängige Variable BMI /method=enter index_ernae. Unabhängige Variable Ernährung Man erhält drei Blöcke: 1. den Koeffizienten-Block 2. den Modell-Fit-Block und 3. den Anova-Block. Wie sieht die Gerade aus? Wie gut passt die Gerade zu den Daten? # 26

27 Anwendungsbeispiel Koeffizienten-Block Konstante β 0 (Achsenabschnitt) Standardfehler der Schätzer: se(β j ) Steigungskoeffizient β 1 Positiv positiver Zusammenhang Negativ negativer Zusammenhang. Der erwartete BMI steigt pro Indexpunkt um 0,464 # 27

28 Anwendungsbeispiel Koeffizienten-Block p-wert > 0,05 Zusammenhang ist nicht signifikant Aus den Koeffizienten ergibt sich folgender Schätzwert für eine Person mit einem Indexwert von 4: 24, ,464*4 = 26,644 # 28

29 Anwendungsbeispiel Anova-Block ESS ( Yˆ Y) 2 RSS uˆi i 2 p-wert > 0,05: Die Nullhypothese, keine UV hat Einfluss, kann nicht abgelehnt werden. TSS ( Y Y) i 2 # 29

30 Anwendungsbeispiel Model-Fit-Block R: Korrelationskoeffizient. Entspricht im bivariaten Fall dem Zusammenhangsmaß r. R 2 = 0,005 Durch die UV Ernährung werden 0,5% der Varianz der AV BMI erklärt. Sehr geringe Modellgüte Der Standardschätzfehler ist ein Maß dafür, wie stark die geschätzten y-werte von den tatsächlichen y-werten im Durchschnitt abweichen # 30

31 Kategoriale Einflussgrößen Einflussgrößen können nicht nur metrisch sein, sondern auch dummykodiert (0/1) Durch Dichotomisierung (= Bildung von Dummyvariablen) lassen sich auch nominale und ordinale Variablen als unabhängige Variablen untersuchen Eine Dummyvariable nimmt den Wert 1 an, wenn eine bestimmte Eigenschaft vorliegt, sonst den Wert 0 Hat eine Variable mehr als 2 Kategorien (k>2), werden k-1 davon in das Modell aufgenommen, die weggelassene Variable dient als Referenzkategorie Wichtig: Effekte von Dummy-Variablen sind immer im Hinblick auf eine sog. Referenzkategorie zu interpretieren: Verglichen mit der Referenzkategorie XY. # 31

32 Kategoriale Einflussgrößen Beispiel 1: Geschlecht Bilden der Variable: recode v55 (1=0)(2=1)(else=copy) into frau. mis val frau (-77). var lab frau "Geschlecht". val lab frau 0 "Männlich" 1 "Weiblich". cro frau by v55. Regression: regression /stat coeff CI anova R /dependent BMI /method=enter frau. Nur ein Dummy wird eingefügt. Als Referenz dient die 0-Kategorie, hier Männer. # 32

33 Kategoriale Einflussgrößen Beispiel 1: Geschlecht # 33

34 Kategoriale Einflussgrößen Beispiel 1: Geschlecht Erwarteter BMI Männer: 27,169+0*(-0,885)=27,169 Erwarteter BMI Frauen: 27,169+1*(-0,885)=26,284 # 34

35 Kategoriale Einflussgrößen Beispiel 2: Psychische Gesundheit Bilden von 2 Dummy-Variablen recode v14 ( =0)(3=1) into v14_rec1. recode v14 (1 2 3=0)(4 5=1) into v14_rec2. var lab v14_rec1 "Psychische Gesundheit: Mittelmäßig". var lab v14_rec2 "Psychische Gesundheit: Gut/Sehr gut". val lab v14_rec1 v14_rec2 0 "Keine Nennung" 1 "Nennung. cro v14_rec1 by v14. cro v14_rec2 by v14. Sehr schlecht und Schlecht dienen folglich als Referenzkategorie # 35

36 Kategoriale Einflussgrößen Beispiel 2: Psychische Gesundheit Schätzen des Modells regression /stat coeff CI anova R /dependent BMI /method=enter v14_rec1 v14_rec2. # 36

37 Kategoriale Einflussgrößen Beispiel 2: Psychische Gesundheit # 37

38 Kategoriale Einflussgrößen Beispiel 2: Psychische Gesundheit # 38

39 Zusammenfassung und Kochrezept Die einfache lineare Regression dient der Analyse des Einflusses einer metrischen oder dichotomen unabhängigen Variable auf eine metrische abhängige Variable Grundidee ist das Hindurchlegen einer Geraden durch eine Punktewolke Die Gerade wird dabei so bestimmt, dass die Summe der quadrierten Abstände der Beobachtungen von der Geraden möglichst klein wird Effekte in einer Regression lassen nicht zwingend auf kausale Wirkungszusammenhänge schließen # 39

40 Zusammenfassung und Kochrezept Kochrezept : Was muss mindestens interpretiert werden? 1. Ist der F-Test signifikant? Auskunft darüber, ob unabhängige Variable(n) zur Erklärung der abhängigen Variable beitragen 2. Wie groß ist R²? Anteil der Varianz der abhängigen Variable, der durch unabhängige Variable erklärt wird 3. Welche Variablen haben einen signifikanten Einfluss auf die abhängige Variable? T-Test der Koeffizienten 4. Wie ist dieser Einfluss beschaffen: positiv oder negativ, um wie viele Einheiten ändert sich die abhängige Variable bei Änderung der unabhängigen Variable um eine Einheit Interpretation der Koeffizienten 5. Hilfreich sind zudem Beispielrechnungen der Form Wie hoch ist das durch das Modell vorhergesagte Einkommen für eine Person, die 15 Bildungsjahre absolviert hat? # 40

41 Übungsaufgaben Aufgabe 1 Es wird vermutet, dass das Haushaltseinkommen die Qualität der Wohnumgebung und damit deren Bewertung beeinflusst. Bilden Sie aus den Variablen v11_1 bis v11_6 einen additiven Index zur Bewertung des Wohnumfelds. Prüfen Sie zuvor die Reliabilität des Index und die Brauchbarkeit der einzelnen Variablen anhand geeigneter Maßzahlen und wählen Sie ggf. nur geeignete Variablen aus. Erstellen Sie ein Streudiagramm inklusive einer Fit-Geraden. Berechnen Sie ein Regressionsmodell und interpretieren Sie die Resultate. Wie viel Varianz der Lebenszufriedenheit erklärt die psychische Belastung? Welche Bewertung wird für eine Person mit Haushaltseinkommen von 2500 Euro erwartet? # 41

42 Übungsaufgaben Aufgabe 2 Untersuchen Sie, ob die Bewertung des Wohnumfelds von der Einwohnerzahl abhängt. Berechnen Sie ein Regressionsmodell und interpretieren Sie die Koeffizienten des Modells. Wie viel Varianz erklärt die Einwohnerzahl? Was sagt in diesem Fall der Wert der Konstante aus? Wie unterscheiden sich die Ergebnisse, wenn die geringste Einwohnerzahl als Referenzkategorie gewählt wird, im Vergleich zu Kategorie 4 als Referenzkategorie? # 42