Kategoriale abhängige Variablen: Logit- und Probit -Modelle. Statistik II

Transkript

1 Kategoriale abhängige Variablen: Logit- und Probit -Modelle Statistik II

2 Wiederholung Literatur Annahmen und Annahmeverletzungen Funktionen Exponenten, Wurzeln usw. Das Problem Das binäre Logit-Modell Statistik II Logistische Regression (1/27)

3 Zum Nachlesen/Vorbereiten Literatur Annahmen und Annahmeverletzungen Agresti ch. 15: Statistik II Logistische Regression (2/27)

4 Schätzverfahren und ihre Eigenschaften Annahmeverletzungen Was sind die Standard-Annahmen? Zufallsstichprobe Wahres Modell: y i = β 0 + β 1 x 1i + β 2 x 2i + ɛ i 1. Die abhängige Variable ist intervallskaliert und unbeschränkt. (Variablen werden ohne Fehler gemessen) 2. Alle unabhängigen Variablen haben Varianz 3. Keine perfekte Multikollineariät 4. Für jede mögliche Kombination der unabhängigen Variablen ist der (konditionale) Mittelwert von ɛ = 0 Statistik II Annahmen (16/26)

5 Schätzverfahren und ihre Eigenschaften Annahmeverletzungen Was sind die Standard-Annahmen? Zufallsstichprobe Wahres Modell: y i = β 0 + β 1 x 1i + β 2 x 2i + ɛ i 5. Keine Kovarianz zwischen x ki und ɛ 6. Für jedes beliebige Paar von Beobachtungen i und h sind ɛ i und ɛ h unkorreliert (keine Autokorrelation) 7. Für jede mögliche Kombination der unabhängigen Variablen ist die (konditionale) Varianz von ɛ gleich σ 2 und damit konstant (Homoskedastizität) 8. Für jede mögliche Kombination der unabhängigen Variablen ist ɛ normalverteilt Statistik II Annahmen (16/26)

6 Annahmen und Annahmeverletzungen Literatur Annahmen und Annahmeverletzungen Ergebnisse auf Grundlage einer Stichprobe nur Schätzungen Schätzverfahren setzten Annahmen voraus Wenn Annahmen nicht zutreffen Verzerrte Parameterschätzungen Ineffiziente (und/oder inkonsistente) Parameterschätzungen Zu optimistische Standardfehler Statistik II Logistische Regression (3/27)

7 Annahmen und Annahmeverletzungen Literatur Annahmen und Annahmeverletzungen Ergebnisse auf Grundlage einer Stichprobe nur Schätzungen Schätzverfahren setzten Annahmen voraus Wenn Annahmen nicht zutreffen Verzerrte Parameterschätzungen Ineffiziente (und/oder inkonsistente) Parameterschätzungen Zu optimistische Standardfehler Statistik II Logistische Regression (3/27)

8 Annahmen und Annahmeverletzungen Literatur Annahmen und Annahmeverletzungen Ergebnisse auf Grundlage einer Stichprobe nur Schätzungen Schätzverfahren setzten Annahmen voraus Wenn Annahmen nicht zutreffen Verzerrte Parameterschätzungen Ineffiziente (und/oder inkonsistente) Parameterschätzungen Zu optimistische Standardfehler Annahmen in Politikwissenschaft häufig verletzt Z. B. Abhängigkeiten zwischen Beobachtungen (Zeitreihen, Panel... ) Kategoriale abhängige Variablen Statistik II Logistische Regression (3/27)

9 Annahmen und Annahmeverletzungen Literatur Annahmen und Annahmeverletzungen Ergebnisse auf Grundlage einer Stichprobe nur Schätzungen Schätzverfahren setzten Annahmen voraus Wenn Annahmen nicht zutreffen Verzerrte Parameterschätzungen Ineffiziente (und/oder inkonsistente) Parameterschätzungen Zu optimistische Standardfehler Annahmen in Politikwissenschaft häufig verletzt Z. B. Abhängigkeiten zwischen Beobachtungen (Zeitreihen, Panel... ) Kategoriale abhängige Variablen Erweiterungen/Ergänzungen des linearen Modells Statistik II Logistische Regression (3/27)

10 Schätzverfahren und ihre Eigenschaften Annahmeverletzungen Was passiert, wenn Annahme 1 nicht erfüllt ist? Die abhängige Variable ist intervallskaliert und unbeschränkt. Variablen werden ohne Fehler gemessen Abhängige Variable hat häufig wenig diskrete Ausprägungen (Ratingskalen) Erwartete Werte außerhalb des gültigen Wertebereichs Modelle für ordinale Daten In der Literatur wenig diskutiert, häufig wird angenommen, daß Modell relativ robust ist Alle sozialwissenschaftlichen Variablen fehlerbehaftet Relativ unproblematisch, wenn Fehler voneinander unabhängig und Stichprobe groß Fehler bei y wird von ɛ absorbiert, OLS weniger effizient Fehler bei x schwächt im bivariaten Fall Zusammenhang ab, multivariat auf jeden Fall bias Statistik II Annahmen (17/26)

11 Was ist eine Funktion? Funktionen Exponenten, Wurzeln usw. Abbildungsvorschrift Berechnungsvorschrift Ordnet jedem Wert der x-variable(n) genau einen Wert zu Einstellige Funktionen Mehrstellige Funktionen Allgemeine Formulierung: f (x 1, x 2, ) Lineare Funktion besteht nur aus Konstanten und Produkten von x 1, x 2, Nicht-lineare Funktion: andere Elemente Bisher y als lineare Funktion von x 1, Alle Funktionen graphisch darstellbar (ggf. mehrdimensional) Steigung der Funktion in einem Punkt: (1.) Ableitung Statistik II Logistische Regression (4/27)

12 Funktionen Exponenten, Wurzeln usw. Nicht-lineare Funktionen: z. B. Polynome y = f (x) = 4 x + x x Statistik II Logistische Regression (5/27)

13 Exponenten Wiederholung Funktionen Exponenten, Wurzeln usw. Basis und Exponent Ganzzahlige positive Exponenten: x 3 = x x x Exponent 1 oder 0: x 1 = x; x 0 = 1 Negative Exponenten: x 1 = 1 x ; x 3 = 1 x 3 Rationale Exponenten Quadratwurzel aus x: Mit sich selbst multiplizieren, um x zu erhalten n-te Wurzel aus x: n-mal mit sich selbst multiplizieren, um x zu erhalten n Nenner = n-te Wurzel: x = x 1 n 5 Kompletter Bruch: x 4 = x 4 5 x 4 5 = 1 x 4 5 = 1 5 x 4 Statistik II Logistische Regression (6/27)

14 Funktionen Exponenten, Wurzeln usw. Was ist der natürliche Logarithmus? Logarithmus Umkehrfunktion zur Exponentialfunktion Natürlicher Logarithmus (Funktionsname ln() oder log e ) basiert auf Eulerscher Zahl e = e wichtige Konstante in vielen statistischen Verteilungen und Herleitungen (z. B. Normalverteilung) e 3 = exp(3) ln( ) 3 Natürlicher Logarithmus von x gibt Antwort auf die Frage: Wie oft muß ich e mit sich selbst multiplizieren, um x zu erhalten? Statistik II Logistische Regression (7/27)

15 Potenzen zur Basis e: y = exp(x) Funktionen Exponenten, Wurzeln usw. 150 y = f (x) = exp(x) y > x Statistik II Logistische Regression (8/27)

16 Funktionen Exponenten, Wurzeln usw. Natürlicher Logarithmus = Umkehrfunktion: y = ln(x) 1 y = f (x) = ln(x) ln(x) für x 0 nicht definiert x Statistik II Logistische Regression (9/27)

17 Das Problem Das binäre Logit-Modell Binäre Variablen in der Politikwissenschaft Wahlabsicht in den USA: Republikanisch (0) vs. Demokratisch (1) Land in bestimmtem Jahr in Bürgerkrieg verwickelt: ja (1) vs. nein (0) Parteibindung vorhanden: ja (1) vs. nein (0) Politisches System eine Demokratie: ja (1) vs. nein (0) Wertorientierungen: postmaterialistisch (1) vs. nichtpostmaterialistisch (0) Wahlabsicht zugunsten der CDU: ja (1) vs. nein (0) Statistik II Logistische Regression (10/27)

18 Das Problem Das binäre Logit-Modell Binäre Variablen in der Politikwissenschaft Wahlabsicht in den USA: Republikanisch (0) vs. Demokratisch (1) Land in bestimmtem Jahr in Bürgerkrieg verwickelt: ja (1) vs. nein (0) Parteibindung vorhanden: ja (1) vs. nein (0) Politisches System eine Demokratie: ja (1) vs. nein (0) Wertorientierungen: postmaterialistisch (1) vs. nichtpostmaterialistisch (0) Wahlabsicht zugunsten der CDU: ja (1) vs. nein (0) Viele relevante Variablen binär (oder dichotom) Wie modellieren? Statistik II Logistische Regression (10/27)

19 Das Problem Das binäre Logit-Modell Strategie I: Lineares Wahrscheinlichkeitsmodell Beispiel: Wahlverhalten für CDU durch Sympathie für Merkel zu erklären? Zweitstimme in Umfrage binäre Variable CDU-Wahl Für jeden Befragten 0 (nein) oder 1 (ja) Mittelwert der Dummy-Variablen entspricht relativer Häufigkeit bzw. Wahrscheinlichkeit der CDU-Wahl Warum? Statistik II Logistische Regression (11/27)

20 Das Problem Das binäre Logit-Modell Strategie I: Lineares Wahrscheinlichkeitsmodell Beispiel: Wahlverhalten für CDU durch Sympathie für Merkel zu erklären? Zweitstimme in Umfrage binäre Variable CDU-Wahl Für jeden Befragten 0 (nein) oder 1 (ja) Mittelwert der Dummy-Variablen entspricht relativer Häufigkeit bzw. Wahrscheinlichkeit der CDU-Wahl Warum? Mittelwert cduwahl = = Statistik II Logistische Regression (11/27)

21 Das Problem Das binäre Logit-Modell Strategie I: Lineares Wahrscheinlichkeitsmodell Gesamtwahrscheinlichkeit der CDU-Wahl ca Prozent Mittelwert der Dummy-Variablen in Sympathie-Gruppen = Anteil der CDU-Wähler in Sympathie-Gruppen = Konditionaler Mittelwert = Konditionale Wahrscheinlichkeit der CDU-Wahl in den Gruppen (n = 80) Statistik II Logistische Regression (11/27)

22 Das Problem Das binäre Logit-Modell Strategie I: Lineares Wahrscheinlichkeitsmodell Gesamtwahrscheinlichkeit der CDU-Wahl ca Prozent Mittelwert der Dummy-Variablen in Sympathie-Gruppen = Anteil der CDU-Wähler in Sympathie-Gruppen = Konditionaler Mittelwert = Konditionale Wahrscheinlichkeit der CDU-Wahl in den Gruppen (n = 80). tabstat cduwahl,by (polsympangelamerkel) Summary for variables: cduwahl by categories of: polsympangelamerkel (polsymp [Angela Merkel] ) polsympangelamerkel mean Total.125 Statistik II Logistische Regression (11/27)

23 Das Problem Das binäre Logit-Modell Strategie I: Lineares Wahrscheinlichkeitsmodell Verfahren zur Modellierung konditionaler Mittelwerte: lineare Regression cduwahl = β 0 + β 1 Sympathie Merkel Statistik II Logistische Regression (11/27)

24 Das Problem Das binäre Logit-Modell Strategie I: Lineares Wahrscheinlichkeitsmodell Verfahren zur Modellierung konditionaler Mittelwerte: lineare Regression cduwahl = β 0 + β 1 Sympathie Merkel. reg cduwahl polsympangelamerkel Source SS df MS Number of obs = 80 F( 1, 78) = 6.07 Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = cduwahl Coef. Std. Err. t P> t [95% Conf. Interval] polsympang ~ l _cons Statistik II Logistische Regression (11/27)

25 Probleme? Wiederholung Das Problem Das binäre Logit-Modell Statistik II Logistische Regression (12/27)

26 Probleme? Wiederholung Das Problem Das binäre Logit-Modell Wahrscheinlichkeit CDU-Wahl CDU-Sympathie Statistik II Logistische Regression (12/27)

27 Probleme? Wiederholung Das Problem Das binäre Logit-Modell Wahrscheinlichkeit CDU-Wahl CDU-Sympathie 1. Heteroskedastizität Standardfehler 2. Wahrscheinlichkeiten außerhalb Intervall (0;1) 3. (Linearer Verlauf nicht plausibel) Statistik II Logistische Regression (12/27)

28 Probleme? Wiederholung Das Problem Das binäre Logit-Modell Wahrscheinlichkeit CDU-Wahl CDU-Sympathie Statistik II Logistische Regression (12/27)

29 Wie kommt man zum Modell? Das Problem Das binäre Logit-Modell Problem: CDU-Wahl bzw. deren Wahrscheinlichkeit auf Wertebereich [0;1] beschränkt Transformation der Variablen 1. Schritt: Statt Wahrscheinlichkeiten odds betrachten (Entsprechen in etwa Wettquoten beim Sport) odds(p) = p p ; im Beispiel Wertebereich von 0 bis (fast) Variieren über Ausprägungen der unabhängigen z. B (6.6%) und 1.99 (66.6%) 2. Schritt: Von diesen odds wird der natürliche Logarithmus bestimmt (Logarithmierung) Statistik II Logistische Regression (13/27)

30 Das Problem Das binäre Logit-Modell Wie kommt man zum Modell? II Die logarithmierten Odds werden als Logits bezeichnet Wertebereich von (fast) bis (fast) + Im Beispiel Logits zwischen (6.6%) und (66.6%) Statistik II Logistische Regression (14/27)

31 Wie kommt man zum Modell? II Das Problem Das binäre Logit-Modell Die logarithmierten Odds werden als Logits bezeichnet Wertebereich von (fast) bis (fast) + Im Beispiel Logits zwischen (6.6%) und (66.6%) Nicht-lineares Verhältnis zur Wahrscheinlichkeit Wahrscheinlichkeit von 50% entspricht Logit von 0 Positiver Logit größere Wahrscheinlichkeit Negativer Logit kleinere Wahrscheinlichkeit Statistik II Logistische Regression (14/27)

32 Wie kommt man zum Modell? II Das Problem Das binäre Logit-Modell Die logarithmierten Odds werden als Logits bezeichnet Wertebereich von (fast) bis (fast) + Im Beispiel Logits zwischen (6.6%) und (66.6%) Nicht-lineares Verhältnis zur Wahrscheinlichkeit Wahrscheinlichkeit von 50% entspricht Logit von 0 Positiver Logit größere Wahrscheinlichkeit Negativer Logit kleinere Wahrscheinlichkeit Logit-Modell: linearer Zusammenhang zwischen x und Logit logit(cduwahl) = β 0 + β 1 merkelsympathie Schätzung der Koeffizienten/Standardfehler mit speziellem iterativen Verfahren (Maximum Likelihood) Statistik II Logistische Regression (14/27)

33 Das Problem Das binäre Logit-Modell In Stata. logit cduwahl polsympangelamerkel Iteration 0: log likelihood = Iteration 1: log likelihood = Iteration 2: log likelihood = Iteration 3: log likelihood = Iteration 4: log likelihood = Logistic regression Number of obs = 80 LR chi2(1) = 6.30 Prob > chi2 = Log likelihood = Pseudo R2 = cduwahl Coef. Std. Err. z P> z [95% Conf. Interval] polsympang ~ l _cons ? Statistik II Logistische Regression (15/27)

34 Das Problem Das binäre Logit-Modell In Stata. logit cduwahl polsympangelamerkel Iteration 0: log likelihood = Iteration 1: log likelihood = Iteration 2: log likelihood = Iteration 3: log likelihood = Iteration 4: log likelihood = Logistic regression Number of obs = 80 LR chi2(1) = 6.30 Prob > chi2 = Log likelihood = Pseudo R2 = cduwahl Coef. Std. Err. z P> z [95% Conf. Interval] polsympang ~ l _cons ? Richtung und Signifikanz Statistik II Logistische Regression (15/27)

35 Nicht-Linearität Zusammenhang zwischen x und y nicht-linear, aber monoton Mehr x, mehr y (positiver Zusammenhang) bzw. Mehr x, weniger y (negativer) Zusammenhang Aber nicht mit konstanter Rate S-förmiger Zusammenhang Statistik II Logistische Regression (16/27)

36 Nicht-Linearität Zusammenhang zwischen x und y nicht-linear, aber monoton Mehr x, mehr y (positiver Zusammenhang) bzw. Mehr x, weniger y (negativer) Zusammenhang Aber nicht mit konstanter Rate S-förmiger Zusammenhang Veränderung in Wahrscheinlichkeit nicht proportional zu Veränderung in x Großer Effekt, wenn Wahrscheinlichkeit im mittleren Bereich Kleiner Effekt, wenn Wahrscheinlichkeit sehr groß oder sehr gering Statistik II Logistische Regression (16/27)

37 Nicht-Linearität Zusammenhang zwischen x und y nicht-linear, aber monoton Mehr x, mehr y (positiver Zusammenhang) bzw. Mehr x, weniger y (negativer) Zusammenhang Aber nicht mit konstanter Rate S-förmiger Zusammenhang Veränderung in Wahrscheinlichkeit nicht proportional zu Veränderung in x Großer Effekt, wenn Wahrscheinlichkeit im mittleren Bereich Kleiner Effekt, wenn Wahrscheinlichkeit sehr groß oder sehr gering Statistik II Logistische Regression (16/27)

38 Was ist mit den zufälligen Fehlern? Im linearen Regressionsmodell zufällige Normalverteilung um konditionalen Mittelwert Separater Parameter (σ 2 ɛ) Für Logit-Modell Binomialverteilung um konditionale Wahrscheinlichkeit Varianz hängt ab von erwarteter Wahrscheinlichkeit (Heteroskedastizität) Ist durch Modell fixiert und wird nicht separat geschätzt Probit-Modelle sind sehr ähnlich, haben lediglich eine andere Link- bzw. Varianzfunktion Statistik II Logistische Regression (17/27)

39 Logit-Koeffizienten Modell nur in den Logits linear von Richtung (Vorzeichen) von Signifikanz Logits sind sehr unanschaulich Statistik II Logistische Regression (18/27)

40 Odds/Odd-Ratios logit(cduwahl) =β 0 + β 1 merkelsympathie e logit(cduwahl) = odds(cduwahl) =e (β 0+β 1 merkelsympathie) =e β 0 e β 1merkelsympathie Multiplikative Darstellung des Modells Für x = 0: odds = anti-logarithmierte Konstante e β 1 = exp(β 1 ) = Effektkoeffizient Veränderung von x um eine Einheit multipliziert die odds mit dem Effektkoeffizienten Statistik II Logistische Regression (19/27)

41 Odds/Odd-Ratios logit(cduwahl) =β 0 + β 1 merkelsympathie e logit(cduwahl) = odds(cduwahl) =e (β 0+β 1 merkelsympathie) =e β 0 e β 1merkelsympathie Multiplikative Darstellung des Modells Für x = 0: odds = anti-logarithmierte Konstante e β 1 = exp(β 1 ) = Effektkoeffizient Veränderung von x um eine Einheit multipliziert die odds mit dem Effektkoeffizienten Findet sich manchmal in (älterer) Literatur, nicht sehr anschaulich Statistik II Logistische Regression (19/27)

42 Wie kommt man von Logits zu Wahrscheinlichkeiten? Logit Wie nach p auflösen? ( ) p Logit = β 0 + β 1 x 1 = ln 1 p Statistik II Logistische Regression (20/27)

43 Wie kommt man von Logits zu Wahrscheinlichkeiten? Logarithmus loswerden exp(logit) = p 1 p Statistik II Logistische Regression (20/27)

44 Wie kommt man von Logits zu Wahrscheinlichkeiten? p auf eine Seite bringen, ausmultiplizieren exp(logit) (1 p) = p exp(logit) p exp(logit) = p Statistik II Logistische Regression (20/27)

45 Wie kommt man von Logits zu Wahrscheinlichkeiten? exp(logit) freistellen, rechte Seite zusammenfassen exp(logit) = p exp(logit) + p exp(logit) = (exp(logit) + 1) p Statistik II Logistische Regression (20/27)

46 Wie kommt man von Logits zu Wahrscheinlichkeiten? p wieder freistellen exp(logit) exp(logit) + 1 = p exp(β 0 + β 1 x 1 ) exp(β 0 + β 1 x 1 ) + 1 = p e (β 0+β 1 x 1 ) e (β 0+β 1 x 1 ) + 1 = p Statistik II Logistische Regression (20/27)

47 Wahrscheinlichkeiten p = eβ 0+β 1 x e β 0+β 1 x 1 Odds auch nicht wirklich anschaulich Klarste : erwartete Wahrscheinlichkeiten 1. Teil der Transformation auch umkehren Veränderung der Wahrscheinlichkeit nicht proportional zur Veränderung von x bzw. abhängig vom Niveau von x (und ggf. anderer x 2, ) S-förmiger Zusammenhang Statistik II Logistische Regression (21/27)

48 Erweiterung des Modells logit(y) = β 0 + β 1 x 1 + β 2 x 2 + Logistische Regression ebenfalls multivariat möglich Mehrere unabhängige Variablen wirken linear-additiv auf den Logit Wirkung einer Veränderung von x 1 um eine Einheit auf die Wahrscheinlichkeit von y = 1 hängt ab vom Niveau von x1 und vom Niveau von x2, Am besten graphisch darstellbar Statistik II Logistische Regression (22/27)

49 CDU-Wahl II CDU-Wahl als Funktion von Merkelsympathie Links-Rechts-Selbsteinstufung logit(cduwahl) = β 0 + β 1 merkelsympathie + β 2 LRS Statistik II Logistische Regression (23/27)

50 In Stata. logit cduwahl polsympangelamerkel lrsselbstselbst Iteration 0: log likelihood = Iteration 1: log likelihood = Iteration 2: log likelihood = Iteration 3: log likelihood = Iteration 4: log likelihood = Iteration 5: log likelihood = Logistic regression Number of obs = 78 LR chi2(2) = Prob > chi2 = Log likelihood = Pseudo R2 = cduwahl Coef. Std. Err. z P> z [95% Conf. Interval] polsympang ~ l lrsselbsts ~ t _cons Statistik II Logistische Regression (24/27)

51 Graphische Darstellung Wie wirkt Merkelsympathie für Linke (LRS=2) Zentristen (LRS=5) Rechte (LRS=8)? Statistik II Logistische Regression (25/27)

52 Graphische Darstellung Prob. CDU-Wahl Merkelsympathie LRS=2 LRS=8 LRS=5 Statistik II Logistische Regression (25/27)

53 Graphische Darstellung Wie wirkt Merkelsympathie für Linke (LRS=2) Zentristen (LRS=5) Rechte (LRS=8)? Wirkung von Sympathie... Fast linear für Rechte Schwach bei Zentristen Praktisch nicht vorhanden bei Linken Implizite Interaktion auf der Ebene der Wahrscheinlichkeiten Prob. CDU-Wahl Merkelsympathie LRS=2 LRS=5 LRS=8 Statistik II Logistische Regression (25/27)

54 Multivariate Nicht-Linearität 1 p(cdu) Symp. Merkel LRS 8 10 Statistik II Logistische Regression (26/27)

55 Multivariate Nicht-Linearität 1 p(cdu) Symp. Merkel 0 0 LRS Statistik II Logistische Regression (26/27)

56 Multivariate Nicht-Linearität 1 p(cdu) Symp. Merkel LRS 10 Statistik II Logistische Regression (26/27)

57 Viele politikwissenschaftlich interessante Variablen dichotom Lineares Modell problematisch Logit-Modell als gute Alternative erfordert Sorgfalt Statistik II Logistische Regression (27/27)