Kategoriale abhängige Variablen:

Transkript

1 Kategoriale abhängige Variablen: Logit- und Probit -Modelle Statistik II Literatur Annahmen und Annahmeverletzungen Funktionen Exponenten, Wurzeln usw. Das Problem Das binäre Logit-Modell Statistik II Logistische Regression (1/27)

2 Schätzverfahren und ihre Eigenschaften Annahmeverletzungen Was sind die Standard-Annahmen? Zufallsstichprobe Zum Nachlesen/Vorbereiten Wahres Modell: y i = β 0 + β 1 x 1i + β 2 x 2i + ɛ i Die Keine abhängige Kovarianz Variable zwischen ist xintervallskaliert ki und ɛ und unbeschränkt. 6. (Variablen Für jedes beliebige werden ohne Paar Fehler von Beobachtungen gemessen) i und h sind ɛ i 2. und Alle ɛunabhängigen h unkorreliert Variablen (keine Autokorrelation) haben Varianz Keine Für jede perfekte mögliche Multikollineariät Kombination der unabhängigen Variablen 4. ist Fürdie jede (konditionale) mögliche Kombination Varianz vonder ɛ unabhängigen gleich σ 2 und damit Variablen konstant ist der (konditionale) (Homoskedastizität) Mittelwert von ɛ = 0 8. Für jede mögliche Kombination der unabhängigen Variablen ist ɛ normalverteilt Agresti ch. 15: Literatur Annahmen und Annahmeverletzungen Statistik II Annahmen (16/26) Statistik II Logistische Regression (2/27)

3 Schätzverfahren und ihre Eigenschaften Annahmeverletzungen Was passiert, wenn Annahme 1 nicht erfüllt ist? Die abhängige Variable ist intervallskaliert und unbeschränkt. Variablen werden ohne Fehler gemessen Abhängige Variable hat häufig wenig diskrete Ausprägungen (Ratingskalen) Erwartete Werte außerhalb des gültigen Wertebereichs Modelle für ordinale Daten In der Literatur wenig diskutiert, häufig wird angenommen, daß Modell relativ robust ist Alle sozialwissenschaftlichen Variablen fehlerbehaftet Relativ unproblematisch, wenn Fehler voneinander unabhängig und Stichprobe groß Fehler bei y wird von ɛ absorbiert, OLS weniger effizient Fehler bei x schwächt im bivariaten Fall Zusammenhang ab, multivariat auf jeden Fall bias Statistik II Annahmen (17/26) Literatur Annahmen und Annahmeverletzungen Annahmen und Annahmeverletzungen Ergebnisse auf Grundlage einer Stichprobe nur Schätzungen Schätzverfahren setzten Annahmen voraus Wenn Annahmen nicht zutreffen Verzerrte Parameterschätzungen Ineffiziente (und/oder inkonsistente) Parameterschätzungen Zu optimistische Standardfehler Annahmen in Politikwissenschaft häufig verletzt Z. B. Abhängigkeiten zwischen Beobachtungen (Zeitreihen, Panel... ) Kategoriale abhängige Variablen Erweiterungen/Ergänzungen des linearen Modells Statistik II Logistische Regression (3/27)

4 Funktionen Exponenten, Wurzeln usw. Was ist eine Funktion? Abbildungsvorschrift Berechnungsvorschrift Ordnet jedem Wert der x-variable(n) genau einen Wert zu Einstellige Funktionen Mehrstellige Funktionen Allgemeine Formulierung: f (x 1, x 2, ) Lineare Funktion besteht nur aus Konstanten und Produkten von x 1, x 2, Nicht-lineare Funktion: andere Elemente Bisher y als lineare Funktion von x 1, Alle Funktionen graphisch darstellbar (ggf. mehrdimensional) Steigung der Funktion in einem Punkt: (1.) Ableitung Statistik II Logistische Regression (4/27)

5 Funktionen Exponenten, Wurzeln usw. Nicht-lineare Funktionen: z. B. Polynome y = f (x) = 4 x + x x Statistik II Logistische Regression (5/27) Funktionen Exponenten, Wurzeln usw. Exponenten Basis und Exponent Ganzzahlige positive Exponenten: x 3 = x x x Exponent 1 oder 0: x 1 = x; x 0 = 1 Negative Exponenten: x 1 = 1 x ; x 3 = 1 x 3 Rationale Exponenten Quadratwurzel aus x: Mit sich selbst multiplizieren, um x zu erhalten n-te Wurzel aus x: n-mal mit sich selbst multiplizieren, um x zu erhalten Nenner = n-te Wurzel: n x = x 1 n Kompletter Bruch: 5 x 4 = x 4 5 x 4 5 = 1 x 4 5 = 1 5 x 4 Statistik II Logistische Regression (6/27)

6 Funktionen Exponenten, Wurzeln usw. Was ist der natürliche Logarithmus? Logarithmus Umkehrfunktion zur Exponentialfunktion Natürlicher Logarithmus (Funktionsname ln() oder log e ) basiert auf Eulerscher Zahl e = e wichtige Konstante in vielen statistischen Verteilungen und Herleitungen (z. B. Normalverteilung) e 3 = exp(3) ln( ) 3 Natürlicher Logarithmus von x gibt Antwort auf die Frage: Wie oft muß ich e mit sich selbst multiplizieren, um x zu erhalten? Statistik II Logistische Regression (7/27) Funktionen Exponenten, Wurzeln usw. Potenzen zur Basis e: y = exp(x) 150 y = f (x) = exp(x) y > x Statistik II Logistische Regression (8/27)

7 Funktionen Exponenten, Wurzeln usw. Natürlicher Logarithmus = Umkehrfunktion: y = ln(x) 1 y = f (x) = ln(x) ln(x) für x 0 nicht definiert x Statistik II Logistische Regression (9/27) Das Problem Das binäre Logit-Modell Binäre Variablen in der Politikwissenschaft Wahlabsicht in den USA: Republikanisch (0) vs. Demokratisch (1) Land in bestimmtem Jahr in Bürgerkrieg verwickelt: ja (1) vs. nein (0) Parteibindung vorhanden: ja (1) vs. nein (0) Politisches System eine Demokratie: ja (1) vs. nein (0) Wertorientierungen: postmaterialistisch (1) vs. nichtpostmaterialistisch (0) Wahlabsicht zugunsten der CDU: ja (1) vs. nein (0) Viele relevante Variablen binär (oder dichotom) Wie modellieren? Statistik II Logistische Regression (10/27)

8 Das Problem Das binäre Logit-Modell Strategie I: Lineares Wahrscheinlichkeitsmodell Beispiel: Wahlverhalten für CDU durch Sympathie für Merkel zu erklären? Zweitstimme in Umfrage binäre Variable CDU-Wahl Für jeden Befragten 0 (nein) oder 1 (ja) Mittelwert der Dummy-Variablen entspricht relativer Häufigkeit bzw. Wahrscheinlichkeit der CDU-Wahl Warum? Mittelwert cduwahl = = Gesamtwahrscheinlichkeit der CDU-Wahl ca Prozent Mittelwert der Dummy-Variablen in Sympathie-Gruppen = Anteil der CDU-Wähler in Sympathie-Gruppen = Konditionaler Mittelwert = Konditionale Wahrscheinlichkeit der CDU-Wahl in den Gruppen (n = 80). tabstat cduwahl,by (polsympangelamerkel) Summary for variables: cduwahl Statistik II Logistische Regression (11/27) by categories of: polsympangelamerkel (polsymp [Angela Merkel] ) polsympangelamerkel Probleme? mean Total.125 Verfahren zur Modellierung konditionaler Mittelwerte: lineare Regression cduwahl = β 0 + β 1 Sympathie Merkel Wahrscheinlichkeit CDU-Wahl reg cduwahl polsympangelamerkel Das Problem Das binäre Logit-Modell Source SS df MS Number of obs = 80 F( 1, 78) = 6.07 Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = cduwahl Coef. Std. Err. t P> t [95% Conf. Interval] polsympang ~ l _cons CDU-Sympathie hkeit CDU-Wahl Statistik II Logistische Regression (12/27)

9 Das Problem Das binäre Logit-Modell Wie kommt man zum Modell? Problem: CDU-Wahl bzw. deren Wahrscheinlichkeit auf Wertebereich [0;1] beschränkt Transformation der Variablen 1. Schritt: Statt Wahrscheinlichkeiten odds betrachten (Entsprechen in etwa Wettquoten beim Sport) odds(p) = p p ; im Beispiel Wertebereich von 0 bis (fast) Variieren über Ausprägungen der unabhängigen z. B (6.6%) und 1.99 (66.6%) 2. Schritt: Von diesen odds wird der natürliche Logarithmus bestimmt (Logarithmierung) Statistik II Logistische Regression (13/27) Das Problem Das binäre Logit-Modell Wie kommt man zum Modell? II Die logarithmierten Odds werden als Logits bezeichnet Wertebereich von (fast) bis (fast) + Im Beispiel Logits zwischen (6.6%) und (66.6%) Nicht-lineares Verhältnis zur Wahrscheinlichkeit Wahrscheinlichkeit von 50% entspricht Logit von 0 Positiver Logit größere Wahrscheinlichkeit Negativer Logit kleinere Wahrscheinlichkeit Logit-Modell: linearer Zusammenhang zwischen x und Logit logit(cduwahl) = β0 + β 1 merkelsympathie Schätzung der Koeffizienten/Standardfehler mit speziellem iterativen Verfahren (Maximum Likelihood) Statistik II Logistische Regression (14/27)

10 Das Problem Das binäre Logit-Modell In Stata. logit cduwahl polsympangelamerkel Iteration 0: log likelihood = Iteration 1: log likelihood = Iteration 2: log likelihood = Iteration 3: log likelihood = Iteration 4: log likelihood = Logistic regression Number of obs = 80 LR chi2(1) = 6.30 Prob > chi2 = Log likelihood = Pseudo R2 = cduwahl Coef. Std. Err. z P> z [95% Conf. Interval] polsympang ~ l _cons ? Richtung und Signifikanz Statistik II Logistische Regression (15/27) Nicht-Linearität Zusammenhang zwischen x und y nicht-linear, aber monoton Mehr x, mehr y (positiver Zusammenhang) bzw. Mehr x, weniger y (negativer) Zusammenhang Aber nicht mit konstanter Rate S-förmiger Zusammenhang Veränderung in Wahrscheinlichkeit nicht proportional zu Veränderung in x Großer Effekt, wenn Wahrscheinlichkeit im mittleren Bereich Kleiner Effekt, wenn Wahrscheinlichkeit sehr groß oder sehr gering Statistik II Logistische Regression (16/27)

11 Was ist mit den zufälligen Fehlern? Im linearen Regressionsmodell zufällige Normalverteilung um konditionalen Mittelwert Separater Parameter (σ 2 ɛ) Für Logit-Modell Binomialverteilung um konditionale Wahrscheinlichkeit Varianz hängt ab von erwarteter Wahrscheinlichkeit (Heteroskedastizität) Ist durch Modell fixiert und wird nicht separat geschätzt Probit-Modelle sind sehr ähnlich, haben lediglich eine andere Link- bzw. Varianzfunktion Statistik II Logistische Regression (17/27) Logit-Koeffizienten Modell nur in den Logits linear von Richtung (Vorzeichen) von Signifikanz Logits sind sehr unanschaulich Statistik II Logistische Regression (18/27)

12 Odds/Odd-Ratios logit(cduwahl) =β 0 + β 1 merkelsympathie e logit(cduwahl) = odds(cduwahl) =e (β 0+β 1 merkelsympathie) =e β 0 e β 1merkelsympathie Multiplikative Darstellung des Modells Für x = 0: odds = anti-logarithmierte Konstante e β 1 = exp(β 1 ) = Effektkoeffizient Veränderung von x um eine Einheit multipliziert die odds mit dem Effektkoeffizienten Findet sich manchmal in (älterer) Literatur, nicht sehr anschaulich Statistik II Logistische Regression (19/27) Wie kommt man von Logits zu Wahrscheinlichkeiten? Logit Wie nach p auflösen? Logarithmus loswerden Logit = β 0 + β 1 x 1 = ln ( p ) 1 p exp(logit) = p 1 p p auf eine Seite bringen, ausmultiplizieren exp(logit) Statistik II Logistische (1 Regression p) = p(20/27)

13 Wahrscheinlichkeiten p = eβ 0+β 1 x e β 0+β 1 x 1 Odds auch nicht wirklich anschaulich Klarste : erwartete Wahrscheinlichkeiten 1. Teil der Transformation auch umkehren Veränderung der Wahrscheinlichkeit nicht proportional zur Veränderung von x bzw. abhängig vom Niveau von x (und ggf. anderer x 2, ) S-förmiger Zusammenhang Statistik II Logistische Regression (21/27) Erweiterung des Modells logit(y) = β 0 + β 1 x 1 + β 2 x 2 + Logistische Regression ebenfalls multivariat möglich Mehrere unabhängige Variablen wirken linear-additiv auf den Logit Wirkung einer Veränderung von x 1 um eine Einheit auf die Wahrscheinlichkeit von y = 1 hängt ab vom Niveau von x1 und vom Niveau von x2, Am besten graphisch darstellbar Statistik II Logistische Regression (22/27)

14 CDU-Wahl II CDU-Wahl als Funktion von Merkelsympathie Links-Rechts-Selbsteinstufung logit(cduwahl) = β 0 + β 1 merkelsympathie + β 2 LRS Statistik II Logistische Regression (23/27) In Stata. logit cduwahl polsympangelamerkel lrsselbstselbst Iteration 0: log likelihood = Iteration 1: log likelihood = Iteration 2: log likelihood = Iteration 3: log likelihood = Iteration 4: log likelihood = Iteration 5: log likelihood = Logistic regression Number of obs = 78 LR chi2(2) = Prob > chi2 = Log likelihood = Pseudo R2 = cduwahl Coef. Std. Err. z P> z [95% Conf. Interval] polsympang ~ l lrsselbsts ~ t _cons Statistik II Logistische Regression (24/27)

15 Graphische Darstellung Wie wirkt Merkelsympathie für Linke (LRS=2) Zentristen (LRS=5) Rechte (LRS=8)? Wirkung von Sympathie... Fast linear für Rechte Schwach bei Zentristen Praktisch nicht vorhanden bei Linken Implizite Interaktion auf der Ebene der Wahrscheinlichkeiten Prob. CDU-Wahl Merkelsympathie LRS=2 LRS=8 LRS=5 Prob. CDU-Wahl Multivariate Nicht-Linearität Statistik II Logistische Regression (25/27) p(cdu) p(cdu) Merkelsympathie LRS=2 LRS= Symp. Symp. Symp. Merkel Merkel Merkel LRS= LRS LRS LRS Statistik II Logistische Regression (26/27)

16 Viele politikwissenschaftlich interessante Variablen dichotom Lineares Modell problematisch Logit-Modell als gute Alternative erfordert Sorgfalt Statistik II Logistische Regression (27/27)