Multinomiale logistische Regression

Multinomiale logistische Regression Die multinomiale logistische Regression dient zur Schätzung von Gruppenzugehörigkeiten bzw. einer entsprechenden Wahrscheinlichkeit hierfür, wobei als abhänginge Variable mehr als zwei Ausprägungen (Gruppen) betrachtet werden. Beispiel Eine Parteienforscherin will Einflussfaktoren auf die Wahlentscheidung bei der letzten Bundestagswahl untersuchen. Hierfür hat sie eine Stichprobe von Wählern mit folgenden Variablen 7 : beabsichtigte Wahlentscheidung (0: SPD, 1: CDU/CSU, 3: sonstige Parteien), Alter, Geschlecht, monatliches Bruttoeinkommen und die politische Selbsteinschätzung (auf einer Skala von 1: eher links orientiert bis 5: eher rechts orientiert ). Die Daten haben folgendes Aussehen: Da die abhängige Variable in diesem Fall mehr als zwei Kategorien hat, entschließt sie sich, eine multinomiale logistische Regression durchzuführen. 7 Die Daten stammen aus der allgemeinen Bevölkerungsumfrage der Sozialwissenschaften (ALLBUS) 2004 und sind für ihre Zwecke umgeformt worden. 56

Die abhängige Variable kann im multinomialen logistischen Regressionsmodell J nominalskalierte Werte annehmen, wobei diese Werte der abhängigen Variable gleich 1, 2,..., j,..., J sein können. Diesen Zusammenhang kann man dann wie folgt darstellen: P (y i = j) =π ij, (43) mit π ij als Wahrscheinlichkeit für das Auswählen der Kategorie j von Individuum i. Für jedes Individuum gibt es also J mögliche Wahrscheinlichkeiten. Insgesamt gesehen ist eine Kategorie - willkürlich wählbar, hier allerdings die J-te Kategorie - redundant, denn deren Wahrscheinlichkeit kann wie folgt ermittelt werden: π ij =1 (π i1 + π i2 +...+ π ij +...+ π i(j 1) ). (44) Da das binäre logistische Regressionsmodell ein Spezialfall des multinomialen logistischen Regressionsmodells ist, kann zunächst auf diese Darstellung zurückgegriffen werden: P (y i =1)=π i = F (z) = ez 1+e = eβ1+β2x2i+...+βkxki+...+βkxki z 1+e β 1+β 2. (45) x 2i +...+β k x ki +...+β K x Ki Die Verallgemeinerung dieses Zusammenhangs kann dann wie folgt dargestellt werden: P (y i = j) =π ij = (46) e β 1j+β 2j x 2i +...+β kj x ki +...+β Kj x Ki 1+e β 11+β 21 x 2i +...+β k1 x ki +...+β K1 x Ki +...+ e β 1(J 1) +β 2(J 1) x 2i +...+β k(j 1) x ki +...+β K(J 1) x Ki = e β 1j+β 2j x 2i +...+β kj x ki +...+β Kj x Ki 1+Σ J 1. r=1 e β 1r+β 2r x 2i +...+β kr x ki +...+β Kr x Ki Bei der Betrachtung eines multinomialen logistischen Regressionsmodells bedarf es also der Berücksichtigung einer Referenzkategorie, wobei diese will- 57

kürlich gewählt werden kann. Die Wahrscheinlichkeitsaussagen aus Basis dieses Regressionsmodells müssen also vor dem Hintergrund einer Referenzkategorie gemacht werden. Die Schätzung der Koeffizienten wird über die Maximum-Likelihood-Methode vorgenommen. Es gilt also folgende Funktion zu maximieren: max β1,...,β J 1 L(β 1,...,β J 1 ; y 1,...,y J,x 2i,...,x Ki ), (47) Die Likelihoodfunktion kann als Produkt der Einzelwahrscheinlichkeiten P (y i = j) =π ij geschrieben werden: J n L = (π ij ) d ij =(π i1 ) d i1 (π i2 ) d i2... (π ij ) d ij... (π ij ) d ij, (48) j=1 i=1 mit d ij als binär kodiertem Wert, der das Vorhandensein einer Auswahl der j-ten Kategorie widerspiegelt: d ij nimmt den Wert eins an, wenn von Individuum i die j-te Kategorie gewählt wurde (y i = j), sonst ist der Wert gleich null. Die Maximierung der Likelihoodfunktion erfolgt wie im Fall der binären logistischen Regression iterativ und kann z. B. über das Fisher-Scoring-Verfahren erfolgen 8. Die unabhängigen Variablen im multinomialen logistischen Regressionsmodell müssen die gleichen Anforderungen erfüllen wie im binären logistischen Regressionsmodell und somit auch wie im multiplen linearen Regressionsmodell. Die Interpretation der geschätzten Koeffizienten erfolgt so wie im binären logistischen Regressionsmodell, hier allerdings stets vor dem Hintergrund der Referenzkategorie der abhängigen Variable, d. h. also der Referenzkategorie J. 8 Vgl. Fahrmeir et al. (1996) Multivariate statistische Verfahren. 58

Güte des multinomialen logistischen Regressionsmodells Zur Beurteilung der Güte eines multinomialen logistischen Regressionsmodells zählen wie im binären logistischen Regressionsmodell besonders 1. verschiedene Bestimmtheitsmaße, 2. das Akaike-Informationskriterium, 3. verschiedene Tests und 4. die Klassifizierungstabelle. Bestimmtheitsmaße Bestimmtheitsmaß nach Cox & Snell und nach Nagelkerke Die Berechnung und Interpretation des Bestimmheitsmaßes nach Cox & Snell und nach Nagelkerke erfolgt wie im binären logistischen Regressionsmodell. Bestimmtheitsmaß nach McFadden Das Bestimmtheitsmaß nach McFadden wird berechnet über RMcF 2 =1 (lnl V ), (49) lnl 0 mit lnl 0 als Log-Likelihood, die auf der Schätzung des Nullmodells basiert und lnl V ist die Log-Likelihood, die sich aus der Schätzung des untersuchten (vollen) Modells ergibt. Der Wertebereich des Bestimmtheitsmaßes nach McFadden ist auf den Bereich zwischen null und unter eins beschränkt. Problematisch bei diesem Gütemaß ist, dass es nur größer werden kann, je mehr unabhängige Variablen in das Modell aufgenommen werden. Um diese Problematik zu umgehen, verwendet man das korrigierte Bestimmtheitsmaß nach McFadden: RMcFk 2 =1 (lnl V K ),mit (50) lnl 0 59

K als Anzahl der Koeffizienten, die es im multinomialen logistischen Regressionsmodell zu schätzen gilt. Es gibt also einen Tradeoff zwischen Log- Likelhood und Anzahl der Koeffizienten im Modell; die Erhöhung der Anzahl der Koeffizienten bzw. der unabhängigen Variablen kann mit der korrigierten Version also bestraft werden. Akaike-Informationskriterium Auch bei dem Akaike-Informationskriterium (AIC) verhält es sich so, dass die Zunahme weiterer unabhängiger Variablen in das Modell bestraft werden kann. Es kann nämlich gezeigt werden, dass die Likelihood stets größer wird, je mehr unabhängige Variablen in das Modell aufgenommen werden. Das AIC wird berechnet über: AIC = 2 lnl V +2 P, mit (51) P als Anzahl der zu schätzenden Koeffizienten. Auch in diesem Fall gibt es einen Tradeoff, da sich der erste Teil ( 2 lnl V ) dem zweiten Teil (2 P ) entgegengesetzt verhält 9. Schließlich gilt, dass das AIC möglichst klein sein sollte, um ein gutes Regressionsmodell zu haben. Tests Test der Nullhypothese H 0 : β kj =0 Dieser Test in der multinomialen logistischen Regressionsanalyse ist vergleichbar mit dem Wald-Test in der binären logistischen Regressionsanalyse. Äquivalent hierzu kann also getestet werden, ob einzelne unabhängige Variablen x ki in der j-ten Gleichung signifikant zur Trennung der beiden betrachteten Gruppen beitragen. Es wird bei diesem Test jeweils eine der J 1 Gleichungen separat betrachtet. Die Teststatistik W wird berechnet über 9 Vgl. z. B. Winkelmann et al. (2006) Analysis of Microdata. 60

ˆβ k W =( Var( ˆ ˆβ ) 2 (52) k ) und ist asymptotisch χ 2 -verteilt mit einem Freiheitsgrad. H 0 wird dann abgelehnt, wenn W>χ 2 1,1 α. Die Berechnung der Teststatistik erfolgt demnach so wie im binären logistischen Regressionsmodell. Test der Nullhypothese H 0 : β k1 =...= β kj =...= β k(j 1) =0 Dieser Test überprüft, ob die Koeffizienten β k1 =... = β kj =... = β k(j 1), die zu einer unabhängigen Variablen x ki gehören, in allen J 1 Gleichungen gleich null sind. Die Teststatistik LR wird berechnet über LR = 2 logl R ( 2 logl V ), (53) mit logl R als Log-Likelihood, die sich aus dem reduzierten Regressionsmodell ohne die Variable x ki - aber mit allen übrigen betrachteten Variablen - ergibt. Die Teststatistik ist χ 2 -verteilt mit J 1 Freiheitsgraden. H 0 wird dann abgelehnt, wenn LR > χ 2 (J 1),1 α. Mit diesem Test kann auch überprüft werden, ob mehr als eine unabhängige Variable signifikant zur Trennung der Gruppen beiträgt. Test der globalen Nullhypothese H 0 : β k1 =... = β kj =...= β k(j 1) =0 für j =1,...,(J 1) Dieser Test überprüft, ob die Koeffizienten β k1 =... = β kj =... = β k(j 1), die zu allen unabhängigen Variablen x ki gehören, in allen J 1 Gleichungen gleich null sind. Die Teststatistik LR wird berechnet über LR = 2 logl 0 ( 2 logl V ), (54) mit logl 0 als Log-Likelihood, die sich aus dem Null-Regressionsmodell ohne die Variablen x ki,k =2,...,K ergibt, d. h. die Log-Likelihood des Null- Regressionsmodells wird inklusive des Absolutgliedes geschätzt. Die Teststa- 61

tistik ist χ 2 -verteilt mit 2 (K 1) Freiheitsgraden. H 0 wird dann abgelehnt, wenn LR > χ 2 (2 (K 1)),1 α. Test der IIA-Annahme Die IIA-Annahme (independence of irrelevant alternatives, also die Unabhängigkeit von irrelevanten Alternativen) wird bei der Schätzung eines multinomialen logistischen Regressionsmodells implizit angenommen und kann mit dem Hausman-McFadden-Test überprüft werden. Diese Annahme besagt, dass die Aussagen bezüglich der Wahrscheinlichkeiten bzw. der Wahrscheinlichkeitsverhältnisse (odds) derj Kategorien der abhängigen Variable unabhängig gemacht werden können von weiteren Kategorien (z. B. J +1) bzw. von weggelassenen Kategorien (z.b. J 1). Die Nullhypothese dieses Tests lautet H 0 : IAA gilt. Die Teststatistik wird beispielsweise über folgenden Ansatz berechnet: 1. Schätzung aller Koeffizienten des vollen Modells: ˆβ V. 2. Schätzung eines reduzierten Modells mit Ausschluss einer Alternative hinsichtlich der abhängigen Variable: ˆβ R. 3. Seien nun ˆβ V Koeffizientenschätzer des vollen Modells, wobei die unter Schritt zwei ausgelassene Kategorie in ˆβ V nicht mehr berücksichtigt sei. Die für diesen Test relevante Teststatistik H wird dann über folgenden Ansatz berechnet: H =(ˆβ R ˆβ V ) { Var( ˆ ˆβ R ) Var( ˆ ˆβ V )} 1 ( ˆβ R ˆβ V ). (55) Diese Teststatistik ist χ 2 -verteilt mit der Anzahl an geschätzten Koeffizienten in ˆβ R (H) als Anzahl der Freiheitsgrade. H 0 wird dann abgelehnt, wenn H>χ 2 H,1 α.wirdh 0 also abgelehnt, so muss von einer Verletzung der IIA-Annahme ausgegangen werden. 62

Klassifizierungstabelle Die Klassifizierungstabelle gibt absolute und relative Häufigkeiten der richtig durch das Modell klassifizierten Beobachtungen wider. Sie vergleicht also die empirisch gegebene Konstellation vor der Schätzung des multinomialen logistischen Regressionsmodells mit der sich durch die Modellprognose ergebende Situation für die betrachteten Objekte nach der Schätzung des Regressionsmodells. Im Vergleich zur binären logistischen Regression wird hier aber nicht eine Vier-Felder -Beurteilung unternommen, sondern eine Beurteilung höherer Ordnung: Für drei Merkmalsausprägungen der abhängigen Variable ergäbe sich z. B. eine Neun-Felder -Beurteilung. Beispiel (fortgesetzt) Die Parteienforscherin möchte ihr geschätztes multinomiales logistisches Regressionsmodell genauer beleuchten. Hierzu betrachtet sie zunächst die Modellanpassung: Mit den angezeigten Werten kann sie die globale Nullhypothese H 0 : β k1 =... = β kj =... = β k(j 1) =0für j =1,...,(J 1) überprüfen. Ihre Teststatistik LR ergibt sich als Differenz von 2 logl 0 ( 2 logl V ) und beträgt hier 2929, 357 2616, 783 = 312, 574. Zu jedem vorgegebenen 63

Signifikanzniveau α wird diese Nullhypothese abgelehnt, so dass sie bezüglich dieses Gütekriteriums von einem gut spezifizierten Modell ausgehen kann. Desweiteren interessieren sie aber noch andere Gütekriterien. Die Bestimmtheitsmaße weisen ihrer Meinung nach angemessene Werte aus. Zudem möchte sie überprüfen, wie es sich mit der Nullhypothese H 0 : β k1 =... = β kj =... = β k(j 1) = 0 verhält. Sie möchte also überprüfen, ob die einzelnen unabhängigen Variablen Alter, Geschlecht, monatliches Bruttoeinkommen und die politische Selbsteinschätzung signifikant zur Trennung der Auswahlkategorien beitragen. 64

Zu einem Signifikanzniveau von α = 0, 05 bereitet ihr lediglich die Variable Geschlecht sorgen, so dass sie in Erwägung zieht, eine multinomiale logistische Regression ohne diese unabhängige Variable zu schätzen. Betrachtet werden in allen Fällen jeweils folgende Teststatistiken: LR = 2 logl R ( 2 logl V ). Für die unabhängige Variable Alter ergibt sich also die Teststatistik LR als 2635, 720 2616, 783 = 18, 937. Auf dieser Basis wird H 0 demnach abgelehnt und sie kann davon ausgehen, dass die Variable Alter signifikant zur Trennung der Auswahlkategorien (beabsichtigte Wahlentscheidung) beiträgt. Schließlich möchte sie noch wissen, ob die Variable Geschlecht separat betrachtet ebenfalls problematisch ist. Sie testet also die Nullhypothese H 0 : β kj = 0 in beiden Gleichungen. 65

Auch bei dieser Betrachtung erweist sich diese Variable als problematisch. In der obigen Schätzung ist es beispielsweise so, dass dort die relevante Nullhypothese abgelehnt wird, da die Teststatistik W gleich ( 0,092 0,156 )2 =0, 346 ist und auf dieser Basis die Nullhypothese zu einem Signifikanzniveau von α =0, 05 nicht abgelehnt werden kann. Mit der Klassifikationstabelle ist sie nicht gänzlich zufrieden, da lediglich 55, 9% aller befragten Personen richtig durch das Modell klassifiziert wurden. 66

Besonders erstaunt sie die große Variation der richtig Klassifizierten bei den unterschiedlichen Parteien: Bezüglich der SPD wurden 13, 1%, der CDU/CSU 87, 4% und bezüglich der sonstigen Parteien 43, 0% richtig klassifiziert. Schließlich möchte sie noch wissen, wie hoch die einzelnen Wahrscheinlichkeiten für die befragten Personen waren, eine der drei Auswahlkategorien zu wählen, also die durch das Regressionsmodell geschätzten Wahrscheinlichkeiten für die beabsichtigte Wahl. 67