Kapitel 4: Binäre Regression

Transkript

1 Kapitel 4: Binäre Regression Steffen Unkel (basierend auf Folien von Nora Fenske) Statistik III für Nebenfachstudierende WS 2013/2014

2 4.1 Motivation

3 Ausgangssituation Gegeben sind Daten (y i, x i1,..., x ik ) mit einer binären Zielvariablen y i {0, 1} für i = 1,..., n und stetigen oder binär kodierten kategorialen Kovariablen x 1,..., x k. Fragestellung: Wie kann diese binäre Zielvariable in Abhängigkeit von Kovariablen modelliert werden? 2

4 Beispiel: Kreditscoring Ziel von Kreditscoring ist die Untersuchung der Bonität bzw. Kreditwürdigkeit eines Kunden in Abhängigkeit von Kovariablen. Hier liegen Daten einer süddeutschen Großbank von 1000 abgeschlossenen Kreditgeschäften vor: Variable ausfall laufzeit hoehe alter moral. Beschreibung Ausfall des Kredits / Bonität des Kreditnehmers 1 = Kredit wurde nicht zurückgezahlt d.h. der Kunde ist nicht kreditwürdig 0 = Kredit wurde zurückgezahlt d.h. der Kunde ist kreditwürdig Laufzeit des Kredits in Monaten Höhe des Kredits in Euro Alter des Kreditnehmers in Jahren Zahlungsmoral des Kunden aus vergangenen Kreditgeschäften: 1 = gute Zahlungsmoral 0 = schlechte Zahlungsmoral. 3

5 Beispiel: Kreditscoring Deskription von Ausfall in Abhängigkeit von der Laufzeit 1 ausfall laufzeit 4

6 Beispiel: Kreditscoring Deskription von Ausfall in Abhängigkeit von der Laufzeit 1.0 n=82 n=277 n=187 n=224 n=57 n=86 n=17 n=54 n=2 n=13 n=0 n=1 0.8 Anteil ausfall= (0,6] (6,12] (12,18] (18,24] (24,30] (30,36] (36,42] (42,48] (48,54] (54,60] (60,66] (66,72] laufzeit 5

7 Beispiel: Kreditscoring Deskription von Ausfall in Abhängigkeit von der Höhe des Kredits 1 ausfall hoehe 6

8 Beispiel: Kreditscoring Deskription von Ausfall in Abhängigkeit von der Höhe des Kredits 1.0 n=432 n=322 n=97 n=79 n=30 n=19 n=9 n=11 n=0 n=1 0.8 Anteil ausfall= (0,2] (2,4] (4,6] (6,8] (8,10] (10,12] (12,14] (14,16] (16,18] (18,20] hoehe [in 1000 Euro] 7

9 Beispiel: Kreditscoring Deskription von Ausfall in Abhängigkeit vom Alter des Kreditnehmers 1 ausfall alter 8

10 Beispiel: Kreditscoring Deskription von Ausfall in Abhängigkeit vom Alter des Kreditnehmers 1.0 n=16 n=174 n=219 n=178 n=141 n=88 n=71 n=42 n=26 n=27 n=12 n=6 0.8 Anteil ausfall= (18,20] (20,25] (25,30] (30,35] (35,40] (40,45] (45,50] (50,55] (55,60] (60,65] (65,70] (70,75] alter 9

11 Beispiel: Kreditscoring Deskription von Ausfall in Abhängigkeit von der Zahlungsmoral 1.0 n=89 n=911 ausfall 0 1 Σ moral Σ Anteil ausfall= moral 10

12 4.2 Binäre Regressionsmodelle

13 Modellformel Gegeben Realisationen y i einer binären Zielvariablen Y i {0, 1} Kovariablenvektor x i = (1, x i1,..., x ik ) für i = 1,..., n Verteilungsannahme Y i x i ind. B(1, π i ) mit π i = P (Y i = 1 x i ) = E(Y i x i ) Strukturannahme π i =h(η i ) = h(x i β) = h(β 0 + β 1 x i β k x ik ) mit streng monoton wachsender Responsefunktion h : (, ) [0, 1] 12

14 Bemerkungen η i = x i β wird als linearer Prädiktor bezeichnet. Die Umkehrfunktion g = h 1 mit g : [0, 1] (, ) und heißt Linkfunktion. g(π i ) = η i = β 0 + β 1 x i β k x ik Für die Responsefunktion h( ) werden streng monoton wachsende Verteilungsfunktionen verwendet. 13

15 Bekannteste Modelle Logit-Modell h : Verteilungsfunktion der logistischen Verteilung π i = h(η i ) = exp(η i) 1 + exp(η i ) Probit-Modell h : Verteilungsfunktion der Standardnormalverteilung π i = h(η i ) = Φ(η i ) Komplementäres Log-Log-Modell h : Verteilungsfunktion der Extremwertverteilung π i = h(η i ) = 1 exp( exp(η i )) 14

16 Responsefunktionen Responsefunktionen Adjustierte Responsefunktionen h(η) logit probit cloglog h(η) logit probit cloglog η η 15

17 Modellschätzung in R Logit-Modell glm(ausfall ~ laufzeit + hoehe + alter + moral, data=kredit, family=binomial(link= logit )) Probit-Modell glm(ausfall ~ laufzeit + hoehe + alter + moral, data=kredit, family=binomial(link= probit )) Log-Log-Modell glm(ausfall ~ laufzeit + hoehe + alter + moral, data=kredit, family=binomial(link= cloglog )) 16

18 4.3 Logit-Modell

19 Äquivalente Darstellungen 1. Logarithmierte Chance (Linkfunktion) log ( ) πi 1 π i = η i 2. Chance π i 1 π i = exp(η i ) 3. Wahrscheinlichkeit (Responsefunktion) π i = exp(η i) 1 + exp(η i ) 18

20 Interpretation der Parameter Gegeben sei eine bestimmte Kovariablen-Kombination x i = (1, x i1,..., x ij,..., x ik ) und der lineare Prädiktor η i = β β j x ij β k x ik. Falls sich x ij auf x ij + 1 erhöht und alle anderen Einträge von x i gleich bleiben (mit j = 1,..., k), dann 1. ändert sich die logarithmierte Chance um β j, da log ( ) πi 1 π i = β β j (x ij + 1) β k x ik = β β j x ij β k x ik + β j = η i + β j 19

21 Interpretation der Parameter 2. ändert sich die Chance um den Faktor exp(β j ), da π i 1 π i = exp(β β j (x ij + 1) β k x ik ) = exp(β β j x ij + β j β k x ik ) = exp(η i + β j ) = exp(η i ) exp(β j ) 3. ist die Änderung der Wahrscheinlichkeit nicht-linear. π i = exp(η i + β j ) 1 + exp(η i + β j ) 20

22 Interpretation der Parameter Allgemein lässt sich exp(β j ) also als das Chancenverhältnis (oder Odds Ratio) bei Erhöhung von x ij um eine Einheit interpretieren und es gilt: β j > 0 exp(β j ) > 1 β j < 0 exp(β j ) < 1 β j = 0 exp(β j ) = 1 Die Chance P (y i = 1)/P (y i = 0) wird größer. Die Chance P (y i = 1)/P (y i = 0) wird kleiner. Die Chance P (y i = 1)/P (y i = 0) bleibt gleich. 21

23 Prognose Gegeben eine Schätzung ˆβ für β und eine Kovariablenkombination x i ergibt sich eine Schätzung oder Prognose der Wahrscheinlichkeit π i durch: ˆπ i = exp(x i ˆβ) 1 + exp(x i ˆβ) Ebenso wie beim linearen Modell wird dabei der bedingte Erwartungswert E(Y i x i ) geschätzt: ˆπ i = ˆP (Y i = 1 x i ) = Ê(Y i x i ) Man erhält im Logit-Modell demnach keine Prognose ŷ i für y i, sondern nur eine Prognose ˆπ i für π i. 22

24 Beispiel: R-Output Kreditscoring Wie lassen sich folgende geschätzte Parameter ˆβ interpretieren? > modlogit <- glm(ausfall ~ laufzeit + hoehe + alter + moral, + data=kredit, family=binomial(link= logit )) > coef(modlogit) (Intercept) laufzeit hoehe alter moral e e e e e-01 > exp(coef(modlogit)) (Intercept) laufzeit hoehe alter moral

25 Beispiel: R-Output Kreditscoring Call: glm(formula = ausfall ~ laufzeit + hoehe + alter + moral, family = binomial(link = logit ), data = kredit) Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e e laufzeit 3.232e e e-05 *** hoehe 2.661e e alter e e * moral e e e-10 *** --- Signif. codes: 0 *** ** 0.01 * (Dispersion parameter for binomial family taken to be 1) Null deviance: on 999 degrees of freedom Residual deviance: on 995 degrees of freedom AIC: Number of Fisher Scoring iterations: 4 24

26 Modellierung von Kovariablen Alle behandelten Konzepte zur Modellierung bzw. zum Design von Kovariablen in linearen Modellen mit Normalverteilungsannahme lassen sich analog bei binären Regressionsmodellen anwenden: Stetige Kovariablen: Nicht-lineare Transformation (durch bekannte Funktionen oder Polynome) Mittelwert-Zentrierung Kategoriale Kovariablen: Erzeugung von Dummy-Variablen (z.b. in Dummy- oder Effektkodierung) 25

27 4.4 Parameterschätzung

28 Ausgangspunkt Struktur von binären Regressionsmodellen: Y i x i ind. B(1, π i ) mit π i = P (Y i = 1 x i ) π i = h(η i ) = h(x i β) = h(β 0 + β 1 x i1 + + β k x ik ) Unbekannte und zu schätzende Parameter sind die Regressionskoeffizienten β 0, β 1,..., β k, die im Vektor β zusammengefasst sind. Aufgrund der Binomialverteilungsannahme bietet sich Maximum-Likelihood-Schätzung zur Bestimmung von geeigneten Schätzern an. 27

29 Likelihood Aufgrund der Binomialverteilungsannahme lässt sich die (diskrete) Dichte von y i wie folgt schreiben: f(y i π i ) = π y i i (1 π i) 1 y i Über die Beziehung π i = h(x i β) hängt die Dichte von β ab und wird als Likelihood-Beitrag L i (β) der i-ten Beobachtung aufgefasst: L i (β) = f(y i π i ) Die Likelihood ergibt sich wegen der (bedingten) Unabhängigkeit der y i zu: L(β) = n i=1 L i (β) = n i=1 π y i i (1 π i) 1 y i 28

30 Log-Likelihood Logarithmieren der Likelihood-Beiträge ergibt die Log-Likelihood- Beiträge l i (β) = log L i (β) = y i log(π i ) + (1 y i )log(1 π i ) und daraus die gesamte Log-Likelihood l(β) = n i=1 l i (β) = n i=1 [ y i log(π i ) + (1 y i )log(1 π i ) ] Zum Berechnen der Score-Funktion muss anstelle von π i das jeweilige h(x i β) in die Log-Likelihood eingesetzt und dann nach β abgeleitet werden. 29

31 Score-Funktion Zur Berechnung des ML-Schätzers als Maximierer der Log- Likelihood l(β) bildet man die 1.Ableitung nach β und die Score-Funktion ergibt sich zu s(β) = l(β) β = n i=1 l i (β) β = n i=1 s i (β) Nullsetzen der Score-Funktion liefert die ML-Gleichung: s( ˆβ) = 0. Das Gleichungssystem ist nicht-linear und das Lösen nach ˆβ ist i.a. nicht analytisch möglich. Daher werden numerische Verfahren (wie z.b. Newton-Raphson, Fisher-Scoring) zur Nullstellensuche eingesetzt. 30

32 Informationsmatrizen Zur numerischen Schätzung der Koeffizienten und der Kovarianzmatrix des ML-Schätzers ˆβ benötigt man die beobachtete Fisher-Informationsmatrix F obs (β) = 2 l(β) β β oder die erwartete Fisher-Informationsmatrix F (β) = E(F obs (β)) = E ( 2 l(β) β β ). 31

33 Asymptotische Eigenschaften ML-Schätzer Für n gilt, dass der ML-Schätzer existiert und sowohl konsistent als auch asymptotisch normalverteilt ist: ˆβ a N ( β, F 1 ( ˆβ) ) mit der geschätzten Kovarianzmatrix Ĉov( ˆβ) = F 1 (β) als inverse Fisher-Matrix an der Stelle des ML-Schätzers ˆβ (siehe Folien zur Likelihood-Inferenz). 32

34 Asymptotische Eigenschaften ML-Schätzer Das Diagonalelement a jj der inversen Fisher-Matrix A = F 1 ( ˆβ) ist somit ein Schätzer für die Varianz der j-ten Komponente ˆβ j von ˆβ, d.h. es ist Var(ˆβ j ) = ˆσ 2 j = a jj, und a jj ist ein Schätzer für die Standardabweichung ˆσ j = Var(ˆβ j ). 33