Logistische Regression

Transkript

1 Logstsche Regresson 2..2

2 Enführung Bespele Medkament, Phase-I study (FDA): Suche Doss, sd. max. /3 von (gesunden) Probanden Nebenwrkungen zegt. Terversuch: Be welcher Doss überleben 5% der Mäuse (=LD5)? Frühgeburten: We hängt de Überlebenswahrschenlchket ab von gewssen Varablen (Gewcht, Alter, APGAR score,...)? Technk: Be welchen Bedngungen fallen Geräte aus? Customer-Relatonshp-Management (CRM): Was für Massnahmen snd erfolgrech, damt en Kunde z.b. auf en teureres Produkt wechselt? Google nach Nate Slver (Oscar-, Electon-predcton etc.)

3 Gemensamketen Bnäre Zelgrösse (ja/nen, lebt/tot,... ). Belebge erklärende Varablen. Des hat de Form enes Regressonsmodells. Was st neu? De Zelgrösse st ncht mehr stetg, sondern bnär.

4 Bespel Ader-Verengung Y : Ader-Verengung ja () / nen () Erklärende: Atem-Volumen (Vol) und Atem-Frequenz (Rate) Rate Vol Ausgefüllte Symbole: Ader-Verengung ja ().

5 Modellansatz Zel Modellere P(Y = x (), x (2) Ansatz P(Y = x (), x (2) Bemerkung Für Y {, } glt,..., x (m) ), x (2),..., x (m) ) = h(x () E[Y ] = P(Y = ) + P(Y = ) = P(Y = ). D.h. wr modelleren egentlch E[Y x (),..., x (m) we n der lnearen Regresson. ] = h(x (),..., x (m) ),..., x (m) )

6 Ansatz mt lnearer Regresson? Y = β + β x () + β 2 x (2) β m x (m) + E Es glt dann P(Y = x ) = E(Y x ) = β +β x () +β 2 x (2) +...+β m x (m) D.h. de Funkton h wäre lnear. Geschätzte Werte können daher < und > werden Transformaton von Y? 2 Werte bleben 2 Werte Ausweg: Transformaton von E(Y ) = P(Y = )! Am Besten transformeren wr de Wahrschenlchketen so, dass wr kene Enschränkungen mehr haben.

7 Logstsches Regressonsmodell Benutze Logt-Funkton g : [, ] R ( ) π g(π) = log π De Funkton g transformert de Wahrschenlchketen auf de gesamte reelle Achse! ( ) log π π snd de log-odds (sehe Vorlesung kategorelle Varablen)!

8 Modell Auf der transformerten Skala verwenden wr den alten lnearen Ansatz, d.h. ( ) P(Y = x ) g(p(y = x )) = log P(Y = x ) Termnologe = β + β x () + β 2 x (2) β m x (m) = x T β = η. η = x T β hesst lnearer Prädktor. g hesst Lnkfunkton. De Lnkfunkton transformert den Erwartungswert auf de geegnete Skala.

9 Lnk- und nverse Lnkfunkton g(π) g (η) π η

10 Kennt man den lnearen Prädktor (oder de β k s), so erhält man de Wahrschenlchketen durch P(Y = ) = g (η ) = exp{η } + exp{η }, bzw. P(Y = ) = P(Y = ) = + exp{η }. Aus notatonellen Gründen lassen wr das Bedngen auf x weg.

11 Ader-Verengung: Illustraton W keten vs. lnearer Prädktor Y

12 Bespel Ader-Verengung Angepasstes Modell lefert g(p(y = )) = Vol Rate. Punkte mt glechen W keten haben de Egenschaft, dass Vol Rate = const. D.h. Rate hängt dann lnear von Vol ab. Bzw. Punkte mt glechen W keten legen auf (parallelen) Geraden m Raum (Vol, Rate).

13 Illustraton angepasstes Modell für Ader-Verengung Rate Vol Punkte auf gestrchelten Geraden lefern alle de glechen W keten.

14 Interpretaton der Parameter Wr betrachten de odds P(Y = x) odds (Y = x) = P(Y = x) { = exp β + β x () + + β m x (m)}. = exp{β } exp{β } x() exp{β m } x(m). Wenn man x (j) um ene Enhet erhöht (und alles andere fx lässt), so ändern sch de odds um den Faktor exp{β j }. Das Doppelverhältns (odds rato) st exp{β j } odds ( Y = x (j) = c j + ) odds ( Y = x (j) = c j ) = exp{β j }, für belebges c j. Das log odds-rato st dann entsprechend β j.

15 Grupperte Daten Manchmal hat man zu den glechen erklärenden Varablen mehrere Beobachtungen (Replkate) der Zelvarable. Notaton m l Beobachtungen Y zu glechen x = x l. Defnere Ỹl = m l :x =ex l Y (Antel Erfolge ). Es glt dann m l Ỹ l Bn(m l, π l ) E[Ỹl] = π l, wobe π l = P(Y = x l ), g( π l ) = x T l β. Wr verwenden das gleche Modell we vorher. Be grupperten Daten hat man den Vortel, dass man mehr Informatonen hat. Man könnte egentlch für jede Gruppe de W ket enzeln schätzen wenn m l genügend gross st.

16 Bespel grupperte Daten: Frühgeburten 247 Säuglnge Erklärende Varable: Geburtsgewcht Klassen von je g Gewcht Zelvarable: Survval (ja / nen) n Surv.no Surv.yes Weght

17 Illustraton: Frühgeburten Survval Weght De Fläche der Krese st proportonal zu der Anzahl Beobachtungen gewählt.

18 Modell der latenten Varablen Nehme an, es ex. ncht-beobachtbare Z, sd. Z = x T β + E. Wr beobachten aber nur, ob Z grösser oder klener als en Schwellenwert c st. { Z c Y = Z < c. Jetzt glt aber: π = P(Y = ) = P(Z c) = P(E c x T = F E (c ( β + )) β j x (j) j, β) wobe F E : kumulatve Vertelungsfunkton der Zufallsfehler E.

19 Defnere nun β = [ β c, β,..., β m ]. Jetzt glt P(Y = ) = g (x T β) mt g (η) = F E ( η) = F E (η). E Logstsche Vertelung E Normalvertelung E Extremwertvertelung Logstsche Regressonsmodell Probtmodell Komplementäres log-log Modell Das logstsche Regressonsmodell hat den Vortel, dass de Parameter de schöne Interpretaton mt den odds-rato haben.

20 Illustraton latente Varable x latente V. c

21 Schätzungen und Tests Verwende Maxmum-Lkelhood Prnzp. Wähle β so, dass de Wahrschenlchket des beobachteten Eregnsses maxmal wrd. Wr haben für unsere n unabhänggen Beobachtungen l(β) = P β (Y = y,..., Y n = y n ) = n P β (Y = y ), mt P β (Y = y ) = π y ( π) y. π hängt natürlch von β ab. Um das Produkt zu vermeden, arbetet man mt der log-lkelhood ll(β) = log(l(β)). =

22 Schlussendlch erhält man ll(β) = n y x T β log ( + exp{x T β} ). = Maxmere des bzgl. β Schätzer β. Im Gegensatz zur lnearen Regresson haben wr kene geschlossen darstellbare Lösung Iteratve numersche Verfahren werden benötgt. Grunddee: Aproxmere das Problem mt enem gewchteten lnearen Regressonsproblem und löse dann sukzessve vele gewchtete lneare Regressonen. Entsprechende Routnen snd n allen Statstkpaketen mplementert (Stchwort: Generalzed Lnear Models, GLM)

23 Vertelung der geschätzten Koeffzenten Approxmaton mt lnearen Regressonsproblemen lefert auch (approxmatve) Vertelung der Parameter ( Standardfehler). β st approxmatv normalvertelt mt Erwartungswert β und ener Kovaranzmatrx V. Teststatstken snd dann T j = β j β j Vjj approx. N(, ). Verwende her Normal- statt t-vertelung. Des st en sogenannter Wald-Test.

24 R-Output m Bespel der Ader-Verengungen Call: glm(formula = Y ~ Volume + Rate, famly = bnomal, data = vaso) Coeffcents: Estmate Std. Error z value Pr(> z ) (Intercept) ** Volume ** Rate ** --- (Dsperson parameter for bnomal famly taken to be ) Null devance: 54.4 on 38 degrees of freedom Resdual devance: on 36 degrees of freedom AIC: Number of Fsher Scorng teratons: 6

25 Devanzen Resduen-Devanz (früher: Resduenquadratsumme) Für grupperte Daten Ỹl. Vergleche log-lkelhood des geschätzten Modells mt derjengen des maxmalen Modells. ( ( )) D(ỹ ; π) = 2 ll (M) ll β. ll (M) : Kann für jede Gruppe π l fre wählen (grösstes möglches Modell). Be ungrupperten Daten glt: ll (M) = (perfekter ft). Resduen-Devanz verglecht geschätztes Modell mt maxmalen Modell ( Anpassungstest ). Geht nur be ncht zu klenen m l.

26 Devanz-Dfferenz (zum Verglech von Modellen) Lkelhood-Rato Test für Modellverglech K G: D(y; π (K), π (G) ) = D(y; π (K) ) D(y; π (G) ) = 2(ll (G) ll (K) ). Asymptotsch χ 2 d-vertelt, wenn das klene Modell stmmt. Anzahl Frehetsgrade d st de Dfferenz der Anzahl Parameter der beden Modelle: d = G K. Kann also geschachtelte Modelle mtenander verglechen. Dese Lkelhood-Rato Tests snd n der Regel den Wald-Tests vorzuzehen. R-Befehle Teste z.b. Faktoren > drop(ft, test = "Chsq") Allg. zum Verglech von geschachtelten Modellen > anova(ft., ft.2, test = "Chsq")

27 Null-Devanz (früher: ( Y Y ) 2 ) Klenstes Modell (Nullmodell): Besteht nur aus Intercept, d.h. π st für alle Beobachtungen glech: π () = n = y k/n (globaler Antel). ( D(y; π () ) = 2 ll (M) ( β() )) ll. Damt kann man enen Gesamt-Test für das Modell konstrueren (H : alle β j =, j =,..., m) ( ) D(y; π () ) D(y; π) = 2 ll ( β ( β() )) ll. Unter H st des approxmatv χ 2 p vertelt.

28 Resduenanalyse Schwerger als früher. Was st her en Resduum? Es ex. mehrere möglche Defntonen. Response Resduals, Raw Resduals R l = Ỹl π l, π l = g ( x T l β) (grupperte Daten) Pearson Resduals R (P) l = R l / πl ( π l )/m l (standardsert) Workng Resduals, Lnk Resduals Berechnung der logstschen Regresson: teratv gewchtete Klenste Quadrate lneare Näherung Resduen: workng resduals.

29 Devanz-Resduen R (D) = sgn(y π ) d, wobe d der entsprechende Summand der Resduendevanz st. d entsprcht R 2 n der gewöhnlchen lnearen Regresson.

30 Grafsche Darstellungen QQ-Plot machen n der Regel kenen Snn. Tukey-Anscombe Plot am geegnetsten. Z.B. Raw Resduals vs. geschätzte π Workng Resduals vs. lnearer Prädktor η. Insbesondere be ncht grupperten Daten braucht man enen Glätter (wegen Artefakten ).

31 Bespel: Resduenplot be ungrupperten Daten raw resdual.5..5 Pearson resdual estmated p estmated p Man hat mmer de beden Kurven (Artefakt).

32 Resduenplot be grupperten Daten Survval ~ Weght lr lf Besser nterpreterbar.

33 Merkpunkte Logstsche Regresson für bnäre Zelgrössen. Gleche Flexbltät we gewöhnlche lneare Regresson. Interpretaton mt odds bzw. odds-rato: log(odds) = lnearer Prädktor β j : log(odds rato) falls man j-te Varable um ene Enhet erhöht. Schätzungen, Tests, Vertrauensntervalle va Lkelhood-Methoden (Devanzen) und entsprechende Asymptotk. Resduen: Mehrere Möglchketen, wegen Artefakten wrd Glätter benötgt