Logistische Regression

Transkript

1 Logistische Regression Werner Brannath VO Biostatistik im WS 2006/2007

2 Inhalt Logistische Regression Beispiel 1: Herzerkrankungsdaten aus Framingham Log Odds Modell Beispiel 1: Einfluss von Blutdruck Maximum Likelihood Schätzer Wald Tests für Regressionskoeffizienten Analysis of Deviance Beispiel 1: Einfluss von Blutdruck und Cholesterin Beispiel 2: Leukemie-Daten Zusammenfassung Fall-Kontroll-Studien

3 Beispiel 1: Herzerkrankungsdaten aus Framingham Stichprobe: 1329 männliche Bewohner aus Framingham, Massachusetts im Alter von Jahren Erhoben wurden Cholesterin und Blutdruckwerte (Kovariablen), und Herzkrankheiten ja/nein (dichotome Zielvariable).

4 Beispiel 1: Herzerkrankungsdaten aus Framingham Anteil der Männer mit Herzkrankheiten für verschiedene Blutdruck- und Cholsterinwerte. Cholesterin (mg/100ml) Blutdruck < > 284 < 117 2/53 0/21 0/15 0/20 0/14 1/22 0/ /66 2/27 1/25 8/69 0/24 5/22 1/ /59 0/34 2/21 2/83 0/33 2/26 4/ /65 0/19 0/26 6/81 3/23 2/34 4/ /37 0/16 0/6 3/29 2/19 4/16 1/ /13 0/10 0/11 1/15 0/11 2/13 4/ /21 0/5 0/11 2/27 2/5 6/16 3/14 > 186 1/5 0/1 3/6 1/10 1/7 1/7 1/7 Z.B.: 2 von 53 Männer mit Blutdruck < 117 und Cholesterinwert < 200 hatten Herzkrankheiten.

5 Beispiel 1: Fragestellungen Hat Cholesterin einen Einfluss auf die Wahrscheinlichkeit für Herzerkrankungen? Hat der Blutdruck einen Einfluss auf die Wahrscheinlichkeit für Herzerkrankungen? Gibt es Trends, d.h. wächst die Wahrscheinlichkeit für eine Herzerkrankung mit wachsendem Blutdruck bzw. wachsendem Cholesterin? Wie ist der gemeinsame Einfluß von Cholesterin- und Blutdruck?

6 Logistische Regression Logistische Regression modelliert die Abhängigkeit der Wahrscheinlichkeit π eines bestimmten Ereignisses von den Kovariablen. In Beispiel 1: Abhängigkeit der Wahrscheinlichkeit π für eine Herzerkrankung von Blutdruck und Cholesterinwert.

7 Logistische Transformation Wahrscheinlichkeit π immer zwischen 0 und 1. π kann nicht direkt mit linearen Funktionen (z.b. einer Geraden) modelliert werden. Dewegen wird π zu einem Parameter transformiert, der zwischen und + liegt. Meißt verwendet man die logistische Transformation: π η = logit(π) = log( 1 π ) η = logit(π) wird manchmal als Log Odds bezeichnet.

8 Umkehrung der logistischen Transformation Aus der Logg Odds η kann man die Wahrscheinlichkeit π leicht zurückrechnen: π = 1/{1 + exp( η)} eta = logit(pi)= pi/(1 pi) pi = 1/(1+exp( eta)) eta pi pi eta

9 Logistische Regression Lineares logistisches Regressionsmodell X 1,..., X p Kovariablen Wahrscheinlichkeit für das betrachtete Ereignis: η = log{π/(1 π)} = β 0 + β 1 X β p X p β 0, β 1,..., β p sind die Regressionskoeffizienten. Schätzung der Regressionsparamter Man schätzt β i durch Maximieren der Likelihood sogn. Maximum-Likelihood-Schätzer ˆβ i

10 Beispiel 1: Herzerkrankungsdaten aus Framingham - Einfluss von Blutdruck Blutdruck- Klassen- Herzerkrank- Klasse mitte X 1 ungsrate Prozent < / / / / / / / > /

11 Beispiel 1: Herzerkrankungsdaten aus Framingham - Einfluss von Blutdruck > heart.glm<-glm(cbind(hdis,total-hdis)~x1, >+ family=binomial,data=short1) > summary(heart.glm) Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) <2e-16 x e-07 Interpretation: Die Log Odds η und die Wahrscheinlichkeit π für eine Herzerkrankung erhöhen sich mit steigendem Blutdruck. Die Log Odds is um (0.24) größer, wenn der Blutdruck um eine

12 Beobachtet und geschätzte Log Odds Blutdruck- Herzerkrank- Beobachtete Geschätzte Klasse ungsrate Log Odds Log Odds (saturiertes Modell) (lineares Modell) < >

13 Beobachtet und geschätzte Herzerkrankungsraten proportion beobachtet geschätzt blood pressure

14 Maximum Likelihood Schätzer ˆβ 0, ˆβ 1,..., ˆβ p m i Zahl der Beobachtungen in Gruppe i = 1,..., n y i Zahl der Ereignisse (z.b. Herzerkrankungen) in Gruppe i Die Likelihood ist die Wahrscheinlichkeit unsere Daten zu beobachten: ( ) L(β 0, β 1,..., β p Daten) = Π n mi i=1 π y i i (1 π i ) 1 y i π i = 1/{1 + exp( β 0 β 1 x 1i β p x pi )} y i Maximieren von L(β 0, β 1,..., β p Daten) ˆβ 0, ˆβ 1,..., ˆβ p

15 Wald Test für H 0 : β i = 0 Beispiel ˆβ 1 SE ˆβ1 z 1 p-wert Estimate Std.Error z value Pr(> z ) x e-07 Falls β i = 0, dann gilt (für hinreichend große Stichproben) z i = ˆβ i /SE ˆβ i N(0, 1) approximativ approximativer p-wert = 2 {1 Φ( z i )} [Φ(z) Verteilungsfunktion der Standardnormalverteilung]

16 Analysis of Deviance Analysis of Deviance Table > anova(heart.glm,test= Chisq ) Analysis of Deviance Table Model: binomial, link: logit Response: cbind(hdis, total - hdis) Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL x e-07

17 Null- und Residual-Deviance Log Likelihood = Logarithmus der Likelihood Residual-Deviance (Deviance): 2 Differenz der Log Likelihood des saturierten Modells zur Log Likelihood des linearen Modells. (Analog zu SS res bei normalverteilten Daten) Null-Deviance: 2 Differenz der Log Likelihood des saturierten Modells zur Log Likelihood des Null-Modells (konstantes π). (Analog zu SS total bei normalverteilten Daten)

18 Deviance Residual Deviance Resid.: Null-Deviance Residual-Deviance (Analog zu SS reg bei normalverteilten Daten) Deviance Resid. ist approximativ χ 2 -verteilt mit df = p Freiheitsgraden. Beispiel Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL x e-07

19 Beispiel 1: Herzerkrankungsdaten - Einfluss von Cholesterin Cholesterin- Klassen- Herzerkrank- Klasse mitte X 2 ungsrate Prozent < / / / / / / > /

20 Beispiel 1: Herzerkrankungsdaten - Einfluss von Blutdruck und Cholesterin > heart.glm2<-glm(cbind(hdis, total-hdis)~x1+x2, >+ family=binomial,data=heart) > summary(heart.glm2) Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) < 2e-16 *** x e-05 *** x e-06 *** -- Signif. codes: 0 *** ** 0.01 * (Dispersion parameter for binomial family taken to be 1) Null deviance: on 55 degrees of freedom Residual deviance: on 53 degrees of freedom Number of Fisher Scoring iterations: 5

21 Beispiel 1: Herzerkrankungsdaten - Einfluss von Blutdruck und Cholesterin > anova(heart.glm2,test= Chisq ) Analysis of Deviance Table Model: binomial, link: logit Response: cbind(hdis, total - hdis) Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL x e-07 x e-06

22 Beispiel 2: Leukemie-Daten 33 Patienten mit Leukemie Variablen: time wbc ag Überleben in Wochen. Zahl der weißen Blutkörperchen Morphologische Charakteristika der weißen Blutkörperchen ja/nein Einfluss der Variablen wbc und ag auf Überleben; unterscheiden nur ob time 24 oder time< 24

23 Beispiel 2: Logistische Regression > nleuk.lr<-glm(time>=24~ag*i(wbc/1000), >+ family=binomial,data=leuk) > summary(nleuk.lr) Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) agpresent I(wbc/1000) agpresent:i(wbc/1000) (Dispersion parameter for binomial family taken to be 1) Null deviance: on 32 degrees of freedom Residual deviance: on 29 degrees of freedom Number of Fisher Scoring iterations: 4

24 Beispiel 2: Vohersagen Probability of surviving at least 24 weeks absent present 0 e+00 2 e+04 4 e+04 6 e+04 8 e+04 1 e+05 White blood count

25 Beispiel 2: Konfidenzintervalle > options(width=68,digits=4) > library(boot) > confint(nleuk.lr) Waiting for profiling to be done % 97.5 % (Intercept) agpresent I(wbc/1000) agpresent:i(wbc/1000) > exp(confint(nleuk.lr)) Waiting for profiling to be done % 97.5 % (Intercept) agpresent I(wbc/1000) agpresent:i(wbc/1000)

26 Zusammenfassung Die logistische Regression wird angewendet, wenn die Zielvariable entweder ein Anteil oder Wahrscheinlichkeit ist z.b. Anteil Patienten mit neuen Infektionen auf KH-Stationen dichotom ist, d.h. (nur) zwei Werte annehmen kann z.b.: Erkrankt ja/nein; Geheilt ja/nein etc. Kovariablen können belieber Natur sein (metrische, nominal oder ordinal).

27 Beispiel 3: BCG-Impfung und Lepra 260 Fälle von Lepra einer prospektiven Studie Kontrollen, d.h. Personen ohne Lepra (gleiche Region, gleicher Zeitraum wie bei Fällen) BCG-Impfung ja/nein (Nachweisbar durch Impfnarbe) Alter von 0 bis 34 Jahre (in beiden Gruppen) Fragestellung: Wirkt die BCG-Impfung auch gegen Lepra? Falls ja, dann wird bei Kontrollen die Impfungsnarbe im Mittel häufiger (also wahrscheinlicher) als bei Fällen zu finden sein.

28 Beispiel 3: BCG-Impfung und Lepra Fall-Kontrol-Daten Fälle Gesamtzahl Narbe (ja=1,nein=0) Altersklasse

29 Fall-Kontroll-Studien Problem bei Fall-Kontroll-Studien ist, dass die Erkrankungswahrscheinlichkeit (Inzidenz) der Stichprobe nicht repräsentativ für die Grundgesamtheit ist; daher kann die Inzidenz nicht geschätzt werden. Man kann jedoch die sogn. Odds Ratio schätzen: Odds Ratio = = Odds mit N Odds ohne N = P(F N) / P(F kn) P(K N) P(K kn) = P(F N) P(K kn) P(K N) P(F kn) = P(N F) / P(N K ) P(kN F) P(kN K ) F = Fall, K = Kontrolle, N = Narbe, kn = keine Narbe

30 Beispiel 3: Logistische Regression > leprosy.glm<-glm(cbind(cases,total-cases)~age+scar, >+ family=binomial(link=logit),data=leprosy) > anova(leprosy.glm, test= Chisq ) Analysis of Deviance Table Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL age e-40 scar e-05 > cbind(estimate=exp(summary(leprosy.glm)$coefficients[,1]), >+ exp(confint(leprosy.glm))) odds ratio 2.5 % 97.5 % (Intercept) age age age age age age scar