EINFÜHRUNG IN DIE POISSON REGRESSION

Transkript

1 INTERDISZIPLINÄRES SEMINAR STATISTISCHE VERFAHREN IN DEN GEOWISSENSCHAFTEN EINFÜHRUNG IN DIE POISSON REGRESSION VON MARGRET OELKER BETREUT DURCH VIOLA SVEJDAR MÜNCHEN, 5. NOVEMBER 2009.

2 EINLEITUNG BEISPIEL LINEARE REGRESSION POISSON REGRESSION AUSBLICK FAZIT 2 Enletung Enletung 2 Bespel: Der Vulkan Merap 3 Lneare Regresson 4 Posson Regresson 5 Ausblck: Quas Lkelhood Ansatz 6 Fazt

3 3 Abbldung : Der Vulkan Merap am 2. Ma 2006 (Quelle: Wkpeda Merap)

4 4 Abbldung 2: Lage des Merap auf der Insel Java, Indonesen (Quelle: Google Maps)

5 5 2 Bespel: Der Vulkan Merap Varablen Datum Regenfall n mm pro Staton Babadan, Kalurang, Selo, Jrakah und Ngepos Zelgrößen: zwe Indkatoren für eruptve Tätgket des Merap MP = man phases event = oberflächge Lavabewegungen pro Tag Gug = Anzahl der täglchen Gestenslawnen Interesse an Zusammenhang zwschen Regenfall und eruptver Tätgket des Merap

6 6 Abbldung 3: Häufgketsvertelung der Zelgrößen

7 7 Abbldung 4: Entwcklung der Zelgrößen über den Studenverlauf

8 8 3 Lneare Regresson Das enfache lneare Regressonsmodell Das multple lneare Regressonsmodell

9 9 Abbldung 5: Lneares Model

10 0 Das enfache lneare Regressonsmodell Modellglechung = 0 + x + ε Annahmen Addtve Fehlerterme Stochastsch unabhängge Fehlerterme Normalvertelte Fehlerterme: 2 ε ~ Ν(0, σ ) 2 x ~ Ν( 0 + x, σ ) Ε( x x ) = µ = 0 +

11 EINLEITUNG BEISPIEL LINEARE REGRESSION POISSON REGRESSION AUSBLICK FAZIT Das multple lneare Regressonsmodell Erweterung des enfachen lnearen Modells: p Enflussgrößen In Matrxschrebwese Oder kurz Weder glt und p p x x x ε = = X + ε Y + = n p pp p p p n x x x x x x ε ε ε µ X x = = Ε ) ( ), ( ~ Σ Ν X x

12 2 4 Posson Regresson De Posson Vertelung Das generalserte lneare Modell Das Modell der Posson Regresson Schätzen m Posson Modell Testen m Posson Modell Modelldagnose Das Problem der Überdsperson

13 3 De Posson Vertelung Dchte f ( ) = λ exp( λ), = 0,,2,! 0, sonst mt λ > 0 Egenschaften Ε( ) = λ = V ( ) Grenzfall der Bnomal Vertelung n Versuche mt zwe möglchen Ausgängen (Erfolg, Msserfolg) Anzahl der Erfolge bnomalvertelt Dchten konvergeren gegenenander: f Bnomal n f Posson

14 4 Das generalserte lneare Modell Dre Verallgemenerungen m Verglech zum lnearen Modell Exponentalfamle Bespel Posson Vertelung f θ b( θ ) f ( θ, φ) = exp + c(, φ) φ ( λ log( λ ) λ ) = exp )! ( λ ) = exp + log(! Vertelungsannahme für x statt für ε Exponentalfamle Entkopplung von bedngtem Erwartungswert und Prädktor durch Responsefunkton h( ) Ε x = h( x ' ( ) )

15 5 Das Modell der Posson Regresson Generalsertes Regressonsmodell Zelgröße st posson-vertelt mt Parameter λ E( x )=µ = λ Modellert wrd E( x ) = λ über de Annahme h( x ) =µ = λ Log-lneare Posson Regresson h( x ) = exp( x ) = exp( 0 ) exp( 0 x ) exp( 2 x 2 ) exp( p x p ) = λ Lneare Posson Regresson h( x )=x = x + 2 x p x p = λ

16 6 Bespel Log-lneare Posson Regresson, Zelgröße MP E( x )= λ = h( x ) = exp( x ) = exp( 0 + Babadan ) Code für das Programm R glm (MP ~ + Babadan, faml=posson()) Output n R Call: glm(formula = MP ~ + Babadan, faml = posson()) Coeffcents: (Intercept) Babadan Degrees of Freedom: 2472 Total (.e. Null); 247 Resdual ( observaton deleted due to mssngness) Null Devance: Resdual Devance: AIC: 36300

17 7 Interpretaton der Parameter multplkatv ˆ 0 wenn alle Enflussgrößen x glech Null snd glt λˆ = h( x ˆ ) = exp( ˆ 0 + ˆ Babadan ) = exp( ˆ 0 + ˆ 0 ) = exp( ˆ 0 ) = exp( ) = (her ken Regen an Tag auf Staton Babadan) ˆ Annahme: Regenmenge auf der Staton Babadan erhöht sch an Tag m Verglech zumtag j um δ = 50 mm λˆ = h( x ˆ ) = exp( ˆ 0 + ˆ ( Babadan j + δ )) = exp( ˆ 0 + ˆ Babadan j ) exp( ˆ δ ) = exp( ˆ δ )= 0.46 λˆj λˆj

18 8 Schätzen m Posson Modell Statt KQ-Methode jetzt Lkelhoodschätzung ˆ L = ML = n = f ( Y = arg max L X = x ( ) ) Maxmerung der logarthmerten Lkelhood ( L( )) l ( ) = log her n ( log( λ ) ) l( ) = λ =

19 9 Testen m Posson Modell: Enfacher Test Ene Annahme en Hpothesenpaar H 0 : = ξ gegen H : ξ En Sgnfkanznveau α Testgröße ˆ ξ w = ( ˆ ) V 2 Unter H 0 glt w ~ χ 2 () Verwerfe H 0, falls realserter Wert von w unter H 0 sehr unwahrschenlch p-wert P( W w) α verwerfe H 0, falls w größer als (- α)-quantl der χ 2 () Vertelung

20 20 EINLEITUNG BEISPIEL LINEARE REGRESSION POISSON REGRESSION AUSBLICK FAZIT Smultane Tests: Wald Test Modell mt mehreren Enflussgrößen E( x )= 0 + Babadan + 2 Jrakah + 3 Kalurang + 4 Ngepos + 5 Selo Mehrere Annahmen mehrere Hpothesenpaare, zum Bespel H 0 : 2 =0 gegen H : 2 0 H 0 : 4 = 0 gegen H : 4 0 Testgröße ( )( ) ( ) )) ( ( ~ ˆ ˆ) cov( ˆ 2 ' C rg C C C W χ ξ ξ = ξ = = = C ξ C gegen

21 2 Umsetzung Wald Test model = glm(mp ~ + Babadan + Jrakah + Kalurang + Ngepos + Selo,faml=posson()) summar(model) Estmate Std. Error z value Pr(> z ) (Intercept) <2e-6 *** Babadan <2e-6 *** Jrakah <2e-6 *** Kalurang <2e-6 *** Ngepos <2e-6 *** Selo <2e-6 *** lnear.hpothess(model, c( Jrakah = 0, Ngepos = 0 )) Res.Df Df 2467 Chsq Pr(>Chsq) < 2.2e-6 ***

22 22 Smultane Tests: Lkelhood Rato Test Schätzung durch Maxmerung der Lkelhood Ideales Modell hat größte maxmale Lkelhood Aufnahme von wahren Enflussgrößen vergrößert maxmale Lkelhood Weglassen von falschen Enflussgrößen sollte Betrag der maxmalen Lkelhood ncht wesentlch verklenern Idee Lkelhood Rato Test Hpothesen als Restrktonen des bshergen Modells Verglech der Lkelhoods des bshergen und restrngerten Modells Testgröße ~ λ = 2( l( ; λ ) l( ; ˆ)) λ ~ 2 χ ( rg( C))

23 23 Umsetzung Lkelhood Rato Test model = glm(mp ~ + Babadan + Jrakah + Kalurang + Ngepos + Selo,faml=posson()) summar(model) Null devance: on 2472 degrees of freedom Resdual devance: on 2467 degrees of freedom ~ λ = 2( l( ; λ ) - l( ; ˆ λ)) = Null devance - Resdual devance = = 5340 anova(restrngertes Modell, volles Modell)

24 24 EINLEITUNG BEISPIEL LINEARE REGRESSION POISSON REGRESSION AUSBLICK FAZIT Modelldagnose Resduen n der Posson Regresson Lneares Modell Pearson Resduen Devanz Resduen ˆ ˆ = ε ) ˆ ( ˆ P V r = ˆ), ˆ ( ˆ), ( ) ˆ ( D l l sgn r =

25 25 Abbldung 6: plot(model)

26 26 Abbldung 7: Smulerter Q-Q Plot

27 27 Abbldung 8: MP und gefttete Werte Abbldung 9: Verlauf der Devanzresduen

28 28 Das Problem der Überdsperson Be posson-vertelten st der Erwartungswert glech der Varanz Posson Regresson modellert E( x ) = λ = V( x ) Zwe Möglchketen Es glt E( x ) V( x ), aber V( x ) st en anderer konstanter Wert Es glt E( x ) V( x ), aber V( x ) verändert sch mt We erkennt man Überdsperson? 2 Annahme resdual devance st - vertelt χ Her summar(model) Null devance: on 2472 degrees of freedom Resdual devance: on 2467 degrees of freedom

29 29 5 Der Quas Lkelhood Ansatz Quas Lkelhood Ansatz übernmmt de Form der Lkelhood aus der generalserten lnearen Regresson ABER: Varanz V( x ) st jetzt ncht mehr vorgegeben R Funkton: glm(formel, faml=quasposson()) Generalserte Schätzglechungen R Funkton: gee(formel, d, faml=posson(), corstr= ) Posson Regresson kann modfzert werden zum Bespel be Längschnttdaten

30 30 6 Fazt Posson Regresson Wofür? We? ncht-negatve, dskrete Zelgrößen Annahme der Posson Vertelung Responsefunkton Prädktor Praktsche Umsetzung n R glm( Modellformel, faml=posson() ), summar(), anova(), lnear.hpthess() Bespel Merap Posson Modelle mt verschedenen Responsefunktonen und Enflussgrößen Regenmessungen statstsch sgnfkant, aber andere Enflussgrößen und Zetrehenstruktur der Daten ncht berückschtgt.

31 EINLEITUNG BEISPIEL LINEARE REGRESSION POISSON REGRESSION AUSBLICK FAZIT 3 Lteratur B. S. Evertt, T. Hothorn: A Handbook of Statstcal Analses Usng R. Chapman & Hall, L. Fahrmer / T. Kneb / S. Lang: Regresson. Modelle, Methoden und Anwendungen. Sprnger, L. Fahrmer / G. Tutz: Multvarate Statstcal Modellng Based on Generalzed Lnear Modells. Sprnger, 200. T. Hothorn: Skrpt zur Vorlesung Statstk III. Ludwg-Maxmlans-Unverstät München, Wntersemester 2007/2008. J. Kopf: Vortrag m Semnar Modellwahl und Modelldagnostk. Ludwg-Maxmlans-Unverstät München, Sommersemester H. Küchenhoff: Skrpt zur Vorlesung Lneare Modelle. Ludwg-Maxmlans-Unverstät München, Sommersemester G. Tutz: Skrpt zur Vorlesung Generalserte Modelle. Ludwg-Maxmlans-Unverstät München, Wntersemester 2008/2009. R John Fox: Package car - Companon to Appled Regresson, V. J. Care: Package gee - Generalzed Estmaton Equaton solver

32 EINLEITUNG BEISPIEL LINEARE REGRESSION POISSON REGRESSION AUSBLICK FAZIT 32 Velen Dank!