Konjugierte Analyse einfacher Modelle Poisson-Modelle. Helga Wagner Bayes Statistik WS 2010/11 31

Transkript

1 Konjugierte Analyse einfacher Modelle Poisson-Modelle Helga Wagner Bayes Statistik WS 2010/11 31

2 Example: Verkehrssicherheitsdaten 6 Time Series Plot 15 Time Series Plot Month Month x Abbildung 1: Verkehrssicherheitsdaten oben: Anzahl von schwerverletzten oder getöteten Fussgängern in Linz, Kinder von 6 bis 10 Jahren (links) und Senioren über 65 (rechts) unten: Anzahl von Personen (Exponierte) in der jeweiligen Altersgruppe Helga Wagner Bayes Statistik WS 2010/11 32

3 Die Poisson-Verteilung Zufallsvariable Y mitwerten in dem diskreten StichprobenraumY = {0,1,2,...} werden häufig mit der Poissonverteilung modelliert Y P(µ), wenn P(Y = y µ) = µy y! e µ, für {0,1,2,...} Wahrscheinlichkeitsfunktion p(y µ): p(y µ) = f P (y;µ) = µy y! e µ. Momente: E(Y µ) = Var(Y µ) = µ Helga Wagner Bayes Statistik WS 2010/11 33

4 Die Stichprobenverteilung Beobachtungen: Zähldaten y = (y 1,...,y n ) y = (y 1,...,y n ) sind n i.i.d. (= independent identically distributed) Beobachtungen einer P (µ)-verteilung y = (y 1,...,y n ) ist die Realisierung einer n-dimensionalen Zufallsvariablen Y = (Y 1,...,Y n ) mit Stichprobenverteilung P(Y = y µ) über dem Stichprobenraum Y n mit folgenden Eigenschaften: P(Y = y µ) = = p(y µ) = n P(Y i = y i µ), Y i P (µ) i=1 n p(y i µ) = i=1 n ( µ y i i=1 y i! e µ ) = µ ny e nµ n i=1 1 y i!. Helga Wagner Bayes Statistik WS 2010/11 34

5 Lernen aus den Daten Welchen Wert hat µ, die erwartete Anzahl getöteter oder schwerverletzter Personen? Schätzung Wie ist die Unsicherheit der Schätzung von µ zu quantifizieren Schätzfehler Wieviele Personen werden im kommenden Monat getötet oder schwer verletzt werden? Vorhersage Ist das stochastische Modell passend? Modellkritik Alle diese Fragen können mit der Posteriori-Verteilung beantwortet werden. Helga Wagner Bayes Statistik WS 2010/11 35

6 Bestimmen der Posteriori-Verteilung Nach dem Satz von Bayes ist die Posteriori-Verteilung für ϑ = µ gegeben als: Für die Likelihood Funktion gilt p(µ y) p(y µ)p(µ), µ R + p(y µ) µ ny e nµ, wenn alle Konstanten, die nicht von µ abhängen, weggelassen werden. Als Funktion des Parameter µ ist die Likelihood proportional zur Dichte der G(ny + 1, n)-verteilung. Helga Wagner Bayes Statistik WS 2010/11 36

7 Die Gamma-Verteilung Für x G(a, b), ist die Wahrscheinlichkeitsdichte gegeben als f G (x;a,b) = ba Γ(a) xa 1 e bx x a 1 e bx Die Momente der Gamma-Verteilung sind E(x) = a b und Var(x) = a b 2. Helga Wagner Bayes Statistik WS 2010/11 37

8 Bestimmen der Posteriori-Verteilung Mit einer flachen Priori-Verteilung p(µ) constant ist die posteriori-verteilung p(µ y) p(y µ) = µ ny e nµ = die Posteriori-Verteilung ist die Gamma-Verteilung µ y G(a n,b n ) mit: a n = ny +1, und b n = n. (3) Die Parameter der Posteriori-Verteilung hängen von den Daten nur durch die Zahl der Beobachtungen n und die Gesamtsumme der Zähldaten ny ab. Helga Wagner Bayes Statistik WS 2010/11 38

9 Beispiel: Verkehrssicherheitsdaten Senioren: n = 192 und y = 5.25, daher: µ y G(1009,192) Abbildung 2: Verkehrssicherheitsdaten Senioren modelliert als i.i.d. P(µ) links: Posterior Dichte p(µ y) unter der Priori-Verteilung p(µ) constant rechts: Posteriori Verteilungsfunktion mit 0.05, 0.5 und 0.95-Perzentilen Helga Wagner Bayes Statistik WS 2010/11 39

10 Beispiel: Verkehrssicherheitsdaten Keine Information/Vorstellung über den Parameter µ vor Beobachtung der Daten, aber die Likelihood erhöht das Wissen über µ deutlich. Die Posteriori-Verteilung ist eine Wahrscheinlichkeitsverteilung, obwohl die Priori-Verteilung uneigentlich ist auf einem relativ kleinen Bereiches des Parameterraumes Θ = R + konzentriert, obwohl die a-priori-verteilung p(µ) flach ist Helga Wagner Bayes Statistik WS 2010/11 40

11 Parameterschätzung Zur Parameterschätzung können verschiedene Lagemaßzahlen der Posteriori- Verteilung verwendet werden: der Posteriori-Modus (a n 1)/b n = y = 5.25 ist auch der Maximum-Likelihood-Schätzer der Erwartungswert der Posteriori-Verteilung (posterior mean) E(µ y) = a n /b n = y +1/n = der Posteriori-Median, d.h. das 0.5-Perzentil der G(ny + 1, n)-verteilung ergibt Jeder dieser Schätzer ist der optimale Schätzer bezüglich einer bestimmten Verlustfunktion Helga Wagner Bayes Statistik WS 2010/11 41

12 Kredibilitätsintervall Aus der Verteilungsfunktion der Posteriori-Verteilung kann man ein Intervall [µ L,µ U ] bestimmen, das den Parameter µ mit hoher Wahrscheinlichkeit (1 α) enthält. Derartige Intervalle nennt man Kredibilitätsintervalle. Für einen skalaren, stetigen Parameter θ mit stetigem Parameterraum gilt folgende Definition: Ein Intervall I = [θ L,θ U ], für das gilt θu θ L p(θ y)dθ = 1 α, nennt man (1 α)%-kredibilitätsintervall bzw. auch Bayesianisches (1 α)%- Konfidenzintervall. Helga Wagner Bayes Statistik WS 2010/11 42

13 Kredibilitätsintervall Das (1 α)%-kreditibilitäts-intervall ist nicht eindeutig: Ein gleichendiges (1 α)%-kredibilitätsintervall erhält man mit dem α/2- und dem 1 α/2-perzentil der Posteriori-Verteilung. Ein (1 α)%-kredibilitätsintervall I heisst HPD (highest posterior density interval), wenn für alle θ I und alle θ / I gilt p(θ y) p( θ y) HPD-Intervalle enthalten also die Parameterwerte mit höherer Posteriori- Dichte. Sie sind jedoch i.a. schwerer zu bestimmen als gleichendige Kredibilitätsintervalle. Helga Wagner Bayes Statistik WS 2010/11 43

14 Beispiel: Verkehrssicherheitsdaten Die Unsicherheit der Schätzung von µ kann durch ein Kredibilitätsintervall oder ein Streuungsmaß der Posteriori-Verteilung ausgedrückt werden, z.b. Das gleichendige 95% Kredibilitätsintervall für µ ist das Intervall[4.931, 5.579] die Posteriori-Varianz Var(µ y) = 1009/(192) 2 = die Posteriori-Standardabweichung SD(µ y) = Var(µ y) = Helga Wagner Bayes Statistik WS 2010/11 44

15 Wahl der Prior-Verteilung Eine geschlossene Form der Posteriori-Verteilung erhält man, wie wir gesehen haben, unter einer flachen Priori-Verteilung, d.h. aus der Likelihood-Funktion. Eine einfache Wahl der Priori-Verteilung ergibt sich, wenn man diese so wählt, dass die Posteriori-Verteilung zur selben Verteilungsfamilie gehört. Konjugierte Priori-Verteilungen: Eine Klasse G von Priori-Verteilungen heisst (natürlich) konjugiert bezüglich der Likelihoodfunktion p(y ϑ), falls die Posteriori-Verteilung p(ϑ y) für alle p(ϑ) G zur Klasse G gehört. Für iid Beobachtungen aus einer Poisson-Verteilung ist die Klasse der konjugierten Priori-Verteilungen die Familie der G(a 0,b 0 )-Verteilungen. Helga Wagner Bayes Statistik WS 2010/11 45

16 Wahl der Prior-Verteilung Eine Priori-Verteilung p(ϑ) heisst eigentlich (proper), wenn gilt: Θ p(ϑ)dϑ = 1 bzw. p(ϑ) = 1 Θ Die konjugierte Gamma Priori-Verteilung ist eigentlich, wenn a 0 > 0 and b 0 > 0. Helga Wagner Bayes Statistik WS 2010/11 46

17 Konjugierte Analyse Unter einer konjugierten Gamma-Priori-Verteilung, ist die Posteriori-Verteilung von µ p(µ y) µ ny e nµ µ a 0 1 e b 0µ wieder eine Gamma-Verteilung µ y G(a n,b n ) mit Parametern a n = a 0 + b n = b 0 +n. n y i = a 0 +ny i=1 Die Priori-Verteilung liefert ebensoviel Information über µ wie b 0 Beobachtungen mit Mittelwert m 0 = a 0 /b 0. Helga Wagner Bayes Statistik WS 2010/11 47

18 Effekt der Priori-Verteilung Der Posteriori-Mittelwert ist ein gewichteter Durchschnitt des Stichprobenmittels y und des Mittels der Priori-Verteilung m 0 : E(µ y) = a n b n = a 0+ny b 0 +n == = b 0 b 0 +n m 0+ n b 0 +n y = = (1 ω) m 0 +ω y Helga Wagner Bayes Statistik WS 2010/11 48

19 Effekt der Priori-Verteilung Das Gewicht des Priori-Mittels m 0, wächst für festes n mit b 0. (1 ω) = b 0 /(b 0 +n) Mit wachsendem Stichprobenumfang n (und festem b 0 ), konvergiert das Gewicht des Stichprobenmittels ω = n/(b 0 +n) gegen 1, d.h. der Einfluß der Parameter der Priori-Verteilung verschwindet. Helga Wagner Bayes Statistik WS 2010/11 49

20 Effekt der Priori-Verteilung Bei keiner bzw. wenig Vorinformation über die Parameter, soll die Priori-Verteilung uninformativ sein. Eine (leicht) datenbasierte Wahl der Priori-Verteilung ergibt sich mit m 0 = y b 0 klein, z.b Der Einfluss der Priori-Verteilung wird durch eine Sensitivitätsanalyse überprüft. Helga Wagner Bayes Statistik WS 2010/11 50

21 Effekt der Priori-Verteilung Abbildung 3: Verkehrssicherheitsdaten Senioren; i.i.d. P (µ) Sensitivität der Posteriori-Verteilung von µ bezüglich verschiedener G(b 0 m 0,b 0 )-Priori-Verteilungen. links: m 0 = y, b 0 = 0.5,1,2 (blau, grün,rot) rechts: b 0 = 0.5, m 0 = 1,5,10 (blau, grün,rot) Helga Wagner Bayes Statistik WS 2010/11 51

22 Effekt der Priori-Verteilung Tabelle 1: Verkehrssicherheitsdaten Senioren;, i.i.d. P(µ) Sensitivität der 95% Kredibilitätsintervalle bezüglich verschiedener G(b 0 m 0,b 0 ) -Priori-Verteilungen (m 0 ist das Priori-Mittel) m 0 = 1 m 0 = 5 m 0 y m 0 = 7 m 0 = 10 b 0 = 0.01 (4.93,5.58) (4.93,5.58) (4.93,5.58) (4.93,5.58) (4.93,5.58) b 0 = 0.1 (4.93,5.58) (4.93,5.58) (4.93,5.58) (4.93,5.58) (4.93,5.58) b 0 = 0.5 (4.92,5.57) (4.93,5.58) (4.93,5.58) (4.94,5.58) (4.94,5.59) b 0 = 1 (4.91,5.56) (4.93,5.58) (4.93,5.58) (4.94,5.59) (4.96,5.60) b 0 = 2 (4.89,5.53) (4.93,5.57) (4.93,5.58) (4.95,5.60) (4.98,5.63) Helga Wagner Bayes Statistik WS 2010/11 52

23 Berücksichtigung der Zahl der Exponierten Sei λ das Risiko eines Fußgängers, in einem Monat getötet oder schwer verletzt zu werdenunde i diezahlderfußgängerdiediesemrisikoinmonatiausgesetztsind Die Zahl Y i der getöteten oder schwer veletzten Fußgänger in Monat i, ist eine Zufallsvariable Y i BiNom(e i,λ) Da das Risiko λ sehr klein, ist kann die Binomialverteilung durch die Poissonverteilung angenähert werden BiNom(e i,λ) P (µ i ), mit µ i = λe i Helga Wagner Bayes Statistik WS 2010/11 53

24 Berücksichtigung der Zahl der Exponierten Wenn die Zahl der Exponierten über die Beobachtungsperiode konstant e i e 0 ist, dann sind die Beobachtungen y 1,...,y N i.i.d. Poisson verteilt mit µ = λe. Wenn sich die Zahl der Exponierten über die Zeit ändert, dann sind y 1,...,y n zwar noch u.a., aber nicht identisch verteilt. Die Likelihood- Funktion ist gegeben als p(y λ) = wobei n e = n i=1 e i. n p(y i λ) = i=1 n ( (λei ) y i i=1 y i! e λe i ) = λ ny e ne λ n i=1 e y i i y i!, (4) Der Kern der Likelihood entspricht der Dichte einer Gamma-Verteilung, daher ist die konjugierte Priori-Verteilung für das Risiko ebenfalls eine Gamma-Verteilung λ G(a e 0,b e 0) Helga Wagner Bayes Statistik WS 2010/11 54

25 Berücksichtigung der Zahl der Exponierten Aus dem Satz von Bayes erhält man λ y G(a e n,b e n), mit n a e n = a e 0+ y i = a e 0+ny b e n = b e 0+ i=1 n e i = b e 0+n e i=1 Helga Wagner Bayes Statistik WS 2010/11 55

26 Effekt der Priori-Verteilung Der Posteriori-Mittelwert von λ ist E(λ y) = ae n b e n = ae 0+ny b e 0 +ne = be 0 b e 0 +neme 0+ 1 b e 0 +neˆλ n, (5) wobei m e 0 = a e 0/b e 0 das a priori erwartete Risiko E(λ) und ˆλ n der Schätzer für das Risiko aus den Daten ist. ˆλ n = n i=1 y i n i=1 e i = y e. Der Posteriori-Mittelwert ist also wieder ein gewichtetes Mittel, und zwar des aus den Daten geschätzten Riskos ˆλ n und des apriori erwarteten Risikos m e 0. Helga Wagner Bayes Statistik WS 2010/11 56

27 Effekt der Priori-Verteilung Das Gewicht des a priori erwarteten Risikos m e 0, 1 ω e = b 0 b 0 +n e wächst bei fester Zahl von.beobachteten Expositionsmonaten n e mit b e 0. Mit n e konvergiert das Gewicht des geschätzen Risikos ω e = n e /(b e 0+n e ) gegen 1 und der Einfluß der a priori-parameter verschwindet. Wahl von m e 0 bei fehlender Information: m e 0 = ˆλ n Helga Wagner Bayes Statistik WS 2010/11 57

28 Beispiel: Verkehrssicherheitsdaten Kinder 6-10 Suffiziente Statistiken zur Bestimmung der Gamma-Posteriori-Verteilung für das Risiko sind n n y i = 353 und e i = i=1 Für m e 0 = ˆλ n ist das Posteriori-Mittel identisch mit dem Risiko in der Stichprobe: 2.08 per Expositionsjahren. Unter einer flachen Priori-Verteilung erhält man als 95%- Kredibilitätsintervall für das Risiko λ (aus den and Perzentilen der Gamma-Posteriori- Verteilung) pro Expositionsmonaten. i=1 Helga Wagner Bayes Statistik WS 2010/11 58

29 Beispiel: Verkehrssicherheitsdaten Kinder x x x x 10 4 Abbildung 4: Verkehrssicherheitsdaten Kinder 6-10, ua. P (λe i ) Posteriori-Verteilung des Risikos λ unter verschiedenen G(b e 0 me 0,be 0 )-Priori-Verteilungen links: m e 0 = ˆλ n und b e 0 rechts: b e 0 = 1 und me 0 Es ist kein Unterschied ersichtlich! = 0.5,1,10 (blau, grün,rot) = 1,2,3 pro (blau, grün,rot) Helga Wagner Bayes Statistik WS 2010/11 59

30 Modellierung eines Strukturbruches Am 1. Oktober 1994 trat in Österreich eine Gesetzesänderung in Kraft, die den Vorrang von Fußgängern regelt: Fußgängern, die einen Zebrastreifen benützen möchten, muß ein gefahrloses Überqueren ermöglicht werden. Hatte diese Gesetzesänderung einen Effekt? Modellierung mit möglichem Strukturbruch in Monat i 0 = 94 (Oktober 1994): Mit einem Strukturbruch in i 0 sind y = (y 1,...,y n ) Realisierungen von u.a. aber nicht identisch verteilten Zufallsvariablen Y = (Y 1,...,Y n ), P(Y = y µ) = n P(Y i = y i µ i ), Y i P(µ i ). i=1 Helga Wagner Bayes Statistik WS 2010/11 60

31 Modellierung eines Strukturbruches In einem Strukturbruch-Modell kann sich µ i in i = i 0 ändern: { µ 1, i < i 0, µ i = µ 2, i i 0. = Problem mit 2 Parametern ϑ = (µ 1,µ 2 ). Die Stichprobenverteilung ist gegeben durch p(y µ 1,µ 2 ) = i 0 1 i=1 ( µ1 y i y i! e µ 1 ) n i=i 0 ( µ2 y i ) y i! e µ 2, Helga Wagner Bayes Statistik WS 2010/11 61

32 Modellierung eines Strukturbruches Als Funktion der Parameter µ 1 and µ 2 ist die Likelihood proportional zu p(y µ 1,µ 2 ) µ 1 n 1 y 1 e n 1µ 1 µ 2 n 2 y 2 e n 2µ 2, wenn y 1 und y 2 die Stichprobenmittel vor und nach dem Strukturbruch sind, y 1 = 1 i 0 1 n 1 i=1 y i, y 2 = 1 n 2 n i=i 0 y i, und n 1 = i 0 1 und n 2 = n i Anzahl der Beobachtungen in beiden Perioden angeben. Helga Wagner Bayes Statistik WS 2010/11 62

33 Modellierung eines Strukturbruches Mit dem Satz von Bayes ergibt sich p(µ 1,µ 2 y) p(y µ 1,µ 2 )p(µ 1,µ 2 ), Unter a priori-unabhängigkeit von µ 1 und µ 2 p(µ 1,µ 2 ) = p(µ 1 )p(µ 2 ) sind µ 1 und µ 2 auch a posteriori ua. n p(µ 1,µ 2 y) = p(µ 1 y)p(µ 2 y) µ 1 y 1 1 e n 1µ 1 n p(µ 1 ) µ 2 y 2 2 e n 2µ 2 p(µ 2 ) Helga Wagner Bayes Statistik WS 2010/11 63

34 Modellierung eines Strukturbruches Sind µ 1 und µ 2 apriori ua. mit µ i G(a 0,i,b 0,i ) dann ist µ 1 y G(a n,1,b n,1 ), µ 2 y G(a n,2,b n,2 ), mit den Parametern a n,1 = a 0,1 +n 1 y 1, b n,1 = b 0,1 +n 1, a n,2 = a 0,2 +n 2 y 2, b n,2 = b 0,2 +n 2. Helga Wagner Bayes Statistik WS 2010/11 64

35 Modellierung eines Strukturbruches Das 95% -Kredibilitätsintervall von µ 1 kann aus der marginalen Posteriori-Dichte p(µ 1 y) (z.b. mit dem und Perzentil der G(a N,1,b N,1 )-Verteilung) bestimmt werden Interpretation: Das Risiko liegt mit einer Wahrscheinlichkeit von 95% in diesem Kredibilitäts-Intervall. Frequentische Bereichsschätzung: 95% Konfidenzintervall asymptotisch: Anzahl der Beobachtungen n 1 vor dem Strukturbruch ist fest exakt: wiederholte Stichprobenziehung? Helga Wagner Bayes Statistik WS 2010/11 65

36 Strukturbruch: Wahl der a priori-verteilung Die flache Priori-Verteilung p(µ 1,µ 2 ) constant erhältman mit a 0,1 = a 0,2 = 1 und b 0,1 = b 0,2 = 0. Eine etwas auf die Daten gestützte Wahl der Priori-Verteilung ist µ 1 G(b 0 y,b 0 ), µ 2 G(b 0 y,b 0 ) mit kleinem Wert für b 0 ( z.b. b 0 = 0.5 ). Damit ist a priori E(µ 2 µ 1 ) = 0. Helga Wagner Bayes Statistik WS 2010/11 66

37 Beispiel: Verkehrssicherheitsdaten µ µ µ 1 µ Abbildung 5: Verkehrssicherheitsdaten Kinder 6-10 modelliert ua. Poissonverteilt mit Strukturbruch im Oktober 1994 (i 0 = 94) mit flacher Priori-Verteilung; Darstellung der bivariaten Dichte der Posteriori-Verteilung p(µ 1,µ 2 y) Der Bereich mit hoher Posterior-Dichte liegt unterhalb der Linie µ 1 = µ 2 = risikovermindernder Interventionseffekt Helga Wagner Bayes Statistik WS 2010/11 67

38 Beispiel: Verkehrssicherheitsdaten Inferenz über absolute Veränderung δ 1 = µ 2 µ 1 und relative Veränderung in Prozent: δ 2 = 100(µ 2 µ 1 )/µ 1 : Die Posteriori-Dichten p(δ 1 y) und p(δ 2 y) haben keine einfache geschlossene Form = Approximation mittels Simulation Erzeuge zufällige Ziehungen (µ 1 (m),µ 2 (m) ),m = 1,...,M aus der gemeinsamen Posteriori-Verteilung p(µ 1,µ 2 y) (Produkt von zwei Gamma- Verteilungen) Erzeuge zufällige Ziehungen von δ 1 und δ 2 mit δ 1 (m) = µ 2 (m) µ 1 (m) δ (m) 2 = 100 µ 2 (m) (m) µ 1. µ (m) 1 Helga Wagner Bayes Statistik WS 2010/11 68

39 Beispiel: Verkehrssicherheitsdaten µ 2 µ (µ 2 µ 1 )/µ 1 Abbildung 6: Verkehrssicherheitsdaten Kinder 6-10 modelliert ua. Poissonverteilt mit Strukturbruch im Oktober 1994 (i 0 = 94) und flacher Priori-Verteilung; oben: 2000 zufällige Werte aus der Posterori-Dichte (µ 1,µ 2 y); Ziehungen von µ 1 (links) und µ 2 (rechts) unten: Kerndichteschätzer für p(δ 1 y) (links) und p(δ 2 y) (rechts) Helga Wagner Bayes Statistik WS 2010/11 69

40 Beispiel: Verkehrssicherheitsdaten Der Posteriori-Erwartungswert E(δ 1 y) bzw. E(δ 2 y) kann durch den Mittelwert der Ziehungen geschätzt werden: E(δ 1 y) 1 M M δ 1 (m), E(δ 2 y) 1 M M δ 2 (m). m=1 m=1 Aus den Perzentilen der Folgen δ 1,m = 1,...,M and δ 2 (m),m = 1,...,M kann ein Kredibilitäts-Intervall für δ 1 und δ 2 bestimmt werden. Die Posteriori-Dichten von δ 1 und δ 2 sind (von 0) nach links verschoben = Evidenz für einen (risikomindernden) Effekt der Gesetzesänderung auf die erwartete Anzahl von getöteten oder schwerverletzten Kindern Helga Wagner Bayes Statistik WS 2010/11 70

41 Beispiel: Eye Tracking Augenbewegungsanomalien bei 101 schizophrenen Patienten (Escobar and West, 1998) frequency counts Abbildung 7: Eye Tracking, Histogramm der Beobachtungen Helga Wagner Bayes Statistik WS 2010/11 71

42 Ein einfaches hierarchisches Modell Für die Daten erhält man einen Mittelwert y = 3.52 und eine Stichprobenvarianz von s 2 y = 35.89, d.h. große Überdispersion = i.i.d. Poisson-Modell nicht gut geeignet extreme Alternative: jede Beobachtung y i ist Realisierung einer P(µ i )-Verteilung mit Mittel µ i = n unbekannte Parameter µ = (µ 1,...,µ n ). y = (y 1,...,y n ) sind Realisierungen einer Folge von u.a. aber nicht identisch verteilten Zufallsvariablen Y = (Y 1,...,Y n ) P(Y = y µ) = n P(Y i = y i µ i ), Y i P(µ i ). i=1 Helga Wagner Bayes Statistik WS 2010/11 72

43 Ein einfaches hierarchisches Modell Die Wahrscheinlichkeitsdichte p(y µ) ist gegeben als p(y µ) = n p(y i µ i ) = i=1 n i=1 ( µi y i ) y i! e µ i. p(y µ) ist die Likelihood-Funktion von µ Schätzung der gesamten Folge der n Parameter µ = (µ 1,...,µ n ) Θ = (R + ) n Das Modell ist saturiert (Anzahl der Parameter = Anzahl der Beobachtungen) = ML Schätzung: ˆµ i = y i? Pönalisierte ML-Schätzung: Glättung durch Einführen einer Straffunktion, die große Differenzen zwischen den Paramtern bestraft Helga Wagner Bayes Statistik WS 2010/11 73

44 Ein einfaches hierarchisches Modell Bayesianische Schätzung:Glättung durch Annahmeeiner Struktur auf µ 1,...,µ n. Diese Struktur wird durch eine gemeinsame Wahrscheinlichkeitsverteilung p(µ 1,...,µ n ) spezifiziert. Eine einfache Struktur für Querschnittsdaten ergibt sich mit der Annahme, dass die verschiedenen Mittel µ i u.a. aus einer gemeinsamen Verteilung p(µ i ) gezogen wurden. p(µ 1,...,µ n ) = n p(µ i ). i=1 Diese Verteilung kann von weiteren Parametern abhängen. Eine einfache Wahl für p(µ i ) ist die natürliche konjugierte Priori-Verteilung µ i G(a 0,b 0 ). Helga Wagner Bayes Statistik WS 2010/11 74

45 Ein einfaches hierarchisches Modell Für feste Werte von a 0 and b 0 ist die gemeinsame Posteriori-Verteilung p(µ 1,...,µ n y) nach dem Satz von Bayes gegeben p(µ 1,...,µ n y) p(y µ 1,...,µ n )p(µ 1,...,µ n ) n ( y µi i µ a 0 y i! e µ i i 1 b a ) 0 0 e b 0µ i. a 0! i=1 µ 1,...,µ n sind a posteriori u.a. Für alle i,i = 1,...,n, ist die Posteriori von µ i die G(a 0 +y i,b 0 +1)- Verteilung. Diese ist für beliebiges y i eigentlich, sofern a 0 > 0 und b 0 > 0. Helga Wagner Bayes Statistik WS 2010/11 75

46 Einfluss der Priori-Verteilung Der posteriori Mittelwert von µ i ist E(µ i y i ) = b 0 b 0 +1 µ+ 1 b 0 +1 y i, wobei µ = a 0 /b 0 den Priori-Mittelwert bezeichnet. Wird µ i durch denposteriorierwartungswertgeschätzt, sowird jedebeobachtung y i zum Mittel der Priori-Verteilung gezogen (Shrinkage). Der Parameter b 0 wirkt als Glättungskonstante. Mit wachsendem b 0 ist µ i stärker an das Priori-Mittel µ gebunden. Für b 0, ergibt sich das i.i.d. Modell mit Mittel µ Mit fallendem b 0 wird die Bindung der µ i an µ loser: Mit b 0 0 sind die Mittelwerte µ i unverbunden. Helga Wagner Bayes Statistik WS 2010/11 76

47 Die marginale Verteilung Die marginale Verteilung von y i p(y i ) = + R p(y i µ i )p(µ i )dµ i kann für µ i G(a 0,b 0 ) analytisch bestimmt werden. Dann ist mit α = a 0 und β = b 0. y i NegBin(α,β) Helga Wagner Bayes Statistik WS 2010/11 77

48 Die Negative Binomialverteilung Die Wahrscheinlichkeitsfunktion der NegBin(α, β)-verteilung ist p(x;α,β) = ( α+x 1 α 1 ) ( β ) α ( 1 ) x β +1 β +1 Ihre Momente sind E(X) = α β und Var(x) = α β2(β +1) Für die Parameter der negativen Binomialverteilung gibt es keine natürlich konjugierte Priori-Verteilung p(α, β), daher ist keine geschlossene Bayes-Analyse möglich = MCMC-Verfahren Helga Wagner Bayes Statistik WS 2010/11 78