Einführung in die Bayes-Statistik. Helga Wagner. Ludwig-Maximilians-Universität München WS 2010/11. Helga Wagner Bayes Statistik WS 2010/11 1

Transkript

1 Einführung in die Bayes-Statistik Helga Wagner Ludwig-Maximilians-Universität München WS 2010/11 Helga Wagner Bayes Statistik WS 2010/11 1

2 Organisatorisches Termine: Montag: AU115 Dienstag: : CIP-0042 ab am Dienstag Übung und Vorlesung wöchentlich abwechselnd Homepage: thomas/lehre/wise1011/bayes 1011/index.html Folien zur Vorlesung werden über die Homepage zur Verfügung gestellt. Die Folien sind kein Skriptum, sie sollen Ihnen das Mitschreiben erleichtern! Beurteilung: Klausur Helga Wagner Bayes Statistik WS 2010/11 2

3 Übersicht Einleitung Konjugierte Analysen einfacher Modelle Poissondaten Binärdaten Normalverteilte Daten Modellkritik Modellwahl Helga Wagner Bayes Statistik WS 2010/11 3

4 Übersicht Besondere Themen der Bayesianische Inferenz Wahl der priori-verteilung Asymptotische Inferenz Empirische Bayes-Verfahren MCMC Verfahren Gibbs Sampling Metropolis-Hastigs-Algortihmus Auxiliary Mixture Sampling Helga Wagner Bayes Statistik WS 2010/11 4

5 Literatur Carlin, Bradley P. and Louis, Thomas A. (2009). Bayesian Method for Data Analysis. Chapman and Hall. Gelman A., Carlin J.B., Stern H.S. and Rubin, D.R. (1995). Bayesian Data Analysis. Chapman and Hall, London Held, Leonhard (2008). Methoden der statistischen Inferenz. Likelihood und Bayes. Spektrum Verlag, Heidelberg. Hoff, Peter D. (2009). A first Course in Bayesian Statistics. Springer, New York. Lee, Peter M. (2004). Bayesian Statistics, Oxford University Press, New York Robert, Christian (2001). The Bayesian Choice, New York International Society for Bayesian Analysis (ISBA): Helga Wagner Bayes Statistik WS 2010/11 5

6 Einleitung Von der Bayes Regel zur Bayes Statistik Helga Wagner Bayes Statistik WS 2010/11 6

7 Thomas Bayes In Essay Towards solving a Problem in the Doctrine of Chances (1763) löst Bayes das Problem der inversen Wahrscheinlichkeiten. = Bayes Regel Reverend Thomas Bayes (*1702 in London, 1761) Helga Wagner Bayes Statistik WS 2010/11 7

8 Beispiel: Screening-Test Vorhandene Information Prävalenz der Krankheit in der Bevölkerung P(A) Eigenschaften des Screening-Tests Sensitiviät P(T + A) Spezifität: P(T A C ) Mit welcher Wahrscheinlichkeit ist eine Person erkrankt, wenn der Test positiv ausfällt, d.h. wie groß ist der positive Vorhersagewert P(A T +)? Helga Wagner Bayes Statistik WS 2010/11 8

9 Die Bayes-Regel Für zwei Ereignisse A und B gibt die Bayes-Regel gibt an, wie die Information über das Eintreffen von B die Wahrscheinlichkeit von A verändert: Bayes Regel: P(A B) = P(B A)P(A). P(B) Berechnung: Nach dem Satz von der totalen Wahrscheinlichkeit ist P(B) = P(B A)P(A)+P(B A C )P(A C ) Helga Wagner Bayes Statistik WS 2010/11 9

10 Die Bayes-Regel Die Wahrscheinlichkeit dass sowohl A als auch B eintritt, kann auf zwei Arten geschrieben werden: Daher ist P(A B) = P(A B)P(B), P(A B) = P(B A)P(A). P(A B)P(B) = P(A B) = P(B A)P(A). und die Bayes-Regel folgt unmittelbar. Helga Wagner Bayes Statistik WS 2010/11 10

11 Aktualisieren der Information Sind A und B stochastisch u.a., d.h. P(A B) = P(A)P(B), dann ergibt sich aus der Bayes Regel P(A B) = P(A) und P(A B C ) = P(A). Aus der Kenntnis von B lernen wir also nichts über A. Sind A und B stochastisch abhängig, dann ist entweder P(A B) > P(A)P(B) or P(A B) < P(A)P(B). Ist P(A B) > P(A)P(B), dann folgt aus der Bayes Regel P(A B) > P(A). Das Eintreten von B erhöht die Wahrscheinlichkeit, dass A eintrifft; Nichteintreffen von B verringert die Wahrscheinlichkeit, dass A eintritt! Helga Wagner Bayes Statistik WS 2010/11 11

12 Beispiel: Screening-Test Prävalenz: 2 von 1000 Sensitivität: 98%; Spezifität: 93.5% P( A) P( A c ) T T Summe = P(A ) P(A C ) Summe T T ohne Test P(A T+) 15P(A) P(A T ) 1 50 P(A) Helga Wagner Bayes Statistik WS 2010/11 12

13 Beispiel: Qualitätskontrolle Ein Los von Stücken wurde mit Wahrscheinlichkeit 0.7 in Firma A und mit Wahrscheinlichkeit 0.3 in Firma B produziert. Die Ausschußquote beträgt 1% in Firma A 5% in Firma B Die Information über den Produzenten ist verlorengegangen. Bei einer Kontrolle von n Stücken werden y Ausschußstücke entdeckt. Ist aus diesem Ergebnis ein Rückschluß auf den Produzenten möglich? Helga Wagner Bayes Statistik WS 2010/11 13

14 Beispiel: Qualitätskontrolle Definition der Ereignisse A and A C : A : Firma A ist Produzent des Loses. A C : Firma B ist Produzent des Loses. Die a priori Wahrscheinlichkeiten dieser Ereignisse sind bekannt: P(A) = 0.7 und P(A C ) = 0.3 Gesucht sind die posteriori Wahrscheinlichkeiten von A und A C, wenn das Ergebnis der Stichprobenkontrolle bekannt ist. Helga Wagner Bayes Statistik WS 2010/11 14

15 Beispiel: Qualitätskontrolle Beobachtet wird eine diskrete Zufallsvariable Y, die Werte aus einem Stichprobenraum Y annimmt Die Stichprobenverteilung von Y hängt davon ab, ob A oder A C vorliegt. Die möglichen Ergebnisse der Kontrolle sind die Elementarereignisse Y = y. Helga Wagner Bayes Statistik WS 2010/11 15

16 Beispiel: Qualitätskontrolle Für die posteriori-wahrscheinlichkeiten P(A {Y = y}) und P(A C {Y = y}) = 1 P(A {Y = y}) gilt: P(A y) P(y A)P(A), P(A C y) P(y A C )P(A C ). Die (normalisierte) posteriori-wahrscheinlichkeit ist gegeben als P(A y) = P(A y) = P(y A)P(A) P(y A)P(A)+P(y A C )P(A C ). Helga Wagner Bayes Statistik WS 2010/11 16

17 Beispiel: Qualitätskontrolle Y zählt die Anzahl der defekten Stücke in einer Stichprobe vom Umfang n: Y BiNom(n,π). π ist die Ausschußwahrscheinlichkeit = p(y A) = p(y A C ) = ( ( n y n y ) 0.01 y 0.99 n y y = 0,1,...,n ) 0.05 y 0.95 n y y = 0,1,...,n Helga Wagner Bayes Statistik WS 2010/11 17

18 Beispiel: Qualitätskontrolle Für die posteriori Wahrscheinlichkeiten gilt P(A y) p(y A)P(A) 0.01 y 0.99 n y 0.7, P(A C y) p(y A C )P(A C ) 0.05 y 0.95 n y 0.3, Die Normierungskonstante p(y) ist p(y) = p(y A)p(A)+p(y A C )p(a C ) = = 0.01 y 0.99 n y y 0.95 n y 0.3. Helga Wagner Bayes Statistik WS 2010/11 18

19 Beispiel: Qualitätskontrolle Bei einem Stichprobenumfang von n = 100 ergeben sich folgende posteriori Wahrscheinlichkeiten dafür, dass das Los in Firma A bzw. B produziert wurde: y P(A y) P(A C y) Eine Änderung der a-priori Wahrscheinlichkeit für Firma A auf P(A) = 0.5 führt zu folgenden posteriori Wahrscheinlichkeiten: y P(A y) P(A C y) Helga Wagner Bayes Statistik WS 2010/11 19

20 Beispiel: Qualitätskontrolle Schlussfolgerungen: die Information, die über den Produzenten in den Daten enthalten ist, hängt vom beobachteten Wert y ab die a-priori Verteilung spielt dann eine Rolle, wenn die Information in den Daten gering ist Helga Wagner Bayes Statistik WS 2010/11 20

21 Bayes-Inferenz Inferenzproblem der Statistik: Beobachtet werden Daten y = (y 1,...,y n ) aus dem Stichprobenraum Y. Die Daten y werden durch ein stochastisches Modell mit unbekanntem Parameter ϑ Θ beschrieben. Welche Information enthalten die Daten über den Parameter ϑ? Klassischer Ansatz: Spezifikation der Stichprobenverteilung p(y ϑ) Inferenz basierend auf der Likelihoodfunktion L(ϑ y) Helga Wagner Bayes Statistik WS 2010/11 21

22 Der Bayes Ansatz Im Bayes Ansatz wird Wahrscheinlichkeit als Maß der Unsicherheit verwendet. (Subjektive) Unsicherheit bzw. Vorwissen wird durch Wahrscheinlichkeitsverteilungen quantifiziert. Bestandteile eines statistischen Modells sind die beobachtbaren Größen, die Daten y die interessierenden unbeobachtbaren Größen, der unbekannte Parameter ϑ Helga Wagner Bayes Statistik WS 2010/11 22

23 Der Bayes Ansatz Bevor Daten erhoben werden, sind sowohl deren Werte als auch jene des Parameters unsicher = gemeinsames stochastisches Modell für (y, ϑ) Die Unsicherheit über ϑ wird durch die Priori-Verteilung p(ϑ) quantifiziert. Das stochastische Modell p(y ϑ) beschreibt für alle ϑ Θ und y Y die Vorstellungen über die Generierung der Daten, wenn der Parameter den Wert ϑ hat. Helga Wagner Bayes Statistik WS 2010/11 23

24 Der Satz von Bayes Nach der Beobachtung der Daten wird die Meinung über den Parameter aktualisiert: Die gesamte verfügbare Information über ϑ wird durch die posteriori- Verteilung p(ϑ y) beschrieben. Diese ist nach dem Satz von Bayes gegeben als p(ϑ y) = p(y ϑ)p(ϑ). (1) p(y) Der Satz von Bayes beschreibt, wie die Information in den Daten die Unsicherheit über den Parameter ändert. Helga Wagner Bayes Statistik WS 2010/11 24

25 Der Satz von Bayes p(ϑ y) p(y ϑ)p(ϑ). (2) posteriori-dichte likelihood priori-dichte Der Satz von Bayes gilt für stetige und diskrete Zufallsvariable y and ϑ. p( ) bezeichnet die Wahrscheinlichkeitsdichte für stetige Zufallsvariable die Wahrscheinlichkeitsfunktion für diskrete Zufallsvariable Helga Wagner Bayes Statistik WS 2010/11 25

26 Die Normierungskonstante Für die Normierungskonstante p(y) gilt: Ist ϑ diskret mit mehr als zwei Ausprägungen aus dem Parameterraum Θ, dann ist p(y) = ϑ Θp(y ϑ)p(ϑ). Ist ϑ eine stetige Zufallsgröße mit Parameterraum Θ, dann ist p(y) = p(y ϑ)p(ϑ)dϑ. Θ Helga Wagner Bayes Statistik WS 2010/11 26

27 Beispiel: Bayes (1763) Eine Billard-Kugel wird auf eine Gerade der Länge 1 gerollt. Die Wahrscheinlichkeit dafür, dass sie an einem Punkt π zu liegen kommt, ist konstant für alle π [0,1] Eine zweite Kugel wird unter denselben Bedingungen n-mal gerollt. y gibt die Zahl der Versuche an, in denen die zweite Kugel links von π zu liegen kommt. Welche Information über π erhalten wir aus den Daten y? Priori-Verteilung: p(π) = I {[0,1]} (π) Likelihood: p(y π) = ( n y ) π y (1 π) n y Helga Wagner Bayes Statistik WS 2010/11 27

28 Beispiel: Bayes (1763) Posteriori-Verteilung: p(π y) = p(y π)p(π) p(y) = πy (1 π) n y I {[0,1]} (π) 1 0 πy (1 π) n y dπ Wegen ist 1 0 π y (1 π) n y dπ = B(y +1,n y +1) p(π y) = πy (1 π) n y I {[0,1]} (π), B(y +1,n y +1) d.h. die posteriori-verteilung von π ist die B(y +1,n y +1)-Verteilung. Helga Wagner Bayes Statistik WS 2010/11 28

29 Beispiel: Bayes (1763) f(π y) n = 10, y = 1 n = 20, y = 2 n = 100, y = Die Posteriori-Verteilung enthält die gesamte (nach Beobachtung der Daten) zur Verfügung stehende Information über π. π Helga Wagner Bayes Statistik WS 2010/11 29

30 Beispiel: Bayes (1763) Aus der Posteriori-Verteilung ergibt sich: P(0.08 < π < y) = für n = 10 und y = 1 bzw. P(0.08 < π < y) = für n = 100 und y = 10 P(π < 0.15 y) = für n = 10,y = 1 bzw. P(π < 0.15 y) = für n = 100,y = 10. Damit ist P(π < 0.15 y) P(π > 0.15 y) P(π < 0.15 y) P(π > 0.15 y) = 1.03 für n = 10,y = 1 = 9.78 für n = 100,y = 10 Helga Wagner Bayes Statistik WS 2010/11 30