Statistics, Data Analysis, and Simulation SS 2017

Transkript

1 Mainz, 19. Juni 2017 Statistics, Data Analysis, and Simulation SS Statistik, Datenanalyse und Simulation Dr. Michael O. Distler Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

2 6. Einführung in die Bayes-Statistik Wiederholung von: 1.1 Wahrscheinlichkeitstheorie Wahrscheinlichkeitstheorie, Mathematik: Axiome von Kolmogorov Klassische Interpretation, frequentist probability: Pragmatische Interpretation der Wahrscheinlichkeit: n p(e) = lim N N n(e) = Zahl der Ereignisse E N = Zahl der Versuche (Experimente) Experimente müssen (im Prinzip) wiederholbar sein. Nachteil: Genaugenommen können wir keine Aussagen über die Wahrscheinlichkeit eines wahren Wertes machen. Nur untere und obere Grenzen können mit einer bestimmten Konfidenz festgelegt werden. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

3 Theory of probability Wahrscheinlichkeitstheorie, Mathematik Klassische Interpretation, frequentist probability Bayesian Statistik, subjektive Wahrscheinlichkeit: Subjektive Vorurteile gehen in die Berechnung der Wahrscheinlichkeit einer Hypothese H ein. p(h) = Grad des Vertrauens, dass H wahr ist Bildlich gesprochen: Wahrscheinlichkeiten ergeben sich aus dem Verhältnis von (maximalen) Einsatz und angenommenem Gewinn bei einer Wette. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

4 Theory of probability Wahrscheinlichkeitstheorie, Mathematik Klassische Interpretation, frequentist probability Bayesian Statistik, subjektive Wahrscheinlichkeit: Nachteil: Die Vorurteile beeinflussen die Wahrscheinlichkeit. Vorteil für seltene und einmalige Ereignisse, wie verrauschte Signale oder Katastrophen-Modelle. Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

5 Theory of probability Wahrscheinlichkeitstheorie, Mathematik Klassische Interpretation, frequentist probability Bayesian Statistik, subjektive Wahrscheinlichkeit: Nachteil: Die Vorurteile beeinflussen die Wahrscheinlichkeit. Vorteil für seltene und einmalige Ereignisse, wie verrauschte Signale oder Katastrophen-Modelle. In dieser Vorlesung hatten wir uns zunächst auf die klassische Statistik konzentriert, d.h. Fehlerabschätzungen werden als Konfidenzintervalle verstanden. Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

6 Theory of probability Wahrscheinlichkeitstheorie, Mathematik Klassische Interpretation, frequentist probability Bayesian Statistik, subjektive Wahrscheinlichkeit: Nachteil: Die Vorurteile beeinflussen die Wahrscheinlichkeit. Vorteil für seltene und einmalige Ereignisse, wie verrauschte Signale oder Katastrophen-Modelle. In diesem Kapitel werden wir die Bayes Statistik behandeln. Statistische Rückschlüsse (z.b. Mittelwert, Varianz) werden ausschließlich den posterior Verteilungen entnommen. Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

7 Bayes Theorem Aus der Gleichung p(a und B) = p(a) p(b A) = p(b) p(a B) erhält man das Bayes-Theorem: p(a B) = p(b A) p(a) p(b) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

8 Bayes Theorem für diskrete Ereignisse p(a B) = p(b A) p(a) p(b) Beispiel: In einem Experiment soll der leptonische Zerfall der K 0 -Mesonen studiert werden. Es ist geplant, einen Čerenkov- Detektor zu verwenden, um die Leptonen nachzuweisen. Dazu muss untersucht werden, ob ein Detektor ausreicht, um die leptonischen Ereignisse von dem kleinen Untergrund abzutrennen, der ebenfalls den Detektor auslösen kann. p(b) Wahrscheinlichkeit, dass ein Ereignis den Čerenkov-Detektor auslöst. p(a) Wahrscheinlichkeit, dass sich ein echter leptonischer Zerfall ereignet. p(b A) Wahrscheinlichkeit, dass ein echtes leptonisches Ereignis den Čerenkov-Detektor auslöst p(a B) Wahrscheinlichkeit, dass es sich bei einem Ereignis um einen echten leptonischen Zerfall handelt, unter der Voraussetzung, dass der Čerenkov-Detektor auslöst. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

9 Bayes Theorem für diskrete Ereignisse p(a B) = p(b A) p(a) p(b) p(b) Wahrscheinlichkeit, dass ein Ereignis den Čerenkov-Detektor auslöst. p(a) Wahrscheinlichkeit, dass sich ein echter leptonischer Zerfall ereignet. p(b A) Wahrscheinlichkeit, dass ein echtes leptonisches Ereignis den Čerenkov-Detektor auslöst p(a B) Wahrscheinlichkeit, dass es sich bei einem Ereignis um einen echten leptonischen Zerfall handelt, unter der Voraussetzung, dass der Čerenkov-Detektor auslöst. p(b) kann gemessen werden. p(a) ergibt sich aus früheren Messungen bzw. Theorie. p(b A) wird aus einer Simulation bestimmt. p(a B) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

10 Bayes-Theorem für Bayesianer Wenn es sich bei A und B nicht um Ereignisklassen sondern um Hypothesen handelt, dann wird der Unterschied zwischen den beiden Statistik-Schulen offensichtlich. Als frequentist kann man einer Hypothese keine Wahrscheinlichkeit zuweisen. Der bayesian interpretiert p(h) als Grad des Vertrauens in die Hypothese. p(h E) = p(h) p(e H) p(e) p(h) prior Wahrscheinlichkeit Wissen (Grad des Vertrauens) vor der Datennahme p(h E) posterior Wahrscheinlichkeit p(e H) likelihood p(e) Normalisierungsfaktor Das Ergebnis (Erwartungswert, Varianz,... ) einer Bayes-Analyse wird allein dem posterior entnommen. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

11 Cookie-Problem Stellen Sie sich 2 gefüllte Keksdosen vor. Dose 1 enthält 10 Chocolate Chip Cookies und 30 Plain Cookies. Bei Dose 2 ist des Verhältnis 20/20. Unser Freund Fred wählt zunächst zufällig eine Keksdose aus und entnimmt dann zufällig einen Cookie. Es ist ein Plain Cookie. Mit welcher Wahrscheinlichkeit stammt er aus Dose 1? Hypothesen: H 1 : der Keks stammt aus Dose 1. H 2 : der Keks stammt aus Dose 2. Prior: p(h 1 ) = p(h 2 ) = 1/2 Ereignis: E: der Keks ist ein Plain Cookie. Likelihood: p(e H 1 ) = 3/4 p(e H 2 ) = 1/2 Bayes-Theorem: p(h 1 E) = p(h 1 ) p(e H 1 ) p(h 1 ) p(e H 1 ) + p(h 2 ) p(e H 2 ) = 3 5 Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

12 Bayessche Inferenz für Binomialexperimente Häufig hat man es mit großen Populationen zu tun, von der ein Anteil p ein gewisse Eigenschaft aufweist. Beispiel: Für die Bevölkerung einer Stadt könnte die Eigenschaft lauten plant Kandidat A bei der Bürgermeisterwahl zu wählen. Wir zählen die Anzahl von Erfolgen in n unabhängigen Versuchen, wobei jeder Versuch nur zwei mögliche Ergebnisse haben kann: Erfolg oder Miserfolg. Erfolg bedeutet, dass bei dem i-ten Versuch die geforderte Eigenschaft auftrat. Die Anzahl von Erfolgen in n Versuchen, die Erfolgswahrscheinlichkeit bei jedem einzelnen Versuch sei p, ist binomialverteilt. Die bedingte Wahrscheinlichkeit ist: ( ) n f (k p) = p k (1 p) n k k [1, n] k Inferenz = Schlussfolgerung Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

13 Betaverteilung Wahrscheinlichkeitsdichte der Betaverteilung f (x; a, b) = mit der Eulerschen Betafunktion Extremum: 1 B(a, b) x a 1 (1 x) b 1 x [0, 1] B(a, b) = Γ(a)Γ(b) Γ(a + b) = x extrem = Erwartungswert und Varianz: E(X) = a a + b 1 0 u a 1 (1 u) b 1 du ( 1 + b 1 ) 1 = a 1 a 1 a + b 2 Var(X) = a b (a + b + 1)(a + b) 2 Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

14 Betaverteilung beta(.5,.5) beta(.5,1.) beta(.5,2.) beta(.5,3.) beta(1.,.5) beta(1.,1.) beta(1.,2.) beta(1.,3.) beta(2.,.5) beta(2.,1.) beta(2.,2.) beta(2.,3.) beta(3.,.5) beta(3.,1.) beta(3.,2.) beta(3.,3.) Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

15 Referendum Beispiel: Es steht ein Referendum wegen eines Bauvorhabens in Ihrer Stadt aus. Da Sie im Bekanntenkreis das Thema bereits diskutiert haben, gehen Sie von einer knappen Entscheidung aus, wobei Sie sich sicher sind (C.L.: 95%), dass weder Befürworter noch Gegner mehr als 60% der Stimmen erreichen werden. Aus Ihrem Vorwissen konstruieren Sie den Prior: E(X) = a a + b = 0.5 a = b Var(X) = a b (a + b) 2 (a + b + 1) = 1 4(2a + 1) = (0.05)2 Nähert man also die Betaverteilung mit der Normalverteilung und setzt 95%c.l. 2σ ±10% so ergibt sich a = b 50 (die exakte Rechnung ergibt a = b = ). Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

16 Referendum (exakte Berechnung der Betaverteilung) zu lösen ist: 0.6 f (x; a, a) dx = Mathematica: f [α_] := NIntegrate[PDF[BetaDistribution[α, α], x], {x, 0.4, 0.6}] FindRoot[f [α] == 0.95, {α, 50}] Python: from scipy.stats import beta from scipy.optimize import newton def f(x): return (beta.cdf(0.6,x,x) -beta.cdf(0.4,x,x)-0.95) print(newton(f, 50)) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

17 Referendum (Teil 2) In einer repräsentativen Umfrage haben sich von N = 1500 Betroffenen nur k = 720 Personen für das Bauvorhaben ausgesprochen. Ermitteln Sie die Wahrscheinlichkeit, dass im Referendum die Gegner eine Mehrheit erzielen. Die posterior Dichte g(x) ergibt sich aus: prior likelihood Betaverteilung(x; a, b) Binomialverteilung(x; N, k) Γ(a+b) Γ(a)Γ(b) x a 1 (1 x) b 1 N! k! (N k)! x k (1 x) N k Im Falle eines Beta-Priors ergibt sich einfach: g(x) = Beta(x; a + k, b + N k) = Beta(x; 770, 830) Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

18 Referendum (Teil 3) prior Beta(x,50,50) Beta(x,30,70) Beta(x,0.5,0.5) Beta(x,1.,1.) posterior Beta(x,770,830) Beta(x,750,850) Beta(x,720.5,780.5) Beta(x,721,781) Aus der roten Kurve (rechts) ermitteln wir unser Ergebnis: Beta(x; 770, 830)dx = Das Referendum wird also mit einer Wahrscheinlichkeit von 93.3% abgelehnt. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

19 Referendum (Teil 4) Beta(x,50,50) Beta(x,30,70) Beta(x,0.5,0.5) Beta(x,1.,1.) Beta(x,770,830) Beta(x,750,850) Beta(x,720.5,780.5) Beta(x,721,781) Das Bild zeigt noch einmal deutlich, dass das Ergebnis nur schwach von der Wahl des Priors abhängt. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

20 Vorsichtsmaßnahmen bei Verwendung eines konjugierten Priors z.b. Beta-Prior bei Binomialverteilungen 1 Plotten Sie Ihren Beta(a, b)-prior. Passen Sie notfalls Mittelwert π 0 und Varianz σ0 2 an, bis diese Ihren Vorstellungen entsprechen. 2 Berechnen Sie die äquivalente Stichprobengröße. Für den Fall, dass diese unrealistisch groß ist, vergrößern Sie die Varianz Ihres Priors und berechnen diesen neu. Für eine Binomialverteilung mit Trefferwahrscheinlichkeit π und Versuchsanzahl n ist die Varianz π(1 π)/n. Dies setzen wir der Prior-Varianz gleich: Mit π 0 = π 0 (1 π 0 ) n eq = ab (a + b + 1)(a + b) 2 a a+b und (1 π 0) = b a+b ergibt sich n eq = a + b + 1 Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

21 Nichtinformative Priori-Dichten Ein nichtinformativer (engl. uninformative or objective) Prior drückt eine vage bzw. unbestimmte Kenntnis der gesuchten Größe aus. Die einfachste und älteste Methode einen nichtinformativen Prior zu konstruieren stellt das Indifferenzprinzip dar. Demnach wird allen Möglichkeiten die gleiche Wahrscheinlichkeit zugewiesen. Dabei kann leicht ein uneigentlicher (engl. improper) Prior entstehen, d.h. der Prior ist nicht normiert und damit auch keine Wahrscheinlichkeitsdichte. Das stellt jedoch im allgemeinen kein Problem dar, da sich die Posterior-Dichte meist normieren lässt. Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

22 Nichtinformative Priori-Dichten Der flache Prior ist jedoch nicht wirklich objektiv, wovon man sich leicht überzeugen kann, wenn man eine (nicht-lineare) Variablentransformation durchführt. Nach der Transformation ist der flache Prior nicht mehr flach. Bessere Eigenschaften besitzt der Jeffreys Prior, der ebenfalls als nichtinformativer Prior bezeichnet wird. Eine Bayes-Analyse mit einem nichtinformativen Prior liefert meist ähnliche oder identische Ergebnisse wie die klassische Maximum Likelihood Methode. Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

23 Bayessche Inferenz für Poisson Die Poisson-Verteilung wird verwendet, um das Auftreten von seltenen Ereignissen zu zählen. Die Ereignisse treten zufällig in Zeit (oder Raum) auf, jedoch mit einer konstanten mittleren Rate. Die Poisson-Verteilung kann etwa verwendet werden, um die Anzahl der Unfälle auf einer Autobahn innerhalb eines Monats zu modellieren. Allerdings kann es nicht verwendet werden, um die Zahl der Todesopfer auf der Autobahn zu modellieren, da einige Unfälle mehrere Todesopfer aufweisen können. Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28

24 Die Gammaverteilung Wahrscheinlichkeitsdichte der Gammaverteilung b p f (x) = Γ(p) x p 1 e bx x > 0 0 x 0 Maximum (für p > 1): Erwartungswert: x max = p 1 b E(X) = p b Varianz: Var(X) = p b 2 Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

25 Gammaverteilung Ɣ(p,b) p = 0.5, b = 2 p = 0.5, b = 1 p = 1, b = 2 p = 1, b = 1 p = 2, b = 2 p = 2, b = x Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

26 Bayes-Theorem für Poisson Parameter Wir betrachten eine Stichprobe y 1,..., y n aus einer Poisson(µ) Verteilung. Die Proportionalitätsform des Bayes-Theorems lautet: posterior prior likelihood g(µ y 1,..., y n ) g(µ) f (y 1,..., y n µ) Durch Normierung erhalten wir die tatsächliche Posterior Dichte: g(µ y 1,..., y n ) = g(µ) f (y 1,..., y n µ) 0 g(µ) f (y 1,..., y n µ) dµ Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

27 Likelihood für Poisson Parameter Die Likelihood für eine einmalige Ziehung von einer Poisson-Verteilung ist bekannt: f (y µ) = µy e µ y! Die Form wird dabei festgelegt durch f (y µ) µ y e µ Für eine größere Stichprobe werden die ursprünglichen Likelihoods multipliziert: f (y 1,..., y n µ) = n f (y i µ) i=1 µ y i e nµ Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

28 Gleichverteilte Prior Dichte Wenn wir keine Information über µ haben, bevor wir die Daten betrachten, dann wäre ein gleichverteilter Prior eine mögliche Wahl: g(µ) = 1 für µ > 0 Dies ist ein uneigentlicher (improper) Prior! g(µ y 1,..., y n ) g(µ) f (y 1,..., y n µ) 1 µ y i e nµ Dies entspricht einer gamma(p, b) Verteilung mit p = y + 1 und b = n. Somit erhalten wir einen normierten Posterior, obwohl wir mit einem improper Prior gestartet waren. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

29 Jeffreys Prior für Poisson Ein Jeffreys Prior ist objektiv in dem Sinne, dass er invariant ist unter bestimmten Transformationen des Parameters. Der Jeffreys Prior für Poisson lautet: g(µ) 1 µ für µ > 0 Dies ist ebenfalls ein uneigentlicher (improper) Prior! g(µ y 1,..., y n ) g(µ) f (y 1,..., y n µ) 1 µ y i e nµ µ µ y i 1/2 e nµ Dies entspricht einer gamma(p, b) Verteilung mit p = y und b = n. Wiederum erhalten wir einen normierten Posterior, obwohl wir mit einem improper Prior gestartet waren. Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

30 Konjugierte Priors für Poisson Die Gammaverteilung bildet die Familie von konjugierten Priors für Poisson, d.h. sowohl Prior als auch Posterior stammen aus der gleichen Familie. Für eine Stichprobe y 1,..., y n aus einer Poissonverteilung und einer Prior gamma(p, b) ergibt sich der Posterior: gamma(p, b ) mit p = p + y, b = b + n Der Prior lässt sich leicht aus einer Kenntnis von Mittelwert µ und Varianz s 2 konstruieren. Aus µ = p b und s 2 = p b 2 folgt p = µ2 s 2 und b = µ s 2 Dr. Michael O. Distler <distler@uni-mainz.de> Statistics, Data Analysis, and Simulation SS / 28

31 press any key Dr. Michael O. Distler Statistics, Data Analysis, and Simulation SS / 28