Statistics, Data Analysis, and Simulation SS 2013

Transkript

1 Mainz, 25. Juni 2013 Statistics, Data Analysis, and Simulation SS Statistik, Datenanalyse und Simulation Dr. Michael O. Distler

2 8. Einführung in die Bayes-Statistik Wiederholung von: 1.1 Theory of probability Probability theory, mathematics: Kolmogorov axioms Classical interpretation, frequentist probability: Pragmatical definition of probability: n p(e) = lim N N n(e) = number of events E N = number of trials (experiments) Experiments have to be repeatable (in principle). Disadvantage: Strictly speaking one cannot make statements on the probability of any true value. Only upper and lower limits are possible given a certain confidence level.

3 1.1 Theory of probability Probability theory, mathematics Classical interpretation, frequentist probability Bayesian statistics, subjective probability: Prior subjective assumptions enter into the calculation of probabilities of a hypotheses H. p(h) = degree of belief that H is true Metaphorically speaking: Probabilities are the ratio of the (maximum) wager and the anticipated prize in a bet.

4 1.1 Theory of probability Probability theory, mathematics Classical interpretation, frequentist probability Bayesian statistics, subjective probability: Disadvantage: Prior hypotheses influence the probability. Advantages for rare and one-time events, like noisy signals or catastrophe modeling.

5 1.1 Theory of probability Probability theory, mathematics Classical interpretation, frequentist probability Bayesian statistics, subjective probability: Disadvantage: Prior hypotheses influence the probability. Advantages for rare and one-time events, like noisy signals or catastrophe modeling. In this lecture we will focus on the classical statistics, e.g. error estimates have to be understood as confidence regions.

6 Bayes Theorem Aus der Gleichung p(a und B) = p(a) p(b A) = p(b) p(a B) erhält man das Bayes-Theorem: p(a B) = p(b A) p(a) p(b)

7 Bayes Theorem für diskrete Ereignisse p(a B) = p(b A) p(a) p(b) Beispiel: In einem Experiment soll der leptonische Zerfall der K 0 -Mesonen studiert werden. Es ist geplant, einen Čerenkov- Detektor zu verwenden, um die Leptonen nachzuweisen. Dazu muss untersucht werden, ob ein Detektor ausreicht, um die leptonischen Ereignisse von dem kleinen Untergrund abzutrennen, der ebenfalls den Detektor auslösen kann. p(b) Wahrscheinlichkeit, dass ein Ereignis den Čerenkov-Detektor auslöst. p(a) Wahrscheinlichkeit, dass sich ein echter leptonischer Zerfall ereignet. p(b A) Wahrscheinlichkeit, dass ein echtes leptonisches Ereignis den Čerenkov-Detektor auslöst p(a B) Wahrscheinlichkeit, dass es sich bei einem Ereignis um einen echten leptonischen Zerfall handelt, unter der Voraussetzung, dass der Čerenkov-Detektor auslöst.

8 Bayes Theorem für diskrete Ereignisse p(a B) = p(b A) p(a) p(b) p(b) Wahrscheinlichkeit, dass ein Ereignis den Čerenkov-Detektor auslöst. p(a) Wahrscheinlichkeit, dass sich ein echter leptonischer Zerfall ereignet. p(b A) Wahrscheinlichkeit, dass ein echtes leptonisches Ereignis den Čerenkov-Detektor auslöst p(a B) Wahrscheinlichkeit, dass es sich bei einem Ereignis um einen echten leptonischen Zerfall handelt, unter der Voraussetzung, dass der Čerenkov-Detektor auslöst. p(b) kann gemessen werden. p(a) ergibt sich aus früheren Messungen bzw. Theorie. p(b A) wird aus einer Simulation bestimmt. p(a B)

9 Bayes-Theorem für Bayesianer Wenn es sich bei A und B nicht um Ereignisklassen sondern um Hypothesen handelt, dann wird der Unterschied zwischen den beiden Statistik-Schulen offensichtlich. Als frequentist kann man einer Hypothese keine Wahrscheinlichkeit zuweisen. Der bayesian interpretiert p(h) als Grad des Vertrauens in die Hypothese. p(h E) = p(h) p(e H) p(e) p(h) prior Wahrscheinlichkeit Wissen (Grad des Vertrauens) vor der Datennahme p(h E) posterior Wahrscheinlichkeit p(e H) likelihood p(e) Normalisierungsfaktor Das Ergebnis (Erwartungswert, Varianz,... ) einer Bayes-Analyse wird allein dem posterior entnommen.

10 Cookie-Problem Stellen Sie sich 2 gefüllte Keksdosen vor. Dose 1 enthält 10 Chocolate Chip Cookies und 30 Plain Cookies. Bei Dose 2 ist des Verhältnis 20/20. Unser Freund Fred wählt zunächst zufällig eine Keksdose aus und entnimmt dann zufällig einen Cookie. Es ist ein Plain Cookie. Mit welcher Wahrscheinlichkeit stammt er aus Dose 1? Hypothesen: H 1 : der Keks stammt aus Dose 1. H 2 : der Keks stammt aus Dose 2. Prior: p(h 1 ) = p(h 2 ) = 1/2 Ereignis: E: der Keks ist ein Plain Cookie. Likelihood: p(e H 1 ) = 3/4 p(e H 2 ) = 1/2 Bayes-Theorem: p(h 1 E) = p(h 1 ) p(e H 1 ) p(h 1 ) p(e H 1 ) + p(h 2 ) p(e H 2 ) = 3 5

11 Betaverteilung Wahrscheinlichkeitsdichte der Betaverteilung f (x) = mit der Eulerschen Betafunktion Extremum: 1 B(p, q) x p 1 (1 x) q 1 x [0, 1] B(p, q) = Γ(p)Γ(q) Γ(p + q) = x extrem = Erwartungswert und Varianz: 1 0 u p 1 (1 u) q 1 du ( 1 + q 1 ) 1 = p 1 p 1 p + q 2 E(X) = p p + q Var(X) = pq (p + q + 1)(p + q) 2

12 Betaverteilung beta(.5,.5) beta(.5,1.) beta(.5,2.) beta(.5,3.) beta(1.,.5) beta(1.,1.) beta(1.,2.) beta(1.,3.) beta(2.,.5) beta(2.,1.) beta(2.,2.) beta(2.,3.) beta(3.,.5) beta(3.,1.) beta(3.,2.) beta(3.,3.)

13 Referendum Beispiel: Es steht ein Referendum wegen eines Bauvorhabens in Ihrer Stadt aus. Da Sie im Bekanntenkreis das Thema bereits diskutiert haben, gehen Sie von einer knappen Entscheidung aus, wobei Sie sich sicher sind (C.L.: 95%), dass weder Befürworter noch Gegner mehr als 60% der Stimmen erreichen werden. Aus Ihrem Vorwissen konstruieren Sie Prior (Betaverteilung): Var(X) = E(X) = p p + q = 0.5 p = q pq (p + q) 2 (p + q + 1) = 1 4(2p + 1) = (0.05)2 Nähert man also die Betaverteilung mit der Normalverteilung und setzt 95%C.L. 2σ ±10% so ergibt sich p = q 50 (die exakte Rechnung ergibt p = q = 47.3).

14 Referendum (Teil 2) In einer repräsentativen Umfrage haben sich von N = 1500 Betroffenen nur k = 720 Personen für das Bauvorhaben ausgesprochen. Ermitteln Sie die Wahrscheinlichkeit, dass im Referendum die Gegner eine Mehrheit erzielen. Die posterior Dichte g(x) ergibt sich aus: prior likelihood Betaverteilung(x; p, q) Binomialverteilung(x; N, k) Γ(p)Γ(q) Γ(p+q) x p 1 (1 x) q 1 N! k! (N k)! x k (1 x) N k Im Falle eines Beta-Priors ergibt sich einfach: g(x) = Beta(x; p + k, q + N k) = Beta(x; 770, 830)

15 Referendum (Teil 3) prior Beta(x,50,50) Beta(x,30,70) Beta(x,0.5,0.5) Beta(x,1.,1.) posterior Beta(x,770,830) Beta(x,750,850) Beta(x,720.5,780.5) Beta(x,721,781) Aus der roten Kurve (rechts) ermitteln wir unser Ergebis: Beta(x; 770, 830)dx = Das Referendum wird also mit einer Wahrscheinlichkeit von 93.3% abgelehnt.

16 Referendum (Teil 4) Das Bild zeigt noch einmal deutlich, dass das Ergebnis nur schwach von der Wahl des Priors abhängt Beta(x,50,50) Beta(x,30,70) Beta(x,0.5,0.5) Beta(x,1.,1.) Beta(x,770,830) Beta(x,750,850) Beta(x,720.5,780.5) Beta(x,721,781)

17 Vorsichtsmaßnahmen bei Verwendung eines konjugierten Priors z.b. Beta-Prior bei Binomialverteilungen 1 Plotten Sie Ihren Beta(p, q)-prior. Passen Sie notfalls Mittelwert π 0 und Varianz σ0 2 an, bis diese Ihren Vorstellungen entsprechen. 2 Berechnen Sie die äquivalente Stichprobengröße. Für den Fall, dass diese unrealistisch groß ist, vergrößern Sie die Varianz Ihres Priors und berechnen diesen neu. Für eine Binomialverteilung mit Trefferwahrscheinlichkeit π und Versuchsanzahl n ist die Varianz π(1 π)/n. Dies setzen wir der Prior-Varianz gleich: Mit π 0 = π 0 (1 π 0 ) n eq = p p+q und (1 π 0) = pq (p + q + 1)(p + q) 2 q p+q ergibt sich n eq = p + q + 1

18 Nichtinformative Priori-Dichten Ein nichtinformativer (engl. uninformative or objective) Prior drückt eine vage bzw. unbestimmte Kenntnis der gesuchten Größe aus. Die einfachste und älteste Methode einen nichtinformativen Prior zu konstruieren stellt das Indifferenzprinzip dar. Demnach wird allen Möglichkeiten die gleiche Wahrscheinlichkeit zugewiesen. Dabei kann leicht ein uneigentlicher (engl. improper) Prior entstehen, d.h. der Prior ist nicht normiert und damit auch keine Wahrscheinlichkeitsdichte. Das stellt jedoch im allgemeinen kein Problem dar, da sich die Posterior-Dichte meist normieren lässt. Der flache Prior ist jedoch nicht wirklich objektiv, wovon man sich leicht überzeugen kann, wenn man eine (nicht-lineare) Variablentransformation durchführt. Nach der Transformation ist der flache Prior nicht mehr flach. Bessere Eigenschaften besitzt der Jeffreys Prior, der ebenfalls als nichtinformativer Prior bezeichnet wird. Eine Bayes-Analyse mit einem nichtinformativen Prior liefert meist ähnliche oder identische Ergebnisse wie die klassische Maximum Likelihood Methode.

19 Die Gammaverteilung Wahrscheinlichkeitsdichte der Gammaverteilung b p f (x) = Γ(p) x p 1 e bx x > 0 0 x 0 Maximum (für p > 1): Erwartungswert: x max = p 1 b E(X) = p b Varianz: Var(X) = p b 2

20 Gammaverteilung Ɣ(p,b) p = 0.5, b = 2 p = 0.5, b = 1 p = 1, b = 2 p = 1, b = 1 p = 2, b = 2 p = 2, b = x

21 Bayes-Theorem für Poisson Parameter Wir betrachten eine Stichprobe y 1,..., y n aus einer Poisson(µ) Verteilung. Die Proportionalitätsform des Bayes-Theorems lautet: posterior prior likelihood g(µ y 1,..., y n ) g(µ) f (y 1,..., y n µ) Durch Normierung erhalten wir die tatsächliche Posterior Dichte: g(µ y 1,..., y n ) = g(µ) f (y 1,..., y n µ) 0 g(µ) f (y 1,..., y n µ) dµ

22 Likelihood für Poisson Parameter Die Likelihood für eine einmalige Ziehung von einer Poisson-Verteilung ist bekannt: f (y µ) = µy e µ y! Die Form wird dabei festgelegt durch f (y µ) µ y e µ Für eine größere Stichprobe werden die ursprünglichen Likelihoods multipliziert: f (y 1,..., y n µ) = n f (y i µ) i=1 µ y i e nµ

23 Gleichverteilte Prior Dichte Wenn wir keine Information über µ haben, bevor wir die Daten betrachten, dann wäre ein gleichverteilter Prior eine mögliche Wahl: g(µ) = 1 für µ > 0 Dies ist ein uneigentlicher (improper) Prior! g(µ y 1,..., y n ) g(µ) f (y 1,..., y n µ) 1 µ y i e nµ Dies entspricht einer gamma(p, b) Verteilung mit p = y + 1 und b = n. Somit erhalten wir einen normierten Posterior, obwohl wir mit einem improper Prior gestartet waren.

24 Jeffreys Prior für Poisson Ein Jeffreys Prior ist objektiv in dem Sinne, dass er invariant ist unter bestimmten Transformationen des Parameters. Der Jeffreys Prior für Poisson lautet: g(µ) 1 µ für µ > 0 Dies ist ebenfalls ein uneigentlicher (improper) Prior! g(µ y 1,..., y n ) g(µ) f (y 1,..., y n µ) 1 µ y i e nµ µ µ y i 1/2 e nµ Dies entspricht einer gamma(p, b) Verteilung mit p = y und b = n. Wiederum erhalten wir einen normierten Posterior, obwohl wir mit einem improper Prior gestartet waren.

25 Konjugierte Priors für Poisson Die Gammaverteilung bildet die Familie von konjugierten Priors für Poisson, d.h. sowohl Prior als auch Posterior stammen aus der gleichen Familie. Für eine Stichprobe y 1,..., y n aus einer Poissonverteilung und einer Prior gamma(p, b) ergibt sich der Posterior: gamma(p, b ) mit p = p + y, b = b + n Der Prior lässt sich leicht aus einer Kenntnis von Mittelwert µ und Varianz s 2 konstruieren. Aus µ = p b und s 2 = p b 2 folgt p = µ2 s 2 und b = µ s 2

26 press any key