3.4 Bayes-Verfahren Begrifflicher Hintergrund. Satz 3.22 (allgemeines Theorem von Bayes)

Transkript

1 3.4 Bayes-Verfahren Begrifflicher Hintergrund Satz 3.22 (allgemeines Theorem von Bayes) Seien X und U zwei Zufallsvariablen mit gemeinsamer Wahrscheinlichkeitsfunktion f X,U ( ) bzw. Dichte f X,U ( ) (bezüglich eines dominierenden σ-finiten Maßes ν λ) und den bedingten Wahrscheinlichkeitsfunktionen bzw. bedingten Dichten f X U ( u) und f U X ( x) (bezüglich ν bzw. λ). Dann gilt: f U X (u x) = f X U(x u) f U (u) f X (x) (3.7)

2 204 mit f X (x) = f X U (x u) f U (u) dν(u) (3.8) Bei stetigem U mit Dichte f U (u) erhält man also Satz 3.22 mit f X (x) = f X U (x u) f U (u)du. (3.9) Im Fall von diskreten Zufallsvariablen X und U mit U als Träger von U ergibt sich P ({X = x} {U = u}) P ({U = u}) P ({U = u} {X = x}) = P ({X = x}) mit P ({X = x}) = P ({X = x} {U = u}) P ({U = u}) u U

3 Bem (Normierungskonstante) 205 f X (x) aus (3.8) spielt die Rolle einer reinen Normierungskonstante, die nicht von u abhängt. Häufig reicht es daher, f X U (x u) f U (u) zu berechnen. Da man weiß, dass sich insgesamt eine Wahrscheinlichkeitsdichte ergeben muss, kennt man implizit auch die Normierungskonstante.

4 206 Bem (Def. posteriori Verteilung und ergänzende Bem.) Gegeben sei ein datengestütztes Entscheidungsproblem ((A, Θ, l( )); (X, σ(x ), P ϑ ( ))), wobei P ϑ ( ) die Wahrscheinlichkeitsfunktion bzw. Dichte f ϑ ( ) besitze, und eine a priori Verteilung auf (Θ, σ(θ)) mit Dichte bzw. Wahrscheinlichkeitsfunktion π( ). Dann heißt für jedes x X (vgl. (3.22)) π(ϑ x) = c(x) f ϑ (x) π(ϑ) f ϑ (x) π(ϑ) (3.10) mit c(x) als geeigneter Normierungskonstante gemäß (3.8) die (a) posteriori Verteilung von ϑ gegen x.

5 207 Stellt man sich eine Zufallsgröße U ( Umwelt, Nature ) vor, die den konkreten Wert ϑ bestimmt und interpretiert die Stichprobenverteilung P ϑ ( ) als bedingte Verteilung von X gegeben U, z.b. mit Dichte f X U (x ϑ) bzw. Wahrscheinlichkeitsfunktion P ({X = x} {U = ϑ}), x X, so entsteht (Satz.?) durch Anwenden des Satzes π(ϑ x) ist dann die Dichte (bzw. Wahrscheinlichkeitsfunktion) der bedingten Verteilung von U gegeben X. Für die Normierungskonstante c(x) gilt dann 1 c(x) = f X(x) = f X U (x ϑ)π(ϑ)dϑ im Falle von stetigem X und U, und bei diskretem X und U 1 c(x) = P ({X = x}) = P ({X = x} {U = ϑ j }) π({u = ϑ j }) j

6 208 = j P ({X = x} {U = ϑ j }) π(ϑ j ) f X (x) und P ({X = x}) (nicht zu verwechseln mit den als bedingte Verteilungen interpretierten f ϑ (x) und P ϑ ({X = x})) heißen (als Funktion von x) priori-prädiktive Verteilung. Analog gibt es auch eine posteriori-prädiktive Verteilung, wenn man in analoger Weise über die posteriori-verteilung herausintegriert bzw. -summiert.

7 209 Bem (Bayes Postulat (nicht entscheidungstheoretisch)) Nach der Beobachtung der Stichprobe enthält die a posteriori Verteilung die volle Information, d.h. sie beschreibt das Wissen über den unbekannten Parameter vollständig. Alle statistischen Analysen haben sich ausschließlich auf die a posteriori zu stützen; darauf aufbauend insbesondere konstruktion von Bayessche-Punktschätzung: MPD-Schätzer (Maximum Posteriori Density-Schätzer) Bayessche-Intervallschätzung: Highest posterior density-intervalle Bayes-Tests

8 Proposition 3.26 (Suffizienz und a posteriori Verteilung) 210 Ist in der Situation von Definition 3.24 T suffizient für ϑ mit Wahrscheinlichkeitsfunktion bzw. Dichte g ϑ ( ), so hängt die posteriori π(ϑ x) nur mehr über t = T (x) von x ab. Es gilt π(ϑ x) g ϑ (t) π(ϑ) Beweis: Gemäß (3.10) ist π(ϑ x) f ϑ (x) π(ϑ) wobei wegen der Suffizienz von T sich f ϑ (x) schreiben lässt als f ϑ (x) = h X T (x) g ϑ (t). Einsetzen liefert die Behauptung. uneigentliche Priori asymptotische Objaktivität

9 3.4.2 Konjugierte Verteilungen, Bayes-Lernen 211 Bsp (Beta-Binomialmodell) Absolutes Standardbeispiel Stichprobenmodell: Bernoulliverteilung (allgemein: Binomialverteilung) zu Parameter ϑ P ϑ ({X i = x i }) = ϑ x i (1 ϑ) 1 x i jetzt im Bayes Kontext als bedingte Verteilung schreiben (wieder mit Hilfsvariable notationeller U: P ({X i = x i } {U = ϑ}) = ϑ x i (1 ϑ) 1 x i

10 gebräuchliche priori-verteilung: Betaverteilung, gilt als sehr flexibel (f(z) aus Aufgabe 42) hier als priori verwendet, Bezeichnung π( ) π(ϑ) = ϑa 1 (1 ϑ) b 1 B(a, b) B(a, b) ist eine reine Normierungskonstante. I [0;1] (ϑ) 212 Es gilt: Erwartungswert: a a + b Modus: a 1 a + b 2, a > 1, b > 1

11 Abbildung 1: Rüger, (1999) Test- und Schätztheorie I, Seite

12 Jetzt Satz von Bayes anwenden: a posteriori berechnen. 214 π(ϑ x i ) = ϑx i (1 ϑ)1 x i ϑa 1 (1 ϑ) b 1 Norm. }{{ B(a, b) } Normierung ϑ x i+a 1 (1 ϑ) b xi I [0;1] (ϑ) = ϑ a 1 (1 ϑ) b 1 I [0;1] (ϑ) I [0;1] (ϑ) Posteriori ist also wieder eine Betaverteilung, nun mit den Parametern. a = a + x i und b = b x i + 1 = b + (1 x i )

13 Start z.b. mit a = 1, b = 1: Gleichverteilung (als Nichtwissen verkaufbar?) π(ϑ x 1 ) ϑi [0;1] (ϑ) 0 1 große Werte von ϑ plausibler, da ja x = 1, also Treffer beobachtet

14 216 Bleiben wir bei Beobachtung x 1 = 1 Jetzt weiteres Experiment x 2 (neue) priori (alte posteriori) Beta(2,1) Verteilung neue Stichprobe x 2 neue posteriori: Beta(a + x i, b + (1 x i )) z.b. x 2 = 0 a (2) = = 2, b (2) = = 2 π 2 (ϑ (x 1, x 2 ) ) = ϑ2 1 (1 ϑ) 1 Norm. = ϑ1 (1 ϑ) 1 Norm. = ϑ ϑ2 Norm. für ϑ [0; 1] π 2 (0 x) = π 2 (1 x) = 0 0 1

15 Weitere Beobachtung x 3 = 1 Wie sieht posteriori aus? neue posteriori: Beta(a alt + x i, b alt + (1 x i )) a (3) = 2 + 1, b (3) = b alt = 2 π 3 (ϑ (x 1, x 2, x 3 ) ) ϑ 2 (1 ϑ) 1 I [0;1] (ϑ) = ϑ 2 ϑ 3 I [0;1] (ϑ) 217 ganz große/ganz kleine Werte unwahrscheinlich, Schwergewicht eher aber bei ϑ > 1 2, da ja mehr Einser als Nuller beobachtet.

16 x 4 = 1 : π 4 (ϑ (x 1, x 2, x 3, x 4 ) ) ϑ 3 (1 ϑ) 1 weitere Verschiebung nach rechts 218 Allgemein bei n unabhängigen Wiederholungen: π n (ϑ (x 1,..., x n ) ) ist B(a + n x i ; b + n i=1 n x i ) (3.11) verteilt. Man kann zeigen: Dasselbe Ergebnis erhält man, wenn man x 1,..., x n auf einmal verarbeitet. i=1

17 Def (Konjugiertheit) 219 Eine Verteilungsfamilie Π von priori Verteilungen heißt zu einer Menge P von Stichprobenverteilungen konjugiert, wenn für jede priori π( ) Π und jedes P ( ) P die zugehörige posteriori-verteilung wieder ein Element von Π ist. Man sagt dann auch, dass jedes Element π( ) Π zu P konjugiert ist. Bem (Die Konjugiertheit überträgt sich auf suffiziente Statistik) (vgl. Prop. 3.26) Seien Π und P konjugiert. Beschreibt man die Elemente von P mit einer suffizienten Statistik T, so bleibt die posteriori Verteilung von ϑ gegeben t in Π.

18 220 Proposition 3.30 (Weitere Beispiele für Konjugiertheit: Gamma-Poisson-Modell, Selbstkonjugiertheit der Normalverteilung) a) Ist X = (X1,..., X n ) eine i.i.d. Stichprobe eines zum Parameter λ Poisson verteilten Untersuchungsmerkmals, besitzt X also die Wahrscheinlichkeitsfunktion f λ (x) = λ n i=1 x i x 1!x 2!... x n! e nλ = f(x λ), und wählt man als priori Verteilung eine Gamma-Verteilung mit Parametern a und b, d.h. eine Verteilung mit der Dichte π(λ) = b a λ a 1 e bλ, (3.12) }{{} Γ(a) Norm.konst.

19 221 so ist die posteriori Verteilung eine Gamma-Verteilung mit den Parametern n a + x i und b + n. i=1 b) Ist X = (X 1,..., X n ) eine i.i.d. Stichprobe eines mit den Parametern µ und σ 2 normalverteilten Untersuchungsmerkmals, so gilt: i) Ist σ 2 bekannt und wählt man als priori Verteilung für µ eine Normalverteilung mit den Parametern ν und ρ 2, so ist die a posteriori Verteilung π(µ x) eine Normalverteilung mit den Parametern ν und

20 222 ρ 2 mit und ν = xρ 2 + ν σ2 n ρ 2 + σ2 n (3.13) ρ 2 = ρ 2 σ2 n ρ 2 + σ2 n. (3.14)

21 223 ii) Ist µ bekannt, aber σ 2 unbekannt, so erhält man die konjugierte Verteilung, indem man 1 σ als gammaverteilt annimmt. Man sagt 2 dann, σ 2 sei invers gammaverteilt. Beweis: Übungsaufgabe. Andere Beispiele für Konjugiertheit: Rüger Buch; ganz allgemein: jedes Buch zu Bayes Verfahren, z.b. Einleitung zu Martz & Waller Wie findet man solche konjugierten Paare?

22 Satz 3.31 (Zur Konjugiertheit in Exponentialfamilien) 224 Hat in der Situation von Def jedes Element der Menge P der Stichprobenverteilungen eine Dichte bzw. Wahrscheinlichkeitsfunktion f(x ϑ) der Form f(x ϑ) h(ϑ) exp ( T (x) b(ϑ) ) (3.15) und jedes Element der Menge Π, aus der die a priori Verteilung stammt, eine Dichte bzw. Wahrscheinlichkeitsfunktion der Form so sind Π und P konjugiert. Es gilt dann π(ϑ) [h(ϑ)] α exp ( b(ϑ) β ), (3.16) π(ϑ x) [h(ϑ)] α+1 exp ( (T (x) + β) b(ϑ) ). (3.17)

23 225 Beweis: (3.17) ergibt sich unmittelbar durch Anwenden der Formel für die a posteriori Verteilung auf (3.15) und (3.16). (3.17) ist mit α := α + 1 und β := β + T (x) von der Form (3.16), also sind tatsächlich Π und P konjugiert.

24 Beachte: 226 Der Satz kann also direkt zur Konstruktion geeigneter, konjugierter Priori-Verteilungen verwendet werden, indem man die Stichprobenverteilung in die Form (3.15) bringt und dann eine priori gemäß (3.16) wählt. b(ϑ) spielte in (3.15) und in (3.16) eine ganz unterschiedliche Rolle: in (3.15) ist b(ϑ) der natürliche Parameter der Exponentialfamilie, aus der die Likelihood / Stichprobenverteilung stammt. In (3.16) hingegen ist b(ϑ) die suffiziente Statistik für den natürlichen Parameter β der Exponentialfamilie, aus der die priori stammt. (Bei der priori ist ja der Wert von ϑ zufällig.) Ähnliches gilt für h(ϑ)

25 Bsp (Beispiele zu Satz 3.31) 227 Man bestimmt in folgenden Situationen unter Verwendung von Satz 3.31 jeweils eine konjugierte Priori-Verteilung: a) X 1,...X n ist i.i.d. normalverteilt mit unbekanntem µ und bekannter Varianz σ 2 b) X ist binomialverteilt zum unbekannten Parameter p c) X 1,..., X n ist i.i.d. Poisson-verteilt mit unbekanntem Parameter λ

26 a) ausführlich X i N(µ, σ 2 ) X = (X1,..., X n ) 1 ( f(x µ) = n exp 1 2 π σ n 2 σ 2 n i=1 228 x 2 i + 2 µ 1 ) 2 σ2n x 2 σ 2n µ2 1. f(x µ) in Form f(x µ) h(µ) exp ( T (x) b(µ) ) bringen (Form 3.15, µ ˆ=ϑ): ( f(x µ) exp µ2 n 2σ 2 ) } {{ } h(µ) ( nµ x ) exp } σ ( {{ 2 }) exp T (x) b(µ)

27 2. Priori der Form [h(µ)] α exp ( b(µ) β ) wählen (gemäß 3.16): ( π(µ) exp α µ2 n ) ( µ ) exp }{{ 2σ 2 }} σ ({{ 2β )} [h(µ)] α exp b(µ)β 229 Dies ist die zu X i N(µ, σ 2 ), σ 2 bekannt, konjugierte Priori. Probe: Bestimme Posteriori. π(µ x) h(µ) exp ( T (x) b(µ) ) [h(µ)] α exp ( b(µ) β ) = [h(µ)] α+1 exp ( b(µ) (T (x) + β) )

28 230 Dieses Ergebnis entspricht tatsächlich der Form (3.17) und führt genau auf eine Normalverteilung, wie man anhand des folgenden Ansatzes erkennt: π(µ) exp( α µ2 n 2σ ) exp( µ 2 σ 2β) = exp( α µ 2 ) exp(β µ) ( π(µ) = 1 exp 1 ) 2 πρ 2 ρ2(µ ν)2 = exp( µ2 2 ρ + 2 ν µ 2 2 ρ nν2 2 2 ρ 2) = exp( ν µ }{{} ρ 2 β 1 }{{} 2 ρ 2 µ2 ) α

29 b) X Binomial(n, p) f(x p) (1 p) n p exp(ln 1 p ) π(p) (1 p) α n p exp(β ln 1 p ) = ( ) β p = (1 p) α = (1 p) α β p β : Betaverteilung 1 p 231

30 c) (X 1,..., X n ) i.i.d. Poisson-verteilt n f( x ϑ) = f(x i ϑ) = i=1 λ n i=1 x i n i=1 λ x i x i! exp( λ) = = x 1!x 2!... x n! exp( nλ) n exp( nλ) exp( x i ln λ) i=1 π(λ) exp ( (nλ) α ) exp(β ln λ) = = λ β exp( α λ) : Gammaverteilung 232