Inhaltsverzeichnis. IV. Statistische Tests 40 IV.1. Hypothesentests IV.2. Neyman-Pearson-Lemma... 41

Transkript

1 Stochastik Prof. Reiß Sommersemester 202 Vorlesugsmitschrifte Paul Boeck 2 Zuletzt geädert am 4. Oktober 202 Fehler bitte a boeck@math.hu-berli.de Ihaltsverzeichis I. Wahrscheilichkeitsräume 2 I.. Ereigisse, Wahrscheilichkeite ud Zufallsvariable I.2. Diskrete Verteiluge I.3. Wichtige diskrete Verteiluge I.4. Maßtheorie ud W-Maße i R d II. Bedigte Wahrscheilichkeite ud Uabhägigkeit 6 II.. Bedigte Wahrscheilichkeit ud Bayesformel II.2. Uabhägigkeit II.3. Uabhägige Zufallsvariable Zur Existez uabhägiger Zufallsvariable II.4. Faltug III. Erwartugswert, Variaz ud Kovariaz 29 III.. Der Erwartugswert ud Momete III.2. Variaz, Kovariaz ud Korrelatio III.3. Mehrdimesioale Normalverteilug IV. Statistische Tests 40 IV.. Hypothesetests IV.2. Neyma-Pearso-Lemma V. Grezwertsätze 43 V.. Gesetze der große Zahle V.2. Kovergez i Verteilug V.3. Charakteristische Fuktioe V.4. Zetraler Grezwertsatz Iterpretatio des ZGWS VI. Eiführug i die Schätztheorie 60 VI.. Grudbegriffe VI.2. Cramér-Rao-Ugleichug ud Maximum-Likelihood-Prizip VI.3. Likelihood-Quotiete-Tests Idex 68 Literatur 70 Nicht vo Prof. Reiß korrigiert 2 mit Hilfe vo Stephaie Bradl, Jae Köchel ud Sori Pascu

2 I. Wahrscheilichkeitsräume I. Wahrscheilichkeitsräume I.. Ereigisse, Wahrscheilichkeite ud Zufallsvariable Wir widme us zuächst der mathematische Modellierug des Zufalls ud werde erst später kurz auf Iterpretatioe eigehe. Beispiel I. a) Das Würfel mit zwei uterscheidbare Würfel. Jeder Würfel wird eie der Zahle {, 2, 3, 4, 5, 6} zeige. Als Ergebis ach dem Würfel erhalte wir so ei Tupel (, 2 ) mit, 2 {, 2, 3, 4, 5, 6}. Iterpretatio: ist die Augezahl vo Würfel ud 2 etspreched vo Würfel 2. Vor dem Würfelexperimet werde wir uter der Aahme zweier fairer Würfel, die sich icht gegeseitig beeiflusse, sage, dass jeder Versuchsausgag mit gleicher Wahrscheilichkeit (W-keit) eitritt. Weitere Frage sid da beispielsweise Wahrscheilichkeite für folgede Ereigisse A Es wird ei Pasch gewürfelt. A 2 Die Augesumme ist 7. A 3 Es tritt keie auf. Mathematisch werde Ereigisse als Teilmege der Mege Ω = {, 2, 3, 4, 5, 6} 2 aller Versuchsausgäge modelliert, also hier: A = {(, 2 ) Ω = 2 } = {(, ),..., (6, 6)} A 2 = {(, 2 ) Ω + 2 = 7} = {(, 6), (2, 5),..., (6, )} A 3 = {(, 2 ) Ω ( ) ( 2 )} Sid alle Versuchsausgäge gleich wahrscheilich, erhalte wir die Wahrscheilichkeit für ei Ereigis A, idem wir die Zahl aller für A güstige Ausgäge durch die Zahl aller mögliche Ausgäge teile, also hier P(A ) = A Ω = 6 36 = 6 P(A 2 ) = A 2 Ω = 6 36 P(A 3 ) = A 3 Ω = b) -facher Müzwurf. Wir werfe eie Müze -mal hitereiader. De Versuchsausgag codiere wir mit eiem -Tupel (b,..., b ) {0, } mit der Iterpretatio: b k = heißt, k-ter Wurf ist Kopf ud b k = 0 heißt k-ter Wurf ist Zahl. Uter faire Bediguge werde wir jede Versuchsausgag wieder dieselbe Wahrscheilichkeit zuweise (= 2 ). Betrachte zu Ω = {0, }. A -mal Kopf = {(b,..., b ) = b = Ω b = b 2 = = b = } P(A ) = A Ω = 2 = 2 2

3 I. Wahrscheilichkeitsräume A 2 ( )-mal Kopf = {(0,,,..., ), (, 0,,,..., ),..., (,,...,, 0)} P(A 2 ) = A 2 Ω A 3 midestes eimal Zahl = {b Ω b (,,..., )} = A C P(A 3) = A 3 Ω = 2 = 2 2 = 2 = P(A C 3 ) c) beliebig häufiger Müzwurf. Es ist atürlich zu frage, was passiert, we eie faire Müze beliebig häufig ( oft ) geworfe wird. Da erhalte wir Ω = Mege aller 0--Folge = {0, } N Also b Ω ist eie Folge b = (b, b 2,... ) = (b ) N mit Werte i {0, }. Betrachte u die Ereigisse A immer ur Kopf = {b Ω k b k = } = k {b Ω b k = } = {(,,,... )}. Aufgrud vo Beispiel b) würde wir aus Stetigkeitsgrüde A die Wahrscheilichkeit lim 2 = 0 zuorde. Formal köe wir hier icht mit eier Gleichverteilug argumetiere, weil Ω =. Bereits ituitiv sid Wahrscheilichkeite für adere Ereigisse sehr uklar. A 2 : für jedes M N gibt es eie Kopfru der Läge M = {b {0, } N M N k N b k = b k+ = = b k+m = } Ω Beachte, dass hier Ω = {0, } N die Kardialität ℵ, d.h. die Kardialität der reelle Zahle besitzt, die P(Ω) = {A A Ω} sogar och größere Kardialität besitzt ud es daher icht eifach ist, eie Wahrscheilichkeit jeder Teilmege (jedem Ereigis) zuzuorde. Dies ist aber meist auch gar icht beabsichtigt ud wir beschräke us auf iteressierede Ereigisse. (siehe ute Satz vo Vitali I.4). Defiitio I.2 Mit Ω werde die (ichtleere) Mege der mögliche Versuchsausgäge bezeichet. Ei Teilmegesystem F P(Ω) heißt σ-algebra oder Mege der iteressierede Ereigisse, falls gilt (A ) Ω F (A 2 ) A F A C = Ω A F (A 3 ) A F, N N A F Jedes Elemet vo F ee wir Ereigis. Ei Wahrscheilichkeitsmaß (W-Maß) ist eie Abbildug P F [0, ] mit (B ) P(Ω) = (B 2 ) Für A F, N, die paarweise disjukt sid ( i j A i A j = ) gilt P( N A ) = N P(A ) σ-additivität. 3

4 I. Wahrscheilichkeitsräume Ei W-Raum ist ei Tripel (Ω, F, P) mit Ω ichtleere Mege, F σ-algebra über Ω ud P W-Maß auf F. Bemerkug Axiome (B ), (B 2 ) heiße Kolmogorovsche Axiome (Kolmogorov, 933). Lemma I.3 Für jede σ-algebra F gilt: (a) F (b) A, A 2 F A A 2, A A 2 F (c) A F, N N A F Beweis: klar (beachte A A 2 = (A C AC 2 )C ) Beispiel I.4 Die triviale σ-algebre sid {, Ω} ud P(Ω). Lemma I.5 Für jedes W-Maß P auf F gilt (a) P( ) = 0 (b) A, B F, A B P(A) P(B) (c) A, B F P(A B) = P(A) + P(B) P(A B) (d) A F, beliebig P( A ) = P(A ) (Subadditivität, Boferroi- Ugleichug) (e) A F, mit A A F (d.h. A A + ud A = A): P(A) = lim P(A ) σ-stetigkeit Beweis: (a)-(d) ud die Umkehrug vo (e) als Übug. (e) Setze B = A, B 2 = A 2 A, B 3 = A 3 A 2,... B = A A. Da sid die (B ) paarweise disjukt mit B = A. Daher gilt P(A) = P( A ) = P( B ) σ-add. = P(B ) N N = = lim P(B ) N = B =A N = lim N P(A N) Häufig iteressiere us icht die Versuchsausgäge selbst, soder begleitete Größe, z.b. ur die Augesumme beim Würfel mit zwei Würfel. I dem Beispiel würde ma also modelliere: Ω = {,..., 6} 2, F = P(Ω), P(A) = A A F, A Ω (das ist ei W-Raum!) 36 ud Augesumme S(ω) = S(ω, ω 2 ) = ω + ω 2, ω Ω. 4

5 I. Wahrscheilichkeitsräume Wie groß ist die Wahrscheilichkeit dafür, dass die Augesumme gleich k ist für k aus der Mege {2, 3,..., 2}? S(ω) = k ω S ({k}). Also P({ω Ω S(ω) = k}) = P(S ({k})) = 36 k = k = k = k = k = k = k = 8 Wir habe mittels S eie eue W-Raum kostruiert! Ω = {2,..., 2}, F = P( Ω) ud P S (A) = P(S (A)), A Ω. I der Maßtheorie heißt P X Bildmaß vo X uter P. Defiitio I.6 Es sei (Ω, F, P) ei W-Raum ud (S, S) ei Messraum. Da heißt eie Abbildug X Ω S S-wertige Zufallsvariable, falls X messbar bezüglich (F, S) ist ( d.h. A S X (A) F). Im Fall (S, S) = (R, B) (Borel-σ-Algebra) spricht ma bloß vo reellwertige Zufallsvariable oder Zufallsgröße, im Fall (S, S) = (R d, B R d) vo eiem Zufallsvektor. Das W-Maß (check!) P X (A) = P(X (A)), A S heißt Verteilug der Zufallsvariable X. Ma schreibt statt P X auch L(X) ( law of X ) sowie {X A} = {ω Ω X(ω) A} = X (A), {X = x} = {ω Ω X(ω) = x} = X ({x}) P(X A) = P({X A}) = P(X (A)) = P X (A); P(X = x) = P({X = x}) = P X ({x}). Beispiel I.7 (a) Ist F = P(Ω), so ist jede Abbildug X Ω S messbar, also eie Zufallsvariable. Das gilt isbesodere also für die Augesumme S vo obe sowie diskrete W-Räume (siehe ute)., falls ω A (b) Für ei Ereigis A F ist A (ω) = (Idikatorfuktio) eie Zufallsvariable auf (Ω, F, P) mit Werte i ({0, }, P({0, })) oder auch i (R, B R ). Isbeso- 0, falls ω A dere ist jede kostate Fuktio X(ω) = c für c R d eie Zufallsvariable. Beispiel I.8 (Geburtstagsproblem) Wie groß ist die Wahrscheilichkeit, dass ( 365) Persoe a verschiedee Tage Geburtstag habe? Wir gehe davo aus, dass das Jahr geau 365 Tage hat ud jeder Tag mit gleicher Wahrscheilichkeit Geburtstag eier Perso ist (ud diese Geburtstage uabhägig für alle Persoe gewählt werde). Die Mege aller Geburtstagskombiatioe ka als Ziehe vo Kugel eier Ure mit 365 Kugel mit Zurücklege ud mit Beachtug der Reihefolge modelliert werde. Es ergebe sich 365 Kombiatioe. Die güstige Ereigisse (a verschiedee Tage Geburtstag) etspreche dem Ziehe ohe Zurücklege. Dafür ergebe sich (365 + ) Kombiatioe. Die gesuchte Wahrscheilichkeit ist also 365! 365 (365 )! = = ( 365 ) ( 365 ) = exp( k= log ( k 365 )) 5

6 I. Wahrscheilichkeitsräume Für kleie x gilt log( + x) x, stets gilt log( + x) x exp( k= k 365 ) = exp( ( )/2 365) I.2. Diskrete Verteiluge Defiitio I.9 Ist Ω eie edliche oder abzählbar uedliche Mege F = P(Ω) ud ei W-Maß auf F, so heißt (Ω, F, P) diskreter W-Raum. Eie S-wertige Zufallsvariable heißt diskret verteilt, falls (S, S = P(S), P S ) ei diskreter W-Raum ist. Beispiel I.0 -facher Müzwurf, Würfelwurf, Geburtstagsproblem, aber icht der beliebig häufige Müzwurf. Lemma I. (a) Ist (Ω, F, P) diskreter W-Raum, so ist P eideutig durch seie Zähldichte p(ω) = P({ω}), ω Ω festgelegt. Ebeso legt bei eier diskret verteilte Zufallsvariable X (mit Werte i S) die Verteilug P X vo X eideutig fest. p X (s) = P X ({s}) = P(X = s) (b) Ist Ω adererseits edlich oder abzählbar uedlich ud p Ω [0, ], so dass ω Ω p(ω) = gilt, da wird durch P(A) = ω A p(ω), A Ω ei W-Maß P auf (Ω, P(Ω)) defiiert, desse Zähldichte p ist. Beweis: (a) Seie P, Q W-Maße auf (Ω, F) mit p(ω) = P({ω}) = Q({ω}) für alle ω Ω. Wege σ-additivität gilt da für alle A Ω: P(A) = P( {ω}) σ-add. = P({ω}) = p(ω) = Q({ω}) ω A ω A ω A ω A = Q( {ω}) = Q(A) P = Q ω A Geauso für Zufallsvariable. (b) Es gilt P(Ω) Def = ω Ω p(ω) Vor. = sowie für A Ω paarweise disjukt P( A ) Def = p(ω) = p(ω) ω A ω A Def = P(A ) P ist σ-additiv Also ist P ei W-Maß. Natürlich gilt P({ω}) = p(ω) ach Defiitio. 6

7 I. Wahrscheilichkeitsräume I.3. Wichtige diskrete Verteiluge Gleichverteilug/Laplaceverteilug Ist Ω edlich, so beschreibt die Zähldichte p(ω) =, ω Ω, die Gleichverteilug auf Ω. Es gilt also Ω P(A) = p(ω) = A ω A Ω, A Ω Das hatte wir bereits bei Müzwurf ud Würfelwurf verwedet. Hypergeometrische Verteilug Beroulli-Schema/Beroulli-Kette : Wir spiele ei Spiel -mal hitereiader, bei dem jeweils mit Wahrscheilichkeit p Erfolg eitritt ud die eizele Spielausgäge icht voeiader abhäge. ( Müzwurf ). Setze für Erfolg ud 0 für Misserfolg ud modelliere Ω = {0, } mit Zähldichte p(ω) = p(ω,..., ω ) = p ω i ( p) ( ω i) Ma spricht vo eiem Beroulli-Schema der Läge mit Erfolgswahrscheilichkeit p. Biomialverteilug: Es bezeiche N die Azahl der Erfolge i eiem Beroulli-Schema der Läge mit Erfolgswahrscheilichkeit p. N ist also die Zufallsvariable ω i N Ω Beroulli {0,,..., } mit N(ω) = N(ω,..., ω ) = Was ist die Verteilug P N vo N? Betrachte die Zähldichte p N. p N (k) = P(N = k) = ( k ) pk ( p) k = Bi,p (k) Die durch Bi,p ( ) beschriebee Verteilug heißt Biomialverteilug der Läge mit Wahrscheilichkeit p. Beispiele sid Azahl Kopf beim Müzwurf, Gewie beim regelmäßige Lotto, Heilugserfolg eies Medikamets bei Patiete etc. Bi,p ka durch ei sogeates Stabdiagramm visualisiert werde. Geometrische Verteilug Es bezeiche K de Zeitpukt des erste Erfolgs i eiem Beroulli-Schema. Für k gilt P(K = k) = ( p) k p = Geo p (k) Ma ka die Zähldichte Geo p ( ) der geometrische Verteilug mit Wahrscheilichkeit p auf N = {, 2,... } als Zähldichte der Zufallsvariable K bei eiem beliebig lage Beroulli-Schema ( = ) auffasse. Beachte k= Geo p (k) = k= ( p) k p = p = für p (0, ] ( p) Beispielawedug ist z.b. die Azahl vo Tage bis zum Ausfall eies techische Geräts ( Glühbire ). 7

8 I. Wahrscheilichkeitsräume Multiomialverteilug : Oft gibt es icht ur zwei Versuchsausgäge (Erfolg, Misserfolg), soder r > 2. I der Geetik werde z.b. weiß-, rosa- ud rotblühede Auspräguge eier Pflaze modelliert ud gezählt. Auf der Mege Ω = {k {0,..., } r r k i = }, wobei k = (k,..., k r ) ist ud k i die Azahl der Versuchsausgäge mit Merkmal i {,..., r} (oder i Klasse i) bezeichet, betrachte die Zähldichte! Mult,p,...,p r (k) = p k k!k 2! k r! pk 2 2 pk r r für p i 0, p i = Multiomialkoeffiziet p i gibt dabei die Wahrscheilichkeit für Merkmal/Klasse i a. Bei zwei Klasse, d.h. r = 2, ergibt sich Mult,p,p 2 (k) = da i der erste Koordiate Bi,p (k ) Poissoverteilug Auf Ω = N 0 defiiert für λ > 0! k!k 2! pk pk 2 2 =! k!( k )! pk ( p ) k Poiss λ (k) = e λ λ k k!, k 0 die Zähldichte der Poissoverteilug. Die Wichtigkeit ergibt sich aus dem Poissosche Grezwertsatz: Satz I.2 (Poissoscher Grezwertsatz) Es seie p [0, ] mit lim p = λ > 0. Da gilt für alle k N 0 lim Bi,p (k) = Poiss λ (k) Beweis: Schreibe A B falls lim A B =. Da gilt ( ( ) ( k + ) ) = k k k k! k k! Bi,p (k) = ( k )pk ( p ) k k k! pk ( p ) k k! pk ( p ) Aalysis (p ) k ( p ) k k! = k p p r e p λk k! e λ Bemerkug Später werde wir mit stoch. Methode folgede Kovergezgeschwidigkeit erhalte: Bi,p (k) Poiss λ (k) 2p 2 = 2λp für λ = p k=0 Auf Grud dieses Grezwertsatzes heißt die Poissoverteilug auch Verteilug der seltee Ereigisse 8

9 I. Wahrscheilichkeitsräume Beispiel I.3 (a) I eiem Lad gibt es 730 Geburte pro Eiwoher im Jahr. Wie ist die Azahl X der Geburte pro Tag i eier Stadt mit Eiwoher verteilt? (wichtig z.b. für Geburtsstatio im Krakehaus.) Approximative Modellierug p: Wahrscheilichkeit, dass ei Eiwoher a eiem feste Tag ei Kid bekommt. p = = = uabhägige Wiederholuge dieses Experimets groß, p klei, das heißt Poisso-Approximatio mit λ = p = 5.6. Die Zufallsvariable X ist also approximativ Poiss(5, 6) verteilt, d.h. P(X = k) = Poiss 5,6 (k) mit k N 0. (b) Radioaktiver Zerfall: Azahl N der Zerfälle i eier feste Zeiteiheit wird kaoisch mit der Poissoverteilug modelliert (Atomzahl groß, Wkeit für Zerfall eies Atoms sehr klei). Folgedes Beispiel zeigt u, dass wir bei überabzählbare Mege Ω icht mehr verüftig defiiere köe, weshalb wir us da auf σ-algebre (wie Borel-σ-Algebra) beschräke werde. Satz I.4 (Vitali, 905) Sei Ω = {0, } N die Ergebismege des beliebig lage Müzwurfs. Da gibt es keie Abbildug P P(Ω) [0, ], die de Kolmogorovsche Axiome (eies W-Maßes) geügt ud folgede Ivariazeigeschafte besitzt: A Ω, P(T (A)) = P(A) wobei T (ω) = T ((ω, ω 2,..., ω,... )) = (ω, ω 2,..., ω, ω, ω +,... ) das Ergebis des -te Wurfes umkehrt. Beweis: Defiiere Äquivalezrelatio auf Ω: ω ω N N ω = ω (ω ud ω uterscheide sich ur i edlich viele Glieder). Nach dem Auswahlaxiom existiert eie Mege A Ω, die aus jeder Äquivalezklasse geau eie Repräsetate ethält. Nu sei S = {S N S edlich} = {S N max S = m} m edliche Kardialität so dass S abzählbar ist. Setze T S = S T = T T 2 T k für S = {, 2,..., k } ( T S diskret, dreht also die Ergebisse a alle Idizes i S um). Da gilt: (a) Ω = S S T S (A) (zu jedem ω Ω existiert ω A mit ω ω, also auch ei S N, S < mit T S (ω ) = ω) (b) Die Mege (T S (A)) S S sid paarweise disjukt, da sost für ω, ω A ud S, S S T S (ω) = T S (ω ) ω T S (ω) = T S (ω ) ω aber ω, ω A ω = ω σ-additivität zeigt: = P(Ω) = P( S S T S (A)) = S S P(T S (A)) A. = S S P(A) {0, } Also ka ei solches P icht existiere. 9

10 I. Wahrscheilichkeitsräume I.4. Maßtheorie ud W-Maße i R d Zuächst rekapituliere wir die Grudlage der Maßtheorie. Für jedes E P(Ω) gibt es eie kleiste σ-algebra σ(e), die E ethält. Ist (S, d) ei metrischer Raum (wie (R d, )), so heißt B S = σ({o S O offe}) Borel-σ-Algebra vo S. B R wird z.b. erzeugt vo E = {(a, b] a, b R} oder F = {(, b] b R}. B R d aalog durch E = {(a, b ] (a d, b d ] a,..., a d, b,... b d R} (Quader, Rechtecke) g Ω S ist (F P(Ω), S P(S))-messbar, we für eie Erzeuger E vo S gilt: A E g (A) F jede stetige Fuktio zwische metrische Räume ist Borel-messbar (d.h. messbar bzgl. der jeweilige Borel-σ-Algebre). Jede Fuktio g Ω R mit {g y} F für alle y R ist (F, B R )-messbar. Falls g Ω R (F, B R )-messbar sid, so auch (sofer existet) if g, sup g, lim if g, lim sup g, lim g g,..., g d Ω R, (F, B R )-messbar, da ist ω (h(g (ω),..., g d (ω)) mit h R d R k Borelmessbar ist (F, B R k)-messbar. Isbesodere gilt: (g,..., g d ), g + g 2, g g 2, g g 2, g /g 2, max(g,..., g d ), mi(g,..., g d ) sid da messbar. 3 g Ω S, (F, S)-messbar, h S T (S, T )-messbar h g Ω T ist (F, T )- messbar. Defiitio I.5 Sei Ω ichtleere Mege. Da heißt A P(Ω) Algebra über Ω, falls Ω A A A A C A A, B A A B A. µ A [0, +] heißt Prämaß über A, falls µ( ) = 0 A A paarweise disjukt mit A A µ( A ) = µ(a ). µ heißt Maß, falls A bereits eie σ-algebra ist. Ei Maß µ heißt σ-edlich, falls es A A gibt mit µ(a ) < ud A = Ω. Ei Maß µ mit µ(ω) = ist ei W-Maß (s.o.). 3 g /g 2 ur falls sie wohldefiiert ist. 0

11 I. Wahrscheilichkeitsräume Beispiel I.6 Auf Ω = R ist A = { k= (a k, b k ], a k R { }, b k R {}} eie Algebra (wobei (a k, ] = (a k, ). Setze λ((a, b]) = b a für b a. Für paarweise disjukte (a k, b k ] λ( k= (a k, b k ]) = k= (b k a k ). Ute werde wir zeige, dass dieses λ ei Prämaß auf A defiiert. Mit Hilfe des folgede Satzes wird dies zu eiem Maß auf B R fortgesetzt, dem Lebesguemaß: Satz I.7 (vo Caratheodory, 97) Jedes Prämaß µ auf A ka zu eiem Maß µ auf σ(a) fortgesetzt werde, d.h. µ(a) = µ(a) für alle A A. Eideutigkeitssatz: Es seie µ, ν σ-edliche Maße auf (Ω, F) mit (A ) F A = Ω, µ(a ) = ν(a ) <. Ist da E ei Erzeuger vo F, der -stabil (d.h. A, B E A B E) ud gilt µ(a) = ν(a) für alle E, so folgt µ = ν auf F. (Isbesodere gilt Eideutigkeit der Maßerweiterug bei W-Maße). Defiitio I.8 Für ei W-Maß P auf (R, B R ) ist seie Verteilugsfuktio F R [0, ] gegebe durch F(x) = P((, x]). Für reellwertige Zufallsvariable X setzt ma etspreched F X (x) = P X ((, x]) = P(X x), x R. Lemma I.9 Jede Verteilugsfuktio F ist mooto wachsed, rechtsstetig ud erfüllt lim x F(x) = 0 ud lim x F(x) =. Beweis: Mootoie für x < y gilt Add. v. P F(y) F(x) = P((, y]) P((, x]) = P((x, y]) 0 Rechtsstetigkeit Es gelte x x (x x, x x, x mooto falled) F(x ) F(x) s.o. = P((x, x ]). Nu gilt (x, x ] (x, x + ] mit (x, x ] = ud lim (x, x ] = σ-stetigkeit lim P((x, x ]) = P( lim (x, x ]) = P( ) = 0 lim F(x ) = F(x) (F ist rechtsstetig) σ-stetigkeit: A = (x, x ] C, A A +, A = R Da ist P((x, x ]) = P(A C ) = P(A ) 0. s.o. P(A ) P(R) = σ Stet. lim F(x) = lim P((, x]) = P( lim (, x]) = P( ) = 0 x x x lim x F(x) = lim P((, x]) = P(R) = x Satz I.20 Es sei F R R eie mooto wachsede, rechtsstetige Fuktio. Da existiert ei Maß µ auf (R, B R ) mit µ((a, b]) = F(b) F(a) für alle a < b R µ ist eideutig durch F defiiert ud heißt Lebesgue-Stieltjes-Maß zu F.

12 I. Wahrscheilichkeitsräume Korollar I.2 Es gibt geau ei Maß λ auf (R, B R ) mit λ((a, b]) = b a ( a < b R). λ heißt Lebesguemaß (wähle F(x) = x) Korollar I.22 Zu jedem F R [0, ] mooto wachsed, rechtsstetig ud lim x F(x) = 0, lim x F(x) = gibt es geau ei W-Maß P, desse Verteilugsfuktio F ist. Beispiel I.23 Für alle Itervalle berechet ma da leicht P((a, b]) = F(b) F(a). Beweis: (des Satzes) Eideutigkeit folgt, weil die Mege {(a, b] a < b R} ei - stabiler Erzeuger vo B R ist ud [, ] = R gilt, aus dem Eideutigkeitssatz. Auf der Algebra (s.o) A = { K k= (a k, b k ] K, a < b a k < b k } defiiere µ( K (a k, b k ]) = k= K k= Da ist µ offesichtlich additiv mit µ( ) = 0. (F(b k ) F(a k )) Zu zeige ist σ-additivität für µ Prämaß: A = K k= (a k, b k ] mit A paarweise disjukt ud A A, d.h. A = K K (a k, b k ], K N, a b... a K b K k= (F(bk ) F(a k )) =! K k= Dafür reicht es, für ei Itervall zu zeige: K (F(bk ) F(a k )) k= (a, b ] = (a l, b l ] µ((a, b ]) = µ((a l, b l ]) l Natürlich gilt µ( L l= (a l, b l ]) µ((a, b ]), also Subadditivität vo µ, da L l= (a l, b l ] (a, b ]) L l> L µ((a l, b l ]) µ((a, b ]) l= l= µ((a l, b l ]) µ((a, b ]) Für betrachte O l = (a l, b l + δ l ) (a l, b l ] mit µ((a l, b l + δ l ]) µ((a l, b l ]) + ε 2 l, was wege Rechtsstetigkeit vo F immer möglich ist. Da ist (O l ) l eie offee Überdeckug vo [a + δ, b ], wobei µ((a, a + δ ]) ε gelte (F rechtsstetig!). Nach dem Satz vo Heie-Borel gilt wege Kompaktheit vo [a + δ, b ], dass es ei L existiert mit [a + δ, b ] L l= (a l, b l + δ l ]. µ((a, b ]) = µ((a + δ, b ]) + µ((a, a + δ ]) µ((a l, b l ]) + 2ε l L l= Dies gilt für beliebiges ε > 0. Mit ε 0 folgt l µ((a l, b l ]) µ((a, b ]). (µ((a l, b l ]) + ε 2 l ) + ε 2

13 I. Wahrscheilichkeitsräume Defiitio I.24 Ist f R d [0, ) eie (Lebesgue)-itegrierbare Fuktio mit R d f (x) dx =, so heißt f Lebesgue-Dichte oder auch (Wahrscheilichkeits)-Dichte auf R d. Lemma I.25 Jede W-Dichte f auf R erzeugt mittels P f ((a, b]) = b a f (x) dx ei W-Maß P f auf (R, B R ). Beweis: Betrachte F(x) = x f (y) dy. Da ist F mooto wachsed, stetig ud erfüllt lim F(x) = 0, lim F(x) = f (x) dx = x x Der Satz/Korollar liefert, dass F die Verteilugsfuktio eies W-Maßes P f ist, so dass gilt P f ((a, b]) = F(b) F(a) = b a f (x) dx. Bemerkug (a) Aus der Itegratiostheorie folgt da für jede Borelmege B, dass P f (B) = B f (x) dx (b) Ma ka Dichte auch bezüglich beliebiger σ-edlicher Maße defiiere, icht ur bzgl. des Lebesguemaßes. Lemma I.26 (a) Ist f die Dichte eies W-Maßes P auf (R, B R ) mit Verteilugsfuktio F, so gilt x R F(x) = x f (s) ds (b) Ist die Verteilugsfuktio F auf R (schwach) differezierbar, so ist f (x) = F (x), x R, die zugehörige W-Dichte. Bemerkug F heißt schwach differezierbar (oder absolut stetig), falls es eie Fuktio F gibt mit der Eigeschaft F(b) F(a) = b a F (y) dy für alle a < b. Beispiel I.27 F(x) = x ist schwach differezierbar mit F (x) = (0,) (x) (,0) (x). Beispiel I.28 (a) W-Dichte f (x) = b a [a,b](x), x R für a < b. Da ist P f ([a, b]) = ud P f = b a λ [a,b] (das Lebesguemaß auf [a, b]). P f heißt gleichmäßige Verteilug auf [a, b], Notatio U([a, b]) für uiform. (b) Expoetialverteilug für λ > 0 setze f λ (x) = λe λx [0,) (x), x R ist W-Dichte. Das zugehörige W-Maß P λ heißt Expoetialverteilug mit Parameter λ, Notatio Exp(λ). Die Verteilug Exp(λ) wird häufig zur Modellierug vo Wartezeite (Bediezeite, Atomzerfall etc) verwedet. λ etspricht z.b. Stärke der Radioaktivität (siehe Übug) (c) Normalverteilug Parameter µ R, σ > 0. W-Dichte ϕ µ,σ 2(x) = e (x µ) 2σ 2, x R 2π σ 2 3

14 I. Wahrscheilichkeitsräume Das zugehörige W-Maß heißt Normalverteilug, Notatio N (µ, σ 2 ). Zeige ϕ µ,σ 2(x) dx =! e (x µ) 2 2σ 2 2πσ z= x µ σ = subst. 2π σ e z2 2 σ dz ϕ µ,σ 2 = ϕ 0, Reduktio auf Fall µ = 0, σ = ( e z 2 Fubii 2 dz)2 = e z 2 2 e y2 2 dz dy = dλr 2 = R 2 e y2 +z 2 2 dy dz Polar = R + [0,2π] e r2 2 r dr dϕ = 2π 0 re r2 2 dr = 2π ( e r2 2 ) = 2π ϕ 0, = r=0 (d) Produktdichte im R d. Sid f,..., f d R [0, ) W-Dichte i R, so ist f (x,..., x d ) = d f i (x i ) (x,..., x d ) R d eie W-Dichte i R d die Produktdichte vo f,..., f d. Beachte R d Fubii f (x) dx = ( f (x ) f d (x d ) dx... ) dx d d-mal = (d )-mal f 2 (x 2 ) f d (x d ) dx 2... dx d = = (e) Mehrdimesioale Stadard-Normalverteilug: f (x) = (2π) d 2 e x 2 2, x R d mit x 2 = x x 2 d ist Produktdichte der eidimesioale Stadard-Normalverteiluge f i(x i ) = e x2 i 2. Notatio: N (O, E 2π d ) mit E d = ( 0 0 ) Rd d. Beachte: f ist rotatiosivariat. Bemerkug (Resultate für W-Maße i (R d, B R d)) Betrachte die d-dim. Verteilugsfuktio F(x) = F(x,..., x d ) = P((, x ] (, x d ]) F hat wiederum Eigeschafte wie im Eidimesioale, ur die Mootoie wird ersetzt durch die Nichtegativität eies komplexere Ausdrucks. Im R 2 z.b. gilt F(x, x 2 ) F(x, y 2 ) F(y, x 2 ) + F(y, y 2 ) 0, y x, y 2 x 2. Da ka ma umgekehrt zeige, dass eie d-dim. Verteilugsfuktio (d.h. Fuktio mit diese 4

15 I. Wahrscheilichkeitsräume Eigeschafte) eideutig ei W-Maß auf (R d, B R d) bestimmt. Ist f R d [0, ) eie W- Dichte, so ist F(x,..., x d ) = x d x f (z) dz... dz d eie Verteilugsfuktio, so dass es ei etsprechedes W-Maß P f gibt mit P f (B) = B f (x) dx für alle B B. Satz I.29 (Dichtetrasformatio) Es sei X eie reellwertige Zufallsvariable mit stetiger Dichte f X (d.h. f X ist W-Dichte vo P X ) sowie Y = ϕ(x) mit ϕ R R mooto wachsed, so dass die Liksiverse ϕ stetig differezierbar ist. Da hat Y ebefalls eie Dichte ud zwar f Y (y) = f X (ϕ (y)) (ϕ ) (y), y R. Beachte: Für beliebiges ϕ muss Y keie Dichte besitze, z.b. falls ϕ(x) cost. Beweis: Es gilt F Y (y) = P Y ((, y]) = P(Y y) = P(ϕ(X) y) = P(ϕ ϕ(x) ϕ (y)) = P(X ϕ (y)) = F X (ϕ (y)) f Y (y) = (F Y ) (y) = f X (ϕ (Y)) (ϕ ) (y) Korollar I.30 Im voragegage Satz gilt für Y = ax + b mit a 0, b R Beweis: klar wege ϕ (y) = y b a f Y (y) = f X ( y b a ) a Beispiel I.3 (a) X N (0, ) d.h. (P X = N(0, )) Y = σx + µ N (µ, σ 2 ). f Y (y) = ϕ 0, ( y µ σ ) σ = e 2 ( y µ σ )2 2π σ = ϕ µ,σ 2(y) (b) X Exp() λ>0 X = λ X Exp(λ). f Y (y) = f X (λy) λ = λ e λy R +(y) (gilt trotz Sprugs vo f X bei Null) (c) X N (0, ) Y = X 2 χ 2 () (chi-quadrat-verteilug mit eiem Freiheitsgrad) Problem: ϕ(x) = x 2 icht mooto. Argumet über Verteilugsfuktio y 0 P(Y y) = P(X 2 y) = P(X [ y, + y]) = ϕ 0,(z) dz y f Y (y) = d P(Y y) = d dy y y dy ϕ 0,(z) dz = 2ϕ 0, ( 2) y 2 y = e y 2 y 0 2πy Der Dichtetrasformatiossatz lässt sich etspreched im Mehrdimesioale formuliere (s. Kregel), isbesodere gilt für eie affie Abbildug ϕ R d R d, ϕ(x) = Ax + b mit 5

16 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit A R d d ivertierbar, b R d ud eiem d-dim. Zufallsvektor X mit Dichte f X, dass Y = ϕ(x) = AX + b die Dichte Awedug: X N (0, E d ), Y = AX + b: f Y (y) = f X (A (y b)) det(a ) besitzt. f Y (y) = f X (A (y b)) det(a ) = (2π) d 2 exp ( A (y b) 2 ) 2 det(a) Y = (2π) d 2 exp ) A (y b), (y b) (A 2 det(aa ) 2 = (2π) d 2 det(σ) 2 exp (y b), y b Σ 2 ist N (b, Σ)-verteilt mit Σ = AA (siehe III.3) mit Σ = AA II. Bedigte Wahrscheilichkeite ud Uabhägigkeit II.. Bedigte Wahrscheilichkeit ud Bayesformel Beispiel II. (Motivatio) Ei eu etwickelter Test auf eie Krakheit ergibt bei 000 Versuchspersoe, davo 900 gesud ud 00 krak, folgede Ergebisse: Test positiv Test egativ Summe gesud krak Summe Kotigeztafel Wkeit Was würde der Arzt eiem Patiete sage, desse Test positiv ausfällt. Atwort: für krak, d.h. ca 80% der Fälle ist der Patiet wirklich krak. Adererseits liegt bei eiem egativem Testergebis i ur % der Fälle doch eie Krakheit vor K P =, P 8 K N = 893 N Dieser Asatz führt auf de Begriff der bedigte Wahrscheilichkeit; hier würde dies im Sie relativer Häufigkeite der bedigte Wahrscheilichkeite für krak uter der Bedigug Test positiv bzw. Test egativ etspreche. Defiitio II.2 Es seie A ud B Ereigisse mit P(B) > 0. Da bezeichet P(A B) = P(A B) die bedigte P(B) Wahrscheilichkeit vo A uter B (oder A gegebe B). Beispiel II.3 (Wurf zweier fairer Würfel) A = Pasch, B = beide Augezahle ugerade P(A B) = P(A B) P(B) = = 3 > 6 = P(A) 6

17 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Satz II.4 Es sei B ei Ereigis mit P(B) > 0. Da gilt (a) A Q(A) = P(A B) ist ei W-Maß. (b) Formel vo der totale Wahrscheilichkeit: Für B = N B i die Vereiigug paarweise disjukter Ereigisse B i mit P(B i ) > 0 ud Ereigis A gilt N P(A B) = P(B i )P(A B i ) (c) Bayesformel Für Ereigisse A mit P(A) > 0 ud paarweise disjukte Ereigisse B,..., B N mit P(B i ) > 0 i ud N B i = Ω gilt I (b) ud (c) ka N = gesetzt werde. P(B P(B i A) = i ) P(A B i ) N j= P(B j) P(A B j ) B Beweis: (a) Q(Ω) = P(Ω B) = P( Ω B) =, A i paarweise disjukt: P(B) Q( A i ) = P(( i A i ) B i ) = P( (A i B)) P(A = i B) i P(B) P(B) i P(B) (b) P(A B) = P( N (A B i )) = (c) Nach (b) folgt N (A B i ) = P(A B i ) P(B i ) N = Q(A i ) i P(B i ) P(A B i ) N j= P(B j)p(a B j ) = P(A B i) = P(B i A) P(A) Bemerkug (a) Beachte de Uterschied zwische P(A B) ud P(A B). Es gilt stets P(A B) P(A B). (b) Iterpretatio: a) frequetistisch: Bei häufiger Wiederholug ist P(A B) der Ateil der Fälle, i dee A eitritt, i der Gesamtheit der Fälle, i dee B eitritt. b) subjektiv: Ist P meie Eischätzug der Lage vor Begi des Experimets, so ist P( B) meie Eischätzug, achdem ich vom Eitrete vo B erfahre habe. Beispiel II.5 (Test auf eie seltee Krakheit) Eie Krakheit komm bei ca 0.5% der Bevölkerug vor. Ei Test führt bei 99% der Krake zu eier Reaktio, aber auch bei 2% der Gesude. Wie groß ist die Wahrscheilichkeit, dass bei positiver Reaktio eie Perso wirklich krak ist. A = Reaktio positiv, B = krak P(B A) Bayes = P(B) P(A B) P(B)P(A B) + P(B C )P(A B C ) = = Diese Wahrscheilichkeit beträgt also ur ca. 20%! 7

18 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Lemma II.6 (Multiplikatiosformel) Für Ereigisse A,... A mit P(A... A ) > 0 gilt P(A... A ) = P(A ) P(A 2 A )P(A 3 A A 2 ) P(A A A 2 A ) Beweis: rechte Seite: P(A ) P(A A 2 ) P(A A 2... A ) = P(A... A ) P(A ) P(A... A ) Dies führt auf die sogeate Pfadregel. Betrachte z.b. ei Uremodell mit Ziehe ohe Zurücklege ud Beachtug der Reihefolge sowie W weiße ud S schwarze Kugel, N = S + W II.2. Uabhägigkeit Falls Ketis über das Ereigis B die Wahrscheilichkeit des Ereigisses A icht beeiflusst (ud umgekehrt), so bezeichet ma A ud B als (stochastisch) uabhägig P(A B) = P(A) ud P(B A) = P(B) P(A B) P(B) = P(A) P(A B) P(A) = P(B) Allgemeier defiiert ma auch im Fall vo P(A) = 0 oder P(B) = 0 Defiitio II.7 (a) Zwei Ereigisse A ud B sid (stochastisch) uabhägig, falls P(A B) = P(A) P(B) gilt. (b) Eie Familie (A i ) i I, I beliebige Idexmege vo Ereigisse heißt uabhägig, falls für jede edliche Teilmege J I gilt P( j J A j ) = j J P(A j ). Satz II.8 (Lemma vo Borel-Catelli) Sei (A ) eie Folge vo Ereigisse i (Ω, F, P) sowie Da gilt A = lim sup A = m m (a) Aus P(A ) < folgt P(A) = 0. A = {ω Ω ω A gilt für uedlich viele } (b) Gilt P(A ) = ud ist (A ) uabhägig, so folgt P(A) =. Beweis: (a) Es gilt A m A für alle m, weshalb P(A) if P( A ) if P(A ) = lim P(A ) P(A )< = 0 m m m m m m 8

19 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit (b) Betrachte A C = m m A C : P(A C ) P( A C ) σ-stet. = lim P( N A C ) m m m N =m UE = m N lim P(A C ) N =m P(A ) N lim m N =m = exp( lim m N exp( P(A )) N =m x e x, x 0 P(A )) = 0 = 0 m Beispiel II.9 (a) I Teil (b) ka icht auf die Uabhägigkeit verzichtet werde: Betrachte z.b. ei Ereigis A mit P(A ) (0, ) ud setze A = A, 2. Da ist lim sup A = A ud somit P(lim sup A ) <, obwohl P(A ) = + ist. (b) Rus im beliebig lage Müzwurf: Es sei A M das Ereigis Kopf i de Würfe, +,..., + M (M-Ru ab -te Müzwurf). Frage: P(lim sup A (M) ) =?. Da (A (M) ) icht uabhägig ist, betrachte wir die Teilfolge (A (M) km+ ) k. Diese ist uabhägig, weil für k < k 2 < < k gilt P (A (M) k M+... A(M) k M+ ) = = P (A (M) k M+ ) P (A (M) k M+ ) 2 M 2 M Borel-Catelli (b) k P(A (M) P (lim sup km+ )= Es gilt sogar och mehr: ω A (M) k M+... A(M) k M+ A (M) ) lim ( 2 ) k P (lim sup k (k+) M ( ω i ) A (M) km+ ) B-C = = 2 M P( für jedes M gibt es -viele M-Rus ) = P ( lim sup A (M) ) = M weil der Schitt vo -Mege wieder eie -Mege ist, d.h.: P(E ) =, P( E ) = P( E C ) P(E C ) = Defiitio II.0 Seie M i F i, i I Mege vo Ereigisse. Da heißt (M i ) i I uabhägig, falls für jede beliebige Auswahl vo A i M i, die Familie (A i ) i I uabhägig ist. 9

20 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit II.3. Uabhägige Zufallsvariable Defiitio II. Eie Familie (X i ) i I vo (S i, S i )-wertige Zufallsvariable heißt uabhägig, falls für beliebige Ereigisse A i S i die Ereigisse ({X i A i }) i I uabhägig sid. Äquivalet ist (X i ) i I uabhägig geau da, we die vo de X i erzeugte σ-algebre F X i = {Xi (A) A S i }, i I uabhägig sid. Satz II.2 Es seie (X i, i I) Zufallsvariable auf (Ω, F, P) mit Werte i (S i, S i ) ud E i seie -stabile Erzeuger der S i. Damit ist (X i ) i I bereits uabhägig, falls ({X i A i }) i I uabhägig sid für beliebige Wahle vo A i i E i. Beweis: Es reicht, diese Satz für beliebige edliche Idexmege J I zu beweise. Wege J < gibt es da ei mit {j J A j E j } bei eier beliebige Wahl vo A i S i. Iduktiosbehauptug: Es gilt P ( j J {X j A j }) ( ) = j J P ({X j A j }) für beliebige A j S j, sofer {j J A j E j }. Iduktiosafag ( = 0): Das ist gerade die Aahme. Iduktiosschritt ( + ): Sei o.b.d.a. J 2 ud seie die A j so, dass {j J A j E j } = + gilt. Setze J = J {j} für ei j mit A j E j. Nach Aahme gilt ( ) für J. O.B.d.A. sei dabei P ( j J {X j A j }) > 0 (sost gilt ( ) trivialerweise auch für J 0 = 0). Betrachte u auf S j die W-Maße (!!) A P {X j A} i J {X i A i } = Q (A) A P(X j A) = Q 2 Für A E j gilt ach Iduktiosaahme Q (A) = P ({X j A} i J {X i A i }) P ( i J {X i A i }) = P(X j A) i J P(X i A i ) = Q 2 i J P(X i A i ) I.A. Eideutig- keitssatz Q = Q 2 ( ) gilt für J Korollar II.3 Es seie X,..., X Zufallsvariable auf (Ω, F, P). (a) Sid alle X k diskret verteilt, so sid X,..., X geau da uabhägig, we gilt P(X = s,..., X = s ) = p X (s,..., s )! = p X (s ) p X (s ) = P(X = s ) P(X = s ) falls alle s i S i, i =..., (b) Sid die X k reellwertig, so sid X,..., X geau da uabhägig, we gilt P(X x,..., X x ) = F X (x,..., x ) = F x (x ) F x (x ) = P(X x ) P(X x ) 20

21 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Beweis: (a) Die Richtug ist klar (wähle A i = {s i } i der Defiitio). Adererseits ist E k = {{s j } s k S k } { } ei -stabiler Erzeuger vo S k = P(S k ). Die triviale Ereigisse {X k } = erfülle stets die Uabhägigkeitsbedigug P( ) = 0). Nach Voraussetzug gilt u P(X A,... X A ) = k= P(X k A k ) für die -stabile Erzeuger E k ud alle A k E k Satz 2.2 X,..., X sid uabhägig. (b) Wir schließe wie i (a) mit de -stabile Erzeuge E k = {(, x] x R}. Satz II.4 Es sei X = (X,..., X ) ei Zufallsvektor auf (Ω, F, P) mit W-Dichte f X R [0, ). Da gilt: (a) Jedes X k besitzt eie Dichte, die sogeate Raddichte f X k (x k ) = f X (x,..., x ) dx... dx k dx k+... dx (b) Die Zufallsvariable X,..., X sid uabhägig geau da, we für Lebesgue-fast alle x,..., x R. f X (x,..., x ) = f X (x ) f X (x ) Beweis: (a) Es gilt Fubii P(X k b k ) = P(dx) = f X k (ξ k ) dξ k {(ξ...,ξ ) R ξ k b k } für alle b k R ud daher f X k ist Dichte vo X k. (b) Es bleibt zu zeige (wege Satzes): b k P(X b,..., X b ) = f X (x,..., x ) = k= f X k (x k ) k= P(X k b k ) λ-f.ü. b,..., b folgt durch Itegratio b P(X b,..., X b ) = f X (x,..., x ) dx... dx Fubii = k= b b k f X k (x k ) dx k = k= P(X k b k ) 2

22 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit : Die selbe Rechug zeigt hier b b f X (x,..., x ) dx... dx = k= b k f X k (x k ) dx k b,..., b R Maßtheorie f X (x,..., x ) = f X k (x k ) λ-f.ü. Hauptsatz der k= Diff/It-Rechug Beispiel II.5 (a) Besitzt X = (X,..., X ) eie Produktdichte f X R [0, ) (d.h. f X (x,..., x ) = f i(x i )), so sid X,..., X, uabhägig mit de Raddichte f X i(x) = f i (x): f X i (x i ) = f X (x,..., x ) ( )-mal ( j i f j (x j )) f i (x i ) dx... dx i dx i+... dx = f i (x i ) ud obiger Satz zur Uabhägigkeit fidet Awedug. Bei der -dimesioale Stadardormalverteilug X N (O, E ) mit Dichte f X (x) = (2π) 2 e x 2 2, x R hat eidimesioale Radverteiluge N (0, ) f X (x) = x 2 2π e i 2 Außerdem sid die Koordiate X,... X uabhägig. (b) Es sei X = (X, X 2 ) gleichverteilt auf G = {(x, x 2 ) R 2 x 2 + x2 2 }, d.h. f X (x) = G G(x), x R 2. Schreibe u X i Polarkoordiate R = X 2 + X2 2, Φ = arcta( X 2 X ) [0, 2π). Es gilt für beliebige r [0, ], ϕ [0, 2π] P(R r, Φ ϕ) = ϕ r2 2 π = P(R r) P(Φ ϕ) r 2 ϕ 2π R, Φ uabhägig. Also ist f R (r) = 2r [0,] (r) ud f Φ (ϕ) = 2π [0,2π)(ϕ). Mit dem Satz ergibt sich die gemeisame Dichte als Produktdichte: f (R,Φ) (r, ϕ) = r π [0,](R) [0,2π) (ϕ) Alterative Herleitug: Dichtetrasformatio im R 2 (X, X 2 ) (R, Φ). (c) Falls X,..., X Dichte f X i R [0, ) besitze, so braucht der Zufallsvektor X = (X,... X ) keie Dichte zu besitze. Eifachstes Beispiel ist der Fall X (ω) = X 2 (ω) =... = X (ω) ω Ω. Da gilt für die Diagoale D = {(x,..., x ) R x = x 2 =... = x }, dass P(X D) = P(X = X 2 = = X ) = ud adererseits besitzt D Lebesguemaß Null im R, 2. Hätte X eie Dichte f X, so wäre P(X D) = D f X (x) dx = 0. Also gibt es keie Dichte f X. Dies heißt isbesodere, dass für X,..., X N (0, )-verteilt icht otwedigerweise X = (X,..., X ) als Vektor ormalverteilt ist (P = N (0, E ) gilt ur bei Uabhägigkeit). 22

23 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Zur Existez uabhägiger Zufallsvariable Frage: Gegebe Verteiluge P i auf (S i, S i ), gibt es uabhägige Zufallsvariable (X i ) i I mit P X i = P i? Gesucht ist also ei W-Raum (Ω, F, P) ud messbare Abbilduge X i Ω S i. Defiitio II.6 Es seie (Ω i, F i, P i ) i W-Räume. Setze Ω = Ω Ω, F = F F 2 F = σ ({A A 2 A A F,..., A F }) Da heißt F Produkt σ-algebra auf Ω der F,... F. Gilt für ei W-Maß P auf F P(A A ) = P(A ) P(A ) für alle A F,..., A F, s heißt P Produktmaß der P,..., P Notatio P = P P 2 P. Bemerkug Da die Rechteckmege A A 2 A ei -stabiler Erzeuger vo F sid, ist das Produktmaß auf jede Fall eideutig bestimmt. I der Maßtheorie wird gezeigt, dass ei solches Produktmaß stets existiert ( Prizip vo Cavalieri ). Beispiel II.7 Sid f,..., f d R [0, ) W-Dichte vo W-Maße P,..., P d, auf B R, so hat das Produktmaß P = P P d die Produktdichte f (x,..., x d ) = f (x ) f d (x d ) de: P(A A d ) = f (x) dx Fubii = A A d = d k= P k (A k ) A A 2 A d f (x ) f d (x d ) dx d dx 2 dx = Ei aderes Beispiel ist das Beroulli-Schema, wofür für die Zähldichte gilt p( ω {0,},... ω ) = p ω i ( p) ( ω i) = p ω i ( p) ω i d f k (x) dx Ak k= P k (A k ) Wir erhalte also ei Produktmaß auf dem Produktraum {0, }, F = P(Ω)! = P({0, }). Lemma II.8 Ist (Ω Ω, F F, P P ) ei Produkt-W-Raum, so sid die Koordiateabbildug X i (ω,..., ω ) = ω i vo Ω Ω auf Ω i uabhägige (Ω i, F i )-wertige Zufallsvariable mit Verteilug P i. Beweis: X i ist (F F, F i )-messbar wege Xi (A) ( ) = Ω Ω i A Ω i+ Ω F F für alle A F i. Außerdem gilt (P P ) X i (A) = P P (Xi (A)) Produktmaß = ud ( ) Also besitzt X i die Verteilug P i. P (Ω ) P i (Ω i ) P i (A) P i+ (Ω i+ ) P (Ω ) = P i (A) = 23

24 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Uabhägigkeit folgt aus (P P )(X A,..., X A ) = P P (A A ) = P (A ) P (A ) s.o. = (P P )(X A ) (P P )(X A ) Für uedliche Produkträume gelte bei W-Maße aaloge Resultate, für dere Beweis wir auf Stochastik II verweise (dort allg. für stochastische Prozesse). Defiitio II.9 Es seie (Ω i, F i, P i ) i I, I beliebige Idexmege, eie Familie vo W-Räume. Setze Ω = i I Ω i = i I Ω i (kartesisches Produkt), π j ((ω i ) i I ) = ω j (j-te Koordiateprojektio), F = i I F i = σ({πi (A i ) i I, A i F i }). (Produkt-σ-Algebra) Da heißt P Produktmaß der (P i ) i I auf F, falls P i J gilt für alle J I edlich ud A i F i. πi (A i ) = P i (A i ) i J Beachte: Ist I = {,..., } so ist die Produkt-σ-Algebra gerade gleich σ({a A A F,..., A F }), weil A A = π (A )... π (A ) gilt ud σ-algebre -stabil sid. Die Defiitio des Produktmaßes ist ebeso wie vorher. Satz II.20 Es solches Produktmaß existiert stets ud ist eideutig. Korollar II.2 Zu gegebee W-Maße P i auf (Ω i, F i ), i I, existiert stets eie Familie uabhägiger Zufallsvariable X i mit P X i = P i, i I, ämlich Ω = Ω i, i I Beweis: wie obe F = F i, i I P = P i ud X i (ω) = π i (ω) = ω i i I Beispiel II.22 Ma ka ei uedlich lages Müzwurfexperimet auf kostruiere (Siehe Vitali). Ω = {0, } N, F = P({0, }) N P({0, } N ) Satz II.23 (0--Gesetz vo Kolmogorov) Seie (X k ) k uabhägige Zufallsvariable auf (Ω, F, P). Da gilt für jedes bezüglich (X k ) k asymptotische Ereigis A: P(A) = 0 oder P(A) = Defiitio II.24 Ei Ereigis A heißt asymptotisch bezüglich (X k ) k, falls es für alle N ur vo (X k, k ) abhägt, geauer falls A ist der asymptotische σ-algebra A X = σ( k F X k) (mit F X k = {X (B) B S}) liegt. k 24

25 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Lemma II.25 Sid (X i ) i I (S i, S i )-wertige uabhägige Zufallsvariable ud ϕ i S i T i (S i, T i )-messbar, so sid auch die (T i, T i )-wertige Zufallsvariable (ϕ i (X i )) i I uabhägig. Beweis: Zu zeige ist, dass für A i T i die ({ϕ i (X i ) A i }) i I uabhägig sid. Wege {ϕ i (X i ) A i } = {ω Ω ϕ i (X i (ω)) A i } = {ω Ω X i (ω) ϕ (A i )} = {X i ϕ i (A i )} = B i ud B i S i (da ϕ i messbar) sid die Ereigisse {ϕ i (X i ) A i } = {X i B i } uabhägig auf Grud der Uabhägigkeit der (X i ) i I. Beispiel II.26 I obige Beispiel der Gleichverteilug auf dem Eiheitskreis ware R, Φ uabhägig. Da sid zum Beispiel auch (R 2, Φ) oder (R, cos Φ) uabhägig, aber icht (R cos Φ, R si Φ). Frage: Betrachte die harmoische Reihe k= k, wähle aber die Vorzeiche jedes Summade rei zufällig. Wie groß ist die Wahrscheilichkeit, dass diese zufällige Reihe kovergiert? Wir wisse: k= k = = + ( ) k+ = log 2 < + k= k Nu betrachte k= X k k mit P(X k = ) = P(X k = ) ud (X k ) k uabhägig. Zur Erierug: A ist asymptotisches Ereigis bzgl. (X k ) k falls A A X = σ( F X k ) k X Hier: A = { k k= k kovergiert} = ε>0 ( N N m, N m { k= X k k < ε}) C = N N m, N ε Q m X { k k= k < ε} σ( m k= F X k )=F X,...,Xm σ( k N F X k ) N m, N σ( k N F X k ) m { k= X k k ε} A X σ( k N F X k ) A C A X A A X, also ist A asymptotisches Ereigis. Das 0--Gesetz vo Kolmogorov impliziert daher P(A) {0, } d.h. mit Wahrscheilichkeit kovergiert diese zufällige Reihe oder divergiert. Es ka also icht sei, dass z.b. beides mit Wahrscheilichkeit 0.5 eitritt. Zum Beweis des 0--Gesetzes beötige wir Lemma II.27 Es seie (X i ) i I eie Familie uabhägiger Zufallsvariable mit Werte i (S i, S i ) ud I = I I 2 eie Zerlegug der Idexmege I. Da sid die σ-algebre F = σ ( i I F X i) ud F 2 = σ ( i I2 F X i) uabhägig. 25

26 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Beweis: Ma betrachte die Zufallsvariable Y = (X i ) i I, Y 2 = (X i ) i I2 mit Werte i ( i I S i, i I S i ) beziehugsweise ( i I2 S i, i I2 S i ). [Messbarkeit folgt, weil i I S i vo {πi (A) i I, A S i } erzeugt wird.] Wege dieses Erzeugers ist die Uabhägigkeit der σ-algebre F, F 2 auch äquivalet zur Uabhägigkeit der Zufallsvariable Y, Y 2 (d.h. F = F Y, F 2 = F Y 2). Nach obigem Satz reicht es, für die -stabile Erzeuger E j = { i J πi (A i ) J I j, edlich, A i S i } für j =, 2 zu zeige. B E, B 2 E 2 P(Y B, Y 2 B 2 ) = P(Y B 2 ) P(Y 2 B 2 ) Dies folgt u aus der Uabhägigkeit der (X i ) i I Betrachte B = i J πi (A i ), B 2 = i J2 πi (A i ) mit J, J 2 I edlich, J J 2 =, A i S i. Da gilt P(Y B, Y 2 B 2 ) = P( i J, X i A i ud i J 2 X i A i ) Uabh. = der X i = ( i J P(X i A i ))( i J 2 P(X i A i )) P(X i A i ) i J J 2 X = i P( i J X i A i )P( i J 2 X i A i ) uabh. = P(Y B ) P(Y 2 B 2 ) Beweis: (des 0--Gesetzes) Betrachte die σ-algebre F = σ ( k= F X k) sowie F+ = σ ( k=+ F X k). Nach dem Lemma sid F, F + uabhägig. Für die Zufallsvariable X = (X k ) k mit Werte i ( k S k, k S k ) ud für A (ω) gilt wege, B i S i P( X π i (B i ) ={X B,...,X B } F, A = ) = P(X F + π i (B i ))P( A = ) Nu ist { π i (B i ) N, B i S i } ei σ-stabiler Erzeuger vo i S i. Also folgt ach obigem Satz, dass X ud A uabhägige Zufallsvariable sid [beachte F A = {A, A C, Ω, } + Übug]. Adererseits gilt A X σ ( k F X k) = F X. Also gibt es für A A X ei B k S k mit A = X (B). Sid A ud X uabhägig, so sid auch B (X) ud A ach obigem Lemma uabhägig ud daher ist A vo sich selbst uabhägig. P(A) = P( A = ) P({ A = } { A = }) = P( A = )P( A = ) = P(A) 2 P(A) {0, } II.4. Faltug Defiitio II.28 Sid P ud Q W-Maße auf (R, B R ), so defiiere die Faltug P Q vo P ud Q als das W-Maß auf (R, B R ) mit (P Q)(B) = P(B {x})q( dx), B B R 26

27 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Bemerkug (a) Dabei ist B {x} = {b x b B}, z.b. [0, ] {x} = [ x, x]. (b) R f (x)q( dx) bezeichet das Maß-Itegral (Lebesgue-Itegral) vo f bzgl. dem Maß Q. Isbesodere ist im Fall, dass Q eie W-Dichte q auf R besitzt, R f (x)q( dx) = R f (x)q(x) dx Alterative Schreibweise sid f (x)q( dx) = f (x) dq(x) = f dq (c) Dass P Q i der Tat ei W-Maß ist (ud dass x P(B {x}) messbar ist), wird sich aus dem folgede Lemma ergebe: Lemma II.29 Es seie X ud Y uabhägige reellwertige Zufallsvariable. Da besitzt X + Y die Verteilug P X+Y = P X P Y. Beweis: Wir zeige, dass die Verteilugsfuktioe übereistimme, d.h. b R P(X + Y b) = P X P Y ((, b]) P X+Y ((,b]) P(X + Y b) = {(x,y) x+y b} P (X,Y) ( dx, dy) = {(x,y) x+y b} (P X P Y )( dx, dy) Fubii = ( (x + y b)p X ( dx))p Y ( dy) = P X ((, b y])p Y ( dy) = P X ((, b] {y})p Y ( dy) = P X P Y ((, b]) Korollar II.30 Die Faltug ist kommutativ, also P Q = Q P ud assoziativ P (Q R) = (P Q) R. Beweis: Das folgt sofort aus de Eigeschafte der Zufallsvariable: X + Y = Y + X bzw. (X + Y) + Z = X + (Y + Z) für uabhägige Zufallsvariable mit P X = P, P Y = Q, P Z = R. Bemerkug Die Faltug ist allgemei auch für (sigierte) Maße defiiert, womit ma sogar eie Faltugs-Algebra im Sie der Algebra erhält. Lemma II.3 Es seie X ud Y uabhägige reellwertige Zufallsvariable ud X besitze eie W-Dichte f X. Da besitzt X + Y die Dichte f X+Y (z) = R f X (z y)p Y ( dy). Falls auch Y eie Dichte f Y besitzt, so gilt f X+Y = f X f Y, wobei die Faltug zweier itegrierbarer Fuktioe f, g defiiert ist als ( f g)(y) = R f (y x)g(x) dx. 27

28 II. Bedigte Wahrscheilichkeite ud Uabhägigkeit Beweis: b R (P X P Y )((, b]) Def. = P X ((, b y])p Y ( dy) = ( R R Fubii = R R Substitutio = z=x+y R R = b ( R (x b y) f X (x)p Y ( dy) dx (z b) f X (z y)p Y ( dy) dz f X (z y)p Y ( dy)) dz Wege P X+Y = P X P Y besitzt X + Y also die Verteilugsfuktio b F X+Y (b) = ( f X (z y)p X ( dy)) dz R b y f X (x) dx)p Y ( dy) ud somit Dichte f X+Y (z) = R f X (z y)p Y ( dy). Im Fall, dass Y die Dichte f Y besitzt, gilt ach Itegratiostheorie P Y ( dy) = f Y (y) dy d.h. f X+Y (z) = f X (z y) f Y (y) dy = f X f Y (z) Beispiel II.32 Es seie X ud Y uabhägig mit X N (µ x, σ 2 x), Y N (µ y, σ 2 y). Wie ist X + Y verteilt? Es ist u klar, dass X + Y wieder eie Dichte hat, ämlich f X+Y = f X f Y. f X f Y (z) = exp ( (z y µ x) 2 ) 2πσ 2 x 2σ 2 x c i >0 = c kost. exp ((z µ x) y) 2 2σx 2 2πσy 2 (y µ y) 2 2σy 2 dy exp (y µ y) 2 dy 2σ 2 y = c exp (z µ x µ y ) 2 2σx 2 exp (z µ x µ y ) 2 σ 2 y (σx 2 + σy) 2 σx 2 exp y σ 2 y σx 2 (z µ x µ y ) 2 +σ2 y 2 σ2 x σ2 y σ 2 x +σ2 y = c 2 exp 2 (z µ x µ y ) 2 σx 2 σx(σ 2 x 2 + σy) 2 = c 2 exp (z µ x µ y ) 2 2 σx 2 + σy 2 Da f X f Y wieder eie W-Dichte sei muss, ist die Normierugskostate c 2 = ud es gilt X + Y N (µ x + µ y, σ 2 x + σ 2 y). σ 2 y dy 2π(σx 2+σ2 y ) 28

29 III. Erwartugswert, Variaz ud Kovariaz III. Erwartugswert, Variaz ud Kovariaz III.. Der Erwartugswert ud Momete Wir wolle für reellwertige Zufallsvariable eie Mittelwert als Kegröße agebe. Dafür gibt es mehrere Möglichkeite, aber wie bei determiistische Größe ist das Aalogo des arithmetische Mittels, ämlich der Erwartugswert, die gägigste Wahl. Beispiel III. Beim Würfel vo zwei Würfel erwarte wir als Augesumme X im Mittel E[X] = P(X = 2) 2 + P(X = 3) P(X = 2) 2 = 7 gewichtetes Mittel der mögliche Werte vo X. Defiitio III.2 Eie reellwertige Zufallsvariable X heißt eifach, falls sie ur edlich viele Werte aimmt, d.h. X ist vo der Form X(ω) = m α i Ai (ω) mit m N, α i R, A i F geeiget. Für eie solche Zufallsvariable defiiere wir ihre Erwartugswert m E[X] = EX = α i P(A i ) Lemma III.3 Für eifache Zufallsvariable X auf (Ω, F, P) gilt: (a) E[X] = xp(x = x); isbesodere hägt der Erwartugswert ur vo der Verteilug P X x X(Ω) vo X ab. (b) Der Erwartugswert ist liear ud mooto: Ist Y eie weitere eifache Zufallsvariable ud sid α, β R, so gilt E[αX + βy] = αe[x] + βe[y] ud aus X Y (d.h. ω Ω X(w) Y(ω)) folgt E[X] E[Y]. (c) Falls X ud Y uabhägige eifache Zufallsvariable sid, so gilt E[XY] = E[X]E[Y]. (d) A F P(A) = E[ A ] Beweis: (a) o.b.d.a. A i paarweise disjukt E[X] Def. = m α i P(A i ) = α i P(A i X = α i ) = m = xp(x = x) = P X (x) x X(Ω) hägt dies ur vo der Verteilug P X ab. x X(Ω) m x {x=αi }P(A i X = α i ) (b) Zu X = m α i Ai, Y = j= β j Bj wähle eie gemeisame Verteilug (C k ) k r der (A i ), (B i ), sodass X = r k= α k Ck, Y = r β k= k Ck. Da ach a) der Erwartugs- 29

30 III. Erwartugswert, Variaz ud Kovariaz wert icht vo der Darstellug vo X abhägt, gilt: r E[αX + βy] =E (α α k + β β k ) Ck = k= r r k= (α α k + β β k )P(C k ) =α α k P(C k ) + β β k P(C k ) = αe[x] + βe[y] k= r Geauso folgt E[X] = α k P(C k ) k= (C k ) paarweise disjukt α k β k r k= r k= β k P(C k ) = E[Y] für X Y ud o.b.d.a (c) E[XY] (a) = zp(xy = z) = z (XY)(Ω) Uabhägig = x X(Ω) x 0 = x X(Ω) x 0 = x X(Ω) x 0 (d) klar ach Def. z (XY)(Ω) z 0 y Y(Ω) y 0 z (XY)(Ω) z 0 zp(x = x)p(y = z x ) xyp(x = x)p(y = y) xp(x = x) yp(y = y) = E[X]E[Y] y Y(Ω) y 0 z P(XY = z, X = x) x X(Ω) x 0 Beispiel III.4 Sei X eie Bi(, p)-verteilte Zufallsvariable E[X] Def. = kp(x = k) = k=0 = k= =p l=0 k=0 k( k )pk ( p) k = ( k )pk ( p) k = l=k l=0 ( )p l ( p) ( ) l = p l k=! ( k)!(k )!) pk ( p) k ( )p l+ ( p) l l Zweite Möglichkeit: es gilt ja X = Z i mit uabhägige Z i Bi(, p). Liearität liefert E[X] = E[ Z i] = E[Z i] = k=0 kp(z i = k) = p = p Defiitio III.5 Für eie icht egative Zufallsvariable X setze mittels approximiereder Folge (X ) eifacher Zufallsvariable mit X X E[X] = lim E[X ] [0, ] Betrachte für eie Wahrscheilichkeitsraum (Ω, F, P) die Mege L = L (Ω, F, P) = {X ω R messbar, E[ X ] < } 30

31 III. Erwartugswert, Variaz ud Kovariaz Defiiere für X L mit X + (ω) = max(x(ω), 0) ud X (ω) = max( X(ω), 0) de Erwartugswert E[X] = E[X + ] E[X ] R Wege E[X + ] E[ X ] < ud E[X ] E[ X ] < gilt für X L stets E[X] <. Ma schreibt auch E[X] = Ω XdP = Ω X(ω)P(dω) = Ω X(ω)dP(ω) ud setzt A XdP = Ω X( A )dp für A F. Satz III.6 Für X L (Ω, F, P) gilt (a) E[X] = Ω xp X (dx) ud E[X] hägt ur vo der Verteilug vo X ab. (b) Der Erwartugswert ist liear ud mooto auf L. (c) Falls X, Y L uabhägig sid, so gilt XY L ud E[XY] = E[X]E[Y] Beweis: (a),(b) folge aus der Maßtheorie (Lemma + Approximatio). Für (c) betrachte E[ XY ] (a) = R 2 xy P(XY) (dx, dy) XY = R 2 x y (PX P Y )(dx, dy) Toelli = R R x y P X (dx)p Y (dy) = ( R x P X (dx)) ( R y P Y (dy)) =E[ X ]E[ Y ] X,Y L < XY L Dieselbe Rechug ohe Betrag zeigt da E[XY] = E[X]E[Y] (Fubii!) Korollar III.7 (a) Ist X eie Zufallsvariable mit Wahrscheilichkeitsdichte f X R [0, ), so gilt X L x f X dx < ud i diesem Fall E[X] = x f X dx (b) Ist X eie Zufallsvariable mit Zähldichte p X, so gilt X L x p X (x) < ud i diesem Fall E[X] = xp X (x) x X(Ω) x X(Ω) Beweis: (a) Sei X 0, d.h. f X (x) = 0 für x < 0. Da gilt für k2, falls k2 X < (k + )2, 0 k 2 X =, falls X 3

32 III. Erwartugswert, Variaz ud Kovariaz mit X X, X eifach ud mo. Kov. 2 E[X ] = k=0 2 = k=0 = Beppo-Levi E[X] = 0 0 k2 P(k2 X (k + )2 ) + P(X ) (k+)2 k2 2 k=0 x f X (x)dx k2 f X (x)dx + f X (x)dx k2 [k2,(k+)2 )(x) + [,) (x) f X (x)dx Dies zeigt isbesodere E[ X ] = 0 x f X (x)dx = 0 x( f X (x) + f X ( x))dx ud dies ist edlich geau da, we x f X (x)dx <. Ist u X L, so folgt (b) Setze E[X + ] = E[X ] = 0 0 x f X+ (x)dx = x f X (x)dx = 0 0 x f X (x)dx E[X] =E[X + ] E[X ] = x f X (x)dx x f X ( x)dx = x f X (x)dx k2, k2 X < (k + )2, k = 0,..., 2 X =, X 0, X < 0 also eie eifache Zufallsvariable. Da ist E[X + ] = = 2 k=0 2 k=0 k2 P(X [k2, (k + )2 )) + P(X ) + 0 k2 x [k2,(k+)2 ) X(Ω) 2 p X (x) + x [,) X(Ω) 0 p X (x) = p X (x)[ k2 (k2 x < (k + )2 ) + (x ) ] x X(Ω) k=0 mooto wachsed i mit Limes max{x, 0} max{x, 0} p X (x) x X(Ω) Also gilt E[X + ] x X(Ω) max(x, 0)p X (x) ud wege X + max{x, 0} = X + 32