Maßtheorie und Stochastik, Teil II

Transkript

1 Technische Universität Dresden Skript: Maßtheorie und Stochastik, Teil II Verfasser Franziska Kühn Daten Prof. Dr. Zoltán Sasvári Sommersemester 00 Grundstudium

2 Inhaltsverzeichnis II Wahrscheinlichkeitstheorie 3 Grundbegriffe 4. Wahrscheinlichkeitsraum Zufallsvariablen, Verteilungen Unabhängige Zufallsvariablen Numerische Charakteristik von Zufallsgrößen Bedingte Wahrscheinlichkeit Gesetze Gesetze Einige Ungleichungen Konvergenz von Zufallsgrößen Starkes und schwaches Gesetz der großen Zahlen Satz von Gliwenko-Cantelli Charakteristische Funktionen 6 3. Definition + einige Eigenschaften Beispiele Umkehrfunktionen Zentraler Grenzwertsatz Satz von Moivre und Laplace

3 Teil II Wahrscheinlichkeitstheorie 3

4 Grundbegriffe. Wahrscheinlichkeitsraum.. Mathematisches Modell Aufgabe der Wahrscheinlichkeitstheorie: Das Problem des Zufalls mit einem exakten mathematischen Modell erfassen. Was ist Zufall? Was sind zufällige Ereignisse? Beispiele: (i). Werfen eines Würfels, zufälliges Ereignis ist beispielsweise Auftreten einer geraden Augenzahl (ii). Anzahl von Telefongesprächen in einer Telefonzentrale in einer bestimmten Stunde (iii). Geburten (Junge/Mädchen) Schon im 6. Jahrhundert Beschäftigung mit Aufgaben wahrscheinlichkeitstheoretischen Charakters. Lösungen mit kombinatorischen Methoden. Ausarbeitung eines exakten mathematischen Modells erst in der Zeit von (u.a. von Borel, Wiener, Paley, Zygmund, Lommicki, Steinhaus, Kolmogorov: Grundbegriffe der Wahrscheinlichkeitsrechnung ). Etwa in dieser Zeit: abstraktes Maß, Integral Mathematisches Modell: (i). mathematisches Modell für Ereignisse: Ereignisalgebra (Ereignisse A,B nicht A, A oder B, A und B). Modell: Algebra von Teilmengen einer Menge (Stone 933). Eine Familie A von Teilmengen einer Menge Ω heißt Algebra, falls () A A A c A () A, B A A B A Meist: Bildung einer σ-algebra σ(a) (ii). mathematisches Modell für die Wahrscheinlichkeit: Tritt ein zufälliges Ereignis A in n Versuchen m-mal ein, so heißt m die absolute Häufigkeit und h n (A) : m n die relative Häufigkeit von A bei n Versuchen. Eigenschaften: () 0 h n (A) () h n (sicheres Ereignis), h n (unmögliches Ereignis) 0 (3) h n (A oder B) h n (A) + h n (B), falls A und B nicht gleichzeitig eintreten können 4

5 Die relative Häufigkeit zeigt eine Stabilität, wenn n groß ist. Beispiel: Wurf eines Geldstücks, A: Auftreten einer Zahl n H n (A) h n (A) Buffon Pearson Pearson Definition Grenzwert n von relativen Häufigkeiten: endlich additives Maß h Es sei Ω, A eine σ-algebra von Teilmengen von Ω und P ein Maß auf (Ω, A) mit P(Ω). Das Tripel (Ω, A, P) heißt Wahrscheinlichkeitsraum. Die Elemente von Ω heißen Elementarereignisse, die Elemente von A Ereignisse. Beachte: Im Allgemeinen {w} / A für w Ω (d.h. Elementarereignisse sind i.a. keine Ereignisse). heißt unmögliches Ereignis, Ω das sichere Ereignis. Notation: Ω\A für A A (nicht A) wird auch mit A c oder Ā bezeichnet. P heißt Wahrscheinlichkeitsmaß und P(A) für A A heißt Wahrscheinlichkeit von A. Ereignisse A mit P(A) heißen fast sichere Ereignisse, Ereignisse A mit P(A) 0 fast unmögliche Ereignisse. Statt P-fast überall sagt man auch fast sicher oder mit Wahrscheinlichkeit. Sprechweise: Seien A, B A. (i). A B: Aus A folgt B, A impliziert B (ii). A B : A und B sind unvereinbar (iii). A\B: Es tritt A aber nicht B ein. (iv). Sei (A j ) j N A. Dann j N A j: mindestens A n tritt ein, j N A j: alle A n treten ein, lim inf A n : n ab einem bestimmten Index treten alle A n ein, lim sup A n : n mn mn A m A m unendlich viele der Ereignisse A n treten ein...3 Beispiele (i). Werfen eines Würfels mit den Augenzahlen,..., 6 Ω : {,, 3, 4, 5, 6} A : P(Ω) erscheinende Augenzahl ist i {i}, erscheinende Augenzahl ist gerade {, 4, 6}. Wenn es sich um einen idealen Würfel handelt, ist P({i}) 6. 5

6 (ii). Schießen auf eine Schießscheibe mit Radius r 0 cm Ω : {(x, y) R : x + y 0 } A : {B B(R ) : B Ω} Nehmen wir an, dass die Schüsse gleichmäßig verteilt sind, d.h. P(B) λ (B) λ (Ω) für B A. Andere Möglichkeiten: A als Familie aller lebesgue-messbaren Mengen Ω, A Sammlung von endlich vielen Teilmengen von Ω (z.b. Raster)..4 Aufgabe Jede endliche σ-algebra besitzt n Elemente mit n N...5 Satz Für jedes Wahrscheinlichkeitsmaß P gilt: (i). P(A c ) P(A) (ii). P(B\A) P(B) P(A) wenn A B (iii). P(A B) P(A) + P(B) P(A B) (iv). Für A A... gilt (v). Für A A... gilt Beweis: Bekannt aus Maßtheorie..6 Aufgabe (Poincaré)..7 Aufgabe n P j A j P A j lim P(A n) n j N P A j lim P(A n) n j N ( ) k+ k i <...<i k n P(A i... A ik ) Zwei Spieler S, S spielen mit drei (idealen) Würfeln W, W, W 3 mit den folgenden Augenzahlen: W : 5, 7, 8, 9, 0, 8 W :, 3, 4, 5, 6, 7 W 3 :, 6,,, 3, 4 Das Spiel: Zuerst wählt S einen Würfel, dann S. Beide würfeln (mit dem gewählten Würfel); wer die größere Augenzahl hat, bekommt vom anderen Euro. Sie Sind S, welchen Würfel würden Sie wählen? 6

7 ..8 Definition Zwei Ereignisse A, B A heißen unabhängig (bzgl. P), wenn P(A B) P(A) P(B). Allgemeiner: Eine Familie {A i } i I von Ereignissen in A heißt unabhängig (bzgl. P), wenn für jede nichtleere Teilmenge {i,..., i n } I gilt: n n P P(A ij ) A ij j j..9 Beispiele (i). Zweimaliges Werfen eines Würfels und den zugehörigen Wahrscheinlichkeitsraum: Ω : {,..., 6} {,..., 6} A : P(Ω) Im Idealfall gilt P({(i, j)}) 36. Betrachte die beiden Ereignisse A: Beim. Wurf Augenzahl 3 B: Beim. Wurf Augenzahl 6 Dann: P(A) 8 P(B) d.h. A und B sind unabhängig. (ii). Bezeichnungen wie in Beispiel (i) mit den Ereignissen A : beim. Wurf ungerade A : beim. Wurf ungerade A 3 : Summe ungerade Kombinatorik ergibt: P(A A ) P(A ) P(A ) P(A A 3 ) P(A ) P(A 3 ) P(A A 3 ) P(A ) P(A 3 ) P(A B) 3 P(A) P(B) 36 P(A A A 3 ) 0 P(A ) P(A ) P(A 3 ) > 0 d.h. A, A, A 3 sind paarweise unabhängig, aber nicht als Familie unabhängig. Aus der paarweisen Unabhängigkeit folgt also i.a. nicht die Unabhängigkeit...0 Aufgabe (i). {A, B} unabhängig {A, B c } unabhängig (ii). {A i } i I unabhängig {A c i } i I unabhängig.. Aufgabe Für jede Folge von unabhängigen Ereignissen {A n } n N gilt: ( ) P lim sup A n lim n n lim N mn N ( P(A m )) 7

8 .. Aufgabe Gilt lim n P(A n ), so ist für A A. lim P(A A n) P(A) n..3 Aufgabe Es sei Ω : 0, ], A die σ-algebra der Borelmengen in 0, ] und P das Lebesgue-Maß auf 0, ]. Für jedes n N sei ] ] A n : 0, n n, 3 n ] n... n, n n Zeigen Sie: Die Folge {A n } n N dieser Ereignisse ist unabhängig...4 Aufgabe Aus den Zahlen,,..., n wird eine zufällig ausgewählt (jede hat die gleiche Wahrscheinlichkeit). Bestimmen Sie: (i). p n : P (die Zahl ist durch 3 oder 4 teilbar) (ii). lim n p n..5 Definition Es sei (Ω, A, P) ein Wahrscheinlichkeitsraum und A, A seien Familien von Ereignissen aus A. A und A heißen unabhängig, wenn für alle A A, A A. P(A A ) P(A ) P(A ) Allgemeiner: Eine Familie {A i } i I von Ereignisklassen heißt unabhängig, wenn für jede nichtleere Teilmenge {i,..., i n } I gilt: ( n ) n P A ik P(A ik ) für alle A ik A ik (k,..., n)...6 Lemma: Approximationssatz k Es sei (Ω, A, P) ein Wahrscheinlichkeitsraum und B die von einer Algebra B 0 A erzeugte σ- Algebra. Dann existiert für jedes A B eine Folge (A n ) n N B 0 mit (i). lim n P(A n A) 0 k (ii). P(A) lim n P(A n ) Notation: Beweis: (i). Ist äquivalent zu A B : (A\B) (B\A) lim P(A\A n) lim P(A n\a) 0 () n n 8

9 Definiere B als Gesamtheit aller Ereignisse A B für die eine Folge (A n ) n N B 0 mit () bzw. (i) existiert. Dann gilt: B 0 B B. Wir zeigen, dass B eine σ-algebra ist, daraus folgt dann B B wegen B σ(b 0 ) σ(b ) B }{{} B Zunächst: B ist eine Algebra (Übungsaufgabe, Hinweis: (A B) (C D) (A C) (B D) Sei nun (B j ) j N B beliebig. Noch zu zeigen: C : j N B j B Definiere C n : n j B j B, da B eine Algebra ist. Es existieren A n in B 0 mit P(A n \C n ) < n P(C n \A n ) < n Behauptung: lim P(C\A n) lim P(A n\c) 0 n n d.h. C B. Die Behauptung folgt aus den Gleichungen A n \C A n \C n C\A n (C\C n ) (C n \A n ) mit () und..5(v) ergibt sich durch Anwenden von P die Behauptung. (ii). Folgt mit (i) aus..7 Satz P(A) P(A n A) + P(A c n A) () P(A n ) P(A n A c ) + P(A c n A) lim P(A n) n Die von unabhängigen Ereignisalgebren A 0, B 0 erzeugten σ-algebren A σ(a 0 ), B σ(b 0 ) sind unabhängig. Beweis: Zu zeigen: Für alle A A, B B gilt Bekannt für A A 0, B B 0. Wir wählen (A j ) j N A 0,(B j ) j N B 0 mit wie in Lemma..6. Damit folgt wegen P(A B) P(A) P(B) lim P(A A n) lim P(B n B) 0 n n mit Lemma..6(ii): lim P((A n B n ) (A B)) 0 n lim n B n ) n P(A B) lim n) P(B n )) n P(A B) P(A) P(B) P(A B) 9

10 . Zufallsvariablen, Verteilungen.. Definition Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und (S, B) ein Maßraum. Eine Zufallsvariable mit Werten in S heißt jede A/B-messbare Abbildung X : Ω S. In den Fällen S R, S R n, S C ist im weiteren immer die σ-algebra der Borelmengen. Für S R heißt X Zufallsgröße, für S R n Zufallsvektor, für S C komplexe Zufallsgröße... Satz (i). Summe von Zufallsvektoren, Produkt von Zufallsgrößen sind auch Zufallsvektoren- bzw. größen (ii). Seien X Zufallsgröße, f : R R borel-messbar. Dann ist f(x) eine Zufallsgröße. (iii). Sind X,..., X n Zufallsgrößen und f : R n R borel-messbar, dann ist f(x,..., X n ) eine Zufallsgröße. Bemerkung: (i). Mit f (x, y) x + y und f (x, y) x y ist (i) Spezialfall von (iii). Auch Y (X,..., X n ) ist Zufallsvariable. Beweis: Bekannt aus Maßtheorie..3 Definition Es sei X : Ω S eine Zufallsvariable. Man führt die folgenden Notationen ein: X B] : {w Ω : X(w) B} X (B) P(X B]) : PX B] P(X (B)) Dann ist µ X (B) : PX B], B B ein Wahrscheinlichkeitsmaß auf B, die Verteilung von X bzgl. P (Bildmaß). Die Verteilung heißt stetig, wenn µ({s}) 0 für s S, {s} B. Sei jetzt S R n. Die Verteilung µ X heißt absolut stetig, wenn eine borel-messbare Funktion p : R n 0, ) existiert, sodass µ X (A) p dλ für A B(R n ). Dabei heißt p Dichtefunktion von X oder µ X. Bemerkung: (i). Eine borel-messbare Funktion p : R n 0, ) ist genau dann die Dichte einer Verteilung, wenn sie λ-integrierbar ist und R n p dλ. Ist p die Dichte von µ X, so schreibt man dµ X p dλ. Absolut stetige Verteilungen sind stetig, die Umkehrung gilt nicht...4 Beispiele A (i). Für jedes s S sei ε s (oder δ s ) das durch die Einheitsmasse in s definierte Wahrscheinlichkeitsmaß auf B (Einpunkt-Verteilung, Dirac-Maß) { 0 s / B δ s (B) s B Eine Zufallsvariable besitzt eine Einpunkt-Verteilung genau dann, wenn sie fast sicher konstant ist. 0

11 (ii). Es sei {s n } eine Folge in S und {p n } eine Folge nichtnegativer Zahlen mit k p k. Dann ist µ : p n ε sn ein Wahrscheinlichkeitsmaß. Jede solche Verteilung heißt diskret bzw. jede solche Zufallsvariable mit einer solchen Verteilung heißt diskret. P(X s n ) p n (iii). Es sei p 0, ], n N und Wegen B p n : k0 (p + p) n ( ) n p k ( p) n k ε k k k0 ( ) n p k ( p) n k k ist B p n ein diskretes Wahrscheinlichkeitsmaß auf R, Binomialverteilung mit den Parametern n und p. Beispiel: Wir betrachten eine Folge von Versuchen. In jedem dieser Versuche tritt ein gewisses Ereignis A mit Wahrscheinlichkeit p unabhängig von den Ausgängen der anderen Versuche ein. X n sei die Anzahl des Eintretens von A in den ersten n Versuchen, mögliche Werte {0,..., n}, p wie oben. X n ist binomial-verteilt mit den Parametern n und p. (iv). Polynomiale Verteilung (Verallgemeinerung von (iii)): Folge von Versuchen, in jedem dieser Versuche treten gewisse unvereinbare Ereignisse A,..., A r mit den Wahrscheinlichkeiten p,..., p r mit r k p k unabhängig von den Ausgängen der anderen Versuche ein. X i sei die Anzahl des Eintretens von A i in den ersten n Versuchen (i,..., r). X i ist binomialverteilt. X : (X,..., X r ) ist ein Zufallsvektor. (x,..., x r ) R r gehört zum Wertebereich von X fast sicher 0 x i n, x i N, r i x i n. P(X x,..., X r x r ) n! r i x i! Beweis: Permutation mit Wiederholung. (Für r : Binomialverteilung) X heißt polynomialverteilt mit den Parametern n, r, p,..., p r. (v). Wegen e a k0 ak k! ist für jedes a 0 Π a : k0 e a ak k! ε k ein diskretes Wahrscheinlichkeitsmaß auf R. Für a > 0 heißt Π a Poisson-Verteilung mit dem Parameter a. r i p xi i (vi). Die Funktion g a,σ (x) : e (x a) σ π σ für x R ist eine Dichte. Beweis:

12 Es ist bekannt (Übung): Damit: σ π 0 π e x dx e (x a) σ dx e u du π e u du π 0 Das zugehörige Maß ν a,σ heißt Normalverteilung mit den Parametern a und σ. (vii). Die Funktion ist eine Dichte: p(x) : π ( + x ) (x R) π ( + x ) dx π arctan x ] Die zugehörige Verteilung heißt Cauchy-Verteilung. (viii). Es sei B R n eine beliebige Borel-Menge mit 0 < λ n (B) <. Wir definieren p B (x) : λ n (B) B(x) Dann ist p B eine Dichte und die zugehörige Verteilung heißt Gleichverteilung. (ix). Die Exponentialverteilung mit dem Parameter λ > 0: ist eine Dichte. p(x) : λ e λx 0, ) (x) (x R) (x). Die Gamma-Verteilung mit dem Parameter a > 0, λ > 0: ist eine Dichte, wobei p(x) : λa x a Γ(a) Γ(a)..5 Aufgabe (Eigenschaften von Γ) (i). Γ(a) < und p aus..4(x) ist eine Dichte. (ii). Γ(a + ) a Γ(a) (iii). Γ(n + ) n! für n N 0 e λx (0, ) (x) x a e x dx (a > 0) (iv). Γ ( ) π (v). Γ ist stetig...6 Aufgabe Bekannt aus Maßtheorie, Übungsaufgabe 35: T sin x lim T 0 x dx π

13 ..7 Aufgabe..8 Aufgabe..9 Satz Jedes Wahrscheinlichkeitsmaß µ auf R n lässt sich eindeutig zerlegen als µ p µ d + ( p ) µ c p µ d + p µ ac + p 3 µ s Hierbei sind p, p, p 3 nichtnegative reelle Zahlen mit p + p + p 3 und µ d, µ s, µ ac, µ c Wahrscheinlichkeitsmaße mit den folgenden Eigenschaften: (i). µ d ist diskret. (ii). µ c ist stetig. (iii). µ ac ist absolut stetig. (iv). µ s ist stetig und singulär, d.h. es gibt eine λ-nullmenge B R n mit µ s (B). Beweis: Bekannt aus Maßtheorie (...?)..0 Satz Ist µ X die Verteilung einer Zufallsgröße X, so gilt g(x(w)) dp(w) für g : R R borel-messbar mit g 0 oder µ X -integrierbar. Beweis: Bekannt aus Maßtheorie, 4.. Definition Ω R g(x) dµ X (x) Sind X,..., X n Zufallsgrößen, so ist Y : (X,..., X n ) ein Zufallsvektor (s...(iii)). Die Verteilung µ Y von Y (auf R n ) wird die gemeinsame Verteilung von X,..., X n genannt... Satz (Verallgemeinerung von..0) Bezeichnungen wie in... Für jede borel-messbare Funktion g : R n R, die nichtnegativ oder µ Y -integrierbar ist, gilt g(y (w)) dp(w) g(x,..., x n ) dµ Y (x,..., x n ) Ω R n Beweis: Bekannt aus Maßtheorie ( 4) Die Wahrscheinlichkeitsmaße auf R können mit Hilfe reeller Funktionen beschrieben werden:..3 Definition Es sei µ ein Wahrscheinlichkeitsmaß auf (R, B(R)). Die Funktion F (x) : µ((, x)) (x R) heißt die Verteilungsfunktion von µ. Ist µ die Verteilung einer Zufallsgröße X, so nennt man F auch die Verteilungsfunktion von X. Dann gilt für x R: PX < x] F (x) Beachte: Auch F (x) : µ((, x]) als Definition möglich. 3

14 ..4 Aufgabe (i). Jede Verteilungsfunktion F besitzt die folgenden Eigenschaften: () x y F (x) F (y) () lim x F (x) 0 und lim x F (x) (3) F ist linksseitig stetig. (Bemerkung: Mit (, x] rechtsseitig stetig.) (ii). Jede reelle Funktion auf R mit ()-(3) ist die Verteilungsfunktion einer Zufallsgröße...5 Aufgabe Ist F die Verteilungsfunktion der Zufallsgröße X, so gilt: (i). P(a X < b) F (b) F (a) (ii). P(X a) F (a + 0) F (a) (Hieraus folgt: X besitzt eine stetige Verteilung F ist stetig) (iii). P(a < X < b) F (b) F (a + 0) (iv). P(a X b) F (b + 0) F (a) (v). P(a < X b) F (b + 0) F (a + 0) (vi). Besitzt X eine Dichte p, so gilt für x R:..6 Satz F (x) x p(t) dt Die Zufallsgröße X besitze eine Dichte p und sei F die Verteilungsfunktion von X. Dann ist F λ-fast überall differenzierbar und F (x) p(x) λ-fast überall. Beweis: Bekannt aus Maßtheorie, Analysis ( 0?) Bemerkung: Umkehrung gilt nicht...7 Aufgabe..8 Aufgabe Berechnen Sie die Dichtefunktion der Zufallsgröße X, X N(0, )...9 Aufgabe Notation: ϕ(x) : Φ(x) : e x π x ϕ(y) dy 4

15 ..0 Aufgabe Ist x > 0, so ist die Differenz ( Φ(x) ϕ(x) x x x x ( )k k j x k+ ) (k ) positiv oder negativ, je nachdem, ob k ungerade oder gerade ist. Folgerung: Näherungen für x groß ( ϕ(x) x ) x 3 < Φ(x) < ϕ(x) x Φ(x) ϕ(x) x.. Aufgabe Die Funktion ϕ σ (σ > 0) mit ist eine Dichtefunktion. ϕ σ (x) :.3 Unabhängige Zufallsvariablen.3. Definition ) ( ( π σ) exp x d σ (x R d ) Zwei Zufallsvariablen X : Ω (S, B ), X : Ω (S, B ) heißen unabhängig, falls die Ereignisse X B ], X B ] für beliebige B i B i unabhängig sind, d.h. PX B, X B ] PX B ] PX B ] Allgemeiner: Eine Familie {X i } i I von Zufallsvariablen X i : Ω (S i, B i ) heißen unabhängig, falls für jede nichtleere Teilmenge {i,..., i n } I und beliebige B ij B ij gilt: PX i B i,..., X in B in ] n PX ij B ij ] d.h. falls die Ereignisse X ij B ij ] unabhängig sind (j,..., n)..3. Aufgabe (i). Die Ereignisse A,..., A n sind unabhängig die Zufallsgrößen A,..., An sind unabhängig. (ii). Seien X,Y Zufallsgrößen mit X fast sicher konstant. Dann X, Y unabhängig. (iii). X ist fast sicher konstant F X (R) {0, } j (iv). X unabhängig von sich selbst X fast sicher konstant..3.3 Satz Es seien X,..., X n Zufallsgrößen. Die folgenden Aussagen sind äquivalent: (i). X,..., X n sind unabhängig. (ii). ihre gemeinsame Verteilung µ Y µ X,...,X n ist das Produkt ihrer einzelnen Verteilungen µ Xi : µ Y n i µ Xi () 5

16 (iii). P(X < t,..., X n < t n ) P(X < t ) P(X n < t n ) für beliebige Zahlen t i R (i,..., n) Beweis: Es gilt: µ Y n µ Xi i Da und Def µ Y (B... B n ) Erzeuger µ Y (B... B n ) n µ Xi (B i ) (B i B(R)) () i n µ Xi (B i ) (B i (, t i )) (3) i P(X,..., X n ) B... B n ] PX B,..., X n B n ] n µ Xi (B i ) i erhalten wir: () (i), () (ii), (3) (iii)..3.4 Satz n PX i B i ] Es seien X,..., X n unabhängige Zufallsgrößen und g : R k R l ( k n) eine borel-messbare Funktion. Dann sind die Zufallsvektoren g(x,..., X k ), X k+,..., X n unabhängig. Beweis: Es seien B R l, B k+ R,..., B n R beliebige borel-messbare Mengen..3.5 Folgerung i Pg(X,..., X k ) B, X k+ B k+,..., X n B n ] P(X,..., X k ) g (B); X k+ B k+,..., X n B n ] P(X,..., X n ) g (B) B k+... B n ] µ (X,...,X n)(g (B) B k+... B n ) ( n ) µ Xi (B i ) µ (X,...,X k )(g (B)).3.3 ik+ P(X,..., X k ) g (B)] }{{} Pg(X,...,X k ) B] n ik+ {X, Y, Z} unabhängig {X + Y, Z}, {X Y, Z} unabhängig Beweis: Klar mit.3.4 (g(x, y) x + y bzw. g(x, y) x y). PX i B i ].3.6 Definition Bekannt aus Maßtheorie ( 4): Es seien µ, ν Wahrscheinlichkeitsmaße auf (R n, B(R n )). Durch die Gleichung µ ν(b) : µ(b y) dν(y) R n wird ein Wahrscheinlichkeitsmaß µ ν auf (R n, B(R n )) definiert. µ ν heißt Faltung von µ und ν. Es gilt: 6

17 (i). µ ν ν µ (ii). µ (ν + ν ) µ ν + µ ν (iii). Wenn µ eine Dichte p besitzt, dann hat µ ν auch eine Dichte h: h(x) p(x y) dν(y) R n (iv). Wenn auch ν eine Dichte q besitzt, dann h(x) p(x y) q(y) λ(dy) R n h heißt Faltung von p und q. Ist p oder q stetig, so auch h. (v). Für f L (µ ν): (vi). ε x ε y ε x+y.3.7 Satz f(t) d(µ ν)(t) Sind X, Y : Ω R d unabhängige Zufallsvektoren, so gilt: Beweis: µ X+Y µ X µ Y f(t + s) dµ(t) dν(s) Setze Z : (X, Y ), ϕ(x, y) : x + y für x, y R d. Für jede borel-messbare Menge B R n gilt: Nach Definition des Integrals folgt:.3.8 Bemerkung µ X+Y (B) PX + Y B] Pϕ(Z) B] µ Z (ϕ (B)).3.3 Tonelli PZ ϕ (B)] µ Z (ϕ (B)) ϕ (B)(x, y) dµ Z (x, y) R d R d B (x + y) dµ Z (x, y) R d R d B (x + y) d(µ X µ Y )(x, y) R d R d B (x + y) dµ X (x) dµ Y (y) R d R d B y (x) dµ X (x) dµ Y (y) R d R d µ X (B y) dµ Y (y) µ X µ Y (B) R d Die Umkehrung von.3.7 gilt nicht. Beispiel: Seien X Y Cauchy-verteilt mit der Dichte f(x) π ( + x ) Dann sind X und Y nicht unabhängig (.3.(iii)), aber (x R) µ X+Y µ X Aufgabe µ X µ X 7

18 .3.9 Beispiel Es seien X, Y unabhängige gamma-verteilte Zufallsgrößen mit der Dichte p X (x) λa x a Γ(a) p Y (x) λb x b Γ(b) e λx (0, ) (x) e λx (0, ) (x) mit a, b, λ > 0. Dann ist X + Y auch gamma-verteilt mit den Parametern a + b, λ: p X+Y.3.6(iv) ytx p X (x y) p Y (y) λ(dy) λ a+b Γ(a) Γ(b) e λx λ a+b Γ(a) Γ(b) e λx x λ a+b Γ(a) Γ(b) xa+b e λx 0 (x y) a y b (0, ) (x y) (0, ) (y) λ(dy) (x y) a y b λ(dy) 0 ( t) a t b dt also p X+Y c p a+b,λ, wobei c eine Konstante ist. Da p X+Y und p a+b,λ Dichtefunktionen sind, muss c sein. Folgerung: B(a, b) : B ist die sogenannte Beta-Funktion..3.0 Die χ -Verteilung 0 ( t) a t b dt Γ(a) Γ(b) Γ(a + b) (a, b > 0) Seien X,..., X n unabhängige, N(0, )-verteilte Zufallsgrößen. Die Verteilung der Zufallsgrößen Y n : X X n heißt χ n-verteilung mit dem Freiheitsgrad n. Die Verteilung von Y n heißt χ n -Verteilung mit dem Freiheitsgrad n. Behauptung: Für die Dichtefunktion h n von Y n gilt Beweis: (per Induktion) h n (x) x n e x n Γ ( ) n (0, ) (x) Induktionsanfang: Laut..8 (Aufgabe 53) gilt diese Formel für n Induktionsschritt: h n+ (x) ytx h n (x y) h (y) dy x n Γ ( ) (x y) n e x y e y n y dy π 0 x n Γ ( ) e x n+ n x ( t) n t dt π 0 }{{} x n+ e x Γ ( ) n+ (0, ) (x) n+ B(, n ) Γ( ) Γ( n ) Γ( n+ ) 8

19 Bemerkungen: (i). Exponentialverteilung: h (x) e x (ii). Für die Dichte von Y n gilt: g n (x) x n n Γ ( ) n e x (0, ) (x) (Aufgabe). Hinweis: P( Y n < x) P(Y n < x ) für x > Satz Für eine beliebige Familie {µ i } i I von Verteilungen auf R existiert ein Wahrscheinlichkeitsraum (Ω, A, P) und darauf definierte Zufallsgrößen X i, die unabhängig sind und die gegebenen Verteilungen µ i besitzen. Beweis: Für endliches I {,..., n}: Aufgabe. Hinweis: Produktmaß.3. Aufgabe (i). Es seien X,..., X n unabhängige Zufallsgrößen mit PX i ] p, PX i 0] p mit 0 p. Zu zeigen: X X n ist binomialverteilt mit den Parametern n und p. (ii). B p n B p m B p n+m.3.3 Aufgabe (i). ε x ε y ε x+y (ii). Summe von unabhängigen poissonverteilten Zufallsgrößen ist poissonverteilt. Hinweis: Mit Hilfe von (i) zeigen: Π a Π b Π a+b (iii). X, Y unabhängig, identisch verteilt mit der Dichte f(x) 0,] (x). Gesucht ist die Dichte von X + Y..3.4 Aufgabe Der Zufallsvektor Y (X, X ) (r cos ϕ, r sin ϕ) sei auf der Einheitskreisscheibe K : {(x, x ) : x + x } R gleichverteilt. Man zeige, dass die Polarkoordinaten r und ϕ unabhängig sind, die kartesischen X, X aber nicht..3.5 Aufgabe.3.6 Aufgabe Seien X,..., X n Zufallsgrößen, µ ihre gemeinsame Verteilung auf R n, h : R n R borel-messbar, x (x,..., x n ). Verteilungsfunktion der Zufallsgröße Z : h(x,..., X n ): PZ < t] µ({x : h(x) < t}) dµ(x) h(x)<t (i). Spezialfall: n, Z X Y mit X, Y unabhängig mit Dichtefunktionen f und g. Aufgabe: X Y besitzt eine Dichte p mit ( ) x p(x) y g(y) f dy y 9

20 (ii). Analog: Dichte von X Y (falls Y 0 fast sicher): q(x) y g(y) f(x y) dy.3.7 Aufgabe.3.8 Aufgabe Sei (X n ) n N unabhängig, PX i 0] PX i ] für alle i N. Dann ist absolut konvergent für alle w Ω. (i). S S r r n X n (r (0, )) ist auf dem Intervall 0, ] gleichmäßig verteilt. (ii). Für r k (k N) ist S r absolut stetig. (iii). Für r ( 0, ) ist Sr stetig und singulär. Beweis: Wir zeigen, dass der Wertebereich W (S r ) von S r das Lebesgue-Maß 0 hat. Dazu sei λ das äußere Lebesgue-Maß, definiert für beliebige A R n, ist subadditiv und verschiebungsinvariant. Damit: λ (A B) λ (A) + λ (B) W (S r ) W (0 + r S r ) W (r + r S r ) λ (W (S r )) λ (W (0 + r S r )) + λ (W (r + r S r )) }{{} r λ (W (S r )) < λ (W (S r )) 0 λ(w (S r )) 0 Stetigkeit: q W (S r ) lässt sich darstellen als q ε n r n Darstellung eindeutig für r <. Damit P(S r q) 0..4 Numerische Charakteristik von Zufallsgrößen.4. Definition Sei (Ω, A, P) ein Wahrscheinlichkeitsraum, X eine P-integrierbare oder nichtnegative Zufallsgröße. Dann heißt E(X) : X dp der Erwartungswert von X. Es gilt: (i). E(a X + b Y ) a E(X) + b E(Y ) Ω 0

21 (ii). Ist X c fast sicher, so gilt E(X) c. (iii). Aus a X b fast sicher folgt a E(X) b. (iv). E(X) E( X ) (v). Aus X 0 fast sicher und E(X) 0 folgt X 0 fast sicher. Analoge Definition für komplexe Zufallsgrößen: E(X) E(Re X) + ı E(Im X) für Im X, Re X L (P). Es gilt: E(X) R x dµ X (x) (Folgt aus..0 bzw. 4) Ist X diskret mit den Werten x,..., x n und den zugehörigen Wahrscheinlichkeiten p,..., p n so gilt E(X) x k p k k (falls existent). Wenn X eine Dichte p besitzt, dann E(X) x p(x) λ(dx).4. Satz Es seien X, Y unabhängige P-integrierbare Zufallsgrößen. Dann ist X Y L (P) und Beweis: R E(X Y ) E(X) E(Y ) Bezeichne µ X (µ Y ) die Verteilung von X (Y ), ν sei gemeinsame Verteilung von X, Y auf R. Dann gilt: ( ) ( ) E(X) E(Y ) x dµ X (x) y dµ Y (y) R R Fubini x y d(µ X µ Y )(x, y) R.3.3 x y dν(x, y).. E(X Y ) R.4.3 Bemerkung (i). Die Umkehrung von.4. ist falsch. Sei zum Beispiel X L 3 (P) symmetrisch zum Punkt 0 verteilt (d.h. µ X (B) µ X ( B) bzw.x und X haben die gleiche Verteilung). Definiere Y : X. Dann ist auch X 3 symmetrisch bzgl. 0, E(X) 0 E(X Y ) E(X 3 ) 0 E(X) E(Y ) aber i.a. X und X nicht unabhängig. (ii). Satz.4. gilt auch für komplexwertige Zufallsgrößen. (Aufgabe)

22 .4.4 Beispiele (i). X binomialverteilt mit den Parametern n und p. Dann E(X) ( ) n }{{} k p k ( p) n k k k0 x k Einfacher: Es seien X,..., X n unabhängige Zufallsgrößen mit P(X k ) p, P(X k 0) p. Nach.3. ist X : n i X i binomialverteilt mit den Parametern n und p. Damit: E(X) E( X) n E(X ) n ( p + 0 ( p)) n p (ii). X habe in a, b] gleichmäßige Verteilung. Dann: E(X) x p(x) λ(dx) (iii). X poisson-verteilt mit Parameter a: (iv). X normalverteilt mit der Dichte Dann: E(X) R b a x b a dx b a b a a + b PX k] ak e a k! E(X) k ak e a k! k N 0 k N e a a z: x a σ a a p a,σ (x) m N 0 am m! e (x a) σ π σ a k e a (k )! x p a,σ (x) λ(dx) R σ (σ z + a) e z λ(dz) π σ R σ e z z λ(dz) + a e z λ(dz) π R π R }{{}}{{} 0 π (v). Aufgabe: χ n und χ n-verteilung..4.5 Aufgabe (i). Wie lange muss man im Durchschnitt eine Münze werfen, bis man beide Seiten erhalten hat? (ii). Analog für einen Würfel bzw. für einen k-seitigen Würfel? (k N)

23 .4.6 Definition Als Streuung (Varianz, Dispersion) einer Zufallsgröße X L (P) bezeichnet man die Größe σ : V(X) : var(x) : D (X) : E((X E(X)) ) (X EX) dp σ heißt Standardabweichung. Es gilt: V(X) (x E(X)) dµ X (x) Ist X diskret, so gilt Besitzt X eine Dichte, dann.4.7 Satz Für X, Y L (P) gil: (i). V(X) E(X ) (E(X)) (ii). V(a X + b) a V(X) (iii). V(X) 0 X c fast sicher R V(X) k N R Ω p k (x k E(X)) V(X) (x E(X)) p(x) λ(dx) (iv). V(X + Y ) V(X) + V(Y ) + E(X E(X)) (Y E(Y ))] (v). Sind X und Y unkorreliert, d.h. dann gilt (Ist z.b. erfüllt, wenn X und Y unabhängig.) Beweis: Aufgabe Beispiele E(X Y ) E(X) E(Y ) V(X + Y ) V(X) + V(Y ) (i). X sei binomialverteilt mit den Parametern n und p. Seien X,..., X n unabhängig mit PX i 0] p, PX i ] p, X : n i X i. Dann X binomialverteilt mit den Parametern n und p, E(X i ) E(X i ) p V(X) E(X i ) (E(X i )) p p p ( p) V(X) V( (ii). X gleichmäßig verteilt in a, b]. Bekannt: X).4.7(v) n V(X ) n p ( p) ( p) E(X) E(X) a + b 3

24 Somit: b E(X ) x a b a dx b3 a 3 3 b a a + b + ab 3 V(X) E(X) (E(X)) a + b + ab 3 (b a) (iii). X normalverteilt mit den Parametern a und σ V(X) σ π (x a) e (x a) σ λ(dx) R z x a σ σ z e z λ(dz) π (iv). Aufgabe: V(χ n) n.4.9 Definition σ π R ( z e z ] σ π (0 + π) σ ( a + b ) ) + e z λ(dz) R Als Kovarianz der Zufallsgrößen X, Y L (P) bezeichnet man die Größe cov(x, Y ) : E(X E(X)) (Y E(Y ))] E(X Y ) E(X) E(Y ) X und Y sind unkorreliert cov(x, Y ) 0. Man definiert corr(x, Y ) : cov(x, Y ) D(X) D(Y ) (Korrelationskoeffizienten) für D(X) D(Y ) 0. Es gilt: (i). corr(x, Y ) wegen Cauchy-Schwarz-Ungleichung (ii). corr(x, X), corr(x, X) (iii). corr(x, Y ) 0, falls X, Y unabhängig (iv). V(X X n ) n i V(X i) + i<j cov(x i, X j ).4.0 Satz Seien X, Y L (P) Zufallsgrößen mit D(X) D(Y ) 0. Dann: corr(x, Y ) a, b R, a 0 : Y a X + b fast sicher Beweis: (i). Ohne Beschränkung der Allgemeinheit sei corr(x, Y ). Definiere X : X E(X) D(X) Y : Y E(Y ) D(Y ) 4

25 Dann gilt: E(X ) E(Y ) 0 V(X ) E(X ) E(Y ) Außerdem corr(x, Y ) E(X Y ) nach Voraussetzung. Damit folgt: Also X Y fast sicher, (ii). : Leicht.4. Aufgabe E((X Y ) ) E(X X Y + Y ) + 0 Y E(Y ) + D(Y ) X E(X) D(X) In einer Lotterie werden n Zahlen von den Zahlen,,..., N ausgewählt ( n N). Man berechne die Streuung der Summe S n der gezogenen Zahlen. Lösung: Sei S n : n i X i, wobei X i die i-te gezogene Zahl bezeichnet. V(S n ) i V(X i ) + i<j cov(x i, X j ) X i und (X i, X j ) sind gleichmäßig verteilt auf {,..., N} bzw. {,..., N} {,..., N}\{(k, k); k {,..., N}}. Definiere σ : V(X i ) ϱ : cov(x i, X j ) (Diese Größen hängen nicht von i, j ab.) Damit für n {,..., N}. Speziell für n N: Damit: und V(S n ) n σ + n (n ) ϱ V(S N ) 0 N σ + N (N ) ϱ σ ϱ N (N ) ( V(S n ) n σ n ) N σ E(Xi ) (E(X i )) ( N N k N N k k k ) 6 (N + ) (N + ) (N + ) 4 5

26 .4. Aufgabe.4.3 Aufgabe.4.4 Definition Als Moment k-ter Ordnung einer Zufallsgröße X L k (P) bezeichnet man den Erwartungswert M k (X) : E(X k ) x k dµ X (x) mit k N. Als absolutes Moment bezeichnet man A k (X) : E( X k ) Bemerkungen: R R x k dµ X (x) (i). Aus der Existenz von M k folgt die Existenz von M l für l k, da x l x k +,] (x) (ii). Sei n > k und nehmen wir an, dass A n existiert. Höldersche Ungleichung: A k x k dµ X (x) p> R ( Für p n k > : A k k.4.5 Aufgabe x k p dµ X (x) R A n n Man berechne die (absoluten) Momente der Normalverteilung mit a 0: A k π σk x k e x dx 0 z: x π σk k z k e z dz 0 ( ) π σk k k + Γ ( ( ) k + σ) k Γ π Es gilt: M k A k falls k gerade, M k 0 falls k ungerade..4.6 Aufgabe ) p Verteilungen sind i.a. nicht eindeutig durch ihre Momente bestimmt. Beispiel: Die Zufallsgröße X sei logarithmisch normalverteilt, d.h. sie hat die Dichte Weiterhin sei a und X a besitze die Dichte Zeigen Sie: E(X k ) E(X k a ) e k für k N 0. p(x) x (ln x) e (0, ) (x) π p a (x) p(x) ( + a sin(π ln z)) 6

27 .4.7 Aufgabe.4.8 Aufgabe.4.9 Satz Sei X eine Zufallsgröße mit Verteilungsfunktion F. Existiert EX, so gilt lim x ( F (x)) 0 x lim x F (x) 0 x E(X) Beweis: (nicht prüfungsrelevant) Da EX existiert, gilt R (0, ) x df (x) : ( F (y)) λ(dy) F (y) λ(dy) (,0) R x dµ X (x) < wobei µ X die Verteilung von X ist. (Stieltjes-Integral) Es folgt: Zweite Gleichung analog. 0 lim x lim x x ( F (x)) y df (y) 0 (x, ) Zur Erinnerung, partielle Integration für Stieltjes-Integrale: x f(y) dg(y) f(y) g(y) g(y 0) df(y) (0,x) wobei f und g reelle Funktionen mit endlicher Variation (sind Differenz von monoton wachsenden beschränkten Funktionen). Damit: y df (y) x F ( x) F (y) dy ( x,0) (0,x) 0 (0,x) ( x,0) y df (y) x ( F (x)) + Addition der beiden Gleichungen und x..4.0 Definition (0,x) ( F (y)) dy Sei X (X,..., X d ) ein d-dimensionaler Zufallsvektor (reell oder komplex) so, dass X j L (P) für j,..., d. Dann wird der Erwartungsvektor von X definiert durch EX : (EX,..., EX d ) Für X j L (P) und m j : EX j definiert man die Matrix cov(x) : (c jk ) d j,k wobei c jk : E(X j m j ) (X k m k )] E(X j Xk ) m j m k die Kovarianzmatrix von X. Es gilt: 7

28 (i). Falls X i, X j paarweise unkorreliert ist cov(x) eine Diagonalmatrix. (ii). cov(x) ist positiv semidefinit: d d d d c jk z j z k E z j (X j m j ) z k (X k m k ) j k j k d E z j (X j m j ) 0 j mit z j, z k C beliebig. Seien Y jk integrierbare Zufallsgrößen (j, k,..., n). Wir bilden die Matrix Y : (Y jk ) n j,k (Zufallsmatrix). Definiere EY : (EY jk ) n j,k Erwartungsmatrix von Y. Mit dieser Bezeichnung gilt: mit X als Spaltenvektor wie oben. Aufgabe: wobei A K d d, K {R, C}. cov(x) E((X EX) X EX T ) cov(a X) A cov(x) (Ā)T Seien α (α,..., α d ) N d 0, x (x,..., x d ) R d, µ die Verteilung eines d-dimensionalen Zufallsvektors X. Notation: x α : x α xα d d Dann heißt M α M α (µ) M α (X) : x α dµ(x) R d Moment der Ordnung α von µ bzw. X, falls x x α bzgl. µ integrierbar ist. Analog: absolute Momente A α A α (µ) A α (X) : x α dµ(x) R d.5 Bedingte Wahrscheinlichkeit.5. Motivation Hat bei N Versuchen das Ereignis B genau n-mal stattgefunden und ist bei diesen n Versuchen k-mal zusammen mit B auch das Ereignis A eingetreten, so wird h A B : k n die bedingte relative Häufigkeit von A unter der Bedingung B genannt. Notation: h A, h A B - relative Häufigkeit von B bzw. A B in der gesamten Versuchsreihe. Dann: falls h B 0. h A B k n k N n N h A B P(A B) h B P(B) 8

29 .5. Definition Es sei B A ein Ereignis mit P(B) > 0. Für A A nennt man P(A B) : P(A B) P(B) die bedingte Wahrscheinlichkeit von A unter der Bedingung B. Es gilt: (i). A, B unabhängig P(A B) P(A) (ii). Ist P(A) > 0, so gilt.5.3 Satz P(B A) P(A B) P(B) P(A) Es seien (B n ) n N unvereinbare Ereignisse (paarweise disjunkt) mit P(B n ) > 0 und n N B n Ω. Dann gilt: (i). P(A) n N P(A B n) (ii). P(A) n N P(A B n) P(B n ) (iii). Bayes sche Formel: Beweis: Aufgabe.5.4 Definition P(A B k ) P(B k ) P(B k A) n N P(A B n) P(B n ) Es sei X eine Zufallsgröße und B A ein Ereignis mit P(B) > 0. Dann heißt für t R die Verteilungsfunktion von X bzgl. B..5.5 Aufgabe F (t B) : P(X < t B) Die Wahrscheinlichkeit p k, dass eine Familie k Kinder hat, sei gegeben durch p 0 p a p k ( a) k (k ) mit a (0, ). Von einer Familie ist bekannt, dass sie genau zwei Jungen hat. Wie groß ist die Wahrscheinlichkeit, dass die Familie (i). nur zwei Kinder hat? (ii). genau zwei Mädchen hat? (Annahme: P(M) P(J) ) Lösung: Sei J : Jungen, M : Mädchen, K n : n Kinder. Gesucht: P(K J ), P(M J ) 9

30 Nach.5. gilt: mit für n. Wegen folgt P(J ) P(K J ) P(K ) P(J K ) P(J ) P(M J ) P(J M ) P(J ) P(K n ) p n ( a) (n ) P(J K n ) P(K n ) P(J K n ) n n ( ) n ( a) 4 ( ) n n ( a) n n (n ) n ( a) 4 d dx ( x) 4 n x 4 8 ( a) 7 (Beachte: Nutzung der geometrischen Reihe bei für x 4 ). Außerdem: Man erhält als Ergebnisse: (i) (ii) Aufgabe: Problem der besten Wahl P(J M ) P(K 4 ) P(J M K 4 ) ( ) 4 ( a) ( a) 64 Situation: n Tankstellen zur Auswahl, Benzin reicht gerade bis zur n-ten Tankstelle. Ziel: an der billigsten Tankstelle tanken. Strategie: An s (s ) Tankstellen vorbeifahren, den niedrigsten Preis notieren; wenn danach eine billigere Tankstelle kommt dort tanken; wenn nicht bei der letzten. Wie s wählen? da p(s) : Pmit dieser Strategie die billigste gewählt] Pk-te Tankstelle ist die billigste und wird gewählt] ks Pk-te Tankstelle die billigste] Pk-te TS gewählt k-te TS billigste] ks ks n s k max Pk-te TS gewählt k-te TS billigste] Pbilligste von ersten k- ist unter ersten s-] s k 30

31 Damit p(s) s,n groß s n n ks ( k s n n k s (ln(n ) ln(s )) n ( ) s n n ln s s n ln n s s k k ) k Maximum, wenn s n e (Ableiten nach s). Dann p(s) e 0,

32 Gesetze. 0--Gesetze.. Lemma Für jede Zahl p 0, ) gilt: Beweis: Mittelwertsatz der Differentialrechnung: mit p < η <... Lemma ln( p) p ln( p) ln ln( p) p η p Für jede Folge {p n } reeller Zahlen mit 0 p n gilt: n p k lim ( p k ) 0 Beweis: k n k Ohne Beschränkung der Allgemeinheit sei 0 p n < für alle n N. Nach.. ist und es folgt ( n ) ln ( p k ) k n k..3 Satz: Lemma von Borel-Cantelli Sei {A n } A eine Folge von Ereignissen und Dann gilt: ln( p n ) p n ln( p k ) k k p k ( p k ) e n k p k 0 (n ) A : lim sup A n n A m n N m n 3

33 (i). P(A n) < P(A) 0 (ii). Ist die Folge {A n } unabhängig, so gilt: P(A n ) < P(A) 0 P(A n ) P(A) Beweis: (i). A m n A m nach Definition von A (für alle n N), also P(A) P m n A m P(A m ) 0 (n ) mn (ii). Sei {A n } unabhängig und P(A n). Nach.. ist Nach.. gilt für alle n N: also P(A). P(A) lim..4 Folgerung: 0--Gesetz von Borel lim N mn lim n N mn N ( P(A m )) N ( P(A m )) 0 Existiert in einer Folge {A n } von Ereignissen eine unabhängige Teilfolge {A nk } k mit P(A n k ), so ist P(lim sup A n ). Beweis: Folgt aus lim sup A nk lim sup A n und aus Beispiele (i). Eine Münze wurde unendlich oft hintereinander geworfen. Man gebe die Wahrscheinlichkeit dafür an, dass unendlich oft zweimal hintereinander Kopf geworfen wird. Lösung: Sei A n : sowohl beim n-ten als auch beim (n + )-ten Wurf Kopf. {A n } ist nicht unabhängig, aber {A n } ist unabhängig. Wegen P(A n ) 4 folgt P(A n ) n N und aus..4 somit P(lim sup A n ). Bemerkung: Was ist hier (Ω, A, P)? Ω : {0, }, A: Produkt σ-algebra, P: Produktmaß (ii). Eine Folge {t n } reeller Zahlen nennen wir eine Unterfolge (Oberfolge) für die Folge der Zufallsgrößen (X n ), wenn die Ereignisse X n > t n ] (bzw. X n t n ]) mit Wahrscheinlichkeit unendlich oft eintreten. 33

34 Sind die X k unabhängig, so ist jede Folge {t n } Ober- oder Unterfolge für (X n ). Das folgt aus..3 und aus der Tatsache, dass die Reihen PX n > t n ] PX n t n ] ( PX n > t n ]) nicht gleichzeitig konvergieren können. Bemerkung: Es ist möglich, dass eine Folge Ober- und Unterfolge ist. Beispiel:..6 Aufgabe X n 0 t n ( ) n (i). Es sei (a n ) n N eine Folge reeller Zahlen mit a a Dann gilt: (ii). Die Reihe ist konvergent für α >. (iii). Für a (0, ), b > gilt..7 Lemma a n < k a k < k n α (n log b n) a Es seien a, p (0, ), log : log p und k n : n log n. Dann ist (k n ) eine streng monoton wachsende Folge von positiven Zahlen mit (i). k n + a log k n + < k n+ für n hinreichend groß (ii). n k n a Beweis: (i). Nach Definition gilt k n n log n. Damit folgt: a log k n a log(n log n) a (log n + log log n) k n + a log k n n log n + a (log n + log log n) (n + ) log n ( a) log n + a log log n k n+ + ( a) log n + a log log n }{{} (n ) < k n+ Bei ( ): k n+ + (n + ) log(n + ) (n + ) log n (ii). Folgt aus..6(iii) 34

35 ..8 Aufgabe Sei (X n ) n N eine Folge unabhängiger Zufallsgrößen mit PX n ] p, PX n 0] p mit p (0, ). Für n N definieren wir die Zufallsgrößen N n durch { 0 Xn (w) 0 N n (w) : j X n (w)... X n+j (w), X n+j 0 (i). Zu zeigen: PN n j] p j ( p) PN n j] p j E(N n ) p p (ii). Ist n + j m, so sind die Ereignisse N n j] und N m k] unabhängig für k Satz Es gilt: Beweis: Für a > gilt: Damit P lim sup N ] n n log n PN n > a log n] PN n a log n ]..8(i) p a log n p a log n p n a PN n > a log n, unendlich oft] 0 wegen Borel-Cantelli,..6.(ii). Damit folgt für alle a > : P lim sup N ] n n log n a P lim sup N ] n n log n Die Ereignisse N n > a log n] sind nicht unabhängig. Sei jetzt a (0, ) und k n n log n aus..7. Dann sind die Ereignisse A n : N kn a log k n + ] für n n 0 unabhängig, wenn n 0 hinreichend groß ist (..8(ii),..7(i)). Aus folgt mit..7(ii): und mit Borel-Cantelli: P(A n ) p a log kn + p a log kn+ p k a n nn 0 P(A n ) a (0, ) : PN n a log n, unendlich oft] PN kn a log k n, unendlich oft] P lim sup N ] n n log n PN kn a log k n +, unendlich oft] 35

36 ..0 Satz Es sei (X n ) eine Folge unabhängiger Zufallsgrößen. Dann gilt: Beweis: lim X n 0 fast sicher k N : n Definiere A : {w : X n (w) 0}. Aus P X n ] < k A {w : k n 0 n n 0 : X n (w) < k } k n 0 nn 0 {w : X n (w) < k } folgt, dass A ein Ereignis ist, also A A. Borel-Cantelli: P X n0 ] ( < P k n 0 n 0 ( P Bemerkung: nn 0 n 0 nn 0 P(A) X n k ] ) 0 X n < k ] ) Unabhängigkeit ist wichtig! Beispiel: Ω 0, ], A B(0, ]), P λ 0,], X n 0,an) mit a n 0 (n ), 0 < a n. Dann ist lim X n 0 P X n ] a n n k.. Definition Es sei (X n ) eine Folge von Zufallsgrößen. Ein Ereignis A A heißt ein terminales Ereignis (Restereignis), falls A σ(x n, X n+,...) für alle n N. Hierbei bezeichnet σ(x n, X n+,...) die σ-algebra, die durch die Ereignisse der Form X j B] (j n, B B(R)) erzeugt wird. Vergleiche Skript Maßtheorie, Definition 5.5. Beispiel: A r : lim k supx k > r] X k > r] kn }{{} σ(x n,x n+,...).. Aufgabe Sei (X n ) eine Folge von unabhängigen Zufallsgrößen. Zu zeigen: (i). A σ(x n+, X n+,...) A ist unabhängig von der σ-algebra σ(x,..., X n ) (ii). A unabhängig von σ(x,..., X n ) für alle n A ist unabhängig von σ(x n ; n N). 36

37 ..3 Satz: 0--Gesetz von Kolmogorov Seien (X n ) unabhängige Zufallsgrößen. Ist A ein terminales Ereignis, so gilt P(A) {0, }. Beweis: Sei A σ(x n+, X n+,...) für alle n 0. Dann ist A unabhängig von σ(x,..., X n ) nach..(i) für alle n N. Nach..(ii) ist A unabhängig von σ(x n ; n N). A ist aber in σ(x n ; n N) enthalten, also A unabhängig von sich selbst:..4 Definition Notation: R : i R, P(A) P(A A) P(A) P(A) P(A) 0 P(A) B : σ({b n R R... R ; B n B(R n )}) Diese Mengen B bilden eine Algebra (Aufgabe). Eine Menge B R heißt permutierbar, wenn t : (t, t,...) B τ(t) : (t τ(), t τ(),...) B für eine beliebige endliche Permutation τ von {,,...}, d.h. τ(j) j bis auf endlich viele j N. Es sei nun (X n ) n N eine Folge von Zufallsgrößen und Y : (X, X,...). Die Abbildung Y : Ω R ist B -messbar, d.h. Y ist eine R -wertige Zufallsgröße, da Y B] (X,..., X n ) B n ] A (Messbarkeit am Erzeuger). Ist die Menge B B permutierbar, so heißt auch das Ereignis A : Y B] permutierbar. Beispiel: Das Ereignis X n 0] ist permutierbar...5 Satz: 0--Gesetz von Hewitt und Savage Sind die Zufallsgrößen (X n ) n N unabhängig und identisch verteilt und ist A ein permutierbares Ereignis, dann gilt P(A) {0, }...6 Aufgabe (Bezeichnungen wie in..4, Voraussetzungen wie in..5) Bezeichne µ die Verteilung von Y, d.h. µ(b) : PY B] für B B. Für D n, D B (n N) schreiben wir D n D, wenn Dann gilt: (i). D n D µ(d) lim n µ(d n ) lim µ(d n D) 0 n (ii). D n D, C n D D n C n D (iii). Ist τ : R R eine injektive Abbildung, so ist τ(c D) τ(c) τ(d) (iv). Ist τ eine endliche Permutation, so gilt B B : µ(τ(b)) µ(b) Hinweis: Genügt für Erzeuger zu zeigen (siehe..4) + Unabhängigkeit benutzen 37

38 ..7 Beweis (Satz..5) Sei A Y B] ein permutierbares Ereignis, d.h. Y (X, X,...), B B permutierbar. Für (x, x,...) R setzen wir τ n (x, x,...) : (x n+, x n+,..., x n, x,..., x n, x n+,...) τ n ist eine endliche Permutation. Aus dem Approximationssatz folgt die Existenz von B kn B(R kn ) mit D n : B kn R R... B Behauptung: τ kn (D n ) B τ kn (B). Dies folgt aus Aus..6(ii) folgt somit Man erhält: und µ(τ kn (D n ) τ kn (B))..6(iii) µ(τ kn (D n B))..6(iv) µ(d n B) 0 D n τ kn (D n ) B }{{} B kn B kn R... P(A) PY B] µ(b) lim n µ(d n) lim n P(X,..., X kn ) B kn ] P(A) PY B] lim,..., X kn ) B kn B kn ] n lim,..., X kn ) B kn ] n also P(A) P(A), d.h. P(A) {0, }. Bei ( ): Unabhängigkeit und Gleichverteilung der (X n )..8 Aufgabe Sei (X n ) n N eine Folge von unabhängigen Zufallsgrößen. (i). Die Folge (X n ) konvergiert oder divergiert fast sicher. (ii). Die Reihe X n konvergiert oder divergiert fast sicher. (iii). Wenn X n X oder b n n i X i X fast sicher mit b n, dann ist X fast sicher konstant. Hinweis: 0--Gesetz von Kolmogorov. Einige Ungleichungen.. Satz: Ungleichung von Hájek-Rènyi Gegeben seien die unabhängigen Zufallsgrößen X,..., X n L (P) und n positive Zahlen r r... r n. Wir setzen i S i : (X k EX k ) für i {,..., n}. Dann gilt für jedes m {,..., n} und jedes ε > 0: ] P max r i S i ε m m i n ε rm D (X j ) + rj D (X j ) k j jm+ 38

39 .. Folgerung: Ungleichung von Kolmogorov Beweis: r i, m in Satz.. ] P max S i ε i n ε..3 Folgerung: Ungleichung von Tschebysheff D (X i ) i P X EX ε] D (X) ε Beweis: m n, r, X X in Satz.. Beweis von Satz..: (i). Ohne Beschränkung der Allgemeinheit sei EX j 0 für j,..., n. Dann ist (ii). Sei Definiere Dann ist A n im B i. Setze A : S i i j X j ] max r i S i ε m i n B i : r i S i ε] A m : B m A m+ : B c m B m+. A n : ( n im Per Konstruktion gilt A i B i, n jm A j A. Damit wobei r n+ : 0. Wegen folgt EZ im j m j im r m P(A) Z : B c i ) B n P(A j ) () jm (ri ri+) Si im E(S i ) D (S i ) i (ri ri+) D (X j ) (ri ri+) D (X j ) + m D (X j ) + j jm+ i D (X j ) j jm+ ij r j D (X j ) ε EZ ist also die rechte Seite der Ungleichung in Satz... (ri ri+) D (X j ) 39

40 (iii). Wir setzen Y i : Ai für i m,..., n. Behauptung: Für m i j n: Beweis: E(Y i S j ) ε r i P(A i ) () Sei u ij : S j S i j ki+ für m i j n. Dann ist S j (S i + u ij ), also E(Y i S j ) E(S i Y i ) + E(Y i u ij) + E(Y i S i u ij ) (3) Aufgabe: Die Zufallsgrößen Y i S i und u ij sind unabhängig, also E(Y i S i u ij ) 0 wegen E(u ij ) 0. Aus Positivität der Summanden: E(Y i Sj ) E(Y i Si ) Si dp A i (iv). Aus Z 0 und A n jm A j..4?..5 Satz: Bernstein folgt: A i B i Z Ai Z }{{} im Y i ( n ) EZ E Y i Z i m () im im jm n im ji ε im ji ε ri P(A i ) X k (rj rj+) E(Y i Sj ) im (r j r j+) E(Y i S j ) (rj rj+) ε ri P(A i ) r i ji P(A i ) (rj rj+) () ε P(A) Für jede stetige Funktion f : 0, ] R gilt f(x) lim f n k0 ( ) k n für x 0, ], wobei die Konvergenz gleichmäßig ist. Beispiel: Für n : f(0) + (f() f(0)) x ( ) n x k ( x) n k k 40

41 ..6 Folgerung: Satz von Weierstraß Jede stetige Funktion f : 0, ] R lässt sich gleichmäßig durch Polynome approximieren. Beweis: (von Satz..5) Für beliebige x 0, ] und n N sei Y x n eine Zufallsgröße so, dass n Y x n binomialverteilt ist mit den Parametern n und x. Dann gilt: Damit E(Y x n ) x E(f(Y x n )) f k0 Deshalb brauchen wir nur zu zeigen, dass ( ) k n D (Y x n ) ( x) x n ( ) n x k ( x) n k k lim E(f(Y n x ) f(x)) 0 n gleichmäßig auf 0, ]. Nach Tschebysheff-Ungleichung: P Y x n x > n 4 ] n D (Y x n ) n Sei K eine Konstante mit f K und bezeichne Dann ist P(A) n und E( f(y x n ) f(x) ) da f gleichmäßig stetig...7 Definition Ω A A : Y x n x > n 4 ] f(yn x (w)) f(x) dp(w) f(yn x (w)) f(x) dp(w) + K n + sup y z n 4 0 (n ) f(y) f(z) x ( x) n Ω\A f(y x n (w)) f(x) dp(w) Es sei X eine Zufallsgröße. Eine reelle Zahl m m(x) heißt Median (Zentralwert) von X, wenn PX m] PX m] gilt. Im Allgemeinen ist der Median nicht eindeutig, z.b. für PX 0] PX ] sind alle m 0, ] Mediane. Jede Zufallsgröße X besitzt mindestens einen Median, denn m : inf x R {x R : PX x] } Dann gilt PX m ε] < für alle ε > 0, also PX m]. X heißt symmetrisch, wenn PX < t] PX > t] für alle t R. Dann ist 0 ein Median, EX 0 falls X L (P). Summen von unabhängigen, symmetrischen Verteilungen sind symmetrisch. 4

42 ..8 Satz: Ungleichung von Lévy Es seien X,..., X n unabhängige Zufallsgrößen und Für jedes ε > 0 gilt: S j : j i X i ] P max (S j m(s j S n )) ε j n ] P max S j m(s j S n ) ε j n wobei m(y ) einen beliebigen Median von Y bezeichnet. Beweis: (i). Sei S 0 : 0, T (w) : die kleinste Zahl j {,..., n} mit S j (w) m(s j S n ) ε PS n ε] P S n ε] falls eine solche Zahl j existiert, sonst T (w) : n +. Definiere B j : m(s j S n ) S j S n ] für j n. Dann gilt P(B j ), T j] σ(x,..., X j ) für j,..., n, B j σ(x j+,..., X n ). Es folgt, dass T j] und B j unabhängig nach... Wegen gilt S n ε] PS n ε] n j (B j T j]) P(B j T j]) j P(B j ) PT j] j (ii). Aufgabe (Hinweis: in (i) X j anstelle von X j )..9 Folgerung P T n] Es seien X,..., X n unabhängige symmetrische Zufallsgrößen, Für jedes ε > 0 gilt: S j : ] P max S j ε j n ] P max S j ε j n j i X i PS n ε] P S n ε] Beweis: Folgt aus..8 wegen m(s j S n ) 0 für j,..., n (Symmetrie) 4

43 ..0 Aufgabe Seien A i A für i,..., n mit n. Dann gilt: ( ( n) n n ) n P A i P(A i ) n n.. Aufgabe.. Satz: Jensensche Ungleichung i i ( ) n Es seien I R ein Intervall, f : I R eine konvexe Funktion und X : Ω I mit X L (λ ). Dann gilt E(f (X)) < und f(ex) E(f(X)) : E(f (X)) + E(f + (X)) Ist f im Punkt EX streng konvex, dann gilt die Gleichheit genau dann wenn X fast sicher konstant ist. Beweis: (i). Sei h(t) : f(ex) + a (t EX) eine Gerade durch den Punkt (EX, f(ex)) mit h(t) f(t) für alle t I. Damit f (X) h (X) und somit E(f (X)) E(h (X)) < also ist E(f(X)) definiert und (ii). Im Fall der Gleichheit gilt E(f(X)) E(h(X)) f(ex) wegen f(x) h(x) > 0 für X(w) EX. E(f(x) h(x)) 0 f(x) h(x) 0 fast sicher X EX fast sicher Bemerkung: Bereits in Teil (Maßtheorie) in 3 für positive Funktionen bewiesen...3 Definition X sei eine Zufallsvariable mit Werten S : {s,..., s n } und p(s) : PX s] für s S. Unter der Entropie von X versteht man die Zahl H(X) : E( log p(x)) s S p(s) log p(s) wobei 0 log 0 : 0 gesetzt wird...4 Aufgabe Seien X, Y wie in..3. Zu zeigen: (i). 0 H(X) log n (ii). 0 H(X) X c fast sicher, H(X) log n X ist gleichmäßig verteilt 43

44 (iii). H(X, Y ) H(X) + H(Y ), Gleichheit X und Y unabhängig (iv). Mit q(s) : PY s] gilt: s S ( ) p(s) p(s) log 0 q(s) mit Y mit Werten in S. Sogenannter Kullback-Leibler-Abstand zwischen p und q (nicht symmetrisch). Bemerkung: Für a 0, b > 0 definieren wir 0 log 0 a 0 log a 0 b log b 0 b log 0 b Hinweis: Jensensche Ungleichung mit f log..3 Konvergenz von Zufallsgrößen.3. Definition Sei (Ω, A, P) ein Maßraum. Eine Folge (X n ) n N heißt : 0 : 0 : : (i). fast sicher konvergent gegen eine Zufallsgröße X, wenn Plim n X n X], d.h. für P-fast alle w Ω. lim X n(w) X(w) n (ii). konvergent in Wahrscheinlichkeit gegen die Zufallsgröße X, wenn für alle ε > 0: lim P X n X > ε] 0 n (iii). konvergent in Verteilung gegen die Zufallsgröße X, wenn für jeden Stetigkeitspunkt x von F gilt: lim n F n(x) F (x).3. Anmerkungen (i). w Ω : lim X n X(w)] ist ein Ereignis, siehe..0. (ii). Eindeutigkeit des Grenzwertes: () X n X, X n Y fast sicher X Y fast sicher () Konvergiert (X n ) n N in Wahrscheinlichkeit gegen X und auch gegen Y so gilt X Y fast sicher. Das folgt aus P X Y > ε] P X n X > ε ] + P X n Y > ε ] 0 (n ) P X Y > ε] 0 für alle ε > 0. Also X Y fast sicher wegen X Y ] X Y ] k k 44

45 (3) Für Konvergenz in Verteilung ist Eindeutigkeit von X im allgemeinen nicht gegeben, siehe Beispiel.3.5(ii)..3.3 Aufgabe Es seien F eine stetige Verteilungsfunktion und (F n ) n N eine Folge von Verteilungsfunktionen so, dass für alle x R gilt: lim n F n(x) F (x) Dann liegt gleichmäßige Konvergenz vor..3.4 Satz X n X fast sicher X n X in Wahrscheinlichkeit X n X in Verteilung Beweis: (i). Annahme: X n X fast sicher. Sei ε > 0. Setze ] A : lim X n X A n Dann P(A) nach Voraussetzung. Seien B n : m n : X m X ε] Dann B n A für alle n N, B n B n+. Es gilt B n A Damit: Wegen B m m B n gilt und damit ( ) P B n ( ) P B n lim B m m P(A) B n ( ) lim P(B n) P B n n Sei A n : X n X ε]. Dann A n B n für n N. Mit P(A n ) P(B n ) folgt lim P(A n) lim P X n X ε] n n (ii). Annahme: X n X in Wahrscheinlichkeit. Seien ε > 0, A n : X n X ε] Dann gilt nach Voraussetzung lim n P(A n ). Es folgt: F n (t) PX n < t] P(X n < t] A n ) + P(X n < t] A c n) P(X n < t] A n ) + P(A c n) PX n < t, X n X ε] + P(A c n) PX n < t, X X n ε] + P(A c n) PX < ε + t] + P(A c n) F (t + ε) (n ) 45

46 d.h. Mit.. folgt wie oben: lim sup F n(t) F (t + ε) n Damit für alle ε > 0: F n (t) P(X n < t] A n )... P(X < t ε] A n ) lim n inf F n(t) F (t ε).. F (t ε) PX < t ε] (n ) F (t ε) lim n inf F n(t) lim n sup F n(t) F (t + ε) Sei t eine Stetigkeitsstelle von F. Dann für ε 0:.3.5 Beispiele F (t) lim n(t) lim n(t) F (t) n n lim n(t) n F (t) (i). Sei Ω 0, ], A B0, ], P λ A und für n N definiere X i n : i n, i n] i,..., n Definiere Folge (X n ) n durch X, X, X, X3, X3, X3 3, X4,.... Dann (( i PXn i > ε] λ n, i )) 0 (n ) n n für ε (0, ), also lim P X n 0 > ε] 0 n d.h. X n 0 in Wahrscheinlichkeit. Aber: Für kein w Ω liegt punktweise Konvergenz vor. (ii). Ω 0, ], A B0, ], P λ A, Dann X n+ : 0, ] X n :,] 0 x 0 F n (x) 0 < x x > Für F (x) : F n (x) für x R folgt X n X i in Verteilung für i,..3.6 Satz Für eine Folge (X n ) n N von Zufallsgrößen sind die folgenden Aussagen äquivalent: (i). Es gibt eine Zufallsgröße X so, dass X n X in Wahrscheinlichkeit. (ii). ε > 0 : lim sup P X m X n > ε] 0 n m n (iii). Es gibt eine Zufallsgröße X so, dass jede Teilfolge von (X n ) n N eine Teilfolge besitzt, die fast sicher gegen X konvergiert. 46