Universität Leipzig, SoSo 2013

Transkript

1 Vorlesung Wahrscheinlichkeitstheorie I Universität Leipzig, SoSo 2013 Prof. Dr. Max v. Renesse renesse@uni-leipzig.de Sprechstunde: Di , A 337 Übungen: Mo A 314 K. Zimmermann Mi A 314 T. Weihrauch

2 Literatur S.R.S. Varadhan Probability Theory, American Math. Society, 2001 R. Durret Probability: Theory and Examples, Duxbury Press, 1996 A. Klenke Wahrscheinlichkeitstheorie, Springer Verlag, 2008 H. Bauer Wahrscheinlichkeitstheorie, de Gryuter, 1990 H.-O. Georgii Stochastik, de Gruyter Verlag, 2009 Skripten H. Bauer Maß- und Integrationstheorie, de Gruyter Verlag, 1992 W. König Wahrscheinlichkeitstheorie, U Leipzig & TU Berlin 2012 M. Röckner Wahrscheinlichkeitstheorie, U Bielefeld 2012 K.-T. Sturm Wahrscheinlichkeitstheorie, U Bonn 2012 P. Pfaffelhuber Wahrscheinlichkeitstheorie, Stochastische Prozesse, Stochastische Integration und Finanzmathematik, U Freiburg, 2012

3 Kapitel 1: Grundlagen

4 1.1 Die Kolmogorov schen Axiome

5 Ein Beispiel Zufällige Irrfahrt in zwischen drei Kammern/ Zuständen. Pro Zeitschritt ein Sprung. Start in G. Übergangswahrscheinlichkeiten wie angegeben: x, y {G, B, R} : p xy [0, 1]. Aufgabe: Mathematische Beschreibung des zufälligen Verlaufs (bei unendlichem Zeithorizont)?

6 Beispiel, Forts. Menge aller Verläufe Ω = {ω = (ω 0, ω 1,... ) {G, R, B} N, ω 0 = G} Wahrscheinlichkeit für einen einzelnen Verlauf Menge aller Ereignisse 3 P(ω) = p ωi 1,ω i < 4 = 0 i=1 i=1 E = {E E Ω} Beispiel: E = {ω Ω ω 1 = B, ω 2 = G} Wahrscheinlichkeitsfunktion / Wahrscheinlichkeitsmaß P : E [0, 1] Beispiel: P({ω Ω ω 1 = B, ω 2 = G}) = = 2 6.

7 Wahrscheinlichkeitsraum (Kolmogorov 1933) Definition 1.1 Ein Wahrscheinlichkeitsraum ist ein Tripel (Ω, F, P) bestehend aus einer Menge Ω einer σ-algebra F 2 Ω und einem Maß P : F [0, 1] mit P(Ω) = 1. Bezeichnungen Ω Grundraum ω Ω Zufallsparameter F Menge der (beschreibbaren/beobachtbaren) Ereignisse E F Ereignis P Wahrscheinlichkeitsmaß. P(E) Wahrscheinlichkeit von E

8 1.2 Wiederholung: Maße und deren Konstruktion

9 Mengensysteme Definition 1.2 Es sei Ω eine Menge und P(Ω) = 2 Ω die zugehörige Potenzmenge. 1 Ein Mengensystem E 2 Ω heißt σ-algebra, falls 1) Ω E 2) A, B E A \ B E 3) A k E k N k N A k E. 2 Ein Mengensystem E 2 Ω heißt Ring falls 1) E 2) A, B E A \ B E 3) A, B E A B E Bemerkung Ein Ring E 2 Ω mit Ω E heißt Algebra 1. Definition 1.3 Ein Tupel (E, E) aus einer Menge E und einer σ-algebra E 2 E heißt messbarer Raum. 1 + ˆ=, ˆ=

10 Definition 1.4 Satz 1.1 Definition 1.5 Für E 2 Ω heißt σ(e) := die von E erzeugte σ-algebra. E S 2 Ω S σ-algebra σ(e) ist eine σ-algebra und für jede andere σ-algebra S 2 Ω mit E S gilt σ(e) S. Es sei (X, τ) ein topologischer Raum, dann heißt B(X ) = σ(τ) die Borel sche σ-algebra auf X. S

11 Maß und Inhalt Definition Eine Abbildung µ : E [0, ] auf einer σ-algebra E 2 Ω heißt Maß, falls µ( A k ) = µ(a k ) k N k N für alle Folgen {A k, k N} E mit A k A l = k l. 2 Eine Abbildung µ : E [0, ] auf einem Ring E 2 Ω heißt Inhalt, falls µ(a B) = µ(a) + µ(b) A, B E, A B =.

12 Prämaß auf einem Ring Definition 1.7 Ein Inhalt µ : E [0, ] auf einem Ring E 2 Ω heißt Prämaß, falls µ σ-additiv auf E ist, d.h. µ( A k ) = µ(a k ) k N k N falls {A k, k N} E mit A k A l = k l s.d. k N A k E.

13 Stetigkeit von (Prä-)Maßen Satz 1.2 Für einen Inhalt µ auf einem Ring E 2 Ω sind äquivalent 1 µ ist ein Prämaß 2 µ ist σ-subadditiv auf E, d.h. für A = k N A k E gilt µ(a) µ(a k ). k N 3 Für alle Folgen (A n ) n N, A n E mit A n A E gilt 2 lim µ(a n) = µ(a). n Falls µ(a) < für alle A E ist dies äquivalent zu 4 Für alle Folgen (A n ) n N, A n E mit A n A E gilt 3 lim µ(a n) = µ(a). n 2 D.h. A n A n+1 n und na n = A E 3 D.h. A n A n+1 n und na n = A E

14 Äußeres Maß Definition 1.8 Definition 1.9 Eine Abbildung µ : 2 Ω [0, ] heißt äußeres Maß, falls 1) µ( ) = 0 2) A B Ω µ(a) µ(b). 3) µ( k N A k) k N µ(a k) Es sei µ ein äußeres Maß auf 2 Ω. Eine Menge C Ω heißt µ-messbar, falls µ(a) = µ(a \ C) + µ(a C) A Ω. Satz 1.3 (Caratheodory) Es sei µ ein äußeres Maß auf 2 Ω, dann ist die Menge M = {C Ω C µ-messbar} 2 Ω eine σ-algebra und µ : M [0, ] ein Maß.

15 Fortsetzungssatz Satz 1.4 Es sei µ : E [0, ] ein Inhalt auf einem Ring E 2 Ω. Die Abbildung µ : 2 Ω [0, ] µ (C) := inf { ist ein äußeres Maß auf 2 Ω. k N µ(a k ) A k E, k N, C k Die Mengen A E sind µ -messbar, d.h. E M. Falls µ : E [0, ] ein Prämaß ist, gilt µ(a) = µ (A) A E. A k }

16 Eindeutigkeitssatz 4 Satz 1.5 Es sei F 2 Ω eine σ-algebra und E 2 Ω ein durchschnittsstabiles Erzeugendensystem von F, d.h. σ(e) = F und A B E A, B E. Bemerkung Zudem existiere eine Folge E n E, n N so dass Ω = n E n. Dann sind zwei beschränke Maße µ, ν : F [0, [ identisch genau dann, wenn ν(e) = µ(e) E E. Falls µ(ω) = folgt die Aussage unter der Zusatzannahme, dass µ σ-endlich ist: Es ex. eine Folge {E n } E mit E n Ω und µ(e n ) < n. 4 Beweis über Dynkin-Systeme: E 2 Ω heißt Dynkin-System, falls 1) Ω E 2) A E A c = Ω \ A E 3) A k E k N und A k A l = k l k N A k E. Das von einer -stabilen Menge erzeugte D.-System ist eine σ-algebra.

17 Beispiel: Lebesgue-Maß auf R Satz 1.6 Bew: Es gibt auf B(R) genau ein Maß λ mit λ(]a, b]) = b a ( Lebesgue-Maß auf R). (Eindeutigkeit) Von halboffenen Intervallen erzeugter Ring R := {I = n i=1]a i, b i ] a 1 b 1 a 2 b n, n N}. Inhalt µ : R [0, ] µ( n i=1]a i, b i ]) = n b i a i. Jede offene Menge O A lässt sich als abzählbare Vereinigung von Mengen aus R darstellen und umgekehrt, folglich gilt i=1 σ(r) = σ(τ) = B(X ). Die Eindeutigkeit einer Fortsetzung von µ auf σ(r) folgt aus dem Eindeutigkeitssatz, da R stabil unter.

18 Bew: (Forts.) (Existenz) Behauptung: µ ist Prämaß, d.h. σ-additiv auf R. Satz 1.2 = Genügt zu zeigen: µ ist σ-subadditiv auf R. Sei o.b.d.a. ]a, b] k ]a k, b k ]. Sei ɛ > 0. Wähle b k > b k, s.d. µ(]a k, b k ]) µ(]a k, b k ]) + ɛ2 k. Wähle a > a, so dass µ(]a, b]) µ(]a, b]) ɛ. [a, b] k ]a k, b k [ Kompaktheit von [a, b] = Ex. N N, s.d. ]a, b] [a, b] N k=1 ]a k, b k [ Also µ(]a, b]) N k=1 µ(]a k, b k ]) N k=1 µ([a k, b k ]) + ɛ k 2 k k µ(]a k, b k ]) + 2ɛ µ(]a, b]) k µ(]a k, b k ]) + 3ɛ ɛ > 0 Also µ(]a, b]) k µ(]a k, b k ]) wie behauptet. Bemerkung Analog für das mehrdimensionale Lebesgue-Maß λ d auf R d.

19 Beispiele, Forts. Satz 1.7 Jede rechtsstetige nicht-fallende Funktion F : R R 0 mit F (x) 0 für x definiert ein eindeutgiges (Lebesgue-Stietljes-)Maß µ auf (R, B(R)) vermöge µ(]a, b]) = F (b) F (a). Umgekehrt definiert ein Maß µ auf (R, B(R)) ein solche Funktion F gemäß F (x) := µ(], x]). Bew: Existenz und Eindeutigeit von µ analog zum Beweis für λ. Umkehrung folgt aus der Stetigkeit von µ: x n x ], x n ] ], x] F (x n ) = µ(], x n ]) µ(], x]) = F (x). Definition 1.10 F (x) := µ(], x]) heißt Verteilungsfunktion von µ.

20 Definition 1.11 Nullmengen 1 Es sei µ ein Maß auf einer σ-algebra F 2 Ω. Dann heißt N Ω eine µ-nullmenge, falls ein F F existiert mit N F und µ(f ) = 0. 2 Die σ-algebra F heißt µ-vollständig, falls F bereits alle µ-nullmengen enthält. Definition 1.12 Für eine σ-algebra F ist F := {A 2 Ω, F F : A F ist µ-nullmenge} Definition 1.13 Bemerkung die minimale µ-vollständige σ-algebra, die F enthält. F heißt die Vervollständigung von F (bzgl. µ). Eine Eigenschaft ( Prädikat ) e : Ω {0, 1} auf einem Wahrscheinlichkeitsraum (Ω, F, P) gilt P fast sicher falls N := {ω Ω e(ω) = 0} ist P Nullmenge. Abzählbare Vereinigungen von Nullmengen sind Nullmengen.

21 Lebesgue-messbare Mengen 5 Satz 1.8 Sei µ ein Inhalt auf einem Ring R 2 Ω und µ : 2 Ω : [0, ] das zugeh. äußere Maß, M := {M Ω M µ -messbar}. Dann ist (Ω, M, µ ) vollständig. Definition 1.14 Korollar 1.1 Satz 1.9 Satz 1.10 (Banach-Tarski) Korollar 1.2 L d := {A R d A λ d -messbar} (R d, L d, λ d ) ist vollständig. A R d ist λ d -messbar ɛ > 0 F R d offen, U R d abgeschlossen s.d. F A U und λ d (U \ F ) < ɛ. Für A, B R d mit nichtleerem Innern gibt es eine Folge von Mengen C k R d und Bewegungen β k von R d, k N, s.d. A = k C k und B = K β k(c k ). Die Inklusionen B(R d ) L d P(R d ) sind echt. 5 Siehe Elstrodt Maß- und Integrationstheorie, Springer Verlag

22 Wahrscheinlichkeitsräume Beispiele Bsp. 1.1 Gleichverteilung auf [0,1]. Bsp. 1.2 (Ω, F, P) = ([0, 1], B([0, 1]), λ) Dirac-Punktmaß in m R auf R (Ω, F, P) = {(R, B(R), δ m (dx)) 1 falls m A mit δ m (A) = 0 falls m A. Bsp. 1.3 Bernoulli-Verteilung auf {0, 1} zum Parameter p [0, 1] Bsp. 1.4 Bsp. 1.5 (Ω, F, P) = ({0, 1}, 2 {0,1}, (P({1}) = p, P({0}) = 1 p)) Gleichverteilung auf {1,..., N}. (Ω, F, P) = ({1,..., N}, 2 {1,...,N}, P) mit P(E) = #E N Binomialverteilung auf {0, 1,..., N} zum Parameter p [0, 1] (Ω, F, P) = ({0, 1,..., N}, 2 {1,...,N}, P) mit P(k) = ( ) N k p k (1 p) n k

23 Beispiele (Forts.) Bsp. 1.6 Poisson-Verteilung auf N 0 zum Parameter λ > 0 (Ω, F, P) = (N 0, 2 N0, π λ ) mit λ λk π λ (k) = e k!. Bsp. 1.7 Exponentialverteilung auf R 0 zum Parameter λ > 0 mit (Ω, F, P) = (R 0, B(R 0 ), µ λ ) µ λ (]a, b]) = λ b a e λx dx = e λa e λb. Bsp. 1.8 Normalverteilung auf R mit Parametern m R und v 0 mit (Ω, F, P) = (R, B(R), ν m,v ) { 1 b (x m) 2 e 2v µ m,v (]a, b]) = 2πv dx falls v > 0 a δ m ([a, b]) falls v = 0. Bemerkung R e x 2 /2 dx = 2π (siehe Übungen).

24 Beispiele (Forts.) Bsp. 1.9 Gleichverteilung auf [0, 1] [0, 1] (Ω, F, P) = ([0, 1] [0, 1], B([0, 1] [0, 1]), λ 2 ) Bsp Spezialfall Verteilung auf R d mit Dichte (Ω, F, P) = (R d, B(R d ), µ) mit µ(a) := A ϕ(x)λd (dx), A B(R d ) ϕ C(R d ; R 0 ), ϕ(x)λ d (dx) = 1. R d Mehrdimensionale Gauß-Verteilung ϕ(x) = 1 (2π) d/2 det C e 1 2 (x m),c 1 (x m) R d wobei m R d Erwartungswert C R d d symm,>0 Kovarianzmatrix

25 Beispiele (Forts.) Konstruktion eines W-Raumes zur Beschreibung der Irrfahrt zwischen drei Zuständen: Alphabet A = {R, G, B} Grundraum σ-algebra F = 2 Ω. Ω = {ω = (ω 0, ω 1,... ) {G, R, B} N, ω 0 = G} = {G} A N Zylindermenge Z Z 2 Ω N N, A 1,..., A N A, s.d. Inhalt P 0 : Z [0, 1] Z = A 1 A N A A Z Ring mit σ(z) = F. P 0 (A 1 A N A A ) := (ω 0,ω 1,...,ω N ) {G} A 1 A N N i=1 p ω i 1,ω i. Wahrscheinlichkeitsmaß P 0 ist Prämaß auf Z definiert eind. Fortsetzung P auf F.

26 1.3 Zufallsvariablen

27 Beispiel Irrfahrt zwischen drei Zuständen Start in G bei t = 0, Zeithorizont T N Grundraum σ-algebra Ω = {ω = (ω 0, ω 1,..., ω T ) {G, R, B} T +1, ω 0 = G} Wahrscheinlichkeitsmaß P : F [0, 1], Trefferzeit vom Zustand B F = {E E Ω} = 2 Ω P({ω}) = T i=1 p ω i 1,ω i τ : Ω R { }, τ(ω) := inf{k {0,..., T } ω k = B} Beispiel: Wette auf frühes Treffen von B C : Ω [0, 1], C(ω) = e τ(ω).

28 Messbare Abbildungen Definition 1.15 Eine Abbildung X : E F zwischen zwei messbaren Räumen (E, E) und (F, F) heißt (E/F-)messbar, falls X 1 (A) E für alle A F. Eine F/B(R)-messbare Abbildung 6 X : Ω R auf einem W-Raum (Ω, F, P) heißt (reelle) Zufallsvariable oder (reelle) Zufallsgröße. Bemerkung A Ω messbar Indikatorfunktion 1 A ist messbar { 1 falls x A mit 1 A : Ω R, 1 A (x) = 0 falls x A. 6 R = R {± }, A B(R) : A R B(R).

29 Sprechweisen Definition 1.16 Bemerkung Definition 1.17 Von einer Abbildung X : E F in einen messbaren Raum (F, F) erzeugte σ-algebra σ(x ) := {X 1 (A) A F} X : E F E/F-messbar σ(x ) E Eine reelle ZV X heißt endlich, falls X (ω) R ω Ω. X heißt beschränkt, falls ein K > 0 existiert, so dass X (ω) K ω Ω.

30 Approximation durch Treppenfunktionen Definition 1.18 Satz 1.11 Eine Zufallsvariable X : (Ω, F) R heißt einfach, falls α 1,..., α N R, mit (A i ) paarweise disjunkt, so dass A 1,..., A N F : Ω = i=1,...n A i X (e) = N i=1 α i1 Ai (e). Jede beschränkte Zufallsvariable X : (Ω, F) R lässt sich durch eine Folge (X n ) n von einfachen Zufallsvariablen (X n ) auf Ω gleichmäßig approximieren, d.h. lim sup X (ω) X n (ω) = 0. n ω Ω Bew: Zu n N definiere X n (ω) = k Z k n 1 X 1 (] k n, k+1 n ])(ω). Bemerkung Analog: Für X 0 endliche ZV ex Folge (X n ) einfacher ZV n X n (ω) X (ω) ω Ω. Summen, Produkte etc. von einfachen ZV n sind einfache ZV n.

31 Der Erwartungswert einer Zufallsvariablen Definition 1.19 Für eine einfache Zufallsvariable X : (Ω, F, P) R heißt N α i P(A i ) =: X (ω)p(dω) i=1 Ω das Integral von X (bzgl. P) bzw. Erwartungswert. Schreibweisen Ω X (ω)p(dω) = E P(X ) = X P. Bemerkung E P (X ) hängt nicht von der genauen Darstellung von X ab. E P (λx + µy ) = λe P (X ) + µe P (Y ). E P (X ) E P ( X ) sup ω Ω X (ω)

32 Integral für beschränkte Zufallsvariablen Satz 1.12 Bew: Falls X eine beschränkte ZV auf (Ω, F, P), so ex. X n (ω)p(dω) =: X (ω)p(dω) lim n Ω für jede gleichmäßige Approximation X n X von X durch einfache ZV en, unabhängig von der genauen Wahl von (X n ). Sei X n X gleichmäßig und Y n X gleichmäßig auf Ω X n Y n 0 gleichmäßig auf Ω. Ω E(X n ) E(Y n ) = E(X n Y n ) sup X n (ω) Y n (ω) n 0. ω Analog: E(X n ) E(X m ) sup ω Ω X n (ω) X m (ω) n,m 0. (E(X n )) n reelle Cauchy-Folge mit lim E(X n ) = lim E(Y n ).

33 Integral für nichtnegative Zufallsvariablen Satz 1.13 Bsp Sei X : (Ω, F, P) R 0 messbar und eine Folge (X n ) einfacher ZV en mit X n (ω) X (ω) ω Ω. Dann ist Ω X (ω)p(dω) := sup X n (ω)p(dω) [0, ] n N Ω unabhängig von der genauen Wahl von (X n ). (Ω, F, P) = ([0, 1], B([0, 1]), λ), X, Y : [0, 1] R 0, X (ω) = 1 ω, Y (ω) = 1 ω. E(X ) = 1 0 ω 1/2 dω = 2 ω ω=1 ω=0 = 2 <. E(Y ) = 1 0 ω 1 dω = ln(ω) ω=1 ω=0 = 0 ( ) =.

34 Integral Allgemeiner Fall Definition 1.20 Bemerkung Eine ZV X : (Ω, F, P) heißt (absolut) integrierbar, falls E P (X + ) < und E P (X ) < mit X ± : Ω R 0, X ± (ω) = max(±x (ω), 0). In dem Fall definiert man das Integral von X (bzgl. P) als E P (X ) := E P (X + ) E P (X ). Äquivalente Bedingung E P ( X ) <. Gelegentlich verlangt man nur die einseitige Integrierbarkeit min(e P (X + ), E P (X )) < E P (X ) := E P (X + ) E P (X ) R eindeutig definiert.

35 Integral: Nachträge Definition 1.21 Definition 1.22 Definition 1.23 Für X ZV auf (Ω, F, P) und A F E P (X ; A) := A XdP := Ω X (ω)1 A (ω)p(dω). Zwei ZV X, Y auf (Ω, F, P) heißen äquivalent, falls X = Y fast sicher, d.h. falls {ω Ω, X (ω) Y (ω)} ist P Nullmenge. X L p (Ω, F, P), p 0, falls X eine ZV auf (Ω, F, P) mit E P ( X p ) <. X L (Ω, F, P), falls K 0, s.d. X K P-fast sicher. Bsp X (ω) = 1 ω L 1 ([0, 1], B([0, 1]), λ)) \ L 2 ([0, 1], B([0, 1]), λ) Bemerkung Analog vektorwertige ZV X = (X 1,..., X d ) : Ω R d E(X ) := (E(X 1 ),... E(X d )) R d.

36 Nachträge (Forts.): Maße mit Dichten auf R Definition 1.24 F : R R heißt absolut stetig, falls ex. m : R R messbar F (a) F (b) = a m(s) ds a, b R. b Bsp F (x) = (1 1 x ) 2 + = { x 0 falls t < 1 m(t)dt, m(t) = 2 t falls t 1. 3 Satz 1.14 Bew: Definition 1.25 Sei µ ein W-Maß auf R mit F (x) = µ(], x]) = x m(t)dt. Dann gilt f (x)µ(dx) = f (x)m(x)dx für alle messbaren f : R R. R Klar für f = 1 ]a,b]. Für allgemeine f folgt die Aussage durch Approximation mit einfachen Zufallsvariablen. Ein Maß auf µ auf R heißt absolut stetig : F µ ist abs. stetig. In dem Fall heißt m mit µ(dx) = m(x)dx Dichte vom µ bzgl. λ. R

37 Nachträge (Forts.): Ungleichungen Satz 1.15 (Cauchy-Schwarz) E(X Y ) E(X 2 ) E(Y 2 ) für alle X, Y L 2 (Ω, F, P). Bew: Mit Standardargument, da E[(λX + µy ) 2 ] 0 λ, µ R. Satz 1.16 (Markov) Bew: Satz 1.17 (Jensen) Bew: Sei X 0 und ϕ : R 0 R 0 nicht-fallend, dann P(X δ) 1 ϕ(δ) E(ϕ(X )). P(X δ) = E(1 ; X δ) = E( ϕ(δ) ϕ(δ) ; X δ) E( ϕ(x ) ϕ(δ) ; X δ) 1 E(ϕ(X )) ϕ(δ) Falls X eine reelle ZV und ϕ : R R konvex ϕ(e(x )) E(ϕ(X )). Sei m := E(X ). Konvexität von ϕ s R so, dass ϕ(x) ϕ(m) + s(x m) x R ϕ(x ) ϕ(m) + s(x m) E(ϕ(X )) ϕ(m) + s(e(x ) m) = ϕ(e(x )).

38 1.4 Konvergenz von Zufallsvariablen

39 Fast sichere und stochastische Konvergenz Definition 1.26 Bemerkung Definition 1.27 Bsp Eine Folge (X n ) n von ZV en auf (Ω, F, P) konvergiert P-stochastisch gegen die ZV X, falls ɛ > 0 P( X n X > ɛ) n 0. Andere Bezeichnung: Konvergenz im Maß/in Wahrscheinlichkeit. Eine Folge (X n ) n von ZV en auf (Ω, F, P) konvergiert P-fast-sicher gegen die ZV X, falls X n (.) n X (.) P-fast sicher, d.h. P-Nullmenge N, s.d. X n (ω) X (ω) ω Ω \ N. Es sei (Ω, F, P) = ([0, 1], B([0, 1]), λ) und (q n ) eine Abzählung von Q [0, 1]. Dann gilt für X n : [0, 1] R, X n := 1 ]qn 1 n,qn+ 1 n [ dass (X n ) 0 P-stochastisch, aber nicht P-fast sicher.

40 Satz 1.18 Definition 1.28 Falls X n X P-fast sicher, so auch P-stochastisch. Limes-Superior einer Folge von Mengen lim sup n A n := n N m n A m Bemerkung ω lim sup n A n ω liegt in unendlich vielen A n. Lemma 1.1 P(lim sup A n ) = 0 lim n P(A n ) = 0. Bew: Mit B n := m n A m gilt B n lim sup A n Stetigkeit von P = P(B m ) < δ für m = m 0 1 P(A n ) δ n m 0. Bew: (Satz 1.18) Folgt aus vorigem Lemma mit A n := { X n X > ɛ} = {ω Ω X n (ω) X (ω) > ɛ}

41 Satz 1.19 Falls X n X P-stochastisch, so ex. Teilfolge X n X P-fast sicher. Lemma 1.2 (Borel-Cantelli) Bew: Falls n µ(a n) <, so ist µ(lim sup A n ) = 0. n µ(a n) < m=n µ(a m) 0 für n. lim sup A n m n A m n. P(lim sup A n ) P( m n A m) m n P(A m) m 0, Bew: (Satz 1.19) Sei (ɛ k ) eine beliebige Nullfolge und (n k ) k so gewählt, dass P({ X nk X > ɛ k }) < ( 1 2 )k. (Borel-Cantelli mit A k = { X nk X > ɛ k }) P({ X nk X > ɛ k unendlich oft}) = 0 Bemerkung Analog für Folgen (X n ) n N : Ω E von ZV en mit Werten in einem metrischen bzw. topologischen Raum (E, d) bzw. (E, τ).

42 Integralkonvergenzsätze atz 1.20 (Dom. Konvergenz) Bsp Satz 1.21 (Lemma v. Fatou) Satz 1.22 (Monotone Konvergenz) Bemerkung Falls (X n ) Folge von ZV en auf (Ω, F, P) mit X n X P-stochastisch und Y L 1 (Ω, F, P) mit X n Y P-fast sicher n N, dann E P ( X X n ) 0 für n. Auf ([0, 1], B([0, 1]), λ) sei X n (ω) = ω n bzw. Y n (ω) = nω n, dann gilt X n 0 und Y n 0 fast sicher, aber nur E(X n ) 0. Falls X n 0 und X n X P-stochastisch, so gilt E(X ) lim inf E(X n ). Falls X n 0 und X n X fast sicher, dann gilt E(X ) = lim E(X n ). Geringfügige Verschärfung gegenüber Standardformulierung: Es wird nur die stochastische Konvergenz benötigt 7. 7 Beweise: Z.B. in [Varadhan]

43 Vitali scher Konvergenzssatz Definition 1.29 Bemerkung Satz 1.23 (Vitali) Eine Familie von ZV en (X λ ) λ Λ heißt gleichgradig integrierbar falls sup λ Λ X λ >K X λ dp K 0. X L 1 {X } gleichgr. int bar, denn Q(A) = X dp ist ein endliches Maß und A { X > K} N := { X = } mit Q(N) = X dp = 0. N Analog: Jede endliche Menge {X 1,..., X N } L 1 (Ω, F, P) ist gleichgradig int bar. Für eine Folge (X n ) von ZV en auf (Ω, F, P) gilt E P ( X n ) 0 genau dann, wenn (X n ) n gleichgradig int bar ist und X n 0 P-stochastisch.

44 Bew: ( ) Bew.: ( ) Stochastische Konvergenz: P( X n > ɛ) = Ω 1 Xn >ɛdp 1 ɛ Ω X n dp = 1 ɛ E P( X n ) 0. Gleichgradige Integrierbarkeit: Sei ɛ > 0. X n >K X n dp X n >K X n X m dp + X n >K X m dp X n >K X n X m dp E( X n X m ) E( X n ) + E( X m ) ɛ 3 für n m := N 0 (ɛ) 1 X n >K X m dp X n >K, X m L X m dp + X m >L X m dp X m >L X m dp ɛ 3 für L := L 0 (ɛ, m). X n >K, X m L X m dp L P( X n > K) L 1 K sup n E X n ɛ 3 für K K 0 (L, ɛ), n N 0. Übungsaufgabe.

45 1.5 Verteilung von Zufallsvariablen

46 Satz 1.24 Bildmaß Es sei (Ω, F, P) ein W-Raum, X : (Ω, F) (S, S) messbar. Dann induziert X ein W-Maß P X auf (S, S) gemäß P X (A) := P(X 1 (A)) A S. Definition 1.30 P X heißt Bildmaß bzw. Verteilung von (P unter) X. Bemerkung Andere Schreibweisen P X = P X 1 = X P. Fall S = R t F X (t) = P X (], t]) = P(X t) heißt Verteilungsfunktion von X. Bsp (Ω, F, P) = ([0, 1], B([0, 1]), λ)), X : ω R, X (ω) = 1 ω. Definition 1.31 F X (t) = P X (], t]) = P(X t) 1 = λ({ω [0, 1] t}) ω { } 0 f. t < 1 = λ({ω [0, 1] ω 1 = (1 1 }) f. t 1 t 2 t )+. 2 Sei µ ein W-Maß auf (E, E), dann heißt eine ZV X : Ω E µ-verteilt, falls P X = µ. Schreibweise X µ.

47 Integration bzgl. dem Bildmaß (Integral-Transformationssatz) Satz 1.25 Bew: Bemerkung Bsp Sei (Ω, F, P) ein W-Raum und X : (Ω, F) (S, S) messbar. Sei f : (S, S) (R 0, B(R)) messbar, dann gilt E P (f (X )) = f (s)p X (ds). Aussage gilt nach Def. von P X, falls f = 1 A für A S, und somit auch falls f einfach. Durch monotone Approximation f n f mit einfachen Funktionen folgt die Behauptung. Analog für beliebige P X -integrierbare Abbildungen f : S R Für eine ZV X auf (Ω, F, P) mit Verteilung µ = P X auf R gilt E P (X ) = x µ(dx). S R

48 Varianz Definition 1.32 Die Varianz einer Zufallsvariablen X auf (Ω, F, P) ist V (X ) := E [ (X E(X )) 2] [0, ] Satz 1.26 Falls X L 2 (Ω, F, P) gilt V (X ) = E(X 2 ) (E(X )) 2 Lemma 1.3 (Tschebyshev Ungl.) Bew: E[(X E(X )) 2 ] = E[X 2 2X E(X ) + (E(X )) 2 ] = E(X 2 ) 2E(X )E(X ) + (E(X )) 2 = E(X 2 ) (E(X )) 2 Sei X L 2 (Ω, F, P), dann gilt für δ > 0 P( X E(X ) δ) 1 δ 2 V (X ). Bew: Markov-Ungleichung für X E(X ) 0 und ϕ(x) = x 2. Korollar 1.3 X = E(X ) P-fast sicher V (X ) = 0. Bew: : {X E(X )} = n { X E(X ) 1 n }, mit P({ X E(X ) 1 n }) = 0 nach Tschebyshev. klar.

49 Beispiele 8 Gleichverteilung auf [0, 1]: Erwartungswert 1 2, Varianz Binomialverteilung auf [0, 1]: Erwartungswert np, Varianz np(1 p) Poissonverteilung zum Parameter λ > 0: Erwartungswert λ, Varianz λ. Normalverteilung zu den Parametern m R, v > 0: Erwartungswert m, Varianz V. Cauchy-Verteilung zum Parameter α > 0 auf R: µ α (dx) = α π (α2 + x 2 )λ(dx). Erwartungswert α, Varianz. 8 Rechnung an der Tafel, bzw. [Bauer] etc.

50 Definition 1.33 Satz 1.27 Bew: Bsp Gemeinsame Verteilung Es seien X 1,..., X d : Ω R Zufallsvariablen auf dem W-Raum (Ω, F, P), dann heißt mit X = (X 1,..., X d ) R d P X : B(R d ) [0, 1], P X (A) := P( X 1 (A)) die gemeinsame Verteilung von (X 1,..., X n ). P X ist eindeutig bestimmt durch F X : R d [0, 1], F X (t 1,, t n ) := P(X 1 t 1,, X d t d ). B(R d ) = σ(e) mit E ˆ= Ring der endlichen Vereinigungen von Mengen der Form ]s 1, t 1 ] ]s d, t d ] (vergl. Stieltjes-Maß). (Ω, F, P) = (B 1 R 2, B(B 1 ), 1 π λ2 (dx)) (Gleichverteilung auf dem Einheitsball B 1 R 2 X (ω) := ω X, Y : Ω R, x (x-koordinate) Y (ω) := ω (Abstand zum Urspung) Dann gilt für X = (X, Y ) R 2, mit α(t, s) = arccos( t s ) 0 f. t < min( 1, s) π(1 2α)s P X (], t] ], s]) = 2 +s sin α f. s [0, 1], t s π min (s 2, 1) f. t > s.

51 Definition 1.34 Bemerkung Kovarianz Die Kovarianz von zwei ZV en X und Y auf (Ω, F, P) ist Kov(X, Y ) := E[(X E(X ))(Y E(Y ))] Kov(X, X ) = V (X ) Kov(X, Y ) = Kov(X + c 1, Y + c 2 ) = E( X, Ȳ ) mit X := X E(X ), Ȳ := Y E(Y ) Kov(X, Y ) = E(XY ) E(X )E(Y ) = R 2 xyµ (X,Y ) (dxdy) R xµ X (dx) R yµ Y (dy) mit µ (X,Y ) Gemeinsame Verteilung von (X, Y ) µ X, µ y ( Rand -)Verteilung von X bzw. von Y Bsp Für X = X R d mit X ν m,c (Gauss-Verteilung in R d ) Kov(X i, X j ) = C ij. Bew: C R d d symm,>0 S Rd d : C = S S t. Transformationssatz = Behauptung durch Integration nach y := S 1 x.

52 Gleichheit von Bienamé Definition 1.35 Zwei ZV en X, Y heißen unkorrelliert, falls Kov(X, Y ) = 0. Bsp Definition 1.36 Falls X ˆ=x Koordinate und Y ˆ= Radius einer B 1 -gleichverteilten ZV X B 1 R 2 (vergl. Beispiel 1.18), so ist Kov(X, Y ) = 0. Korrelation zweier Zufallsvariablen Kov(X,Y ) ρ(x, Y ) := V (X ) V (X ) Bemerkung Cauchy-Schwarz-Ungleichung ρ(x, Y ) [ 1, 1] Lemma 1.4 (Bienamé) Für X 1,, X n paarweise unkorrelliert (d.h. Kov(X i, X j ) = 0 für i j) V ( n i=1 X i) = n i=1 V (X i). Bew: O.b.d.A. E(X i ) = 0, i = 1,..., n. V ( X i ) = E[( i X i) 2 )] = E[( i X i)( j X j)] = E[ i,j X i X j ] = i,j E(X ix j ) = i,j δ ije(x i X j ) = i V (X i).

53 Kapitel 2: Gesetze der Großen Zahlen und Unabhängigkeit

54 Schwaches Gesetz der großen Zahlen Satz 2.1 Es sei X 1, X 2,... eine Folge von paarweise unkorrellierten indentisch verteilten reellen ZV en mit X 1 L 2, dann gilt für n 1 n n i=1 X i stochastisch E(X 1 ). Bew: O.b.d.A E(X 1 ) = 0. Tschebyshev für S n = n i=1 X i und Bienamé: P( 1 1 Sn > δ) = P( Sn > nδ) n n 2 δ V (Sn) 2 = 1 V (X n 2 δ 2 i ) = 1 nδ E(X ) 0. i Bemerkung Es folgt i.a. nicht, dass 1 n S n E(X 1 ) fast sicher. Insbesondere gilt i.a. nicht, dass die Approximation 1 n S n(ω) von E(X 1 ) für n immer besser wird.

55 2.1 Unabhängigkeit

56 Unabhängige Ereignisse Definition 2.1 Bsp. 2.1 Bemerkung Eine Familie von Ereignissen (A λ ) λ Λ im W-Raum (Ω, F, P) heißt unabhängig, falls für jede endliche Teilmenge Λ Λ gilt P( λ Λ A λ ) = λ Λ P(A λ). Die Ereignisse Eine Familie von Ereignissen (A λ ) λ Λ heißen paarweise paarweise unabhängig, falls P(A λ A λ ) = P(A λ ) P(A λ ) λ λ. Von den vier Ziffernfolgen 112, 121, 211, 222 wird eine zufällig ausgewählt. Dann sind die Ereignisse A i := i-te Stelle ist 1, i = 1, 2, 3 paarweise unabhängig aber nicht unabhängig. A 1,..., A n unabhängig A c 1,..., Ac n unabhängig.

57 Satz 2.2 Borel-Cantelli: Umkehrung Seien (A n ) n N unabhängige Ereignisse in (Ω, F, P) mit n P(A n) =, dann gilt P(lim sup A n ) = 1. Bew: B n := m n A m lim sup A n. Zeige P(B n ) = 1. P(Bn c ) = P( m n A c m) = lim P( n m l A c l m) = lim P(A c l m) = lim (1 P(A m)) l n m l = lim l exp[ lim l n m l exp[ n m l n m l log(1 P(A m))] P(A m)] = 0, weil log(1 x) x und n m l P(A m) für l. Bsp. 2.2 Unendliche Wiederholung unabh. Münzwürfe mit p ]0, 1[. Korollar 2.1 (0-1-Gesetz von Borel) P( unendlich häufig Kopf ) = 1. P(lim sup A n ) {0, 1} für jede unabh. Folge {A n } F.

58 Borel-Cantelli: Umkehrung (II) Satz 2.3 (Chung) Bew: Korollar 2.2 (0-1-Gesetz von Chung) Seien (A n ) n N paarw. unabhängige Ereignisse in (Ω, F, P) mit n P(A n) =, dann gilt P(lim sup A n ) = 1. Zeige P(S = ) = 1 mit S = lim n S n, S n := n Monot. Konvergenz 1) = E(S n ) E(S) =. 2) Biename = V (S n ) = V (1 Ai ) n i=1 E(1 2 A i ) = E(S n ) 1) und 2) = V (Sn) E 2 (S n) 0. i=1 1 Ai Tschebyshev = P(S n 1 2 E(S n)) P( S n E(S n ) 1 2 E(S n)) 1 4 V (Sn) E 2 (S 1 δ, falls n N n) 0(δ). P(S 1 2 E(S n)) 1 δ, falls n N 0 (δ). E(Sn) = P(S = ) 1 δ δ > 0 P(lim sup A n ) {0, 1} für jede paarw. unabh. Folge {A n } F.

59 Unabhängige Mengensysteme Definition 2.2 Lemma 2.1 Bew: Eine Familie {E λ F λ Λ} von Ereignismengen heißt unabhängig, falls jede endliche Teilauswahl von Mengen {A i E λi, i = 1,..., N, λ i λ j für i j} unabhängig ist. Für eine unabh. Familie (E λ ) λ Λ von -stabilen Mengensystemen ist auch {σ(e λ )} λ Λ unabhängig. (E λ ) λ Λ unabh. Zugeh. Dynkin-Systeme (δ(e λ )) λ Λ unabhängig. Wegen -Stabilität von E λ ist δ(e λ ) = σ(e λ ) λ.

60 Unabhängigkeit von Zufallsvariablen Definition 2.3 Bemerkung Satz 2.4 Eine Familie von (E, E)-wertigen Zufallsvariablen (X λ ) λ Λ heißt unabhängig falls für alle N N, {λ 1,..., λ N } Λ, B 1,... B N E A 1 := {X λ1 B 1 },..., A N := {X λn B N } unabhängig. X 1,, X n unabhängig σ(x 1 ),..., σ(x n ) unabhängig. X 1,, X n ϕ 1 (X 1 ),... ϕ n (X n ) unabhängig, falls ϕ 1,... ϕ n messbar E E Für reelle ZV en X 1,..., X d sind äquivalent X 1,..., X d unabhängig t 1,..., t n R F X (t 1,..., t d ) = i=1...d F X i (t i ). µ X = d i=1 µ X i (Produktmaß auf R d ): d.h. µ X (]a 1, b 1 ]... ]a d, b d ]) = d µ Xi (]a i, b i ]). i=1 Korollar 2.3 Für X 1,..., X n unabhängig ist E( n i=1 X i) = n i=1 E(X i).

61 2.2 Starkes Gesetz der großen Zahlen

62 Starkes Gesetz Einfacher Fall Satz 2.5 Falls (X n ) n eine Folge von unabhängigen identisch verteilten ZV en auf einem W-Raum (Ω, F, P) mit E(Xi 4 ) <, so gilt mit m = E(X 1 ), dass 1 n n i=1 X n i m fast sicher. Bew: O.b.d.A m = 0. Mit S n = n i=1 X i gilt E(S 4 n ) = n i,j,k,l=1 E(X ix j X k X l ) = ne(x 4 1 ) + ( n 2)( 4 2) (E(X 2 1 )) 2 = ne(x 4 1 ) + 3n(n 1)(E(X 2 1 )) 2 C n 2. Markov Ungl. = P( 1 1 Sn δ) = P( Sn > nδ) C n 2 = n n 4 δ 4 n P( 1 Sn δ) < n 1 = P(lim sup n Sn δ) = 0. Borel-Cantelli n C δ 4 n 2 1 P(lim sup Sn = 0) P( n n k N {lim sup 1 Sn 1 }) = 0. n k

63 Satz 2.6 Bew: Satz von Etemadi (1981) Es sei (X n ) n eine Folge von ident. verteilten, paarweise unabh. ZV en auf einem W-Raum (Ω, F, P) mit E( X 1 ) <, so gilt mit m = E(X 1 ), dass 1 n n i=1 X n i m fast sicher. O.b.d.A. X i 0, andernfalls behandle X + und X separat. 1. Schritt Sei Y i = X i 1 Xi i, S n = n i=1 Y i α > 1 und k n := α n. Tshebyschev = P( S kn ES kn n N Biename = 1 k n ɛ 2 n 1 k 2 n ( = 2 ɛ 2 i N = c i N k n i c k N 0 1 k+1 Borel-Cantelli = i=1 1 k 2 n k n ɛ) 1 ɛ 2 V (Y i ) 2 ɛ 2 n ) E(Yi 2 ) 2 ɛ 2 1 i x 2 df (x) = c i 2 0 k+1 k 1 k 2 n n N k n i= ln α i N i 1 1 k+1 i 2 k i N k=0 x 2 df (x) c k V (S kn ) k 2 n E(Y 2 i ) = 2 ɛ kn i kn 2 i,n N E(Y 2 i 2 i ) =: c(ɛ, α) x 2 df (x) i N E(Y 2 i ) E(Y 2 i ) i 2 k+1 k xdf (x) = ce(x 1) <. 1 k n (S k n E(S k n )) 0 fast sicher.

64 Bew. (Forts.) 2. Schritt E(X 1) = lim n E(Y n) lim n 1 n E(S n ) = E(X 1) S kn k n E(X 1) fast sicher. P(X n Y n) = P(X > n) = n N n n = i+1 df (x) = i n i n i N df (x) n i i+1 df (x) E(X i 1) < X n Y n nur für endlich viele n fast sicher. S kn k n E(X 1) fast sicher. 3. Schritt Wegen X i 0 ist S n monoton. Für eine beliebige Teilfolge m gilt S nkm m Sm Sn km+1 m m n km m, falls km so gewählt, dass m [n k m, n km+1[ 1 α und n km+1 m α 1 E(X1) lim inf 1 α n Sn lim sup 1 Sn αe(x1) fast sicher n Wegen α > 1 beliebig folgt die Behauptung.

65 Satz von Etemadi: Umkehrung Satz 2.7 Lemma 2.2 Bew: Bew: (Satz 2.7) Falls (X n ) Folge von paarw. unabh. ident. verteilten ZV en, so 1 n dass lim n n i=1 X i =: Y ex. fast sicher, so ist X 1 L 1 (Ω) und Y E(X 1 ) fast sicher. Für eine ZV Z 0 gilt E(Z p ) = p t p 1 P(Z t)dt. 0 E(Z p ) = E(p Z 0 tp 1 dt) = p t p 1 1 t Z dtp(dω) Ω R 0 = p t p 1 1 t Z P(dω)dt = p t p 1 P(Z t)dt R 0 Ω R 0 1 n S n Y. f.s. 1 n X n = 1 n S n n 1 n n 1 S n 1 0 f.s. P(lim sup A n ) = 0 mit A n = { X n n} Chung-0/1 = n P(A n) <. P(A n ) = P( X 1 n) Lemma 2.2 = E( X 1 ) P( X 1 n) <. n N 0 1 Etemadi = Y = lim 1 n S n = E(X 1 ) fast sicher.

66 2.3 Satz von Sanov (Große Abweichungen)

67 Definition 2.4 Bemerkung Entropie Sei (S, S) ein messb. Raum. P(S) := {µ µ ist W-Maß auf (S, S)} Für µ P(S) heißt Ent µ : P(S) R { } { ln(ϕ(x)) ν(dx) falls ν(dx) = ϕ(x)µ(dx) Ent µ (ν) := S + sonst. relative Entropie (von ν) bzgl. µ. Ent µ (ν) = ln(ϕ(x))ϕ(x) µ(dx) falls ν(dx) = ϕ(x)µ(dx). S Lemma 2.3 i) Ent µ (ν) 0 mit Ent µ (ν) = 0 µ = ν. ii) Ent µ (tν 1 + (1 t)ν 2 ) tent µ (ν 1 ) + (1 t)ent µ (ν 2 ) Bew: Ent µ(ν) = η(ϕ(x)) µ(dx) mit s η(s) := s ln(s) konvex S Jensen = Ent µ(ν) = η(ϕ(x))µ(dx) η( ϕ(x)µ(dx)) = η(1) = 0. S S = Ent µ(ν) = 0 ϕ(x) = ϕ(x)µ(dx) µ-f.s ν = µ i). S η konvex = η(tϕ 1(x) + (1 t)ϕ 2(x)) tη(ϕ 1(x)) + (1 t)η(ϕ 2(x)) ii). Jensen 9 9 Jensen : Für η : R R konvex ist E P (η(x )) η(e P (X )) mit = genau dann, wenn X = E P (X ) P-fast sicher.

68 Satz von Sanov (1957) Definition 2.5 Bemerkung Satz 2.8 (Sanov) Bemerkung Für (S, S) messb. Raum und (X 1,..., X n ) =: X (n) S n heißt µ X (n) = 1 n n i=1 δ X i P(S) empirische Verteilung von (X ) = (X 1,..., X n ). Falls S endliche Menge P(S) Standard-Simplex in R S P(S) ˆ={(µ 1,..., µ S ) R n 0 µ(s) = 1} = n 1 R S s S µ ν P(S) := µ ν R S Sei S endliche Menge, µ P(S) und (X n ) eine Folge unabh. µ-verteilter ZV en. Dann gilt für offenes A P(S) 1 n ln P(µ X A) inf Ent µ(ν). (n) ν A Exponentielle Konvergenz der empirischen Verteilungen: P(µ X (n) = ν) exp( n Ent µ (ν))

69 Lemma 2.4 Für ν P n := {µ P(S) n µ(s) N s S} gilt ( 1 n+1 ) S e nentµ(ν) P(µ X (n) = ν) e nentµ(ν). Bemerkung Bew: (Lemma 2.4) P n (n + 1) (n + 1) (n + 1) ( S -Mal) = (n + 1) S. ξ n := (nµ X (n)(s)) s S R S ist (n, µ)-multinomialverteilt π n (ν µ) := P(µ X (n) = ν) = κ n (ν) s S (µ(s))nν(s) mit κ n (ν) := {x (n) S n n! µ x (n) = ν} = (nν(s 1))!...(nν(s S ))! s S (µ(s))nν(s) = exp [ n ν(s) ln(µ(s)) ] ] =: e n H(ν µ) s S κ n (ν)e nh(ν ν) = π n (ν ν) 1 κ n (ν) e nh(ν ν) Multinomialverteilung = π n ( ν ν) π n (ν ν) ν, ν P n 1 = π n ( ν ν) P n π n (ν ν) (n + 1) S π n (ν ν). ν P n κ n (ν) = e nh(ν ν) π n (ν ν) e nh(ν ν) (n + 1) S Behauptung, da H(ν ν) H(ν µ) = Ent µ (ν).

70 Bew: (Satz 2.8) A P(S) P(µ X (n) A) = π n (ν µ) Lemma 2.4 ν A P n A P n exp ( n inf Ent µ(ν) ) ν A (n + 1) S exp ( n inf Ent µ(ν) ) ν A lim n S ln(n + 1) = 0 n = lim sup n P(µ X (n) A) = Lemma 2.4 (n + 1) S 1 n ln P(µ X (n) ν A P n π n (ν µ) ν A P n e nentµ(ν) (n + 1) S exp ( n inf Ent µ (ν) ) ν A P n ν A P n e nentµ(ν) A) inf Ent µ(ν) ν A 1 lim inf n n ln P(µ X A) lim sup inf Ent (n) µ (ν) n ν A P n Ent µ : A {Ent µ (.) < } R stetig, A P(S) offen lim sup n inf Ent µ (ν) = inf Ent µ(ν) ν A P n ν A Korollar 2.4 { lim inf 1 n log P(µ X (n) O) inf O Ent µ für O P(S) offen lim sup 1 n log P(µ X (n) A) inf A Ent µ für A P(S) abg. Bemerkung Kor. 2.4 Prinzip der großen Abweichungen für (µ X (n)) n

71 Satz von Cramér Definition 2.6 Sei X ν eine reelle ZV mit Verteilung µ. λ : R [0, ], λ µ (t) := E(e tx ) = R etx µ(dx) heißt Laplace-Transformierte von X (bzw. von µ). I µ : R [0, ], I µ (x) := sup(tx log λ µ (t)) heißt t R Cramér-Transformierte von µ. Satz 2.9 (Cramér 1938) Bemerkung Sei (X n ) Folge unabh. ident. verteilter ZV en mit X 1 µ, dann gilt für S n := n i=1 X i, x > E(X 1 ) lim n 1 n log P( 1 n S n x) = I µ (x). Tausch X gegen X Analog für P( 1 n S n x) f. x < E(X 1 ). t Λ µ (t) := log λ µ (t) Log-Laplace-Transformierte. I µ (x) = sup t (tx Λ(t)) Legendre-Transformierte von Λ.

72 Entropieungleichung Satz 2.10 Für µ, ν P(S) Ent µ (ν) = sup E ν (ψ) log E µ (e ψ ). ψ:s R messb. Bew: Schreibweise E µ (ψ) := ψ, µ Falls ν = ϕµ: ψ, ν Ent µ (ν) = ψ log ϕ, ν = log( eψ ϕ ), ν Jensen = log eψ ϕ, ν = log eψ, µ. Ent µ (ν) E ν (ψ) log E µ (e ψ ) ψ. Außerdem gilt = falls ψ := log ϕ. Falls nicht ν = ϕµ für ein gewisses ϕ A S, s.d. ν(a) > 0 und µ(a) = 0. mit ψ = t1 A gilt E ν (ψ) log E µ (e ψ ) = tν(a) log E µ (1) = tν(a) t.

73 Lemma 2.5 Für U z = {µ P(S) E µ (x) > z} ist I µ (z) = inf ν Uz Ent µ (ν). Bew: Schreibweise E µ (X ) = x, µ bzw. E µ (e tx ) = e tx, µ. Entropieungleichung Sei ν U z = Ent µ (ν) t x, ν log e tx, µ tz log e tx, µ Def. von Iµ = inf ν Uz Ent µ (ν) I µ (z) Umgekehrt gilt für t = argmax t ρ z (t) := (tz log e tx, µ ) ρ z(t ) = 0 z = 1 e t x,µ xet x, µ ν(dx) := 1 e t x,µ et x µ(dx) neues W -Maß, ν U z Einsetzen = Ent µ (ν) = ρ z (t ) = I µ (z).

74 Bew: (Satz 2.9) Im Spezialfall, dass µ(s) = 1 mit S R endlich: µ X (n) P n (S) P(S). P(S) R, µ E µ (X ) = sµ(s) ist stetig. s S U z = {µ P(S) E µ (X ) > z} P(S) offen E (x) = 1 µx (n) n S n und 1 n S n > z µ X (n) U z Sanov 1 = lim n n log P(S n > z) = inf ν Uz Ent µ (ν) z < x < z : I µ (z 1 ) = lim n n log P(S n > z 1 ) lim inf n 1 lim sup n n log P(S 1 n x) lim n Lemma 2.5 = I µ (z). n log P(S n x) n log P(S n > z) = I µ (z) Beh. folgt aus Lemma 2.5, da z I µ (z) stetig.

75 Nachtrag: W-Maße auf Ω = R N Bezeichnungen Ω := R N = {ω = (ω i ) N ω i R} pr n : Ω R n, pr n (ω) = (ω 1,..., ω n ) pr m n : R m R n : (ω 1,..., ω m ) (ω 1,..., ω n ) für m n. Definition 2.7 Z = {Z Ω Z = pr 1 n (B), n N, B B(R n )}, F = σ(z) 2 Ω. Eine Folge von W-Maßen auf µ n auf (R n, B(R n )), n N, heißt konsistent, falls (pr m n ) µ m = µ n für alle m n. Bsp. 2.3 Satz 2.11 (Kolmog. Konsistenzsatz) Korollar 2.5 µ n (dx 1..., dx n ) := n i=1 µ(dx i) (n-faches Produktmaß). Eine Familie (µ n ) n von W-Maßen ist konsistent genau dann wenn ein (eindeutiges) W-Maß µ auf (R N, F) ex., so dass µ n = (pr n ) µ n N. Für ein W-Maß µ auf (R, B(R)) ex. genau ein W-Maß µ auf (Ω, F) = (R N, σ(z)) so dass X n : Ω R, X n (ω) = ω n, n N, eine unabh. Folge von µ-verteilten ZV en definiert.

76 Beweis von Satz 2.11 Lemma 2.6 Bew: Bew: (Satz 2.11) Sei η ein W-Maß auf (R n, B(R n )) und A B(R n ), so ex. zu ɛ > 0 ein K ɛ A kompakt, s.d. η(a \ K ɛ ) ɛ. Mengen A mit dieser Eigensch. bilden ein -stabiles Dynkin-System, welches die Mengen A = n ]a i, b i ] enthält. i=1 Z ist ein Ring. Definiere Inhalt auf Z: µ 0 (Z) := µ n (B) falls Z = prn 1 (B) Z, B B(R n ). Konsistenz = µ 0 wohldefiniert. Zeige: µ 0 Prämaß auf Z: Z n = prn 1 (B n )! µ 0 (Z n ) 0. Angen. δ > 0: µ 0 (Z n ) δ > 0 n N. Sei K n B n kp. mit µ n (B n \ K n ) δ 2 und C n+1 n := prn 1 K n Z. Sei D n = n i=1 C i D n = prn 1 F n für F n K n abgeschlossen. µ 0 (D n ) δ n δ i=1 δ 2 i+1 2 F n. Wähle ω (n) D n n N. Diagonalfolge = (ω (n ) ) n, ω = ( ω 1,... ) Ω s.d. (ω (n ) 1,..., ω (n ) m ) n ( ω 1,..., ω m ) m N. Fm abgeschl. = ( ω 1,..., ω m ) F m m ω D m m m D m. Wegen D n Z n mit Z n D n Widerspruch.

77 2.4 Reihen unabhängiger Zufallsvariablen

78 Terminale σ-algebra Definition 2.8 Für eine Folge von σ-algebren F n, n N ist die terminale σ-algebra gegeben durch T = n σ( m n F m ). Bsp. 2.4 Ω = {ω = (ω 0, ω 1,... ) {G, R, B} N, F = 2 Ω, E = {R, G, B}, E = 2 E, X n : Ω E, X n ((ω i ) i N ) = ω n, F n := σ(x n ) {ω Ω n=1 1 Xn(ω)=G = } T. Bsp. 2.5 Sei X n eine Folge von ZV en auf (Ω, F, P) und F n := σ(x n ), dann ist E := {ω Ω n N X n (ω) konvergiert} T.

79 Kolmogorov sches 0-1-Gesetz Satz 2.12 Bew: (Satz 2.12) Korollar 2.6 Definition 2.9 Falls (F n ) n N eine Folge von P-unabh. σ-algebren, so gilt P(E) {0, 1} für alle E T. ( ) ( ) Fn, F k unabh. m > n Lemma 2.1 = F n, σ( F k ) unabh. k m ( ) k m (F n, T ) unabh. n F l, T unabh. s.o. (T, T ) unabh. l n E unabh. von E E T d.h. P(E) = P(E E) = P(E) 2 P(E) {0, 1}. Für eine Folge (X n ) von unabh. ZV en auf (Ω, F, P) ist P({ n N X n konvergiert}) {0, 1}. Für eine Folge (X n ) heißt n N X n konvergent, falls P( X n konv. ) = 1. n N

80 Kolmogorov sche Ungleichung Lemma 2.7 Bemerkung Für X 1,, X n unabh. mit E(X i ) = 0 und sn 2 := n i=1 V (X i) P(max 1 k n k i=1 X i l) s2 n l 2. Tschebyshev-Ungl. für Maximum T n := max 1 k n k i=1 X i Bew: E k := { S 1 < l,..., S k 1 < l, S k l} {T n l} = k E k P(E K ) 1 l 2 E(S 2 k ; E k) 1 l 2 E(S 2 k + (S n S k ) 2 ; E k ) Unabhängigkeit 1 = l E(S 2 2 k + 2S k(s n S k ) + (S n S k ) 2 ; E k ) = 1 l E(S 2 2 n ; E k ). P(T n l) = k P(E k) k 1 l 2 E(S 2 n ; E k ) = 1 l 2 E(S 2 n ).

81 Kolmogorov scher Reihensatz Satz 2.13 Lemma 2.8 Bew: Bew: (Satz 2.13) Für eine Folge unabh. ZV en X 1, X 2,..., mit E(X i ) = 0 und i V (X i) < konvergiert S = i N X i fast sicher. Eine Folge von (S n ) von ZV en konvergiert fast sicher genau dann, wenn P(sup n k m S k S n > δ) 0 für m n. Siehe Übungen. Kolmogorov Ungl. = P(sup n k m S k S n δ) 1 m n,m δ 2 j=n+1 V (X ) 0. Aussage folgt mit Lemma 2.8.

82 Satz 2.14 Bew: Kolmogorov scher Reihensatz: Umkehrung Für (X n ) Folge unabh. ZV en mit E(X n ) = 0 und X n C f.s. für alle n N, folgt aus n X n konv., dass n V (X n) <. Sei σn 2 := V (X n ), S n := n i=1 X i, S 0 := 0 Für L > 0 sei F n (L) := { S 1 L,..., S n L}. X n ex. f.s. P( F n (L)) = 1 L N n n L > 0 : P(F n (L)) δ > 0 n N. E(S 2 n ; F n 1 ) = E(S 2 n 1 + 2X ns n 1 + X 2 n ; F n 1 ) = E(S 2 n 1 ; F n 1) + E(X 2 n ) P(F n 1 ) E(S 2 n 1 ; F n 1) + σ 2 nδ E(S 2 n, F n 1 ) = E(S 2 n, F n ) + E(S 2 n, F n 1 \ F n ) E(S 2 n, F n ) + (L + C) 2 P(F n \ F n 1 ) δσ 2 n E(S 2 n ; F n ) E(S 2 n 1, F n 1) + (L + C) 2 P(F n 1 \ F n ) (Teleskopsumme, Sn 2 L auf F n ) δ σn 2 L 2 + (L + C) 2 n N

83 Kolmogorov scher Drei-Reihen-Satz Satz 2.15 Bew.: : n N X n ist konvergent für (X n ) unabh. i) & ii) & iii) i) Für ein C > 0 ist n P( X n > C) <. ii) Für Y n := X n 1 Xn C konvergiert n N E(Y n) iii) Für Y n wie in ii) ist n N V (Y n) <. Ŷ n := Y n E(Y n ) K scher Reihens. = Ŷ n konvergiert f.s. Y n = (Ŷn + E(Y n )) konvergiert f.s. P(Xn Y n ) = P( X n > C) < Borel-Cantelli = X n = Y n für schließich alle n N f.s. X n konvergiert f.s.

84 Beweis (Forts.) : X n ex. X n C für schließich alle n mit W -keit 1. Borel-0/1 = P( X n > C) < i) i) & Borel-Cantelli = Y n konv. Sei Y n Y n eine unabh. Kopie von X n, d.h. Ω = Ω Ω = { ω = (ω, ω) ω, ω Ω} P(d(ω, ω)) = P(dω ) P(dω) {Ȳn, Ȳ n, n N} unabh. Ȳ n( ω) := Y n (ω ), Ȳn( ω) := Y n (ω) P( Ȳ n konv.) = P( Ȳ n konv.) = P( Y n konv.) = 1. Zn konvergiert f.s. für Z n := Ȳn Ȳ n E( Z n ) = 0 und Z n 2C f.s. Satz 2.14 = V ( Z n ) = 2 V (Y n ) < iii) iii) & K scher Reihens. = Ŷn konv. mit Ŷ n = Y n E(Y n ) E(Y n ) = (Y n Ŷ n ) konv. ii)

85 Levy sche Ungleichung Lemma 2.9 Falls X 1,..., X n unabh. ZV mit P( n k=i X i l 2 ) δ für alle i = 1,..., n, so folgt P(max 1 k n k i=1 X i l) δ 1 δ. Bew: Sei E k := { S 1 < l,..., S k 1 < l, S k l} Mit T n := max 1 k n k i=1 X i folgt {T n l} = k E k P(T n l, S n l 2 ) = n k=1 n k=1 P(E k { S n S k l 2 }) = δp(t n l) P(E k { S n l 2 }) n k=1 P(E k )P({ S n S k l 2 }) Wegen P(T n l, S n > l 2 ) P( S n > l 2 ) δ P(T n l) δp(t n l) + δ Behauptung.

86 Satz von Levy Satz 2.16 Bew: Für S n := n i=1 X i mit (X n ) unabh. gilt S n konvergiert fast sicher S n konvergiert stochastisch. klar. : S n konvergiere stochastisch P( S n S m > δ) 0 für n, m ɛ, δ > 0 N 0 : P( m i=k+1 X i > δ) ɛ m k N 0. Levy-Ungleichung = ɛ, δ > 0 N 0 : m > k N 0 P( max S l S m > 2δ) l k,...,m Aussage folgt mit Lemma 2.8. = P( max l k,...,m m i=l+1 X i > 2ɛ) ɛ 1 ɛ

87 Kapitel 3: Zentraler Grenzwertsatz

88 Schwache Konvergenz Definition 3.1 Sei (S, τ) topologischer Raum, Borel sche σ-algebra S = σ(τ). Eine Folge von W-Maßen auf (S, S) konvergiert schwach gegen das W-Maß µ, falls für alle ϕ : S R beschränkt stetig S ϕ(x)µ n(dx) S ϕ(x)µ(dx). Eine Folge (X n ) von S-wertien ZV en X n : Ω n S konvergiert schwach gegen X : Ω S, falls Vert Xn schwach Vert X. Schreibweise µ n µ bzw. X n X. Bemerkung erzeugt die schwache Topologie auf P(S). (X n X ) E[ϕ(X n )] E[ϕ(X )] ϕ C b (S). (δ sn δ s ) s n s, für n.

89 Zentraler Grenzwertsatz Satz 3.1 (ZGS) Für eine unabh. ident. vert. Folge (X n ) n von ZV en mit E(X 1 ) = m und V (X 1 ) = σ 2 gilt für S n := n i=1 X i, dass S n nm nσ n = ν 0,1. Bemerkung S n nm nσ beschreibt Fluktuationen beim GGZ 1 n S n n m.

90 Bew: (Stein, 72) O.B.d.A. m = 0, σ = 1. Zu zeigen: f C b (R): E[f ( Sn n )] f (x)ϕ(x)dx mit ϕ(x) = 1 R 2π e x 2 /2. O.b.d.A. f (x)ϕ(x)dx = 0. R h(x) := 1 x ϕ(x) f (t)ϕ(t)dt = 1 ϕ(x) f (t)ϕ(t)dt. x h (x) = f (x) φ (x) x φ 2 (x) f (t)ϕ(t)dt ϕ (x) xϕ(x) = f (x) + xh(x). Mit M = sup x R f (x) und x > 0 h(x) M ϕ(x) x ϕ(t)dt M ϕ(x) x t x ϕ(t)dt = M x Analog h(x) M x für x < 0 h(x) M x für x R 0. sup x R x h(x) M h C b (R) mit sup x R h (x) 2M.

91 Beweis von ZGS (Forts.) E[f ( Sn n )] = E[h ( Sn n )] E[ Sn n h( Sn n )] = E[h ( Sn n )] ne[x 1h( Sn n )] = E[h ( Sn )] ne[x S n + X 1 1h( )] mit S n := n n n i=2 X i = E[h ( Sn )] ne[x S n 1h( )] E[X n n 0 h ( S n + sx 1 )ds] n X 1 und Sn unabh. = E[h ( Sn )] E[X n 0 h ( S n + sx 1 )ds] n E(X 2 1 ) = 1 = E[h ( Sn n ) h ( S n n )] =: E(U n) E(V n) ( E[X1 2 1 h ( S n + sx 1 ) h ( S ) n ) ds] 0 n n = E(U n; A n,k ) E(V n; A n,k ) + E(U n; A c n,k) E(V n; A c n,k) mit A n,k = { S n/ n k}.

92 Beweis von ZGS (Forts.) U n 1 An,k (ω) = ( h ( S n(ω) n + X1(ω) n ) h ( S n(ω) n ) ) 1 Sn(ω) n k h gleichm. stetig auf [ k, k] U n 1 An,k 0 f.s. für n. Ferner U n 1 An,k U n 4M Analog V n 1 An,k 0 f.s. V n 1 An,k 4MX1 2 L1 (P) E(U n 1 A c n,k ) 4MP(A c n,k ) Tscheb. Dom. Konvergenz = E(U n ; A n,k ) 0. Dom. Konvergenz = E(V n ; A n,k ) 0. 4M k V ( S n n ) Biename = 4M n 1 2 k 2 n E(V n 1 A c n,k ) 4MP(X1 21 A c n,k ) Unabh. = 4ME(X1 2) P(Ac n,k ) s.o. 4M k 2 lim sup n E[f ( Sn n )] 8M k 2 k N Beh.

93 3.1 Schwache Konvergenz

94 Satz 3.2 Portmanteau Theorem Sei (S, τ) ein top. Raum mit S = σ(τ). Dann sind. äquivalent 1 µ n µ 2 µ(a) lim sup n µ n (A) A S abgeschlossen 3 µ(o) lim inf n µ n (O) O S offen 4 µ(g) = lim n µ n (G) G S mit µ( G) = 0. Lemma 3.1 Für A S abg. µ(a) = inf{ S φ(x)µ(dx) φ C b(s), φ 1 A }. Bew: (Satz 3.2) Schreibweise ϕ, µ = S ϕ(x)µ(dx). i) ii) : Sei ϕ C b (S), ϕ 1 A. ϕ, µ n sup ϕ, µ m sup µ m (A) m n m n n Lemma 3.1 = ϕ, µ lim sup n µ n (A) = µ(a) lim sup n µ n (A). ii) iii) : Folgt durch Übergang zu Komplementmengen. iii) iv) : µ(g) = µ( G) lim inf µ n ( G) lim inf µ n (G) lim sup µ n (G) lim sup µ n (Ḡ) µ(ḡ) = µ(g).

95 Bew: (Forts.) iv) i) : ψ C b (S), t F ψ (t) := µ({ψ t}) rechtsstetig hat nur abzählbar viele Sprünge µ({ψ t}) = µ({ψ > t}) für dx-fast alle t R. S Fubini ψ(x)µ(dx) = µ({ψ t})dt R iv) = R lim Dom. Konvergenz n µ n ({ψ t})dt = lim n R µ n({ψ t})dt. Satz 3.3 Für eine Folge (µ n ) n von W-Maßen auf (R, B(R)) gilt µ n µ gdw. F µn (x) F µ (x) für alle x R, in denen F µ (.) stetig. Bew: Satz 3.4 (Skorokhod) Folgt aus Satz 3.2 iv), da µ({x}) = F µ (x) lim F µ (y) x R, y x d.h. µ([a, b]) = µ((a, b)), falls F µ in a und b stetig. Falls X n X für eine Familie von R d -wertigen ZV en, so ex. ein W-Raum (Ω, F, P) und X, X n : Ω R d mit X X, X n X n, s.d. X n X P-fast sicher. Bew: Ohne Beweis. Ansonsten [Durrett], Kap. 8.

96 Anwendung vom ZGS Korollar 3.1 Falls (X n ) n Folge unabh. id. vert. reeller ZV en mit m = E(X 1 ) und σ 2 = V (X 1 ), so gilt für alle t R lim P n ( n i=1 X i n m nσ ) t = 1 2π t e u2 /2 du =: Φ(t). Bew: Folgt aus ZGS und Satz 3.3, da t F (t) := 1 2π t e u2 /2 du stetig. Bemerkung t Φ(t) := 1 2π t e u2 /2 du Verteilungsfunktion der Standard-Normalverteilung. Bsp. 3.1 X i unabh. Bernoulli-verteilt mit Parameter p E(X 1 ) = p, V (X 1 ) = p(1 p). ( n i=1 X i ist B(n, p) binomialverteilt. ) P[ n i=1 X i s] = P[( n i=1 X i np)/ np(1 p) (s np)/ np(1 p)] Φ[(s np)/ np(1 p)], falls n groß.

97 Charakteristische Funktionen Definition 3.2 Sei X µ eine R d -werige ZV, dann heißt ϕ X : R d C, Bemerkung ϕ X (ξ) = E(e i ξ,x ) = R d e i ξ,x µ(dx) charakteristische Funktion von X (bzw. von µ). e i ξ,x µ(dx) := cos( ξ, x )µ(dx) + i sin( ξ, x )µ(dx) C, R d R d R d mit x cos( ξ, x ), x sin( ξ, x ) C b (R d ) ϕ X (.) wohldef. Satz 3.5 Eigenschaften von ϕ X : 1 ϕ X (ξ) 1 und ϕ X (0) = 1 2 ϕ X (.) ist gleichmäßig stetig auf R d : ϕ X (ξ + η) ϕ X (ξ) e i ξ+η,x e i ξ,x µ(dx) = e i η,x Dom. Konvergenz 1 µ(dx) 0 für η 0. 3 ϕ ax +b (ξ) = e i b,ξ ϕ X (aξ), ϕ X (ξ) = ϕ X (ξ), 4 Für X und Y unabhängig ist ϕ X +Y (ξ) = ϕ X (ξ) ϕ Y (ξ). Bsp. 3.2 ϕ νm,v (t) = e itm 1 2 vt2

98 Inversionsformel Satz 3.6 Bew: Falls ϕ = ϕ µ : R C für µ W-Maß auf (R, B(R)), so gilt 1 T lim T 2π T e ita e itb it ϕ(t)dt = µ((a, b)) + µ({a})+µ({b}) 2. e iat e ibt it = b a eist ds a b. T T Fubini e iat e ibt T ϕ(t)dt = it = R T T t cos(ct) gerade = T e it(s a) e it(s b) dtµ(ds) it T R T e iat e ibt e its µ(ds)dt it sin t(s a) sin t(s b) dtµ(ds) t = R[u(T, s a) u(t, s b)] µ(ds) R mit U(T, z) = T T sin(tz) dt t

99 Korollar 3.2 Eindeutigkeitssatz) Bew: Bew. (Forts.) U(T, z) = T T T 2 sign(z) sin(tz) t dt = 2 zt 0 mit sign(z) := 1 z>0 1 z<0. 0 sin t t dt sin t t dt = sign(z)π, C > 0 : U(T, z) C T, z Dom. Konv. = 1 T e ita e itb 2π T it ϕ(t)dt [sign(s a) sign(s b)]µ(ds) 1 2 R = 1 2 [µ(r >a) µ(r <a ) (µ(r >b ) µ(r <b ))] = 1 2 [µ(]a, b]) + µ([a, b[)] = µ(]a, b[) (µ({a}) + µ({b})) Ein W-Maß µ auf (R, B(R)) ist duch ϕ µ (.) eindeutig bestimmt. Für F = F µ stetig in a,b F (b) F (a) = µ(]a, b[) a F (b). Satz 3.6 Fµ rechtsst. = F µ (x) durch ϕ µ festgelegt falls in x stet. = in x R.

100 Levý scher Stetigkeitssatz Satz 3.7 Bew: Satz 3.8 Es gilt µ n µ genau dann wenn ϕ µn (t) ϕ µ (t) für alle t R : Klar, da x e itx = cos(tx) + i sin(tx) C b (R) + i C b (R). Folgt aus Satz 3.8 unten. Sei µ n eine Folge von Borel schen W-Maßen auf R mit ϕ µn (t) : ϕ(t) für alle t für eine Folge von Borel schen W-Maßen auf R und ϕ(.) stetig in 0, so gilt ϕ = ϕ µ für ein Borel sches W-Maß µ auf R und µ n µ.

101 Lemma 3.2 Bew: (Idee) Sei (F n ) Folge von Funktionen mit F n : R [0, 1] rechsttet. nichtfallend. Dann ex. Teilfolge n und F : R [0, 1], rechtsstt. nichtfallend s.d. F n (t) F (t), falls F in t stet. (F n (q)) n N [0, 1] q Q Diagonalfolge = Ex. Teilfolge n, s.d H(q) := lim n F n (q) ex. q Q. Setze F (t) := lim Q q t H(q). Lemma 3.3 Für ϕ(.) = ϕ µ (.) und F = F µ und T > 0 0 [1 F ( 2 T ) + F ( 2 1 T )] 2[1 2T Bew: 1 T 2T T R ϕ(t)dt Fubini = R 1 T e itx dtµ(dx) = 2T T T T ϕ(t)dt] R sin(tx) µ(dx) Tx sin(tx) Tx µ(dx) µ({ x < l}) + 1 µ({ x l}) Tl 1 1 T ϕ(t)dt µ({ x l}) 1 µ({ x l}) 2T T Tl = (1 1 Tl )µ({ x l}) (1 1 )[F ( l) + 1 F (l)] Tl Beh. folgt für l := 2 T.

102 Bew: (Satz 3.8) Sei n Teilfolge und F gemäß Lemma 3.2, so dass F n (t) F, falls F stet. in t. Sei T so gewählt, dass F stet. in 2 T und in 2 T. Lemma 3.3 = 0 [1 F µn ( 2 T ) + F ( 2 T )] 2[1 2 T T T n = 0 [1 F ( 2 T ) + F ( 2 T )] 2[1 2 T T T ϕ µn (t)dt] ϕ(t)dt] φ stetig in 0 T 0 = 0 [1 F ( ) + F ( )] 2[1 φ(0)] = 0 F (+ ) F ( ) = 1 F = F µ für ein W-Maß µ. µ n µ ϕ = ϕ µ D.h. µ durch ϕ eind. bestimmt, und jede Teilfolge µ n enthält eine Teilfolge n, s.d. µ n µ. = µ n µ für die gesamte Folge µ n.

103 Satz von Lindeberg-Feller Satz 3.9 Bemerkung Es sei (X (n) ) i=1,...,mn, n N eine Doppelfolge von reellen ZV en, s.d. {X (n) 1,..., X m (n) n } unabh. für alle n N, (n) E(X i ) n und m n (n) i=1 V (X i ) n σ 2. mn i=1 Dann sind äquivalent: i) X n := mn i=1 ii) Für alle ɛ > 0 m n i=1 E[(X (n) i X (n) i X ν µ,σ 2 und sup i {1,...,n m} E(X (n) i )) 2 ; X (n) i V (X (n) i ) n 0. E(X (n) i ) > ɛ] n 0 Die Eigenschaft ii) heißt Lindeberg-Bedingung.

104 Bew. von Lindeberg-Feller: Vorbereitung Lemma 3.4 Bew: Lemma 3.5 Sei z 1,..., z n, z 1,..., z n C mit z i, z i 1, dann n i=1 z i n i=1 z i n i=1 z i z i Duch Induktion nach n (Übung). Für t R, n N 0. e it n (it) k k=0 k! min( 2 t n n!, t n+1 (n+1)! ) Bew: Induktion nach n. n = 0: e it 1 = t 0 eis ds t und e it 1 2 Beh. Ind.Schritt folgt aus e it n+1 k=0 (it) k k! = t 0 [eis n k=0 (is) k k! ]ds. Lemma 3.6 Für X ν m1,v 1, Y ν m2,v 2 unabh. ist X + Y ν m1+m 2,v 1+v 2 Bew: ϕ X +Y (t) = ϕ X (t)ϕ Y (t) = e im1t v 1 2 t 2 e im2t v 2 2 t 2 = e it(m1+m2) v 1 +v 2 2 t 2.

105 Bew. von Lindeberg-Feller: ii) i) O.b.d.A. E(X (n) i ) = 0 und σ 2 = 1 (Andernfalls argumentiere mit ˆX (n) := X (n) i E(X (n) i ) i σ.) Bezeichnungen σn,i 2 := V (X (n) i ), σn 2 := m n i=1 σ2 n,i, ϕ n,i(t) := ϕ (n) X (t). i Sei ɛ > 0 sup i {1,...,n m} Sei Z n := mn i=1 σ 2 n,i ɛ 2 + Z (n) i Mit ϕ n,i (t) := ϕ Z (n) i m n ɛ 2 + lim sup i {1,...,n m} i=1 E[(X (n) i sup n i {1,...,n m} mit Z (n) i (t). ϕ Zn (t) = m n i=1 ϕ n,i(t) = e 1 2 σ2 n E[(X (n) i ) 2 ; X (n) i > ɛ) ) 2 ; X (n) > ɛ) n ɛ 2 σ 2 n,i = 0. i ν 0,σn,i, i = 1,..., m n unabh. t2 n e 1 2 t2, d.h. Z n ν 0,1.

106 Bew. von Lindeberg-Feller: ii) i) (Forts.) m n m n ϕ n,i (t) ϕ n,i (t) i=1 m n i=1 Lemma 3.4 m n i=1 ϕ n,i (t) ϕ n,i (t) ϕ n,i (t) m n 2 t2 σn,i 2 + ϕ n,i (t) t2 σn,i 2 i=1 =: I + II i=1 Taylor & sup σn,i 2 < C = C t > 0 s.d. n,i II C mn σn,i 4 C sup σ 2 m n n,i σn,i 2 i=i,...,m n i=1 Lemma 3.5 = Mit K t := 3 t 2 min( t, 1) m n i=1 ϕ n,i (t) m n 2 t2 σ n,i K t m n m n K tɛ σn,i 2 + K t i=1 i=1 i=1 E[ X (n) i i=1 n 0. E[ X (n) i 2 min(1, Xi n )] 2 ; X (n) t > ɛ] n ɛ. Wegen ɛ > 0 beliebig lim ϕ Xn (t) e 1 2 t2 Beh.

107 Bew. von Lindeberg-Feller: i) ii) Tschebyshev = sup P( X (n) σ i > ɛ) sup i,n ɛ 2 i {1,,m n} i {1,,m n} Lemma 3.5 = sup i {1,,m n} 2 sup i {1,,m n} ϕ n,i (t) 1 sup i {1,,m n} P( X (n) i > ɛ) + ɛ t n 0 n 0. E[min(2, t X n i )] log ϕ n,i (t) definiert für log : C \ R 0 C, falls n groß. E(X (n) Lemma 3.5 i ) = 0 = ϕ n,i (t) 1 C t 2 σn,i 2. log(ϕ n,i (t)) (ϕ n,i (t) 1) = log(1 (ϕ n,i (t) 1)) (ϕ n,i (t) 1) Taylor-Entw. von z log(z) in z = 1 C (ϕ n,i (t) 1) 2 Ct 4 σn,i 4 log ϕ n,i (t) mn (ϕ n,i (t) 1) C mn t 4 σn,i 4 mn i=1 Ct 4( log ϕ n (t) = mn i=1 sup i {1,,m n} i=1 ) σn,i 2 m n σn,i 2 i=1 log ϕ n,i (t) n t2 2 mn i=1 n 0. (ϕ n,i (t) 1) n t2 i=1 nach Voraussetzung 2.

108 Bew. von Lindeberg-Feller: i) ii) (Forts.) mn Re(ϕ n,i (t) 1) = mn (Re(ϕ n,i (t)) 1) i=1 = mn i=1 i=1 (E[cos(tX (n) i )] 1) n Re( t2 2 ) = t2 2 Wegen 0 1 cos(θ) θ2 2, für ɛ > 0 lim sup mn (n) i=1e[(x i ) 2 ; X (n) i > ɛ] n = lim sup n ( σn 2 m n (n) i=1e[(x i ) 2 ; X (n) i ɛ] = lim sup 1 m n (n) i=1e[(x i ) 2 ; X (n) i ɛ] n lim sup 1 2 mn (n) n t 2 i=1e[1 cos(tx i ); X (n) i ɛ] = lim sup n lim sup n 2 t 2 mn i=1 2 t 2 mn i=1 (n) E[1 cos(tx i ); X (n) i > ɛ] (n) P( X i > ɛ) lim sup n Mit t folgt die Lindeberg-Bedingung. ) 2 ɛ 2 t 2 mn i=1 σ2 n,i = 2 ɛ 2 t 2.