Konvergenz von Folgen von Zufallsvariablen

Transkript

1 Kapitel 5 Kovergez vo Folge vo Zufallsvariable 5.1 Fa-sichere ud ochaische Kovergez Seie Ω, A, P ei W-Raum, X N eie Folge R k -wertiger Zufallsvariable auf Ω ud X eie R k -wertige Zufallsvariable auf Ω für eie fee Dimesio k N : X : Ω, A R k, B k N, X : Ω, A R k, B k. Defiitio 5.1 Fa-sichere Kovergez Die Folge X kovergiert fa-sicher gege X, abkürzede Schreibweise: X Ω 0 A mit PΩ 0 = 1 gibt, so dass X f.s., we es ei lim X ω = Xω ω Ω 0. Defiitio 5.2 Stochaische Kovergez Die Folge X kovergiert ochaisch gege X, abkürzede Schreibweise: X reelle ε > 0 gilt: lim P X X > ε = 0. X, we für jedes Dabei bezeichet die euklidische Norm auf R k ; wir köe auch irgedeie Norm auf R k ehme der obige Kovergezbegriff ädert sich icht. Bemerkuge: 1. Eie adere Bezeichug für die ochaische Kovergez der Folge X gege X i Kovergez i Wahrscheilichkeit der Folge X gege X. 2. Es verwudert agesichts der beide Defiitioe icht, dass die Limesvariable X im Fall X X f.s. oder X X icht reg eideutig beimmt i, soder ur P-fa-sicher eideutig beimmt i. 3. Für Dimesio k 2 lasse sich die beide geate Kovergezbegriffe auf die k reelle Kompoetevariable vo X ud vo X heruterbrige. Seie X = X 1,..., X k N ud X = X 1,..., X k, 32

2 Norbert Gaffke: Vorlesug Eiführug i die Wahrscheilichkeitheorie ud Statiik, Sommersemeer 2010 Kapitel 5: Kovergez vo Folge vo Zufallsvariable 33 Da gelte die Äquivaleze: X X f.s. X i X i f.s. i = 1,..., k ; 5.1 X X X i X i i = 1,..., k. 5.2 Theorem 5.3 Beziehuge zwische fa-sicherer ud ochaischer Kovergez a Es gilt die Äquivalez: X X f.s. lim P sup m: m Xm X > ε = 0 ε > 0. Isbesodere: X X f.s. impliziert X X. b We X X, da exiiert eie Teilfolge X i i N mit eier rikt aufeigede Folge 1 < 2 <... < i <... i N, so dass X i X f.s. für i. Beispiel: Stochaische Kovergez i i.a. schwächer als fa-sichere Kovergez Seie Ω = [ 0, 1, A = B[0 1, 1 ud P = λ 1 [0, 1 die Gleichverteilug auf dem Itervall [ 0, 1. Defiiere [ i 1 A i,m := m, i i = 1,..., m, m N, m { } Wähle irgedeie Abzählug der Idexmege i, m : i {1,..., m}, m N : N i, m, ud betrachte die Folge reller Zufallsvariable X := 1 Ai,m, N. Ma sieht leicht: X 0 ; aber für jedes ω [ 0, 1 hat die Folge X ω N uedlich viele Glieder gleich 1 ud uedlich viele Glieder gleich 0, ud i daher icht koverget. Lemma 5.4 Cauchy-Kriterium für fa-sichere Kovergez Für eie gegebee Folge X N R k -wertiger Zufallsvariable auf Ω sid die drei folgede Bediguge i, ii ud iii äquivalet. i Es exiiert eie R k -wertige Zufallsvariable X auf Ω mit X X f.s.. ii Für jedes ε > 0 gilt iii lim P sup X +r X > ε r N sup X r X s 0 f.s. für. r,s = 0. Bemerkug: Cotiuous Mappig Theorem CMT für fa-sichere Kovergez Für die fa-sichere Kovergez i offesichtlich, dass sie sich auf eie etige Trasformatio der eizele Zufallsvariable überträgt: We X X f.-s. ud G : R k R l etig, da G X G X f.s. Die Voraussetzug der Stetigkeit vo G auf gaz R k i uötig resrriktiv; ma zeigt leicht CMT für fa-sichere Kovergez, vergl. Theorem 5.3 ute : We X X f.s. ud G : R k, B k R l, B l mit P X C G = 1, da G X G X f.s. ; dabei bezeichet: C G := { x R k : G i etig im Pukt x }.

3 Norbert Gaffke: Vorlesug Eiführug i die Wahrscheilichkeitheorie ud Statiik, Sommersemeer 2010 Kapitel 5: Kovergez vo Folge vo Zufallsvariable 34 Agemerkt sei, dass i der Tat die Mege C G Mege aller Stetigkeitspukte vo G eie Borel sche Mege i, was ma aus der folgede Darellug vo C G c Mege aller Uetigkeitspukte vo G sieht: Für alle m, N i { } A m, := x R k : y, z R k mit y x < 1, z x < 1, Gy Gz 1 m eie offee Teilmege vo R k, ud es gilt C G c = A m,. m=1 =1 Theorem 5.5 CMT für ochaische Kovergez We X X ud G : R k, B k R l, B l mit P X C G = 1, da G X G X. Korollar 5.6 We X X R k -wertige ZV e auf Ω, Y Y R l -wertige ZV e auf Ω ud H : R k+l, B k+l R m, B m mit P X, Y C H = 1, da H X, Y H X, Y. 5.2 Schwaches Gesetz der Große Zahle Zur Motivatio der Problemelluge, die wir i diesem ud auch im darauf folgede Abschitt Starkes Gesetz der Große Zahle betrachte werde: Seie x 1,..., x beobachtete Werte vo u.i.v. reelle Zufallsvariable X 1,..., X, also x i = X i ω, i = 1,...,, für ei ω Ω. Da sollte für großes approximativ gelte: x := 1 x i β, wobei β de idetische Erwartugswert der Zufallsvariable X i bezeichet die P-itegrierbar seie. Das Schwache Gesetz der Große Zahle egl. Weak Law of Large Numbers, WLLN präzisiert dies als ochaische Kovergez X := 1 X i β, das Starke Gesetzes der Große Zahle egl. Strog Law of Large Numbers, SLLN als fa-sichere Kovergez X β f.s. Wir bemerke och, dass die Beschräkug auf reelle Zufallsvariable im Vergleich zur Situatio vo R k -wertige Zufallsvariable für die geate Frageelluge ichts ausmacht, da letztere Situatio auf die reelle Kompoetevariable zurückgeführt werde ka. Im Folgede sei Ω, A, P ei W-Raum. Lemma 5.7 Tchebychev-Ugleichug Sei X eie quadrat-p-itegrierbare reelle Zufallsvariable auf Ω. Da gilt für jedes ε > 0 : P X EX ε VarX ε 2.

4 Norbert Gaffke: Vorlesug Eiführug i die Wahrscheilichkeitheorie ud Statiik, Sommersemeer 2010 Kapitel 5: Kovergez vo Folge vo Zufallsvariable 35 Korollar 5.8 Sei Y N eie Folge quadrat-p-itegrierbarer reeller Zufallsvariable auf Ω mit EY = 0 N ud mit lim VarY = 0. Da gilt Y 0. Theorem 5.9 Schwaches Gesetz der Große Zahle Sei X i i N eie Folge quadrat-p-itegrierbarer ud paarweise ukorrelierter reeller Zufallsvariable auf Ω. Bezeiche X := 1 X i N. Es gilt: We lim 1 2 VarX i = 0, da X E X 0. Korollar 5.10 WLLN für idetisch verteilte ZV e Sei X i i N eie Folge quadrat-p-itegrierbarer, idetisch verteilter ud paarweise ukorrelierter reeller Zufallsvariable auf Ω. Da gilt, mit β := EX i : X β. 5.3 Starkes Gesetz der Große Zahle Lemma 5.11 Hilfsresultate: Toeplitz- ud Kroecker-Lemma Sei x i i N eie reelle Zahlefolge. a We lim i x i = x R, da lim b We die Reihe x i i 1 x i = x., N, i R kovergiert, da lim 1 x i = 0. Im Folgede sei Ω, A, P ei W-Raum. Lemma 5.12 Borel-Catelli-Lemma Sei eie Folge vo Ereigisse A A N gegebe. Bezeiche A := lim sup A = A m =1 m= = { ω Ω : ω A für uedlich viele N }. a b We PA <, da gilt PA = 0. =1 We die Ereigisse A N ochaisch uabhägig sid d.h. für jedes N N sid A 1,..., A N ochaisch uabhägig ud we PA =, da gilt PA = 1. =1

5 Norbert Gaffke: Vorlesug Eiführug i die Wahrscheilichkeitheorie ud Statiik, Sommersemeer 2010 Kapitel 5: Kovergez vo Folge vo Zufallsvariable 36 Lemma 5.13 Kolmogorov-Ugleichug Seie Y 1,..., Y ochaisch uabhägige quadrat-p-itegrierbare reelle Zufallsvariable auf Ω mit EY i = 0 i = 1,...,. j Bezeiche S j := Y i für j = 1,...,. Da gilt für jedes ε > 0 : P max 1 j Sj ε 1 ε 2 E Yi 2. Lemma 5.14 Kolmogorov & Khichi Sei Y i i N eie Folge ochaisch uabhägiger quadrat-p-itegrierbarer reeller Zufallsvariable auf Ω mit EY i = 0 i N. Die ochaische Uabhägigkeit der Y i i N bedeutet, dass die Zufallsvariable Y 1,..., Y ochaisch uabhägig sid, für jede Wahl vo N. Es gilt: We E Yi 2 <, da kovergiert die Partialsummefolge S := gege eie reelle Zufallsvariable S auf Ω. Y i, N, fa-sicher Theorem 5.15 Starkes Gesetz der Große Zahle vo Kolmogorov Sei X i i N eie Folge ochaisch uabhägiger quadrat-p-itegrierbarer reeller Zufallsvariable auf Ω. Bezeiche X := 1 X i, N. Es gilt: We VarX i i 2 <, da X E X 0 f.s. We die X i i N ochaisch uabhägig ud idetisch verteilt sowie quadrat-p-itegrierbar sid, da habe wir σ 2 := VarX i koat ud edlich ud daher VarX i i 2 = σ 2 1 i 2 <, so dass mit Theorem 5.15 folgt wobei β := EX i : X E X 0 f.s., d.h. X β f.s. Hierfür reicht scho die P-Itegrierbarkeit att der quadrat-p-itegrierbarkeit der u.i.v. Zufallsvariable X i i N aus, ud auch scho die Exiez des Erwartugswertes β = EX i R : Theorem 5.16 SLLN für eie Folge vo u.i.v. reelle ZV e mit Erwartugswert Sei X i i N eie Folge ochaisch uabhägiger ud idetisch verteilter reeller Zufallsvariable auf Ω mit exiieredem Erwartugswert β := EX i R. Da gilt X β f.s.

6 Norbert Gaffke: Vorlesug Eiführug i die Wahrscheilichkeitheorie ud Statiik, Sommersemeer 2010 Kapitel 5: Kovergez vo Folge vo Zufallsvariable Kovergez empirischer Verteilugsfuktioe Zur Motivatio: Seie x 1,..., x beobachtete Werte vo u.i.v. reelle Zufallsvariable X 1,..., X, also x i = X i ω, i = 1,...,, für ei ω Ω. Die empirische Verteilugsfuktio F x1,...,x x := 1 { i {1,..., } : x i x} x R sollte für großes approximativ mit der wahre Verteilugsfuktio F die Verteilugsfuktio vo P X i übereiimme: Fx1,...,x x F x x R. Das Starke Gesetz der Große Zahle Theorem 5.16 ergibt eie ere Präzisierug; dabei setze wir im Folgede voraus: Seie Ω, A, P ei W-Raum ud X i i N eie Folge vo u.i.v. reelle Zufallsvariable auf Ω. Betrachte zu gegebeem x R die Zufallsvariable auf Ω : F x : ω 1 { } i {1,..., } : X i ω x, d.h. F x = 1 Mit Theorem 5.16 : 1, x ] X i. F x F x f.s. x R, wobei F die Verteilugsfuktio vo P X i. Beachte: Eie mit dieser fa-sichere Kovergez implizierte Mege Ω 0 A mit PΩ 0 = 1 wird vo x abhäge: Ω 0 = Ω 0 x, x R. Der achfolgede Satz vo Gliveko-Catelli verschärft aber die Kovergezaussage i zweierlei Hisicht: Zum eie gibt es eie simultae Teilmege Ω 0 A mit PΩ 0 = 1, so dass die Kovergez F xω F x für alle ω Ω 0 ud alle x R gültig i. Zum adere i die Kovergez für jedes ω Ω 0 sogar gleichmäßig i x. Bezeiche, für jedes N : D ω := sup x R kurz: D = sup x R F xω F x ω Ω, F x F x. Mit der rechtsseitige Stetigkeit der Verteilugsfuktio F ud der empirische Verteilugsfuktio x F xω für jedes fee ω Ω sieht ma, dass die obe defiierte Fuktio D : Ω R messbar i, also eie reelle Zufallsvariable auf Ω i. Theorem 5.17 Gliveko & Catelli Für eie Folge X i i N vo u.i.v. reelle Zufallsvariable auf Ω gilt: D 0 f.s. für.