Satz von Borel-Cantelli. Limes inferior von Mengen. Limes superior von Mengen. Stetigkeit. Konvergenz von Zufallsvariablen. Kolmogorow-Ungleichung

Transkript

1 Satz von Borel-Cantelli Limes inferior von Mengen Limes superior von Mengen Stetigkeit Konvergenz von Zufallsvariablen Kolmogorow-Ungleichung Tschebyschow-Ungleichung Konvergenzkriterien Starkes Gesetz der großen Zahlen 1

2 Limes inferior von Mengen Sei (A n ) n N eine Folge von Mengen. Wir bilden die Menge aller Elemente, die in fast allen A i enthalten sind, d.h. diese Elemente sind (höchstens) in nur endlich vielen A i nicht enthalten. A 1 A 2 A 3 A 4 A 5 A 6 A 7 A 8 A 9 A 10 A 11 A 12 A 13 A 14 A 15 A 16 a / a / a /... Diese Menge wird mit liminf A n bezeichnet. Da ein Element a dieser Menge in nur endlich vielen A i nicht enthalten ist, gibt es eine Stelle n (hier 8), so dass für alle k n gilt: a A k. Damit liegt a im Durchschnitt a A k. Werden alle Stellen berücksichtigt, so erhalten wir lim inf A n = A k. Die Umkehrung ist noch zu zeigen. Sei also a A k. Dann gibt es ein n mit a A k. Ab der Stelle n gilt daher a A k. Für 1 k < n (endl. viele) wissen wir nichts. Jedenfalls ist a in fast allen A i enthalten. 2

3 Limes superior von Mengen Sei (A n ) n N eine Folge von Mengen. Wir bilden die Menge aller Elemente, die in unendlich vielen A i enthalten sind. Zwei Beispiele: A 1 A 2 A 3 A 4 A 5 A 6 A 7 A 8 A 9 A 10 A 11 A 12 A 13 A 14 A 15 A 16 a / a / a /... A 1 A 2 A 3 A 4 A 5 A 6 A 7 A 8 A 9 A 10 A 11 A 12 A 13 A 14 A 15 A 16 a a a a a a a a... Diese Menge wird mit limsupa n bezeichnet. Offensichtlich gilt: lim inf A n limsupx n, denn wenn a in nur endlich vielen A i nicht enthalten ist, dann ist es in unendlich vielen A i enthalten. Sei das Element a in unendlich vielen A i enthalten. Wie kann das ohne unendlich formuliert werden? Zu jeder Stelle n gibt es ein k n mit a A k. Zu jeder Stelle n ist a A k und damit a Die Umkehrung liegt auf der Hand. A k. Zusammengefasst: lim inf A n = lim supa n = A k A k Die Elemente sind in nur endlich vielen A i nicht enthalten. Die Elemente sind in unendlich vielen A i enthalten. 3

4 Stetigkeit Für beliebige endliche oder unendliche Folgen A 1,A 2,A 3,... folgt aus den Kolmogoroff-Axiomen: P( n A n ) n P(A n ) Falls A 1 A 2 A 3..., so gilt: P( A n )= lim P(A n) Stetigkeit von unten Falls A 1 A 2 A 3..., so gilt: P( A n )= lim P(A n) Stetigkeit von oben 4

5 Borel-Cantelli Sei (A n ) n N eine Folge von Ereignissen. lim supa n = A k B n ist das Ereignis, dass unendlich viele der A n s eintreten. B 1 B 2 B 3 B 4... Dann gilt: P(A n ) < = P(limsupA n ) = 0 P(limsupA n ) = P( B n )= lim P(B n) P(B n ) Stetigkeit von oben P(A n ) 0 Wenn die Summe der Wahrscheinlichkeiten einer Folge von Ereignissen endlich ist, dann treten fast sicher nur endlich viele Ereignisse ein. 5

6 Borel-Cantelli Sei (A n ) n N eine Folge von unabhängigen Ereignissen. lim supa n = A k ist das Ereignis, dass unendlich viele der A n s eintreten. Dann gilt: P(A n ) = = P(limsupA n ) = 1 Wir betrachten das Gegenereignis. P(limsupA n ) = P( A k ) P( A k ) (1 P(A k )) exp( P(A k )) = 0 1 x e x Summe divergiert Wenn die Summe der Wahrscheinlichkeiten einer Folge von unabhängigen Ereignissen unendlich ist, dann treten fast sicher auch unendlich viele Ereignisse ein. Das Resultat überrascht nicht. 6

7 Borel-Cantelli Beispiel Wir betrachten ein unendlich oft wiederholtes Bernoulli-Experiment mit Erfolgswahrscheinlichkeit p (0,1). Betrachte die Ereignisse A n = Erfolg bei Experiment n. Es ist P(A n ) =. Da die Ereignisse A 1,A 2,... unabhängig sind, folgt P(limsupA n ) = 1. In Worten: Die Wahrscheinlichkeit, dass man in einem unendlich oft wiederholten Bernoulli- Experiment unendlich viele Erfolge (analog unendlich viele Misserfolge) erzielt, ist 1. P(liminf A n) = P( Ab einer Stelle nur noch Erfolge ) = P( Nur endlich viele Misserfolge ) = 1 P( Unendlich viele Misserfolge ) = 0 7

8 Konvergenz von Zufallsvariablen Jakob Bernoulli fand um 1685 das Gesetz der großen Zahlen. P( X n p < ε) 1 p q n ε 2 Die Wahrscheinlichkeit, dass die relative Häufigkeit nur um einen beliebig kleinen Wert ε von der tatsächlichen Wahrscheinlichkeit p abweicht, strebt mit wachsendem Stichprobenumfang n gegen 1 (siehe Tschebyscheff sche Ungleichung). Dies führt zur 1. Definition X n P X Eine Folge von Zufallsvariablen X 1,X 2,... : Ω R konvergiert stochastisch gegen eine Zufallsvariable X, wenn für alle ε > 0 gilt: lim P({ω Ω: X n(ω) X(ω) ε})= 1 Daneben wird die punktweise Konvergenz auf Ω, von einer Nullmenge abgesehen, untersucht. 2. Definition X n f.s. X Eine Folge von Zufallsvariablen X 1,X 2,... : Ω R konvergiert fast sicher gegen eine Zufallsvariable X, wenn gilt: P({ω Ω: lim X n(ω) = X(ω)})= 1 In der 1. Definition wird ein Grenzwert einer Folge von Wahrscheinlichkeiten betrachtet, in der 2. die Wahrscheinlichkeit eines Ereignisses. Aus der fast sicheren Konvergenz folgt die stochastische Konvergenz. Die Umkehrung gilt nicht. Man betrachte hierzu eine unabhängige Folge: X n = { 1 mit Wahrscheinlichkeit n 1 0 mit Wahrscheinlichkeit 1 n 1 Dann ist P( X n 0 ε)= 1 n 1 P, daher X n 0. f.s. Nach dem Satz von Borel-Cantelli ( P(A n ) =, harmonische Reihe) kann nicht X n 0 gelten, da die 1 in fast jeder Folge unendlich mal auftritt. In der Literatur sind die Gegenbeispiele nicht so einfach. Ich bin mir nicht sicher, ob ich nicht etwas übersehen habe. 8

9 Aus der fast sicheren Konvergenz folgt die stochastische Konvergenz. Für alle ε > 0 gilt: 1 = P({ω Ω: lim X n(ω) = X(ω)}) = P( m N n m {ω Ω: X n (ω) X(ω) ε} ) siehe liminf in nur endlich vielen nicht enthalten A n = lim P( n ) Stetigkeit von unten m n ma n 1A n n 2A n A n... n 3 lim m P(A m) 1 9

10 Kolmogorow-Ungleichung Für eine Folge (X n ) n unabhängiger Zufallsvariablen mit E[X n ]= 0 gilt für jedes ε > 0: P( max 1 k n S k ε) 1 ε 2 Var[X k ] S k bezeichnet dabei die k-te Partialsumme k X i. i=1 Setze A 1 = { S 1 ε} A 2 = { S 1 ε, S 2 ε} A 3 = { S 1 ε, S 2 ε, S 3 ε}... A n = { S 1 ε, S 2 ε,..., S n 1 ε, S n ε} Diese Ereignisse sind paarweise disjunkt und es gilt: n A k = { max S k ε} 1 k n Beachte nun, dass für jedes k die Zufallsgrößen 1 Ak S k und S n S k = n i=k+1 X i unabhängig sind, denn 1 Ak S k hängt nur von X 1,X 2,...,X k ab und S n S k nur von X k+1,...,x n. Damit gilt für alle k: E[1 Ak S k (S n S k )]= E[1 Ak S k ] E[(S n S k )] = 0 = 0 Folglich gilt: Var[X k ] = Var[ E[ X k ] = Var[S n ] = E[Sn] 2 E[S n ] 2 = 0 1 Ak Sn] 2 = E[1 Ak Sn] 2 beachte n A k Ω = E[1 Ak (S k +(S n S k )) 2 ] (E[1 Ak Sk]+2E[1 2 Ak S k (S n S k )]) = 0 = ε 2 P(A k ) = ε 2 P( n 10 E[1 Ak ε 2 ] A k ) = ε 2 P( max 1 k n S k ε)

11 Tschebyschow-Ungleichung Die Kolmogorow-Ungleichung ist natürlich eine Erweiterung der Tschebyschow-Ungleichung. Sei X eine Zufallsvariable mit E[X]= 0. Sei A = { X ε} Folglich gilt: Var[X] = E[X 2 ] E[X] 2 = 0 E[1 A X 2 ] beachte A Ω E[1 A ε 2 ] = ε 2 E[1 A ] = P(A) und damit P( X ε) 1 ε 2 Var[X] 11

12 Konvergenzkriterium Das folgende Konvergenzkriterium ist ein nützliches Hilfsmittel beim Beweis tieferliegender Grenzwertsätze. Sei Y n = sup X k X. k n f.s. Es gilt X n X genau dann, wenn Y P n 0. = Sei A ε = limsup{ X n X ε}. Für diese Elemente ω gilt unendlich oft X n (ω) X(ω) ε, X n (ω) konvergiert also nicht gegen X. P(A ε ) = lim { X k X ε})= lim P(sup X k X ε)= 0 siehe Seite 5 k n Y n Für jedes ε ist also P(A ε ) = 0. P( P({ω Ω: X n (ω) X(ω)})= P( m=1 A 1/m ) P(A 1/m ) = 0 m=1 = Aus der Konvergenz von X n (ω) gegen X(ω) folgt (direkt) die Konvergenz von Y n (ω) gegen 0. Es wurde schon gezeigt (Seite 9), dass die fast sichere Konvergenz die stochastische impliziert. Alternativ kann mit P(A ε ) = 0 und argumentiert werden. 12

13 Konvergenzkriterium Sei (X n ) n eine Folge unabhängiger Zufallsvariablen mit E[X n ]= 0. Es gelte Dann konvergiert S n = X i fast sicher. i=1 Var[X n ]<. (S n ) n konvergiert fast sicher genau dann, wenn (S n ) n mit Wahrscheinlichkeit 1 eine Cauchy-Folge ist. Dies gilt genau dann, wenn für jedes ε 0 P(sup S n+k S n ε) 0. k 1 Siehe vorige Seite. P(sup S n+k S n ε) = lim P( max S n+k S n ε) k 1 m 1 k m Kolmogorow-Ungleichung n+m 1 lim m ε 2 +1 Var[X k ] = 1 ε 2 Var[X k ] +1 Die Konvergenz beider Seiten gegen 0 für n ist nun zu erkennen. 13

14 Konvergenzkriterium Kolmogorow Sei (X n ) n eine Folge unabhängiger Zufallsvariablen. Es gelte lim 1 n (X i E[X i ]) = 0 fast sicher i=1 Var[X n] n 2 <. Dann gilt: Ohne Einschränkung sei E[X i ]= 0 für i N. Setze Y i = X i i, dann gilt: Var[Y n ] = Var[X n] n 2 < Setze weiter S n = Y i. i=1 Mit obigem Konvergenzkriterium konvergiert S n fast sicher und mit dem Satz von Kronecker folgt: lim 1 n X i = 0 fast sicher i=1 Starkes Gesetz der großen Zahlen Sei (X n ) n eine Folge unabhängiger Zufallsvariablen mit E[X n ]= µ. Dann gilt: X i = µ fast sicher lim 1 n i=1 Das arithmetische Mittel der Zufallsvariablen konvergiert fast sicher gegen den Erwartungswert. Beachte: 1 n 2 < Quotientenkriterium 14

15 Startseite 15