74 3. GRENZWERTSÄTZE 3. Grezwertsätze Sei u {X 1, X 2,...} eie Folge vo Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, F, IIP). Wir iteressiere us u für die Summe S = X 1 + + X, ud vor allem für die Asymptotik. Zum eie wolle wir 1 S betrachte (Gesetz der grosse Zahl) ud die Form der Verteilug vo S bestimme (zetraler Grezwertsatz). 3.1. Schwaches Gesetz der grosse Zahl Satz 3.1. Seie IIE[X i ] = µ uabhägig vo i ud die Variaze im Schitt beschräkt, sup 1 i=1 Var[X i] <. Sid die Zufallsvariable {X i } ukorreliert, so gilt [ lim IIP S ] µ ε = 0 für jedes ε > 0. Beweis. Wir habe IIE[ 1 S ] = 1 IIE[X k] = µ, ud, wege der Ukorreliertheit, Var[ 1 S ] = 2 Var[X k] 0. Somit folgt das Resultat aus der Chebychev Ugleichug (2.1). Sid die Zufallsvariable {X k } uabhägig ud idetisch verteilt, da sid die Bediguge des Satzes erfüllt. Mache wir Zufallsexperimete uabhägig voeiader, habe wir u die Ituitio, mit der wir Wahrscheilichkeite eigeführt habe, auch formal bewiese. Beispiele Für uabhägige {0, 1} Experimete mit Erfolgsparameter p hat Jacob Beroulli 1713 durch kombiatorische Argumete bewiese, dass IIP[ 1 S p ε] 0. Ist gross, hat ma also ugefähr p Erfolge ud (1 p) Misserfolge. Sei f(x) : [0, 1] IR eie stetige Fuktio. Wir defiiere die Berstei- Polyome B (x) := ( ) f(k/) x k (1 x) k. k k=0 Wir erhalte da die Abschätzug B (p) f(p) = IIE[f(S /)] f(p) Jese IIE[ f(s /) f(p) ].
3. GRENZWERTSÄTZE 75 Setze wir f = sup x f(x), erhalte wir B (p) f(p) 2 f IIP[ S / p ε] + sup f(x) f(y) IIP[ S / p < ε]. x y ε Aus dem schwache Gesetz der grosse Zahl folgt, dass der erste Term gege Null kovergiert. Aus der Chebychev Ugleichug ka ma schliesse, dass die Kovergez gleichmässig i p ist. Der zweite Term kovergiert gleichmässig gege Null, da jede stetige Fuktio gleichmässig stetig ist. Somit kovergiere die Berstei Polyome gleichmässig gege die Fuktio f(x). Seie {X i } uabhägige Experimete mit verschiedee Erfolgsparameter p i. Setze wir X i = X i p i, da habe die { X i } de gemeisame Mittelwert 0 ud die Variaz Var[ X i ] = Var[X i ] = p i (1 p i ) 1. Also gilt 4 [ S IIP p ] [ k ε = IIP X ] k ε 0. Auch bei verschiedee Erfolgsparameter ähert sich der Durchschitt immer mehr dem Mittelwert a. I de Aweduge braucht ma oft eie Ausdruck der Form IIE[f(X)], wobei f(x) eie stetige Fuktio ist, ud X eie Zufallsvariable (z.b. Optiospreis). Oft ist es schwer IIE[f(X)] auszureche, aber relativ eifach, X auf eiem Computer zu simuliere. Ma erzeugt sich da uabhägige Zufallsvariable {X k } mit der gleiche Verteilug wie X. Da 1 f(x k) sich immer mehr IIE[f(X)] aähert, gibt dieses Verfahre mit hoher Wahrscheilichkeit eie gute Approximatio vo IIE[f(X)]. Dieses Verfahre heisst Mote Carlo Simulatio. Will ma ei Itegral 1 f(x) dx umerisch bereche, hat ma machmal Probleme, falls f(x) icht eie schöe Fuktio ist. Ma bemerkt, dass für 0 uabhägige ud auf [0, 1] gleichverteilte Zufallsvariable {X k } der Mittelwert IIE[f(X k )] = 1 f(x) dx gleich dem gesuchte Itegral ist. Daher lässt sich das 0 Itegral mit der Mote Carlo Simulatio 1 f(x k) approximiere. Der Vorteil dieser Methode ist, dass die Itegratiosdiskretisierug icht regelmässig ist, das heisst, icht 1 f(k/). 3.2. Kovergezbegriffe Seie u {X i } ud X Zufallsvariable auf (Ω, F, IIP). Wir defiiere u verschiedee Arte vo Kovergez vo X ach X.
76 3. GRENZWERTSÄTZE Stochastische Kovergez Wir sage X kovergiert stochastisch gege X, IIP X, falls X für alle ε > 0. lim IIP[ X X ε] = 0 Fast sichere Kovergez Wir sage X kovergiert fast sicher gege X, X X, falls L p -Kovergez, p 1 IIP[{ω : lim X (ω) = X(ω)}] = 1. Wir sage, X kovergiert i L p gege X, falls lim IIE[ X X p ] = 0. Kovergez i Verteilug Wir sage X kovergiert i Verteilug gege X, d X, falls X lim IIP[X x] = IIP[X x] für alle x IR, a dee F X (x) stetig ist. Dieser Kovergezbegriff betrachtet ur die Verteiluge. Zum Beispiel sid {X k } uabhägig ud idetisch verteilt, da kovergiert X i Verteilug gege X 1. Dieser Kovergezbegriff ka daher ur verwedet werde, we wir us icht für lim X iteressiere, soder für die Verteiluge. Wir wolle die Kovergezbegriffe u vergleiche. Wir kozetriere us dabei auf die erste drei Begriffe, da der letzte Kovergezbegriff vo eier adere Art ist. Propositio 3.2. i) Fast sichere Kovergez impliziert stochastische Kovergez. ii) L p -Kovergez impliziert stochastische Kovergez. iii) Für q > p impliziert L q -Kovergez die L p -Kovergez. iv) Ist IIE[(sup X ) p ] <, so folgt die L p -Kovergez aus der fast sichere Kovergez. v) Sei für jedes ε > 0 IIP[ X X ε] <. =1
3. GRENZWERTSÄTZE 77 Da kovergiert X sowohl stochastisch als auch fast sicher gege X. Isbesodere hat jede stochastisch kovergierede Folge eie fast sicher kovergierede Teilfolge. Beweis. i) Die fast sichere Kovergez ist gleichbedeuted mit IIP[ k m m { X X k 1 }] = 1 (Für alle k gibt es ei m, so dass für alle m, X X k 1 gilt). Also gilt IIP[ m m { X X l 1 }] IIP[ k m m { X X k 1 }] = 1. Wege der Mootoie i m habe wir weiter 1 = IIP[ m m { X X k 1 }] = lim m IIP[ m{ X X k 1 }] für alle k. Wir köe k 1 durch ε ersetze. Also habe wir lim IIP[ X m X ε] lim IIP[ m{ X X ε}] = 1. m m Dies ist die stochastische Kovergez. ii) iii) iv) Dies folgt sofort mittels Hilfssatz 2.16 aus IIP[ X X ε] IIE[ X X p ]. ε p Dies folgt sofort mittels Korollar 2.15 aus IIE[ X X p ] 1/p IIE[ X X q ] 1/q. Dies folgt aus der Eigeschaft der beschräkte Kovergez. v) Aus dem Borel Catelli-Lemma folgt, dass IIP[{ X X ε uedlich oft}] = 0. Sei u {ε m } eie Folge vo echt positive Zahle, die mooto gege Null kovergiert. Da ist IIP[ m { X X ε m uedlich oft}] m IIP[{ X X ε m uedlich oft}] = 0. Also kovergiert X fast sicher gege X. Kovergiert X stochastisch gege X, so wähle wir eie steigede Folge k, so dass IIP[ X k X k 1 ] < k 2. Da erfüllt {X k : k IIN} die Bedigug, ud kovergiert somit fast sicher gege X.
78 3. GRENZWERTSÄTZE Beispiele Sei IIP die Gleichverteilug auf [0, 1]. Für 1 ud k {0, 1,..., 2 1} defiiere wir Z,k = 1I (k2,(k+1)2 ]. Wir lasse u X 1 = Z 1,0, X 2 = Z 1,1, X 3 = Z 2,0, etc., das heisst, wir zähle lexikographisch ab. Da immer wieder eie 1 auftritt, habe wir lim X = 0 ud lim X = 1. Also ka X icht fast sicher kovergiere. Aber für ε (0, 1) habe wir IIP[ Z,k ε] = IIP[Z,k = 1] = IIE[Z p,k ] = 2. Somit kovergiert X stochastisch ud i L p gege 0. Sei IIP die Gleichverteilug auf [0, 1]. Wir defiiere X = 2 1I [0,2 ]. Da IIP[ω > 0] = 1, erhalte wir, dass X fast sicher gege 0 kovergiert. Aber IIE[X ] = 2 IIP[[0, 2 ]] = 2 2 = 1. Somit kovergiert X icht i L 1 gege 0, ud damit auch icht i L p. Hilfssatz 3.3. Seie {X } ud X Zufallsvariable. Folgede Aussage sid äquivalet: i) X kovergiert i Verteilug gege X. ii) Für jede stetige beschräkte Fuktio f(x) gilt lim IIE[f(X )] = IIE[f(X)]. iii) Für jede dreimal stetig differezierbare ud beschräkte Fuktio f(x) mit beschräkte erste drei Ableituge gilt lim IIE[f(X )] = IIE[f(X)]. Beweis. i) ii) Es gibt ur abzählbar viele Pukte, a dee F (x) icht stetig ist. Somit gilt für alle Itervalle der Form (y, z], wobei y < z ud F (x) ist stetig i y ud z, dass die Aussage für Fuktioe der Form f(x) = c1i (y,z] (x) gilt. Wir köe u so Ober- ud Utersumme wie beim Riema-Itegral bilde, ud die Aussage mit Hilfe der Mootoieeigeschaft des Erwartugswertes beweise. ii) iii) trivial. iii) i) Betrachte wir die Fuktio
3. GRENZWERTSÄTZE 79 0.8 0.6 0.4 0.2 0.2 Abbildug 3.1: Die Fuktio P (x) 1, falls x 0, P (x) = 0, falls x 1, 20x 7 70x 6 + 84x 5 35x 4 + 1, sost, dargestellt i Abbildug 3.1. Wir habe P (0) = 1 ud P (1) = 0, die erste drei Ableituge i 0 sid Null, ud die erste drei Ableituge i 1 sid 0. Somit ist P (x) dreimal stetig differezierbar. Aus P (x) = 140x 3 (x 1) 3 folgt, dass P (x) im Itervall [0, 1] falled ist. Sei y ei Pukt, a dem F (x) stetig ist. Da gilt Also erhalte wir 1I (,y] (x) P ((x y)/δ) 1I (,y+δ] (x). lim F (y) lim IIE[P ((X y)/δ)] = IIE[P ((X y)/δ)] F (y + δ). Da δ beliebig war, gilt lim F (y) F (y). Weiter gilt lim F (y) lim IIE[P ((X y + δ)/δ)] = IIE[P ((X y + δ)/δ)] F (y δ). Da δ beliebig war, gilt lim F (y) F (y).
80 3. GRENZWERTSÄTZE 0.60 0.55 0.45 50 100 150 0 0.40 0.35 Abbildug 3.2: Typisches S / für uiform auf [0, 1] verteilte {X k } 3.3. Starkes Gesetz der grosse Zahl Wir habe gesehe, dass uter dem schwache Gesetz der grosse Zahl der Durchschitt vo Zufallsvariable mit hoher Wahrscheilichkeit ahe bei ihrem Mittelwert liegt. Wir wolle dieses Gesetz u verschärfe ud betrachte daher S / für ei ω. Ei möglicher Pfad ist i Abbildug 3.2 illustriert. Satz 3.4. Seie {X k } uabhägig mit festem Erwartugswert IIE[X k ] = µ. Weiter gelte eie der folgede Bediguge: i) {X k } seie idetisch verteilt. ii) Es gelte sup k IIE[Xk 4] <. Da kovergiert S / fast sicher gege µ. Beweis. i) Teile wir X k = X + k X k i positive ud egative Teil auf, da geügt es, de Satz für positive Zufallsvariable zu beweise. Lasse wir X = X 1I X ud S = X k. Wir zeige zuerst, dass lim S IIE[ S ] = 0. Sei α > 1 ud k = α. Wir wähle u ε > 0. Es folgt aus der Chebychev-
3. GRENZWERTSÄTZE 81 Ugleichug [ Sk IIE[ IIP S k ] k =1 ] ε =1 Var[ S k ] ε 2 k 2 = = 1 Var[ ε X 2 m ] m=1 =1 1 ε 2 k 2 1 k 2 :k m k m=1. Var[ X m ] Da =l (α ) 2 = α 2l /(1 α 2 ), gibt es eie Kostate c α, so dass :k m k 2 c α m 2. Damit erhalte wir l+1 =1 [ Sk IIE[ IIP S k ] k ] ε c α ε 2 = c α ε 2 IIE[ X m] 2 m=1 A + c α ε 2 m 2 l=0 m=l+1 A + 2c α ε 2 = c α ε 2 m=1 m 1 m 2 l=0 l+1 m 2 x 2 df (x) l l+1 l 1 x 2 df (x) l=1 l=1 l l+1 l x df (x) <, l x 2 df (x) wobei A de Term für l = 0 bezeichet. Somit schliesse wir aus dem Borel Catelli- Lemma, dass k 1 ( S k IIE[ S k ]) fast sicher gege 0 kovergiert. Da IIE[ S ] = 1 k x df (x) x df (x) = µ, 0 kovergiert also k 1 S k fast sicher gege µ. Sei u [k m, k m+1 ). Da gilt k m k m+1 Skm k m = S km k m+1 S S km+1 k m = k m+1 k m Lasse wir gege Uedlich strebe, erhalte wir 1 α µ lim S lim Da α > 1 beliebig war, folgt dass 1 S µ. 0 S αµ. Skm+1 k m+1. Betrachte wir u, wie oft das Ereigis { X X } eitritt. Wir habe IIP[ X X ] = IIP[X > ] = IIP[X (m, m + 1]] =1 = =1 m=1 =1 =1 m= m IIP[X (m, m + 1]] = IIE[X 1 ] <. miip[x 1 (m, m + 1]] m=1
82 3. GRENZWERTSÄTZE 50 500 1000 1500 2000 50 Abbildug 3.3: Irrfahrt ud die Greze des iterierte Logarithmus Somit folgt aus dem Borel Catelli Lemma, dass { X X } ur edlich oft eitritt. Isbesodere gilt, dass 1 S ud 1 S de gleiche Grezwert µ habe. ii) erhalte Wir köe ohe Beschräkug der Allgemeiheit aehme, dass µ = 0. Wir Für S ergibt sich die Abschätzug IIE[S 4 ] = i,j,k,l=1 IIE[Xi 2 ] 2 IIE[Xi 4 ] M = sup IIE[Xk] 4. k IIE[X i X j X k X l ] M + 6 Also habe wir mit Hilfe vo Hilfssatz 2.16 [ S ] IIP ε IIE[( 1 S ) 4 ] ε 4 ( 1) M + 0 3 2 M. 2 32 M ε 4 4 = 3M ε 4 2. Letzterer Ausdruck ist summierbar, also köe wir folger aus dem Borel Catelli Lemma folger, dass 1 S fast sicher gege Null kovergiert. Für viele Situatioe ist die Bedigug IIE[Xk 4 ] M erfüllt. Zum Beispiel bei uabhägige {0, 1} Experimete mit Erfolgsparameter p i. Somit erhält ma, dass 1 S 1 IIE[S ] fast sicher gege Null kovergiert. Das starke Gesetz der grosse Zahl gibt us damit eie Schrake, wie schell die Summe S wachse ka. Ist µ = 0, fide wir dass S ε, falls gross geug ist. Geauere Greze für S hat Alexader Jakowlewitsch Khitchie gefude.
3. GRENZWERTSÄTZE 83 Satz 3.5. (Gesetz vom iterierte Logarithmus) Seie {X k } uabhägig ud idetisch verteilt mit Mittelwert IIE[X k ] = 0 ud Variaz σ 2 = Var[X k ] <. Da gilt lim S 2σ2 log log = 1 ud lim S 2σ2 log log = 1. 3.4. Zetraler Grezwertsatz Aus dem Gesetz der grosse Zahl wisse wir, dass 1 S gege de Mittelwert 1 IIE[S ] kovergiert. Zur Verwedug i der Statistik brauche wir aber geauere Iformatioe über S. Wir wolle daher wisse, wie die Verteilug vo S für grosse aussieht. Nehme wir a, dass {X k } uabhägig sid, Mittelwert µ k ud edliche Variaz σk 2 habe. Um die Verteilug studiere zu köe, stadardisiere wir u die Zufallsvariable S = S IIE[S ]. Var[S ] Da ist IIE[S ] = 0 ud Var[S ] = 1. Wir beweise u zwei Variate des zetrale Grezwertsatzes. Satz 3.6. folgede Bediguge: Seie {X } uabhägige Zufallsvariable ud es gelte eie der beide i) sup IIE[ X 3 ] < ud lim 1 i=1 Var[X i] > 0. ii) {X } sid idetisch verteilt mit Variaz σ 2 <. Da kovergiert S i Verteilug gege die stadard Normalverteilug für alle x IR. lim IIP[S x] = 1 x e y2 /2 dy 2π
84 3. GRENZWERTSÄTZE Beweis. Wir dürfe IIE[X ] = 0 aehme. Wir verwede Hilfssatz 3.3. Sei f(x) eie dreimal stetig differezierbare beschräkte Fuktio mit beschräkte Ableituge. Der Restterm i der Taylor-Formel f(z + y) = f(z) + f (z)y + 1f (z)y 2 + R(z, y) 2 lässt sich abschätze durch R(z, y) 1 f ( z) y 3 C y 3, 6 oder durch R(z, y) 1 2 f ( z) f (z) y 2 δ(y) y 2, wobei z zwische z ud z + y liegt, δ(y) beschräkt ist ud lim y 0 δ(y) = 0. Defiiere wir Y i, = X i /σ(s ) ud sei Ỹi, eie ormalverteilte Zufallsvariable mit Mittelwert 0 ud Variaz σ 2 (Y i, ) uabhägig vo de adere Variable. Da ist S = Y 1, + + Y,, ud S = Ỹ1, + + Ỹ, ist stadard ormalverteilt. Wir schreibe u f(s ) f( S ) = = f(z k, + Y k, ) f(z k, + Ỹk,) f (Z k, )(Y k, Ỹk,) + 1 2 f (Z k, )(Y 2 k, Ỹ 2 k,) + R(Z k,, Y k, ) R(Z k,, Ỹk,), wobei Z k, = Ỹ1, + + Ỹk 1, + Y k+1, + + Y,. Die Variable Z k,, Y k, ud Ỹ k, sid uabhägig. Daher ist IIE[f (Z k, )(Y k, Ỹk,) Z k, ] = f (Z k, )IIE[Y k, Ỹk,] = 0, ud damit IIE[f (Z k, )(Y k, Ỹk,)] = 0. Aalog folgt, dass IIE[f (Z k, )(Y 2 k, Ỹ 2 k, )] = 0. Für de Mittelwert ergibt sich somit IIE[f(S )] IIE[f( S )] = IIE[R(Z k,, Y k, )] IIE[R(Z k,, Ỹk,)] IIE[ R(Z k,, Y k, ) ] + IIE[ R(Z k,, Ỹk,) ].
3. GRENZWERTSÄTZE 85 Wir müsse u die letzte Summe abschätze. i) Für das dritte Momet der Normalverteilug habe wir die Abschätzug 8 IIE[ Ỹk, 3 ] = π IIE[Ỹ k,] 2 3/2 2IIE[Yk,] 2 3/2 2IIE[Yk,] 3. Damit erhalte wir IIE[f(S )] IIE[f( S )] 3CIIE[Y 3 k,] 3C 3C sup k IIE[ X k 3 ] σ 3 (S ) Somit kovergiert der Ausdruck gege Null. ii) Wir erhalte wir die Abschätzug IIE[f(S )] IIE[f( S )] IIE[ X k 3 ] σ 3 (S ) = 1 3C sup k IIE[ X k 3 ] ( 1 σ 2 (S )) 3/2. IIE[δ(Y k, )Y 2 k,] + IIE[δ(Ỹk,)Ỹ 2 k,] ( [ ( X1 ) X 2 ] [ ( ) ]) = IIE δ σ 1 X1 + IIE δ σ 2 σ X2 1 σ 2 [ ( X1 ) X 2 ] [ ( ) ] = IIE δ σ 1 X1 + IIE δ σ 2 σ X2 1. σ 2 Das Resultat folgt u mit beschräkter Kovergez, da δ(y) beschräkt ist. Da die Normalverteilug als Grezwert auftritt, immt diese Verteilug eie besodere Rolle ei. Ma fidet daher die Normalverteilug i Tabellebücher. Der klassische Spezialfall sid uabhägige 0-1 Experimete mit Erfolgsparameter 0 < p < 1 [ lim IIP S p ] x p(1 p) = 1 2π x e y2 /2 dy. Für p = 1 wurde dies 1730 vo Abraham de Moivre ud für beliebiges p vo Pierre- 2 Simo Laplace 1812 gezeigt. Hier wurde direkt die exakte Wahrscheilichkeit mit Hilfe der Sterligsche Formel ausgewertet. De Moivre kate aber die Itegraldarstellug der Normalverteilug och icht. Eie Awedug köte die folgede sei. Jemad will im Kasio Roulette spiele. Hier ist p = 18/37. Er hat vor, a eiem Abed 100 Mal zu spiele. Wieviel Geld muss der Spieler mitehme, um am Ede des Abeds mit Wahrscheilichkeit
86 3. GRENZWERTSÄTZE 99% keie Schulde zu habe? Wir formuliere das Problem mit 0-1 Experimete, das heisst, der gewoee Betrag ist 2S. Wir suche daher zuerst x, so dass [ S p ] IIP x = 0.01. p(1 p) Aus eier Tabelle fide wir x = 2.3263 für die Normalverteilug. Also ist das gesuchte Kapital 100 2 1800 37 + 2 2.3263 34200/1369 = 25.9572. Der Spieler braucht also 26 Geldeiheite. Dies ist auch das Resultat, das ma bei exakter Berechug erhält.