Gesetz der großen Zahlen

Transkript

1 KAPITEL 0 Gesetz der große Zahle 0.. Zwei Beispiele Beispiel 0... Wir betrachte ei Beroulli-Experimet, das uedlich oft wiederholt wird. Die Wahrscheilichkeit für eie Erfolg sei p. Die Zufallsvariable, die de Ausgag des i-te Experimets beschreibt, ist: {, falls Experimet i Erfolg, X i = 0, sost. Die Azahl der Erfolge i de erste Experimete ist S = X X. Da ka ma erwarte, dass p. Dies ist ei Spezialfall des sogeate Gesetzes der große Zahle. S Beispiel Ei fairer Würfel wird uedlich oft geworfe. Die Zufallsvariable X i sei die Augezahl bei Wurf i. Mit S = X X bezeiche wir die Summe der Augezahle der erste Würfe. Der Erwartugswert vo X i ist Ma ka da erwarte, dass E[X i ] = ( ) = Dies ist ei aderer Spezialfall des Gesetzes der große Zahle. S I beide Aussage geht es um Kovergez vo Folge vo Zufallsvariable. Damit wir das Gesetz der große Zahle formuliere köe, müsse wir defiiere, was wir uter eier solche Kovergez verstehe. Es stellt sich heraus, dass es viele verschiedee Kovergezbegriffe für Folge vo Zufallsvariable gibt. Vier dieser Begriffe (Kovergez i Wahrscheilichkeit, Kovergez i L p, fast sichere Kovergez, Kovergez i Verteilug) werde im Folgede behadelt Kovergez i Wahrscheilichkeit ud L 2 -Kovergez Defiitio Eie Folge vo Zufallsvariable Z, Z 2,... : Ω R kovergiert i Wahrscheilichkeit (oder stochastisch) gege eie Zufallsvariable Z : Ω R, we für alle ε > 0 gilt: lim P[{ω Ω : Z (ω) Z(ω) > ε}] = 0.

2 I eier vereifachte Schreibweise: Bezeichug. Z P N Z. lim P[ Z Z > ε] = 0. Defiitio Eie Folge vo Zufallsvariable Z, Z 2,... : Ω R kovergiert i L 2 (oder im quadratische Mittel) gege eie Zufallsvariable Z : Ω R, we Z L 2, Z L 2 ud lim E[(Z Z) 2 ] = 0. Bezeichug. Z L 2 Z. Im Folgede werde wir zeige, dass aus der L 2 -Kovergez die stochastische Kovergez folgt, jedoch icht umgekehrt Ugleichuge vo Markow ud Tschebyschew Lemma Sei Z 0 eie Zufallsvariable. Da gilt für alle a > 0: P[Z a] EZ a. Beweis. Für die Zufallsvariable Z gilt: { a, falls Z(ω) a, Z(ω) 0, falls Z(ω) < a. Mit adere Worte, Z a {Z a}. Für de Erwartugswert vo Z gilt somit: EZ E[a {Z a} ] = a E[ {Z a} ] = a P[Z a]. Durch Umforme erhält ma die Ugleichug im Lemma. Satz (Tschebyschew-Ugleichug). Sei X L 2 eie Zufallsvariable. Da gilt für alle a > 0: P[ X EX a] Var X a 2. Beweis. Da Z := (X EX) 2 0, folgt mit Lemma 0.3.: P[(X EX) 2 a 2 ] E[(X EX)2 ] = Var X. a 2 a 2 Die Ugleichug (X EX) 2 a 2 gilt geau da, we X EX a. Damit erhält ma die Tschebyschew-Ugleichug. Satz (Markow-Ugleichug). Sei Z 0 eie Zufallsvariable ud f : [0, ) [0, ) eie mooto steigede Fuktio. Da gilt für alle a > 0: P[Z a] E[f(Z)]. f(a) 2

3 Beweis. Da f mooto steiged ist, gilt für die Wahrscheilichkeit: P[Z a] = P[f(Z) f(a)] E[f(Z)]. f(a) Die letzte Ugleichug erhält ma aus Lemma 0.3., idem ma dort f(z) astelle vo Z eisetzt. Beispiel Mit f(a) = a p, wobei p > 0, erhält ma die Ugleichug P[Z a] E[Zp ] a p. Satz Seie Z, Z 2,... ud Z Zufallsvariable mit Z L 2 Z. Da gilt: Z P Z. Beweis. Aus Z L 2 Z folgt mit der Defiitio der L 2 -Kovergez, dass lim E[(Z Z) 2 ] 0. Sei ε > 0. Mit dem obige Beispiel (mit p = 2) erhalte wir Wir habe gezeigt, dass P[ Z Z ε] E[(Z Z) 2 ] ε 2 lim P[ Z Z ε] = 0 0. ud somit Z P Z Schwaches Gesetz der große Zahle Satz 0.4. (Schwaches Gesetz der große Zahle). Seie X, X 2,... : Ω R uabhägige Zufallsvariable mit EX i = µ ud Var X i = σ 2 für alle i N. Da gilt: X X L 2,P µ Das heißt, das arithmetische Mittel der Zufallsvariable X,..., X kovergiert i L 2 bzw. i Wahrscheilichkeit gege de Erwartugswert. Beweis. Sei S = X X die Summe der erste Zufallsvariable. Da gilt für de Erwartugswert ud die Variaz der Summe ES = µ ud Var S = σ 2, wobei im Fall der Variaz beutzt wird, dass die Zufallsvariable uabhägig sid. Wir zeige zuerst die L 2 -Kovergez: [ (S ) ] [ 2 (S ) ] 2 E µ ES = E = Var S 2 = 2 σ2 = σ2 0. 3

4 Daraus fogt S S P N µ. L 2 µ. Ud mit Satz folgt u auch die stochastische Kovergez: Beispiel Ei fairer Würfel wird uedlich oft geworfe. Es sei S die Augesumme ach Würfe, also S = X +...+X, wobei die Zufallsvariable X i die Augezahl im i-te Wurf beschreibt. Der Erwartugswert eies Wurfes ist µ = 3.5. Mit Satz 0.4. folgt u S P 3.5. N Ma ka etspreched der Defiitio der stochastische Kovergez z.b. mit ε = 0.0 das folgede Ergebis erhalte: [ lim P 3, 49 < S ] < 3, 5 =. Die Wahrscheilichkeit, dass die mittlere Augezahl außerhalb des Itervalls (3, 49, 3, 5) liegt, geht gege 0, we die Azahl der Würfe gege geht. Bemerkug Das Wort schwach i der Bezeichug schwaches Gesetz der große Zahle bezieht sich auf die Art der Kovergez (i Wahrscheilichkeit oder L 2 ). Im folgede werde wir stärkere Versioe des Gesetzes der große Zahle beweise Fast sichere Kovergez Defiitio Sei (Ω, F, P) ei Wahrscheilichkeitsraum. Ei Ereigis A F heißt ei fast sicheres Ereigis, we P[A] =. Defiitio Ei Ereigis B F heißt ei fast umögliches Ereigis (oder ei Nullereigis), we P[B] = 0. Beispiel Das Ereigis Ω ist fast sicher (ud i Wirklichkeit, sogar sicher). Das Ereigis ist fast umöglich (ud i Wirklichkeit, sogar umöglich). Das Komplemet eier fast sichere Ereigisses ist fast umöglich ud umgekehrt, das Komplemet eies fast umögliche Ereigisses ist fast sicher. Bemerkug Ma geht davo aus, dass ei Nullereigis i der Praxis icht beobachtet werde ka. Es ka zwar sei, dass es im Wahrscheilichkeitsraum gewisse Ausgäge gibt, die zum Eitrete dieses Ereigisses führe, diese bilde allerdigs eie so kleie Mege, dass ma diese Ausgäge icht beobachte ka, egal, wie oft ma das Experimet wiederholt. Aalog geht ma davo aus, dass ei fast sicheres Ereigis bei jeder Ausführug des Experimets beobachtet wird. Bemerkug Eie Vereiigug vo abzählbar viele Nullereigisse ist ei Nullereigis (auch da, we die Ereigisse icht disjukt sid). Ei Schitt vo höchstes abzählbar viele fast sichere Ereigisse ist wieder ei fast sicheres Ereigis. Diese Aussage gelte allerdigs icht für überabzählbare Schitte bzw. Vereiiguge. Beispiel Ma betrachte eie ideale Zufallsgeerator, der eie im Itervall [0, ] gleichverteilte Zahl erzeugt. Die Grudmege dieses Experimets ist Ω = [0, ], F = B [0,] ist die Borel-σ-Algebra auf [0, ] ud P = λ ist das Lebesgue-Maß. 4

5 Es sei B = {q, q 2,...} [0, ] ei Ereigis, das aus abzählbar viele Ausgäge besteht. Zum Beispiel, ka ma das Ereigis B = Q [0, ] = es wurde eie ratioale Zahl erzeugt betrachte. Für jedes q i ist P[q i ] = 0 ud somit, mit der σ-additivität, P[B] = P[q i ] = 0. i= Daraus folgt, dass B fast umöglich ist. Ei idealer Zufallsgeerator erzeugt also ie eie ratioale Zahl. Natürlich erfüllt kei realer Zufallsgeerator (z.b. i eiem Recher) diese Aforderug. Im Gegeteil: Ei realer Zufallsgeerator erzeugt ur Zahle mit eier edliche Dezimaldarstellug, also ur ratioale Zahle. Es sei u A = [0, ]\B ei Ereigis, das ei Komplemet eier abzählbare Mege ist. Zum Beispiel ka ma das Ereigis A = [0, ]\Q = es wurde eie irratioale Zahl erzeugt betrachte. Da gilt für die Wahrscheilichkeit vo A: P[A] = P[B] = 0 =. Daraus folgt, dass A fast sicher ist. Ei idealer Zufallsgeerator erzeugt also ur irratioale Zahle. Defiitio Eie Folge vo Zufallsvariable Z, Z 2,... : Ω R kovergiert fast sicher gege eie Zufallsvariable Z : Ω R, we: P[{ω Ω : lim Z (ω) = Z(ω)}] =. I eier vereifachte Schreibweise: [ P lim Z = Z ] =. Bezeichug. Z Z oder lim Z = Z Bemerkug Damit diese Defiitio Si macht, muss ma zeige, dass das Ereigis A := {ω Ω : lim Z (ω) = Z(ω)} messbar ist. Wir zeige also, dass A F. Die Gleichheit lim Z (ω) = Z(ω) gilt geau da, we für alle ε > 0 ei k N existiert, so dass für alle k: k N k Z (ω) Z(ω) ε. Ma ka sich auch ur auf Werte ε = mit m N eischräke. Da ka ma A m folgedermaße beschreibe: { A = ω Ω : m N k N k : Z (ω) Z(ω) } m = { ω Ω : Z (ω) Z(ω) }. m m N Dabei habe wir durch ud durch ersetzt. Da Z Z eie messbare Fuktio ist, sid alle Mege der Form { ω Ω : Z (ω) Z(ω) } m 5

6 messbare Ereigisse. Da die messbare Ereigisse eie σ-algebra bilde, sid auch beliebige abzählbare Schitte ud Vereiiguge dieser Mege messbar, also auch A. Es folgt, dass A F. Satz Seie Z, Z 2,... ud Z Zufallsvariable mit Z Beweis. Es gelte, dass Z Z. Da hat das Ereigisses A = {ω Ω : lim Z (ω) = Z(ω)} Wahrscheilichkeit P[A] =. Sei ε > 0. Wir defiiere Ereigisse A k = {ω Ω : k : Z (ω) Z(ω) ε}, k N. Es gilt A k N A k. Aus = P[A] P[ k N A k ] folgt, dass P[ k N A k ] =. Z. Da gilt: Z P Z. N Außerdem gilt A A 2 A Mit der Stetigkeit des Wahrscheilichkeitsmaßes folgt Es ist u lim P[A k] = P[ k N A k ] =. k lim P[ Z k Z ε] = lim P[{ω Ω : Z k (ω) Z(ω) ε}] lim P[A k ] =. k k k Also ist lim k P[ Z k Z > ε] = 0. Daraus folgt Z P N Z. P Beispiel Aus Z Z folgt icht Z Z. Das zeige wir a eiem Beispiel. N Die Zufallsvariable Z, Z 2,... seie uabhägig mit Dabei sei α (0, ] ei Parameter. P[Z = ] = α, P[Z = 0] = α. P () Es gilt Z 0, de für alle ε > 0 gilt N P[ Z > ε] P[Z = ] = α (2) Allerdigs gilt icht Z 0. Es ist = vo Borel Catelli (Teil 2) folgt α 0. P[Z = für uedlich viele ] =. Daraus folgt P[lim Z 0] = ud deshalb gilt icht Z 6 = (da α ). Mit dem Lemma 0.

7 0.6. Starkes Gesetz der große Zahle: Erste Versio Satz 0.6. (Starkes Gesetz der große Zahle: Erste Versio). Seie X, X 2,... uabhägige Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, F, P) mit E[X] 2 < für alle N. Außerdem sei Var X <. 2 = Für die Summe S = X X gilt da = S ES 0. Bemerkug Spezialfall: Seie X, X 2,... uabhägige Zufallsvariable mit EX = µ ud Var X = σ 2. Da gilt: Var X = σ 2 2 <. 2 Satz 0.6. besagt u, dass S µ = 0 ud daraus folgt, dass S µ. Die fast sichere Kovergez impliziert die stochastische Kovergez (ist also stärker), daher die Bezeichug starkes Gesetz der große Zahle. Im Folgede werde wir Satz 0.6. beweise. Dafür beötige wir eiige Hilfsmittel. Satz (Kolmogorow-Ugleichug). Seie X, X 2,..., X uabhägige Zufallsvariable mit Erwartugswert EX i = 0 ud X i L 2 für i =,...,. Sei S i = X +...+X i die Summe der erste i Zufallsvariable. Da gilt für alle a > 0 die Ugleichug P[max{ S, S 2,..., S } a] Var S a 2. Bemerkug Die Tschebyschew-Ugleichug ist schwächer. Mit der ka ma lediglich eie der Summe abschätze, z.b. P[ S a] Var S. a 2 Beweis vo Satz Schritt. Wir defiiere das Ereigis: { } A := max S k a k=,..., ud, für k =,...,, die Ereigisse A k := { S < a, S 2 < a,..., S k < a, S k a} = Erster Austritt aus dem Itervall ( a, a) fidet zum Zeitpukt k statt. Es gilt A = k= A k. (Ereigis A tritt geau da ei, we es ei k gibt, sodass der erste Austritt aus dem Itervall ( a, a) zum Zeitpukt k stattfidet). Außerdem sid A,..., A 7

8 disjukt. (We der erste Austritt zum Zeitpukt k stattfidet, ka er icht zu eiem adere Zeitpukt stattfide). Also ist P[A] = P[A k ]. k= Schritt 2. Die Variaz vo S ist: Var S = E[S] 2 (ES ) 2 = E[S], 2 de ES = E[X X ] = EX +... EX = 0. Wir betrachte also E[S]: 2 [ ] E[S] 2 E[S 2 A ] = E S 2 Ak = E[S 2 Ak ]. k= Für die Summade auf der rechte Seite gilt E[S 2 Ak ] = E[(S k + S S k ) 2 Ak ] = E[S 2 k Ak ] + 2 E[S k (S S k ) Ak ] + E[(S S k ) 2 Ak ] = () + (2) + (3). Schritt 3. Die drei Terme auf der rechte Seite ka ma folgedermaße abschätze. Der erste Term: () = E[S 2 k Ak ] E[a 2 Ak ] = a 2 P[A k ], de we A k eitritt, ist Ak = ud S k a. Der zweite Term: (2) = 2 E[S k Ak (S S k )] = 2 E[S k Ak ] E[S S k ] = 0. Die Umformug gilt, da die Zufallsvariable S k Ak ur vo X,..., X k ud die Zufallsvariable (S S k ) ur vo X k+,..., X abhägt, also sid diese zwei Zufallsvariable uabhägig. Außerdem gilt E[S S k ] = 0, da ES = ES k = 0. Schließlich ist der dritte Term trivialerweise ichtegativ: Schritt 4. Somit erhalte wir (3) 0. k= E[S 2 Ak ] = () + (2) + (3) a 2 P[A k ]. Betrachte wir u wieder die Variaz vo S : Var S = E[S] 2 E[S 2 Ak ] Damit folgt: P[A] k= a 2 P[A k ]. Var S a 2. Beweis vo Satz Schritt. O.B.d.A. köe wir aehme, dass EX = 0 für alle N. Sost betrachte ma die zetrierte Zufallsvariable k= X = X EX, S = X X. 8

9 Es gilt da E X = 0 ud = Var X 2 = = Var X 2 <, de Var X = Var[X EX ] = Var X, da EX eie Kostate ist. Außerdem ist S E S = S = S ES. Somit gilt Satz 0.6. für die Zufallsvariable X geau da, we er für die Zufallsvariable X gilt. Schritt 2. Sei also ES = 0 für alle N. Wir zeige, dass Dazu defiiere wir die Zufallsvariable S k k k 0. U := max S k, N. k=,...,2 Nu gibt es für alle k N geau ei N mit 2 k < 2. Daraus folgt, dass S k k U k U U = 2 2 2, also reicht es zu zeige, dass U 2 0. Schritt 3. Sei ε > 0 fest. Betrachte das Ereigis A (ε) = { U 2 > ε }. Wir zeige u, dass dieses Ereigis mit Wahrscheilichkeit ur edlich oft eitritt, also P[ A (ε) tritt für uedlich viele N ei ] = P[lim sup A (ε)] = 0. Dafür beutze wir de erste Teil des Lemmas vo Borel Catelli. Mit der Kolmogorov- Ugleichug erhalte wir P[A (ε)] = = P[U > 2 ε] = = = [ ] P max S k > 2 ε k=,...,2 9 = Var S ε 2.

10 Wir defiiere och σk 2 = Var X k. Somit gilt P[A (ε)] ε σ 2 + σ σ2 2 (gilt, da X 2 2 2, X 2,... uabhägig) = = ε 2 = σk 2 k= k= :2 k ε σ 2 k 2 k 2 k= = 4 3 σk 2 ε 2 k m= 4 m <. (gilt ach Voraussetzug) Mit dem Lemma vo Borel Catelli folgt, dass P[lim sup A (ε)] = 0. Schritt 4. Setzt ma u ε = mit m N, so gilt für alle m N: m [ U P lim sup 2 > ] = 0. m Da eie Vereiigug vo abzählbar viele Nullereigisses wieder ei Nullereigis ist, gilt somit auch [ ] U P lim sup 2 > 0 = 0. Daraus folgt: [ ] U P lim 2 = 0 = ud somit U Starkes Gesetz der Große Zahle: Zweite Versio I der erste Versio des starke Gesetzes der große Zahle habe wir vorausgesetzt, dass die Variaze der Zufallsvariable edlich sei solle. I der Behauptug des Satzes, ämlich S ES 0 taucht die Variaz allerdigs icht auf. Ma ka sich deshalb frage, ob die Voraussetzug der Edlichkeit der Variaz icht überflüssig ist. Das ist i der Tat der Fall, wie der ächste Satz zeigt. Satz 0.7. (Starkes Gesetz der große Zahle: Zweite Versio). Seie X, X 2,... uabhägige ud idetisch verteilte Zufallsvariable auf eiem Wahrscheilichkeitsraum (Ω, F, P). Die Zufallsvariable seie außerdem itegrierbar, d.h. E X <. Da gilt: X X 0 E[X ]

11 Das heißt, das arithmetische Mittel der Zufallsvariable kovergiert fast sicher gege de Erwartugswert. Bemerkug Die Zufallsvariable X, X 2,... heiße idetisch verteilt, we ihre Verteilugsfuktioe gleich sid, d.h. F X (t) = F X2 (t) =... für alle t R. Idetisch verteilte Zufallsvariable habe de gleiche Erwartugswert: E[X ] = E[X 2 ] =.... Für de Beweis vo Satz 0.7. beötige wir mehrere Lemmata. Lemma Seie X, Y, X, Y : Ω R Zufallsvariable mit X Da gilt: X + Y X Y a X X + Y, X Y, a X, a R. X ud Y Y. Beweis. Wir beweise ur die erste Aussage. Dazu defiiere wir zwei Ereigisse: A := {ω Ω : lim X (ω) = X(ω)}, B := {ω Ω : lim Y (ω) = Y (ω)}. Es gilt mit der Defiitio der fast sichere Kovergez: Daraus folgt: X X P[A] = ud Y Y P[B] =. P[A c ] = 0 ud P[B c ] = 0. Für Ausgäge aus dem Schitt vo A ud B, also ω A B, gilt: lim (X (ω) + Y (ω)) = X(ω) + Y (ω). Für die Wahrscheilichkeit des Ereigisses A B gilt: P[A B] = P[(A B) c ] = P[A c B c ] P[A c ] P[B c ] =, wobei wir im zweite Schritt die Regel vo de Morga ud im dritte Schritt die Subadditivität beutzt habe. Das Ereigis A B tritt also fast sicher ei. Damit gilt: X + Y Die adere Aussage werde aalog bewiese. X + Y. Lemma Sei Z 0 eie Zufallsvariable. Da gilt: P[Z ] EZ P[Z ]. = =0

12 Beweis. Wir beweise ur die Ugleichug = P[Z ] EZ. Die adere Ugleichug ka ma aalog beweise. Sei p = P[ Z < + ]. Es gilt [ ] [ ] EZ = E Z Z<+ E Z<+ = p = p. =0 =0 Es gilt außerdem P[Z ] = p + p 2 + p 3 + p , P[Z 2] = p 2 + p 3 + p , P[Z 3] = p 3 + p , P[Z 4] = p , Addiert ma diese Ugleichuge, so erhält ma = P[Z ] = = p. Kombiiert ma beide Resultate, so erhält ma die gewüschte Ugleichug. =0 = Lemma Für alle k 2 gilt: =k 2. 2 k Beweis. =k 2 k dx = 2. x 2 k k Lemma (Cesaro). Sei x, x 2,... eie Folge i reeller Zahle mit eiem edliche Grezwert lim x = x. Da gilt: x x lim = x. Beweis. Schritt 0. Wir köe o.b.d.a. aehme, dass x = 0. Sost ka ma x := x x betrachte. Schritt. Sei ε > 0. Aus lim x = 0 folgt, dass es ei K N gibt, so dass für alle k K gilt: x k < ε 2. Nachdem K gewählt wurde, köe wir ei N N fide, so dass für alle N gilt: x x K < ε 2. Das liegt dara, dass der Zähler kostat ist, währed der Neer beliebig groß gewählt werde ka. Schritt 2. Sei u max{k, N}. Da gilt: x x x x K + ε 2 + ε 2 ε 2 + ε 2 = ε. 2 k=k+ k=k+ x k

13 Da ε > 0 beliebig ist, folgt daraus, dass lim x +...+x = 0. Schließlich köe wir das starke Gesetz der große Zahle (zweite Versio) beweise. Beweis vo Satz Seie X, X 2,... : Ω R uabhägige, idetisch verteilte Zufallsvariable mit E X <. Wir zeige, dass da gilt: Schritt. Defiiere da ist X + X = X. Außerdem sei Es gilt: () X, X 2,... sid uabhägig, (2) X, X 2,... sid uabhägig. S := X X E[X ]. X := X X < ud X := X X, S := X X ud S := X X. Schritt 2. User Ziel ist es, zu zeige, dass, dass Es gilt: S EX 0. S EX = S ES = S ES + S ES =: a + b c wobei a, b, c Zufallsvariable sid. Nach Lemma reicht es zu zeige, dass Schritt 3. Wir zeige, dass a = S ES Var X 2 a, b, c 0. 0, idem wir Satz 0.6. beutze. E[X 2 ] 2 = 2 E[X2 X <] = 2 E[X2 X <] (gilt, da X idetisch verteilt) = [ ] E X 2 2 Ak, k= 3

14 wobei A k = {k X < k}. Nu vertausche wir die beide Summe: Var X 2 E[X 2 2 Ak ] k= = E[X 2 Ak ] 2 k k 2 k E[X2 Ak ], k wobei wir Lemma beutzt habe: k Var X 2 [ ] X E 2 k X Ak k 2 E[ X Ak ] k [ ] = 2 E X Ak k = 2 E X Mit Satz 0.6. folgt u a 2 < (gilt ach Voraussetzug) 0. Schritt 4. Wir zeige, dass b = S Borel Catelli beutze. Es gilt: P[X 0] = P[ X ] 2. Es folgt, dass k (wobei X k, falls A k eitritt) (gilt mit mootoer Kovergez) 0, idem wir de erste Teil des Lemmas vo = P[ X ] (gilt, da X idetisch verteilt) E X (gilt mit Lemma 0.7.4) <. Mit dem Lemma vo Borel Catelli folgt u: [ ] P lim sup{x 0} = P[X 0 für uedlich viele ] = 0. Daraus folgt: P[X 0 für edlich viele ] = P[A] =. Für ω A gilt da, dass X (ω) 0 für edlich viele Werte vo. Also ist S (ω) kostat ab irgedeiem ud damit gilt: lim S (ω) 4 = 0.

15 Da P[A] =, folgt b 0. Schritt 5. Es bleibt och zu zeige, dass c = ES EX = E[X X ] = E[X X ] 0. Es gilt: Nu gilt für alle ω Ω: mooto X (ω) X (ω) 0. Mit dem Satz vo der mootoe Kovergez erhält ma: Es folgt: Also gilt: E[ X X ] 0. EX = E[X X ] E[ X X ] 0 Mit Lemma folgt da: c = EX EX EX 0. 0 (da X i idetisch verteilt). (ud sogar sicher). (da EZ E Z ). Schritt 6. Fügt ma die Ergebisse für a, b, c zusamme, so erhält ma: S EX = a + b + c 0. Das ist die gewüschte Kovergez Der Fall eies uedliche Erwartugswerts I alle Versioe des Gesetzes der große Zahle habe wir vorausgesetzt, dass der Erwartugswert existiert. Der ächste Satz zeigt, was passiert, we der Erwartugswert icht existiert. I diesem Fall gilt das Gesetz der große Zahle ämlich icht. Satz Seie X, X 2,... uabhägige, idetisch verteilte Zufallsvariable mit E X = + auf eiem Wahrscheilichkeitsraum (Ω, F, P). Da gilt: [ ] X X P lim exitiert ud ist edlich = 0. Beweis. Schritt. Wir defiiere das Ereigis { S (ω) A := ω Ω : L(ω) := lim } existiert ud ist edlich, wobei wieder S = X X. Dieses Ereigis ist messbar (Übug). Für ω A gilt u: X (ω) = S (ω) S (ω) = S (ω) 5 S (ω) 0,

16 de S (ω) L(ω), Nu betrachte wir das Ereigis B := S (ω) { ω Ω : lim X (ω) L(ω), } = 0.. Wir habe gezeigt: falls ω A, da ist auch ω B. Daraus folgt A B. Schritt 2. Als ächstes defiiere wir eie Folge vo Ereigisse: Daraus erhalte wir: C := {ω Ω : X }. C = (lim sup C ) c = {ω Ω : X (ω) für edlich viele }. Falls ω B, da ist auch ω C. Daraus folgt A B C. Schritt 3. Wir wolle zeige, dass P[A] = 0. Dafür reicht es u zu zeige, dass P[C] = 0 bzw. P[lim sup C ] =. Wir beutze dazu de zweite Teil des Lemmas vo Borel Catelli: P[ X ] P[C ] = = P[ X ] (gilt, da X i idetisch verteilt) E X (gilt mit Lemma 0.7.4, da X 0) =. Da die Ereigisse C uabhägig sid, folgt mit dem zweite Teil des Lemma vo Borel Catelli, dass P[lim sup C ] =. Daraus folgt da P[C] = 0. Da A C, folgt auch P[A] = 0. Beispiel Seie X, X 2,... uabhägige, Cauchy-verteilte Zufallsvariable mit Dichte f Xk (t) =, t R. Da gilt für de Erwartugswert: E X π +t 2 k =. Mit Satz 0.8. folgt u, dass [ ] S P lim existiert ud ist edlich = 0. Das starke Gesetz der große Zahle gilt also für Cauchy-verteilte Zufallsvariable icht Aweduge des Gesetzes der große Zahle Die ächste 3 Beispiele sid Spezialfälle der sogeate Mote-Carlo-Methode. Berechug vo π. Ma ka die Zahl π mit stochastische Mittel bereche. Diese Methode ist jedoch sehr zeitaufwedig bzw. ugeau. Ma erzeuge Pukte bzw. Zufallsvektore Z, Z 2,..., Z, die uabhägig ud gleichverteilt auf dem Quadrat [, ] 2 sid. 6

17 Nu betrachtet ma alle Pukte, die im Eiheitskreis liege, dere Bertag also kleier ist. Die Azahl dieser Pukte ist S := Zk. k= Für de Erwartugswert der Idikatorfuktio gilt E Z = P[ Z ] = λ(kreis) λ(quadrat) = π 4. Also dürfe wir das starke Gesetz der große Zahle beutze: π Zk 4. k= Um die Zahl π zu bereche, zähle wir also die Pukte, die im Kreis liege ud teile diese Azahl durch die Azahl aller Pukte. Bei sehr großem sollte das Verhältis die Zahl π/4 approximiere. De Fehler dieser Approximatio bestimme wir später mit dem zetrale Grezwertsatz. Mote-Carlo-Itegratio. Ma betrachte eie itegrierbare Fuktio ϕ : [0, ] d R. Das Itegral der Fuktio bezeiche wir mit I := [0,] d ϕ(x)dx = k =0 0 k d = ϕ(x,..., x d )dx... dx d. Für kleies d, etwa d = oder 2, ka ma zur Berechug des Itegrals z.b. die folgede Formel beutze: I ( k... ϕ,..., k ) d für großes. We allerdigs die Dimesio d groß ist, so besteht die Summe auf der rechte Seite aus d Summade, was sehr viel sei ka. Ma deke z.b. a de Fall d = 00, wo selbst für = 2 die Azahl der Summade 2 00 > 0 30 ist. I diesem Fall wird die obe beschriebee Methode ieffiziet ud ma ka stattdesse die sogeate Mote Carlo Methode beutze. Ma erzeuge zufällige Pukte bzw. Zufallsvektore Z, Z 2,..., Z, die uabhägig ud gleichverteilt auf dem Quader [0, ] d sid. Da die Fuktio ϕ itegrierbar ist, gilt E[ϕ(Z )] = ϕ(x) f Z (x)dx = ϕ(x)dx = I. R d [0,] d Also köe wir das starke Gesetz der große Zahle beutze: ϕ(z k ) I. k= 7

18 Ma ka also das Itegral I durch das arithmetische Mittel k= ϕ(z k) approximiere. Später werde wir mithilfe des zetrale Grezwertsatzes de Fehler dieser Approximatio bestimme. Empirische Defiitio der Wahrscheilichkeit. Bei eiem Experimet mit Grudmege Ω möchte ma die Wahrscheilichkeit eies Ereigisses A Ω bestimme. Dazu wiederholt ma das Experimet -mal ud erhält die Ausgäge ω,..., ω Ω. Die Azahl der Augäge, die i A liege, sei N (A) = ωk A. k= Wir köe auf die Idikatorfuktioe ωk A das starke Gesetz der große Zahle awede: N (A) = ωk A E ω A = P[A]. k= I Worte: Die relative Häufigkeit eies Ereigisses kovergiert fast sicher gege seie Wahrscheilichkeit, we die Azahl der Experimete gege geht. Beispiel 0.9. (Befragug). Wir betrachte eie Populatio vo N Persoe, die eie Frage mit ja oder ei beatworte. Die Zahl N sei bekat. Es sei N 0 (bzw. N ) die Azahl der Persoe, die die Frage mit ei (bzw. mit ja ) beatworte. Dabei sid N 0 ud N ubekat. Es gilt N 0 + N = N. Wir ka ma N 0 ud N bestimme, ohe die gaze Populatio zu befrage? Es werde zufällig Persoe aus der Populatio mit Zurücklege ausgewählt ud befragt, wobei groß aber viel kleier als N ist. Es sei A k das Ereigis die k-te Perso sagt ja. Nach dem starke Gesetz der große Zahle gilt k= Damit ka N geschätzt werde. Ak E A = P[A ] = N N. Approximatiossatz vo Weierstraß. Als ächstes werde wir eie Satz aus der Aalysis mit Mittel aus der Wahrscheilichkeitstheorie beweise. Satz (Weierstraß). Sei f : [0, ] R eie stetige Fuktio. Da ka ma zu jedem gegebee ε > 0 ei Polyom P mit max f(x) P (x) ε x [0,] kostruiere. Das heißt, jede stetige Fuktio auf eiem Itervall ka beliebig geau durch Polyome approximiert werde. Beweis. Schritt. Seie X, X 2,... uabhägige Zufallsvariable mit X i Ber(p), d.h. P[X i = ] = p, P[X i = 0] = p, p [0, ]. Da ist S := X X Bi(, p), also P[S = k] = ( k) p k ( p) k. Isbesodere gilt für de Erwartugswert ud die Variaz ES = EX = p, 8 Var S = p( p).

19 Wir defiiere eie Fuktioefolge: [ ( )] S ( ) k f (p) := E f = f P[S = k] = k=0 f k=0 ( k ) ( ) p k ( p) k. k Somit ist jedes f ei Polyom vom Grad i p. Es wird Berstei-Polyom geat. Schritt 2. Die Idee des Beweises ist u: für besagt das Gesetz der große Zahle, dass S p ud damit auch f ( S ) f(p). Wedet ma de Erwartugswert auf die beide Fuktioswerte a, so erhält ma f (p) f(p). Somit approximiert das Polyom f die Fuktio f, jedefalls we groß ist. Nu präzisiere wir diese Idee. Schritt 3. Da f stetig ist, folgt: () f ist beschräkt, d.h. es existiert M > 0 mit f(x) < M für alle x [0, ]. (2) f ist sogar gleichmäßig stetig, d.h. für jedes ε > 0 existiert ei δ > 0 so dass für alle x, y [0, ] mit x y δ gilt, dass f(x) f(y) < ε. Schritt 4. Sei ε > 0 fest vorgegebe. Dazu kostruiere wir ei δ > 0 wie i Schritt 3. Es gilt ( ) ( ) f (p) f(p) = [f E S f(p)] E f S ] f(p) [ε E + 2M S p >δ, wobei wir die Falluterscheidug S S p δ bzw. p > δ gemacht habe. Im erste Fall habe wir die gleichmäßige Stetigkeit vo f beutzt, im zweite Fall die Beschräktheit vo f. Es gilt also [ ] S S f (p) f(p) ε + 2M P p > δ Var ε + 2M, δ 2 wobei wir die Tschebyschew-Ugleichug beutzt habe. Mit der Formel Var S = p( p) erhalte wir u für hireiched großes p( p) f (p) f(p) ε + 2M ε + 2M 2 δ 2 δ 2ε. 2 Dabei folgt die letzte Ugleichug aus der Tatsache, dass 2M für gege 0 δ 2 kovergiert, also < ε für hireiched großes ist. Wir habe ei approximieredes Polyom mit eiem Approximatiosfehler vo 2ε kostruiert. Da jedoch ε beliebig war, ist der Satz damit bewiese. Normale Zahle. Sei ω (0, ) eie reelle Zahl mit der Dezimaldarstellug ω = 0.x x 2 x Dabei ist x k {0,..., 9} die k-te Ziffer vo ω. Defiitio Eie Zahl ω (0, ) heißt ormal, we für jedes l N ud für jede Zifferfolge (a,..., a l ) {0,..., 9} l der Läge l gilt: lim Xi+ =a,...,x i+l =a l = 0 l. i=0 9

20 I Worte: Jede Zifferfolge der Läge l kommt i der Dezimaldarstellug vo ω mit Häufigkeit 0 l vor, ud das gilt für jedes l. Defiitio Eie Zahl ω (0, ) heißt eifach ormal, we die obige Bedigug für l = erfüllt ist, d.h., we i der Dezimaldarstellug vo ω jede Ziffer mit eier Häufigkeit vo /0 vorkommt. Beispiel Die Zahl = 0, ist icht ormal. Allgemei sid ratioale Zahle 3 icht ormal, da sie eie periodische Dezimalbruchetwicklug besitze. Beispiel Ubewiesee Vermutug: Die Zahle sid ormal. π = , e = , log 2 = Beispiel Ubewiesee Vermutug: Jede algebraische Zahl ist ormal, sofer sie icht ratioal ist. Zum Beispiel ist die Zahl 2 = ormal. Beispiel Die Champerowe-Zahl etsteht durch die Aeiaderreihug aller atürliche Zahle i ihrer Dezimaldarstellug: Ma ka zeige, dass diese Zahl ormal ist Satz (Borel, 909). Sei A [0, ] die Mege der ormale Zahle. Da ist das Lebesgue-Maß vo A gleich. D.h., fast jede Zahl ist ormal. Beweis. Schritt. Wir betrachte de Wahrscheilichkeitsraum (Ω, F, P), wobei Ω = (0, ), F die σ-algebra der Borel-Teilmege vo (0, ) ud P das Lebesgue-Maß ist. Für alle k N sei X k (ω) = ω k die k-te Ziffer vo ω (0, ). Da ist X k eie Zufallsvariable auf Ω. Wir zeige u, dass die Zufallsvariable X, X 2,... uabhägig ud gleichverteilt auf {0,..., 9} sid. Betrachte für ei beliebiges m N ud eie Zifferfolge (b,..., b m ) {0,..., 9} m die Mege {ω (0, ) : X (ω) = b,..., X m (ω) = b m }. Diese Mege ist ei Itervall mit Edpukte 0.b b 2... b m ud 0.b b 2... b m Die Läge des Itervalls ist somit 0 m. Es gilt somit P[X = b,..., X m = b m ] = 0 m. Sei u i {,..., m} fest ud betrachte die Mege {ω (0, ) : X i (ω) = b i }. 20

21 Das ist die Mege aller ω, die i der Dezimaldarstellug a der i-te Stelle die Ziffer b i habe. Für die erste i Stelle gibt es 0 i Möglichkeite, die Ziffer zu wähle. Diese Mege ist somit eie Vereiigug vo 0 i Itervalle der Läge 0 i. Somit ergibt sich für die Wahrscheilichkeit dieser Mege: P[X i = b i ] = 0 i 0 i = 0. Daraus folgt, dass die Zufallsvariable X i gleichverteilt auf {0,..., 9} ist. Außerdem gilt für alle m N ud alle (b,..., b m ) {0,..., 9} m P[X = b,..., X m = b m ] = 0 m = P[X = b ]... P[X m = b m ]. Daraus folgt, dass die Zufallsvariable X, X 2,... uabhägig sid. Schritt 2. Die Idee ist u, das starke Gesetz der große Zahle folgedermaße zu beutze. Es gilt z.b. für jede Ziffer a {0,,..., 9}: Xk =a E[ X =a] = P[X = a] = 0. k= Das zeigt scho mal, dass fast jede Zahl eifach ormal ist. Wir werde u diese Argumetatio auf Zifferfolge beliebiger Läge l ausweite. Schritt 3. Wir betrachte eie Zifferfolge (a,..., a l ) {0,..., 9} l der Läge l. Wir defiiere die Zufallsvariable ud, allgemeier, Z (0) i := Xi l+ =a,..., X i l+l =a l, i = 0,, 2,..., Z (j) i := Xi l+j+ =a,..., X i l+j+l =a l, i = 0,, 2,..., j = 0,..., l. Diese Zufallsvariable sid folgedermaße zu verstehe: Ma uterteile alle Ziffer eier Zahl ω i Pakete der Läge l, wobei das erste Paket a der Stelle j + startet, ud betrachte das i-te Paket. Etspricht dieses der Zifferfolge (a,..., a l ), so ist Z (j) i =. Sost ist Z (j) i = 0. Für alle j {0,..., l } sid die Zufallsvariable Z (j) 0, Z (j), Z (j) 2,... uabhägig ud idetisch verteilt. Mit dem starke Gesetz der große Zahle erhalte wir folgedes: Es gibt eie Mege B(l, j, a,..., a l ) (0, ) mit Lebesgue-Maß 0, so dass für alle ω / B(l, j, a,..., a l ) gilt: lim i=0 Z (j) i (ω) = EZ (j) 0 = 0 l. Die Häufigkeit der Zifferfolge (a,..., a l ) ist also 0 l, allerdigs werde dabei ur Pakete berücksichtigt, die a de Stelle j +, j + + l, j + + 2l,... afage. Da dies aber für jedes j {0,..., l } gilt, erhalte wir, dass für alle ω / l j=0 B(l, j, a,..., a l ) lim Xk+ =a,..., X k+l =a l (ω) = 0 l. k=0 2

22 Nu defiiere wir die Ausahmemege B := l N l j=0 a,...,a l {0,...,9} B(l, j, a,..., a l ) (0, ). Jede Zahl ω, die icht i B liegt, ist ormal. Da B eie abzählbare Vereiigug vo Nullmege ist, ist das Lebesgue-Maß vo B gleich 0. Das Komplemet vo B hat also Lebesgue-Maß, ud alle Zahle dari sid ormal. Somit ist das Lebesgue-Maß der Mege der ormale Zahle gleich. Ereuerugssatz. Ma betrachte ei Gerät (etwa eie Glühbire), desse Lebesdauer eie Zufallsvariable X > 0 ist. Sobald das Gerät kaputt geht, wird es durch ei eues Gerät ersetzt, desse Lebesdauer eie Zufallsvariable X 2 > 0 ist. Sobald das zweite Gerät kaputt geht, wird es durch ei drittes Gerät ersetzt, usw. Wir ehme a, dass X, X 2,... (die Lebesdauer der Geräte) uabhägige Zufallsvariable sid, da ei Gerät ichts vo der Lebesdauer eies adere wisse ka. Außerdem ehme wir a, dass X, X 2,... idetisch verteilt sid, etwa weil die Geräte vom gleiche Hersteller sid bzw. die gleiche Qualität habe. Seie also X, X 2,... : Ω R uabhägige ud idetisch verteilte Zufallsvariable mit positive Werte, d.h. P[X k > 0] =. Die Zufallsvariable S = X X heißt die -te Ereuerugszeit. Zum Zeitpukt S geht das -te Gerät kaputt ud wird durch das + -te Gerät ersetzt. Es gilt 0 < S < S 2 <.... Mit N(T ) = S<T, T > 0, bezeiche wir die Azahl der Ereueruge im Zeititervall (0, T ). Satz (Ereuerugssatz). Es gilt: = N(T ) T T EX. Wir werde de Satz icht beweise. Die Aussage ist allerdigs sehr ituitiv: die Lebesdauer eies Geräts ist im Durchschitt gleich EX, also verbraucht ma im Zeititervall (0, T ) ugefähr T/EX Geräte, jedefalls da, we T groß ist. Es gilt also die Approximatio N(T ) T EX. 22