Gesetze der großen Zahlen

Transkript

1 Gesetze der große Zahle Ato Klimovsky Grezwertsätze für die Summe der ZV. Schwaches Gesetz der große Zahle. Kovergez i Wahrscheilichkeit (Stochastische Kovergez). Starkes Gesetz der große Zahle. Fast sichere Kovergez. Idikatorfuktio. Ergodesatz (= Gesetz der große Zahle für Markov- Kette). Grezwertsätze spiele i der Stochastik eie zetrale Rolle. Oft besage solche Sätze, dass viel vo scheibarem Zufall oft viel Struktur zeigt. Hauptsächlich werde wir us mit de Grezwertsätze für die Summe der ZVe beschäftige. Dabei ka ma deke a de Gesamteifluss (die Summe), der additiv aus viele zufällige Eiflüsse (Summade) besteht. Ud diese ka ma geschickt ausutze. Summe der ZVe Sei {X i } eie Folge der ZVe auf eiem WRaum (Ω, A, P). Betrachte die partielle Summe: S := X + X X = X i. () Solche Summe tauche i viele Kotexte auf. Vergleiche die Irrfahrt. Defiitio 0. (Empirischer Mittelwert). Der empirische Mittelwert ist die folgede ZV X := S. (2) Ist E[X ] = E[X 2 ] =... = E[X ] = µ, so gilt E[ X ] = µ. (3) Frage: Wie verhält sich S für groß? Ka ma erwarte, dass 2 ist? Wie groß sid die Schwakuge vo S? S µ (4) Eie Atwort liefer die Grezwertsätze für die Summe der ZVe. Grezwertsätze sid ützlich weil: Sie eie approximative Aalyse der ZV S erlaube. Sie eie wichtige Rolle i der Statistik spiele, sobald ma geüged Date 3 hat. 2 i eiem geeigetem Sie Empirischer Mittelwert Müzwurf Abbildug : Die Grafik eier Realisierug des empirische Mittelwerts X (ω) i Abhägigkeit vo der Azahl der Müzwurfe. (Dies ist eie Simulatio des Beroulli-Experimets mit der Erfolgswahrscheilichkeit 0, 5.) 3 D.h. groß geug i ().

2 gesetze der große zahle 2 Schwaches Gesetz der große Zahle Wir erier us a das folgede Theorem aus der erste Hälfte der Vorlesug. Theorem 0. (Schwaches Gesetz der große Zahle). 4 Sei {X i } eie Folge der uabhägige idetisch-verteilte5 Zufallsvariable 6 auf dem Wahrscheilichkeitsraum 7 (Ω, A, P) mit E [X ] = µ <. Da gilt lim P { } X µ > ε = 0 für alle ɛ > 0. (5) 4 = schwaches GGZ wurde vo schweizerische Mathematiker Jakob Beroulli i seier Arbeit Ars Cojectadi (vo lat. Kust des Vermutes, also Stochastik) bewiese. I Worte bedeutet Theorem 0. Folgedes. Uter de Voraussetzuge vo Theorem 0. kozetriert sich die Verteilug des empirische Mittelwerts stark i der ε-umgebug um de theoretische Erwartugswert µ. Sie tut dies für alle ε > 0. Defiitio 0.2 (Kovergez i Wahrscheilichkeit (= stochastische Kovergez)). Sei {Y i } eie Folge der ZV ud Y eie ZV auf dem WRaum (Ω, A, P). Die Folge {Y i } kovergiert i Wahrscheilichkeit8, falls Abbildug 2: Jakob Beroulli ( ) 5 = u.i.v. 6 = ZV 7 = WRaum 8 alterativ sagt ma: kovergiert stochastisch ε > 0: lim P{ Y Y > ε} = 0. (6) Notatio. Falls (6) gilt, schreibt ma Y P Y. (7) Eie recht ützliche ZV 9 ist wie folgt defiiert. Defiitio 0.3 (Idikatorfuktio). Sei A Ω, wobei (Ω, A, P) ei WRaum ist. Die Fuktio A : Ω R heißt Idikatorfuktio des Ereigisses A, falls, ω A A (ω) = 0, ω Ω \ A. (8) 9 Sie erlaubt us Aussage über Ereigisse mit de Aussage über ZVe kompatibel zu mache. Bemerkug. Die Idikatorfuktio ist eie hadliche ZV. Ma ka z.b. leicht de Erwartugswert für sie ausreche: E[ A ] = P(A) + 0 P(Ω \ A) = P(A). (9) Example 0. (Wahrscheilichkeite ud Häufigkeite). Sei A A ei Ereigis im Kotext eies zufällige Experimets. Sei p := P(A) die

3 gesetze der große zahle 3 Wahrscheilichkeit dieses Ereigisses. Betrachte eie Folge aus uabhägige Wiederholuge des Experimets A, A 2,..., A A ud sei X der Zeitateil, i dem das Ereigis A vorkommt. Es gilt X = ( A + A A ). (0) Dak (9) gilt E[ Ai ] = p. Das schwache Gesetz der große Zahle ist awedbar ud zeigt, dass für großes der empirische Mittelwert sehr wahrscheilich i der ε-umgebug vo p liegt. Sehe Abbildug. Grob gesagt erlaubt us dies zu schließe, dass der empirische Mittelwert eie Abschätzug vo p liefert 0. 0 Dies ist ei Lik zur Statistik Alterativ ist dies ei Schritt i die Richtug der Iterpretatio der Wahrscheilichkeit vo A als die Frequez vo A i eier Experimeteserie. Ergodesatz ei Teil der Stochastik, der sich mit de empirische Date beschäftigt. Statistik etwickelt Methode die (uter de Modelaahme) eiige Schlussfolgeruge aus de Date ermögliche, wie z.b. Abschätzuge für die ubekate Parameter. Für Markov-Kette gilt GGZ auch ud heißt Ergodesatz. Markov-Kette sid Folge der Abhägige ZVe, deswege ist das schwache GGZ für sie icht direkt awedbar! vo griech. ergo ( Eergie, Arbeit ) + odos ( Pfad, Weg ). Diese (etwas uglückliche) Termiologie stammt vo bedeutede österreichische physiker: Defiitio 0.4 (Ergodische Markov-Kette). Eie Markov-Kette {X i } mit eier Übergagsmatrix P heißt ergodisch, falls die etsprechede - Schritt Übergagswahrscheilichkeite kovergiere gege eie ichttriviale Verteilug kovergiere 2 : j : lim P () = π j > 0. () Theorem 0.2 (schwacher Ergodesatz = schwacher GGZ für Markov-Kette). Sei {X i } eie ergodische Markov-Kette auf dem Zustadsraum S mit der Übergagsmatrix P. Defiiere de empirische Zeitateil, de die Markov-Kette im Zustad A S ach N Schritte verbracht hat: Abbildug 3: Ludwig Boltzma ( ) 2 Nicht-trivial heißt hier, dass für alle j: π j > 0 gilt. ν (A) := ( A(X ) A (X )), A S. (2) Da gilt ν (A) P π(a). (3) Isbesodere impliziert (3), dass für alle beschräkte Fuktioe f : S R die Kovergez gilt. f (X i ) P f (s)π{s} (4) s S

4 gesetze der große zahle 4 Notatio. Für die rechte Seite vo (4) beutzt ma die Notatio π[ f ]. I Worte ist die rechte Seite vo (4) der Erwartugswert vo f bezüglich π. Die like Seite vo (4) ist ei Mittel über die Zeitperiode vo i = bis i = vo de Beobachtuge 3 f (X i ) userer Markov- Kette. Ergodesatz besagt: das Zeitmittel (like Seite) kovergiert gege das Zustadsmittel (rechte Seite), s. (4). 3 Eie Beobachtug ist eie Fuktio f : S R auf dem Zustadsraum. De oft beobachtet ma i de Experimete icht de Gesamtzustad vom System, soder eie Fuktio (ei Parameter) davo. Eie lage Stichprobe userer Markov-Kette (like Seite) approximiert das Gleichgewicht (rechte Seite), s. (4). Markov-Kette ist eie Folge der abhägige ZV. Deswege ist Theorem 0. icht direkt awedbar! Propositio 0. (Ergodische Markov-Kette kovergiere geometrisch schell is Gleichgewicht). Sei {X } = eie ergodische Markov- Kette. Da gilt ρ (0, ) : p () π j Cρ. (5) Proof of Theorem 0.2. Sei s i, s j S. Wir möchte zeige, dass ε > 0: P{ ν {j} π j > ε X = s j } 0. (6) Die Ugleichug vo Tschebyscheff liefert P{ ν {j} π j > εx = s i } E[ ν {j} π j 2 X = s i ] ε 2 (7) Es bleibt z.z., dass I der Tat gilt E[ ν {j} π j 2 X = s i ] 0. (8) E[ ν {j} π j 2 X = s i ] = 2 E [ wobei = 2 k= k= l= {sj }(X k ) π j 2 X = s i ] m (k,l), m (k,l) = E[ sj (X k ) sj (X l ) X 0 = s i ] π j E[ sj (X k ) X 0 = s i ] π j E[ sj (X l ) X 0 = s i ] + π 2 j = p (s) p(t) j,j π j p (k) π j p (l) i.j + π 2 j, (9) (20)

5 gesetze der große zahle 5 wobei s = mi{k, l} ud t = k l. Nach Propositio 0. gilt p () = π j + ε () ε () i.j Cρ (2) Deswege gilt m (k,l) C(ρ s + ρ t + ρ k + ρ l ). (22) Somit 2 k= l= m (k,l) C 2 k= l= (ρ s + ρ t + ρ k + ρ l ) = O( ) 0. (23) Theorem 0.3 (Ergodesatz, starke Formulierug). Sei {X } = eie irreduzieble ud aperiodische Markov-Kette mit der statioärer Verteilug π M (S). Für jede Fuktio f : S R gilt lim f (X i ) = π[ f ], f.s. (24) Ma ka zeige, dass für eie ergodische Markov-Kette die ZVe X k, X l mit k l groß fast uabhägig sid. Dies ist eie Begrüdug, warum der GGZ für ergodische Markov-Kette gilt. Wie ka ma umerisch eie Erwartugswert ausreche? Problem. Wie ka ma für π M (S) ud f : S R de Erwartugswert π[ f ] umerisch ausreche? Atwort: Mittels MCMC ud Ergodesatzes! Ma ka z.b. mit dem Metropolis-Hastigs-Algorithmus eie Realisierug 4 {x i := X i (ω)}, für irgedei ω Ω (25) der Markov-Kette {X i } erzeuge. Um da π[ f ] zu schätze, ka ma eifach die like Seite vo (4) a der erzeugte Realisierug {x i } auswerte ud der Ergodesatz liefert5 5 4 Eie Realisierug eier ZV X ist ei Wert x = X(ω) für ei gegebees ω Ω. Eie schwierige Frage hier ist: Wie groß soll i (26) sei? f (x i ) π[ f ]. (26)

6 gesetze der große zahle 6 Starkes Gesetz der große Zahle Starkes GGZ ist auch eie Aussage über die Kovergez vom empirische Mittel gege de Erwartugswert. Allerdigs ist dabei die Kovergezart eie adere. Theorem 0.4 (Starkes Gesetz der große Zahle). Uter de Voraussetzuge vom Theorem 0. gilt { } P ω Ω : lim X (ω) = µ = (27) I Worte bedeutet starkes Gesetz der große Zahle, dass für fast alle Realisieruge des Zufalls der empirische Mittelwert eier Folge der uabhägige idetisch verteilte ZV kovergiert gege de Erwartugswert vo eiem eizele Summad. 6 Defiitio 0.5 (Fast sichere Kovergez). Sei {Y i } eie Folge der ZV ud Y eie ZV auf dem WRaum (Ω, A, P). Die Folge {Y i } kovergiert fast sicher (f.s.) 7, falls es ei sicheres Ereigis 8 A A existiert, so dass ω A : lim Y (ω) = Y (ω). (28) Notatio. Falls (6) gilt, schreibt ma 9 I dieser Notatio ka ma (27) so umschreibe: Y f.s. Y. (29) 6 Philosophisch brigt diese Botschaft die ExperimetatorIe ud TheoretikerIe zusamme: der Mittelwert vo Beobachtuge aus eiem Experimet kovergiert gege de theoretische Erwartugswert für fast alle Realisieruge des Experimets als wir mehr ud mehr Beobachtuge mache. So ka ma vo de Beobachtuge auf die Wirklichkeit schließe. 7 alterativ sagt ma: kovergiert mit Wahrscheilichkeit eis. 8 D.h. P(A) =. 9 Statt f.s. schreibt ma auch P-f.s., we es icht klar ist, welches WMaß i (28) gemeit ist. X f.s. µ. (30) Die fast sichere Kovergez ist ichts aderes als eie puktweise Kovergez 20 auf eier Mege der volle Wahrscheilichkeit. Die Kovergez für fast alle Realisieruge des Zufalls ist eigetlich das, was wir i der Simulatio auf der Abbildug beobachte. 20 Puktweise Kovergez soll aus der Aalysis bekat sei. Ma ka zeige, dass f.s. Kovergez Kovergez i Wahrscheilichkeit (3) Kovergez i Wahrscheilichkeit f.s. Kovergez (32) Damit ist die f.s. Kovergez eie stärkere Kovergezart als die Kovergez i Wahrscheilichkeit.

7 gesetze der große zahle 7 Die Kovergez i Wahrscheilichkeit (Defiitio 0.2) beihaltet de Grezübergag außerhalb des P-Symbols. Allerdigs steht der Grezwert i der f.s. Kovergez (Defiitio 0.5) ierhalb des P-Symbols, was (ituitiv) eie stärkere Aussage darstellt. Sicheres Ergeigis A vo der Defiitio 0.5 hägt vo uedlich viele ZVe {X } = ab. Allerdigs ich gaz stark. Der Grezwert lim X hägt ur davo ab, was für großes geschiet. Also hägt das Ereigis A ur davo ab, was mit der Folge {X } = im Uedliche passiert. Proof of Theorem 0.4. Eifachheitshalber führe wir de Beweis uter eier stärkere Voraussätzug als ageküdigt 2 : [ ] E X 4 <. (33) o.b.d.a. köe wir aehme, dass E[X ] = Wir möchte zeige, dass ] S 4 E 4 <. (34) [ 2 Diese aahme heißt: Existez vo de vierte Momete. Ohe diese Aahme ist der Beweis etwas läger. 22 Betrachte sost statt X i die zetrierte ZVe Y i := X i µ. Für diese gilt E[Y i ] = 0. Es gilt [ ] E S 4 = i = i 2 = i 3 = i 4 = E [ X i X i2 X i3 X i4 ] (35) Beachte, dass es viele Summade i (35) gibt, die gleich 0 sid. Z.b. falls i is icht gleich i 2, i 3 ud i 4, da wege der Uabhägigkeit E[X i X i2 X i3 X i4 ] = E[X i ]E [ X i2 X i3 X i4 ] = 0. (36) Deswege muss ma i (35) ur die Terme vo der folgede zwei Bauarte betrachte: E[X 4 i ] (es gibt Stück davo) ud E[X 2 i X 2 i 2 ]. (37) Summade (37) bekommt ma i de folgede Fälle: i = i 2 = i 3 = i 4, i = i 3 = i 2 = i 4 oder i = i 4 = i 2 = i 3. Deswege gibt es isgesamt 3( ) Terme dieser Bauart. Somit [ ] E S 4 = E[X 4 ] + 3( )E[X 2 X2 2 ] = O(2 ). (38) Deswege gilt 4 E[S 4 ] = O( 2 ). Demzufolge gilt (34). Isb. heißt (34), dass Warum?

8 gesetze der große zahle 8 Somit S f.s. ud schließlich S 0 0 f.s. S 4 < f.s. (39) Literaturhiweise: Kapitel aus Ref. 24 Literatur 24 Götz Kerstig ad Ato Wakolbiger. Elemetare Stochastik. Spriger, 200 Götz Kerstig ad Ato Wakolbiger. Elemetare Stochastik. Spriger, 200.