Der zentrale Grenzwertsatz

Transkript

1 KAPITEL 13 Der zetrale Grezwertsatz Der zetrale Grezwertsatz besagt, ass eie Summe vo sehr viele uabhägige ietisch verteilte Zufallsvariable mit elicher Variaz approximativ ormalverteilt ist. Dieser Satz begrüet theoretisch ie herausragee Rolle, ie ie Normalverteilug i er Wahrscheilichkeitstheorie u Statistik spielt. Bevor wir e zetrale Grezwertsatz beweise, müsse wir eie weitere Kovergezart, ie Kovergez i Verteilug, efiiere Kovergez i Verteilug Für eie Zufallsvariable X bezeiche wir mit S(X) = {t R : F X ist stetig a er Stelle t} ie Mege er Stetigkeitspukte er Verteilugsfuktio vo X. Die Mege R\S ist ie Mege er Atome vo X. Diese Mege ist höchstes abzählbar. Defiitio Eie Folge vo Zufallsvariable X 1, X 2,... kovergiert i Verteilug gege eie Zufallsvariable X, we für alle t S(X) gilt: Bezeichug. X X oer F X lim F X (t) = F X (t). F X. Dabei steht für istributio (Verteilug). Bemerkug I er obige Defiitio si ur ie Verteilugsfuktioe vo X u X relevat. Der zugrueliegee Wahrscheilichkeitsraum spielt keie Rolle. Es ka z.b. sogar sei, ass ie Zufallsvariable auf verschieee Wahrscheilichkeitsräume efiiert si. Beispiel I iesem Beispiel zeige wir, warum i er Defiitio er Verteilugskovergez ie Eischräkug auf ie Stetigkeitspukte vo F X sivoll ist. Seie c 1 > c 2 >... > 0 Kostate mit lim c = 0. Als Beispiel ka ma c = 1 betrachte. Defiiere u Zufallsvariable X := c u X := 0. Es gilt: 0, t < 0 lim F X (t) = 1, t > 0 = F X (t), für alle t 0. 0, t = 0 Für t = 0 stimmt ie Gleichug lim F X (0) = F X (0) icht, e F X (0) = 1. Da allerigs 0 / S(X), ist ie Beigug i er Defiitio er Verteilugskovergez erfüllt u wir habe X X. Hätte wir aber i er Defiitio er Verteilugskovergez verlagt, ass lim F X (t) = F X (t) für alle t R gelte soll (u icht ur für alle t S(X)), so würe er resultieree Kovergezbegriff ie absure Eigeschaft habe, ass 1 icht gege 0 kovergiert. 1

2 Der ächste Satz zeigt, ass ie Verteilugskovergez ie schwächste er vo us eigeführte Kovergezarte ist. Satz Seie X u X Zufallsvariable mit X P X. Da gilt: X X. Bemerkug Ma ka u ie Beziehuge zwische verschieee Kovergezarte folgeermaße arstelle: f.s. P... L 3 L 2 L 1 P Beweis vo Satz Sei X X. Für alle ε > 0 gilt also: lim P[ X X > ε] = 0. Schritt 1. Für alle t R gilt: F X (t) = P[X t] Mit er Voraussetzug X = P[X t, X X ε] + P[X t, X X > ε] P[X t + ε] + P[ X X > ε] = F X (t + ε) + P[ X X > ε]. P X gilt u für : lim sup F X (t) F X (t + ε). Das gilt für jees ε > 0. Wir köe ε 0 gehe lasse u ie Rechtsstetigkeit vo F X beutze: lim sup F X (t) F X (t). Schritt 2. Sei t S(X) beliebig. Es gilt: F X (t ε) = P[X t ε] = P[X t ε, X X ε] + P[X t ε, X X > ε] F X (t) + P[ X X > ε]. P Mit er Voraussetzug X X gilt u für : F X (t ε) lim if F X (t). Das gilt für jees ε > 0. Wir köe also ε 0 gehe lasse u beutze, ass F X a er Stelle t stetig ist (e t S(X)): F X (t) lim if F X (t). Schritt 3. Fügt ma Schritt 1 u Schritt 2 zusamme, so erhält ma, ass für alle t S(X) lim sup F X (t) F X (t) lim if F X (t). 2

3 Daraus folgt, ass F X (t) = lim F X (t) für alle t S(X). Somit gilt X X. Beispiel Wir betrachte eie Folge vo ormalverteilte Zufallsvariable X N(0, σ) 2 mit lim σ 2 = 0. Wir zeige, ass X 0. Beweis. Es gilt X L 2 0, e E[(X 0) 2 ] = E[X 2 ] = Var X = σ 2 0. Nu folgt aus er L 2 -Kovergez ie stochastische Kovergez u amit auch ie Kovergez i Verteilug ach em Schema L 2 P. Beispiel Dieses Beispiel soll zeige, ass ie Umkehrug vo Satz im Allgemeie falsch ist. Wir betrachte eie Zufallsvariable X N(0, 1) u ie Folge X = X für alle N. Schritt 1. Zuerst zeige wir, ass X i Verteilug gege X kovergiert. Es gilt: F X (t) = P[X t] = P[ X t] = P[X t] = F X (t). Dabei habe wir beutzt, ass N(0, 1) eie symmetrische Verteilug ist,.h. ie Verteilug vo X stimmt mit er Verteilug vo X überei. Da F X (t) = F X (t) für alle t R, folgt, ass X gege X i Verteilug kovergiert. Schritt 2. Nu zeige wir, as X jeoch icht i Wahrscheilichkeit gege X kovergiert. Es gilt: [ P[ X X > 1] = P[2 X > 1] = P X > 1 ] = 1 e t2 2 t =: c > π t >1/2 Da as Itegral uabhägig vo ist, folgt lim P[ X X > 1] = c > 0. Somit gilt P icht, ass X X. Es gibt allerigs eie Spezialfall, i em ie Umkehrug vo Satz richtig ist. Ma muss ämlich voraussetze, ass ie Grezwertzufallsvariable kostat ist. Satz Seie X 1, X 2,... Zufallsvariable u c R eie Kostate mit X Da gilt: X Beweis. Sei X P c. c. Da gilt für alle t c: lim F X (t) = F X (t) = 3 { 1, t > c, 0, t < c. c.

4 Sei u ε > 0. Da gilt: P[ X c > ε] = P[X < c ε] + P[X > c + ε] P[X c ε] + 1 P[X c + ε] = F X (c ε) + 1 F X (c + ε) 0, a lim F X (c ε) = 0 u lim F X (c+ε) = 1. Es gilt also lim P[ X c > ε] = 0 P u somit X X. Beispiel Für jees N sei X eie Zufallsvariable, ie gleichverteilt auf er Mege { 1, 2,..., } ist. Sei außerem X gleichverteilt auf [0, 1]. Somit ist X eie iskrete Zufallsvariable, wohigege X absolut stetig ist. Wir zeige, ass X X. Beweis. Für t < 0 hat ma F X (t) = F X (t) = 0. Für t > 1 hat ma F X (t) = F X (t) = 1. Für t [0, 1] hat ma F X (t) = [t] t = F X(t), wobei [ ] ie Gauß-Klammer ist. Also gilt für jees t R: Somit folgt X X. lim F X (t) = F X (t). Beispiel (Poisso-Grezwertsatz). Wir betrachte eie Folge vo Zufallsvariable mit X Bi(, p ), wobei für ie Erfolgswahrscheilichkeit p gilt: lim p = λ (0, ). Zum Beispiel ka ma p = λ betrachte. Sei außerem X Poi(λ). Wir zeige, ass X X. Beweis. Der Poisso-Grezwertsatz besagt, ass für alle k N 0 gilt: lim P[X λ λk = k] = e = P[X = k]. k! Die Mege er Stetigkeitspukte er Verteilugsfuktio vo X ist S(X) = R\N 0. Für t < 0 gilt F X (t) = 0 = F X (t). Sei eshalb t > 0 mit t / N 0. Da ka ma ei m N 0 mit m < t < m + 1 fie. Es gilt Daraus folgt: X F X (t) = P[X t] = X. m P[X = k] m λ λk e k! = P[X t] = F X(t). 4

5 13.2. Eie Charakterisierug er Kovergez i Verteilug Defiitio Die Mege er stetige u beschräkte Fuktioe bezeiche wir mit { } C b := f : R R f ist stetig u sup f(t) t R. Satz Seie X, X 1, X 2,... Zufallsvariable. Folgee zwei Aussage si äquivalet: (1) X X. (2) Für alle f C b gilt: lim Ef(X ) = Ef(X). Beweis vo (1) (2). Sei X Wir were zeige, ass X. Sei f C b eie stetige u beschräkte Fuktio. lim Ef(X ) = Ef(X). Schritt 1. Für f beschräkt ist, gilt b := sup t R f(t) <. Schritt 2. Sei ε > 0. Es gilt lim c P[ X > c] = 0. Somit existiert ei hireiche großes c mit P[ X > c] < ε b. Iem ma c vergrößert, ka ma außerem erreiche, ass c S(X) u c S(X). Schritt 3. Aus X X folgt lim P[ X > c] = P[ X > c], e P[ X > c] = F X ( c) + (1 F X (c)) F X ( c) + (1 F X (c)) = P[ X > c]. Für hireiche großes gilt somit: P[ X > c] < 2ε b. Schritt 4. Da ie Fuktio f stetig ist, ka ma eie Fuktio g mit folgee Eigeschafte kostruiere: (1) sup t R f(t) g(t) ε. (2) g ist eie Treppefuktio: k g(t) = a i 1 ti 1 <t t i, wobei c = t 0 < t 1 <... < t k = c u t 0,..., t k S(X). Schritt 5. Für hireiche großes gilt: Ef(X ) Ef(X) Ef(X )1 X c Ef(X)1 X c + Ef(X )1 X >c + Ef(X)1 X >c i=1 Ef(X )1 X c Ef(X)1 X c + 3ε Ef(X )1 X c Eg(X ) + Eg(X) Ef(X)1 X c + Eg(X ) Eg(X) + 3ε Eg(X ) Eg(X) + 5ε, 5

6 wobei ie zweite Ugleichug gilt, a f(x ) b, f(x) b, P[ X > c] 2ε u b P[ X > c] ε, u ie letzte Ugleichug gilt, a f(x) g(x) ε. b Schritt 6. Wir betrachte u e Term Eg(X ) Eg(X). Aus X S(X) folgt, ass Eg(X ) = = k a i E1 ti 1 <X t i i=1 k a i (F X (t i ) F X (t i 1 )) i=1 k a i (F X (t i ) F X (t i 1 )) i=1 = Eg(X). Daraus folgt: lim Eg(x ) = Eg(X). Für hireiche großes gilt somit: Eg(X ) Eg(X) ε. X u t 0,..., t k Schritt 7. Aus Schritt 5 u Schritt 6 ergibt sich, ass für hireiche großes gilt: Ef(X ) Ef(X) 6ε. Dabei war ε > 0 beliebig. Daraus folgt, ass lim Ef(X ) = Ef(X). Beweis vo (2) (1). Sei lim Ef(X ) = Ef(X) für alle f C b. Wir zeige, ass X X. Beweisiee: Dürfte wir f(z) = 1 z t eisetze, so würe gelte: lim F X (t) = lim Ef(X ) = Ef(X) = F X (t). Allerigs ist ie Iikatorfuktio 1 z t icht stetig. Also were wir ieese Iikatorfuktio urch stetige Fuktioe approximiere. Schritt 1. Sei t R u ε > 0. Da existiert eie Fuktio f C b mit 1 y t f(y) 1 y t+ε für alle y R. (1) Es gilt also 1 X t f(x ) 1 X t+ε. Daraus folgt: F X (t) = E1 X t Ef(X ). (2) Außerem gilt 1 X t f(x) 1 X t+ε. Es folgt: Ef(X) E1 X t+ε = F X (t + ε). Fügt ma u (1) u (2) zusamme, erhält ma für : lim sup F X (t) lim Ef(X ) = Ef(X) F X (t + ε). 6

7 Das gilt für jees ε > 0. Da u F X rechtsstetig ist, erhalte wir für ε 0: lim sup F X (t) F X (t). Schritt 2. Sei t S(X) u ε > 0. Da existiert ei f C b mit 1 y t ε f(y) 1 y t für alle y R. Es gilt: F X (t ε) = E1 X t ε Ef(X) = lim Ef(X ) lim if E1 X t = lim if F X (t). Für ε 0 erhalte wir a: F X (t) lim if F X (t). Schritt 3. Fügt ma u Schritte 1 u 2 zusamme, so folgt für alle t S(X): U as beeutet, ass X X. F X (t) = lim F X (t) Satz vo Helly Für eie Verteilugsfuktio G bezeiche wir mit S(G) ie Mege er Stetigkeitspukte vo G. Satz (Helly). Seie F 1, F 2,... Verteilugsfuktioe. Da gibt es eie rechtsstetige ichtfallee Fuktio G u eie Teilfolge F 1, F 2,..., so ass für alle t S(G) gilt: lim F k (t) = G(t). Beweis. Die Mege er ratioale Zahle ist abzählbar, also gibt es eie Abzählug Q = {r 1, r 2,...}. Wir were im Folgee eie geschachtelte Familie vo ueliche Mege N = K 0 K 1... mit gewisse (ute äher beschriebee) Eigeschafte kostruiere. Schritt 1. Sei K 0 = N. Es gilt: {F (r 1 )} N [0, 1]. Mit em Satz vo Bolzao Weierstraß folgt: Es gibt eie Teilmege K 1 K 0 mit K 1 = u lim F (r 1 ) = g 1., K 1 Schritt 2. Geauso gilt: {F (r 2 )} K1 [0, 1]. U amit folgt wieerum mit em Satz vo Bolzao Weierstraß, ass eie Teilmege K 2 K 1 existiert mit K 2 = u lim, K 2 F (r 2 ) = g 2. Schritt 3. Diese Argumetatio ka fortgesetzt were. Es existiere also Mege N = K 0 K 1 K 2... mit K j = u lim, K j F (r j ) = g j für alle j N. Schritt 4. Nu beutze wir ie sogeate Cator Diagoalisierug. I jeer Mege K j wähle wir as kleiste Elemet. Die Vereiigug ieser Elemete ee wir K, so ass 7

8 K = {mi K j } j N. Es gilt ach Kostruktio K =. Außerem gilt für alle j N: K ist bis auf elich viele Elemete eie Teilmege vo K j u somit lim F (r j ) = g j für alle j N., K Wir habe gezeigt, ass für alle j N er folgee Grezwert existiert: H(r j ) := lim F (r j )., K Die Fuktio H ist ur auf er Mege er ratioale Zahle efiiert. Wir erweiter ie Fuktio H auf gaz R: G(t) := if{h(r) : r Q, r > t}. Für iese Fuktio gilt: G ist ichtfalle u rechtsstetig (Übug). Schritt 5. Nu müsse wir och zeige, ass für t S(G) gilt: lim F (t) = G(t)., K Sei also t S(G) u sei ε > 0. Da existiert y < t mit G(t) ε G(y) G(t). Außerem existiere r, s Q mit y < r < t < s u G(s) G(t) + ε. Nu gilt also: G(t) ε G(y) G(r) G(s) G(t) + ε. Es folgt, ass G(r) K F (r) F (t) F (s) K G(s). Somit gilt G(t) ε lim if F (t) lim sup F (t) G(t) + ε., K, K Für ε 0 erhalte wir a: G(t) = lim, K F (t). Beispiel Die Fuktio G aus em Satz vo Helly ist mooto ichtfalle u rechtsstetig, sie muss aber icht ubeigt eie Verteilugsfuktio sei. Es fehle ämlich ie Eigeschafte lim t G(t) = 0 u lim t + G(t) = 1. Um zu sehe, ass ie beie Eigeschafte icht immer erfüllt si, betrachte wir ie Folge X =. Für ie Verteilugsfuktio vo X gilt a lim F X (t) = lim 1 [, ) (t) = 0. Also ist auch er Grezwert jeer Teilfolge vo F X gleich 0. Die Fuktio G = 0 ist aber keie Verteilugsfuktio. Defiitio Eie Folge F 1, F 2,... vo Verteilugsfuktioe (bzw. eie Folge vo Zufallsvariable, ie iese Verteilugsfuktioe habe) heißt straff, we für alle ε > 0 ei c > 0 existiert, so ass für alle N gilt: F ( c) + (1 F (c)) < ε. Bemerkug Ist F ie Verteilugsfuktio eier Zufallsvariable X, so ka ma ie obige Beigug auch so arstelle: für alle ε > 0 existiert ei c > 0, so ass P[ X > c] < ε für alle N. 8

9 Beispiel Die Folge er Verteilugsfuktioe F = 1 [, ) ist icht straff. Beispiel Seie X 1, X 2,... beliebige Zufallsvariable, ie ur Werte i eiem Itervall [ A, A] aehme. Da ist iese Folge vo Zufallsvariable straff. Satz (Helly, Prochorow). Sei F 1, F 2,... eie straffe Folge vo Verteilugsfuktioe. Da existiere eie Verteilugsfuktio G u eie Teilfolge F 1, F 2,..., so ass für alle t S(G) gilt: lim F k (t) = G(t). k Bemerkug Mit aere Worte: aus eier straffe Folge vo Zufallsvariable ka ma eie i Verteilug kovergete Teilfolge extrahiere. Vergleiche as mit em Satz vo Bolzao Weierstraß: Aus eier beschräkte Folge vo Vektore i R ka ma eie kovergete Teilfolge extrahiere. Beweis. Aus Satz folgt, ass es eie Teilfolge 1, 2,... u eie ichtfallee, rechtsstetige Fuktio G mit lim k F k (t) = G(t) für alle t S(G) gibt. Wir bereche ie Grezwerte lim t ± G(t). Für alle ε > 0 existiert ei c > 0 mit F k ( c) < ε u 1 F k (c) < ε für alle k N, a ie Folge F 1, F 2,... straff ist. Iem wir c vergrößer, köe wir zusätzlich aehme, ass c, c S(G). Nu lasse wir k u erhalte, ass G( c) ε u 1 G(c) ε. Da as für alle ε > 0 gilt, ergibt sich araus, ass lim c + G( c) = 0 u lim c + G(c) = 1. Also ist G eie Verteilugsfuktio Stetigkeitssatz vo Lévy Der ächste Satz wir im Beweis es zetrale Grezwertsatzes eie wichtige Rolle spiele. Dieser Satz besagt, ass Kovergez i Verteilug äquivalet zur puktweise Kovergez er etsprechee charakteristische Fuktioe ist. Satz (Stetigkeitssatz vo Lévy). Seie X, X 1, X 2,... Zufallsvariable mit charakteristische Fuktioe φ X, φ X1, φ X2,.... Da si folgee zwei Aussage äquivalet: (1) X X. (2) lim φ X (t) = φ X (t) für alle t R. Im Beweis were wir ie vereifachte Notatio φ X = φ u φ X = φ beutze. Für ie Verteilugsfuktioe vo X u X beutze wir ie Notatio F X = F u F X = F. Beweis vo (1) (2). Sei X X. Da gilt mit Satz für alle t R: φ (t) = E cos(tx ) + ie si(tx ) E cos(tx) + ie si(tx) = φ(t). 9

10 Beweis vo (2) (1). Es gelte lim φ (t) = φ(t) für ale t R. Wir wolle zeige, ass X X. Schritt 1. Zuerst zeige wir, ass ie Folge vo Verteilugsfuktioe F 1, F 2,... straff ist. Wir efiiere eie Fuktio B (u) folgeermaße: B (u) := 1 u φ (t))t = u u(1 1 u [ 1 u ] E[1 e itx ]t = E (1 e itx )t, u u u u wobei wir im letzte Schritt ie Itegrale ach em Satz vo Fubii vertauscht habe. Das war möglich, e 1 e itx 2. Da u si x eie gerae Fuktio ist u er Imagiärteil somit ach er Itegratio verschwiet, erhalte wir, ass ( B (u) = 2E 1 si(ux ) [ ) 2E 1 1 ] ux ux [ P X 2 ]. u Es gilt: φ(0) = 1 u φ ist stetig, a φ eie charakteristische Fuktio ist. Somit existiert für jees ε > 0 ei hireiche kleies u > 0, so ass B(u) = 1 u u u (1 φ(t))t < ε. Da lim φ (t) = φ(t) für alle t R gilt, folgt mit er majorisierte Kovergez: B (u) = 1 u u u (1 φ (t))t 1 u u u (1 φ(t))t = B(u). Wir urfte ie majorisierte Kovergez beutze, a 1 φ (t) 2. Somit existiert ei 0, so ass B (u) < 2ε für alle 0. Da ist auch [ P X 2 ] B (u) < 2ε für alle 0. u Iem wir ie Schrake 2 vergrößer, köe wir erreiche, ass ie obige Ugleichug sogar u für alle N gilt. Daraus folgt, ass ie Folge F 1, F 2,... straff ist. Schritt 2. Nu zeige wir urch Wierspruch, ass X X. Wir ehme also a, ass iese Kovergez icht gilt. Es existiert somit ei t R mit (13.4.1) lim F (t) F (t) u P[X = t] = 0. Daraus folgt: es gibt ei ε > 0 u eie Teilfolge F 1, F 2,... mit F k (t) F (t) > ε für alle k N. Da ie Folge F 1, F 2,... u somit auch ie Teilfolge F 1, F 2,... straff ist, folgt mit Satz , ass eie Verteilugsfuktio G u eie Teilteilfolge F k1, F k2,... existiere, für ie gilt: (13.4.2) F kj j G. Wir betrachte zwei Fälle: Fall 1. G ist icht stetig a er Stelle t. Da folgt: G F, e F ist stetig a er Stelle t wege (13.4.1). 10

11 Fall 2. G ist stetig a er Stelle t. Da folgt aus (13.4.2), ass lim j F kj (t) = G(t) F (t), also G F. I beie Fälle gilt G F. Aus (13.4.2) u wege er bereits bewiesee Richtig (1) (2) im Satz folgt, ass lim j φ kj (t) = φ G (t) für alle t R. Dabei bezeiche wir mit φ G ie charakteristische Fuktio vo G. Nach Voraussetzug sollte aber auch gelte, ass lim φ kj (t) = φ(t) für alle t R. j Somit gilt φ G = φ. Das heißt, ie charakteristische Fuktioe vo G u F si gleich. Dabei habe wir aber gezeigt, ass G F. Dies ist ei Wierpruch, a ie Verteilugsfuktio eieutig urch ie charakteristische Fuktio bestimmt wir Der zetrale Grezwertsatz Seie X 1, X 2,... uabhägige, ietisch verteilte Zufallsvariable mit EX k = µ, Var X k = σ 2. Wir betrachte ie Summe S = X X. Wir were u ie Frage beatworte, wie ie Summe S für verteilt ist. Damit wir eie sivole Aussage über ie Verteilug vo S erhalte köe, müsse wir zuerst eiige Vorbereituge treffe. Schritt 1. Durch Abziehe es Erwartugswerts köe wir S zetriere. Das heißt, wir betrachte ie Zufallsvariable S ES = S µ. Es gilt a E[S µ] = 0. Schritt 2. Iem wir urch ie Staarabweichug iviiere, köe wir ie Zufallsvariable auch ormiere. Das heißt, wir betrachte ie Zufallsvariable Da gilt E[ S µ σ ] = 0 u Var[ S µ σ ] = 1. S ES Var S = S µ σ. Satz (Der zetrale Grezwertsatz). Seie X 1, X 2,... uabhägige, ietisch verteilte, quaratisch itegrierbare Zufallsvariable mit EX k = µ, Var X k = σ 2 (0, ). Sei S = X X. Da gilt: S µ σ N, wobei N N(0, 1) eie staarormalverteilte Zufallsvariable ist. Bemerkug Mit aere Worte: Für alle x R gilt [ ] lim P S µ σ x = Φ(x) mit Φ(x) = 1 2π Als Spezialfall erhalte wir e folgee Satz vo e Moivre Laplace. 11 x e t2 2 t.

12 Satz (e Moivre (1733), Laplace (1812)). Sei S Bi(, p) biomialverteilt, wobei p (0, 1) kostat ist. Da gilt für alle x R: [ ] lim P S p x = Φ(x). p(1 p) Beweis. Wir efiiere uabhägige, ietisch verteilte Zufallsvariable X 1, X 2,... mit Da gilt für ie Summe er Zufallsvariable P[X k = 1] = p u P[X k = 0] = 1 p. S = X X Bi(, p). Der Erwartugswert vo X k ist µ = p u ie Variaz ist σ 2 = p (1 p). Mit em zetrale Grezwertsatz folgt ie Behauptug. Bemerkug Mit em Satz vo e Moivre Laplace ka ma ie Biomialverteilug Bi(, p) für ei großes u ei kostates p urch ie Normalverteilug approximiere. Sei ämlich S Bi(, p). Wir wolle ie Wahrscheilichkeit P[a S b], ass S ierhalb eies gegebee Itervalls [a, b] liegt, bereche. Mit em Satz vo e Moivre Laplace erhalte wir ie folgee Approximatio: [ a µ P[a S b] = P σ S µ σ b µ ] σ P[a N b ] = Φ(b ) Φ(a ), wobei a µ σ ist. = a u b µ σ = b. Wir habe beutzt, ass S µ σ N N(0, 1) für großes Beispiel Wir betrachte ei = 100-faches Beroulli-Experimet mit Erfolgswahrscheilichkeit p = 1. Sei S = S Bi(100, 1 ) ie Azahl er Erfolge. Wir approximiere 2 u mit em zetrale Grezwertsatz ie Wahrscheilichkeit P[S 55]. Lösug. Für e Erwartugswert u ie Variaz vo S erhalte wir ES = p = = 50 u Var S = p(1 p) = = 25. Also gilt mit em Satz vo e Moivre Laplace: [ ] S P[S 55] = P P[N 1] = Φ(1) = , wobei wir beutzt habe, ass S N. Um eie bessere Approximatio zu erhalte, ka ma e sogeate ± 1 Trick awee. 2 Da ie Zufallsvariable S ämlich gazzahlig ist, si ie Wahrscheilichkeite P[S 55] u P[S < 56] gleich. Solle wir u 55 oer 56 i ie Approximatio eisetze? Wir were e Mittelwert 55.5 eisetze: P[S 55] = P[S 55,5] = P [ S , ] P[N 1,1] = Φ(1,1) = 0, Der exakte Wert für ie Wahrscheilichkeit ist übriges P[S 55] =

13 Beispiel Seie X 1, X 2,... N(µ, σ 2 ) uabhägige ormalverteilte Zufallsvariable. Da gilt icht ur approximativ, soer sogar exakt, ass S µ σ N(0, 1) Beweis es zetrale Grezwertsatzes Beweis vo Satz Es seie X 1, X 2,... uabhägige ietisch verteilte Zufallsvariable mit EX k = µ u Var X k = σ 2 > 0. Defiiere S = X X. Wir zeige, ass S µ σ N N(0, 1). Astelle vo X 1, X 2,... betrachte wir ie ormierte Zufallsvariable Y k := X k µ mit EY k = 0 u Var Y k = 1. σ Wir efiiere ie Zufallsvariable V := S µ σ = Y Y. Zu zeige ist, ass V N N(0, 1). Wir were zeige, ass ie charakteristische Fuktio vo V gege ie charakteristische Fuktio er Staarormalverteilug puktweise kovergiert. Da ka ma e Stetigkeitssatz awee. Sei t R fest. Für ie charakteristische Fuktio vo V gilt: ] ] ] ( ( )) φ V (t) = Ee itv = E [e it Y Y = E [e it Y 1 it Y... E [e t = φ, wobei φ := φ Y1 ie charakteristische Fuktio vo Y 1 ist. Nu wolle wir gehe lasse. Da φ(0) = 1 u φ stetig ist, gilt ( ) t lim φ = 1. Also habe wir es mit eier Ubestimmtheit vo er Form 1 zu tu. Um ie aufzulöse, were wir ie erste zwei Terme er Taylor-Etwicklug vo φ betrachte. Es gilt φ(0) = 1, φ (0) = iey 1 = 0, φ (0) = E[Y 2 1 ] = 1. Somit erhalte wir ie folgee Tayloretwicklug: Nu setze wir s = φ(s) = 1 s2 2 + o(s2 ), s 0. t ei: ( ) t φ = 1 t2 2 + o 13 ( t 2 ),.

14 U a gilt für ie charakteristische Fuktio vo V : ( ( )) ( )) t φ V (t) = φ = (1 t2 t o 2 t 2 e 2. Dabei habe wir ie folgee Aussage beutzt: für eie Folge a 1, a 2,... mit lim a = λ gilt, ass lim (1 + a ) = e λ. Da e t2 /2 ie charakteristische Fuktio er Staarormalverteilug ist, folgt schließlich mit em Stetigkeitssatz , ass V i Verteilug gege eie Staarormalverteilte Zufallsvariable kovergiert. Das beweist ie Behauptug Sätze vo Lieberg u Ljapuow Der folgee Satz ist eie Verallgemeierug es zetrale Grezwertsatzes. Er besagt, ass eie Summe vo sehr viele sehr kleie u uabhägige zufällige Fehler uter ziemlich allgemeie Beiguge approximativ ormalverteilt ist. I iesem Satz were wir astatt eier Folge ei sogeates Dreiecksschema vo Zufallsvariable betrachte: X 11 X 21, X 22 X 31, X 32, X X 1, X 2, X 3,..., X... Wir were aehme, ass jee Zeile ieses Dreiecks aus uabhägige Zufallsvariable besteht. Abhägigkeite zwische e Variable aus verschieee Zeile si jeoch erlaubt. Satz (Lieberg). Für alle N gelte, ass X 1, X 2,..., X uabhägige Zufallsvariable mit EX k = 0 u Var X k = σk 2 si, wobei σ2 k = 1. Außerem gelte ie folgee Lieberg-Beigug: für jees ε > 0 (13.7.1) L (ε) := lim E[Xk 2 1 X k >ε] = 0. Da gilt: X X N N(0, 1). Bemerkug Die Lieberg-Beigug besagt, ass alle Werte er Zufallsvariable, ie größer als ε si, eie asymptotisch verschwiee Beitrag zur Variaz er Summe er Zufallsvariable leiste. Bemerkug Wir beweise, ass er zetrale Grezwertsatz ei Spezialfall vo Satz ist. Seie X 1, X 2,... uabhägige, ietisch verteilte Zufallsvariable mit E[X k ] = µ u Var X k = σ 2 = 0. Wir efiiere ie Zufallsvariable X k = X k µ σ, k = 1,...,. Da si ie Zufallsvariable X 1,..., X für jees N uabhägig, a X 1,..., X ach Voraussetzug uabhägig si. Außerem gilt EX k = 0 u σ 2 k = Var X k = 1. Somit gilt tatsächlich σ2 k = 1. 14

15 Um zu zeige, ass alle Voraussetzuge aus Satz erfüllt si, müsse wir och ie Lieberg Beigug (13.7.1) überprüfe. Sei ε > 0 fest. Es gilt, a ie Zufallsvariable ietisch verteilt si, [ (Xk ) ] 2 µ L (ε) = E σ 1 X k µ σ = 1 >ε σ E[(X 2 1 µ) 2 1 X1 µ >εσ ]. Wir zeige, ass er Erwartugswert auf er rechte Seite für gege 0 kovergiert. Es gilt (X 1 µ) 2 1 X1 µ >εσ f.s. 0 (sogar sicher), a ie Iikatorfuktio für hireiche großes gleich 0 wir. Außerem gilt für alle ie Abschätzug (X 1 µ) 2 1 X1 µ >εσ (X 1 µ) 2 mit E [ (X 1 µ) 2] <. Damit köe wir e Satz vo er majorisierte Kovergez awee. Somit gilt ie Lieberg Beigug (13.7.1). Nu köe wir Satz vo Lieberg awee: X 1 µ σ X µ σ N N(0, 1). Der zetrale Grezwertsatz ist also ei Spezialfall vo Satz Bemerkug Der Satz vo Lieberg ist etwas allgemeier, als er zetrale Grezwertsatz. Zum Beispiel wir im Satz vo Lieberg icht verlagt, ass ie Zufallsvariable X 1,..., X ietisch verteilt sei solle. Beispiel Defiiere X 1 = X, wobei X eie beliebige (aber icht ormalverteilte) Zufallsvariable mit EX = 0 u Var X = 1 ist. Die restliche Zufallsvariable X 2,..., X seie gleich 0. Da gilt X X = X N(0, 1). I iesem Fall kovergiere ie Summe also icht gege ie Normalverteilug. Die Ursache afür ist, ass ie Lieberg Beigug (13.7.1) icht erfüllt ist. Bemerkug We ie Lieberg Beigug (13.7.1) erfüllt ist, so gilt, ass lim max,..., σ2 k = 0. Beweis. Aus er Gleichug σk 2 = E [ [ [ ] Xk] 2 = E X 2 k 1 Xk ε] + E X 2 k 1 Xk >ε folgt, ass für ie maximale Variaz folgee Abschätzug gilt: M := max,..., σ2 k ε 2 + E[Xk 2 1 X k >ε] = ε 2 + L (ε). Da ie Lieberg Summe auf er rechte Seite gege 0 für kovergiert, erhalte wir, ass lim sup M ε 2. Da as für jees ε > 0 gilt, folgt, ass lim M = 0. Zum Beweis vo Satz brauche wir zuächst eiige Hilfsaussage. 15

16 Lemma Für alle y 1,..., y C u für alle z 1,..., z C mit y k 1 u z k 1 für alle k = 1,...,, gilt: y k z k y k z k. Beweis. Wir beutze ie Iuktio. Iuktiosafag. Für = 1 immt usere Ugleichug ie Form y 1 z 1 y 1 z 1 a. Sie stimmt also. Iuktiosschritt. Wir ehme a, ass ie Ugleichug für ei N gilt. Nu gilt es, zu zeige, ass sie auch für + 1 gilt. Mit er Dreiecksugleichug erhalte wir, ass y k z k y k y +1 z k + y +1 z k z k = y +1 y k z k + z k y +1 z +1 y k z k + y +1 z +1, a y +1 1 u z k 1. Nu köe wir ie Iuktiosaahme awee: y k z k y k z k + y +1 z +1 = y k z k. Somit ist ie Ugleichug auch für + 1 Terme gültig. Lemma Sei X eie Zufallsvariable mit E[ X ] < für ei N. Da gilt ie Taylor-Etwicklug (it) k φ X (t) = E[X k ] + R (t), k! wobei für e Restterm R (t) ie folgee Abschätzug gilt [ { }] tx +1 R (t) E mi ( + 1)!, 2 tx.! Bemerkug We ma sich erlaubt, Erwartugswerte u ueliche Summe ohe Begrüug zu vertausche, a erhält ma ie Etwicklug [ ] φ X (t) = E[e itx (itx) k (it) k ] = E = E[X k ]. k! k! Das Lemma ist eie exakte Aussage arüber, iwieweit iese Etwicklug möglich ist. Hat ie Zufallsvariable Momete, so köe wir i er Etwicklug Terme bis zum Gra beutze u e Restterm wie im Lemma abschätze. 16

17 Beweis vo Lemma Schritt 1. Zuerst beweise wir eie Abschätzug für e Restterm i er Taylor Etwicklug er Fuktio e it. Wir were zeige, ass für alle t R (it) k { } t +1 (13.7.2) eit k! mi ( + 1)!, 2 t.! Wir führe e Beweis mit Iuktio. Iuktiosafag. Für = 0 stimmt ie zu beweisee Ugleichug (13.7.2), e e it 1 t u e it 1 2. Iuktiosschritt. Wir ehme a, ass ie Ugleichug (13.7.2) für ei N gilt. Nu ist zu zeige, ass sie auch für + 1 gilt. Sei o.e..a. t > 0, e ie Fuktio auf er rechte Seite vo (13.7.2) ist gerae. Es gilt eit +1 (is) k k! = t 0 ( e is ) (is) k s k! t 0 eis Nu beutze wir ie Iuktiosaahme: +1 (it) k t { s +1 eit k! = mi 0 ( + 1)!, 2s! { t s +1 mi 0 ( + 1)!, 2 0 { t +2 = mi ( + 2)!, 2 t+1 ( + 1)! Die zu beweisee Ugleichug gilt also auch für + 1. } s t s (is) k k! s. }! s }. Schritt 2. Nu beweise wir ie Abschätzug für e Restterm R (t): [ ] R (t) = E e itx (itx) k ) k! E (itx) k [ { tx +1 eitx k! E mi Das Lemma ist somit bewiese. Nu köe wir e Satz vo Lieberg beweise. Beweis vo Satz Es ist zu zeige, ass X X N(0, 1). ( + 1)!, 2 tx! Schritt 1. Nach em Stetigkeitssatz reicht es, zu zeige, ass für alle t R gilt: lim φ k (t) = e t }].

18 Dabei sei φ k (t) = E[e itx k ] ie charakteristische Fuktio vo Xk. Deshalb betrachte wir ie Differez ieser beie Terme: ) φ k (t) e t2 2 = φ k (t) e 1 2 σ2 k (a t2 σk 2 = 1 φ k (t) e 1 2 σ2 k t2 φ k(t) σ2 kt 2 1 e 2 σ2 k t σ2 kt 2. Nu schätze wir iese beie Summe separat ab u efiiere hierfür c k = φ k(t) σ2 kt 2, k = 1 e 2 σ2 k t σ2 kt 2. Schritt 2. Betrachte zuächst c k. Mit Lemma erhalte wir ( c k = φ k(t) 1 1 ) 2 σ2 kt 2 E [ mi { tx k 3, tx k 2}]. U u verwee wir für X k ε ie Abschätzug tx k 3 u für X k > ε ie Abschätzug tx k 2 : c k E [ tx k 3 1 Xk ε] + E [ txk 2 1 Xk >ε. ]. Sei L (ε) = E[X2 k 1 X k >ε] ie Summe aus er Lieberg Beigug. Nu schätze wir ie Summe über c k ab: c k t 3 E[ X k 3 1 Xk ε ] + t 2 L (ε) t 3 t 3 ε ε E[ X k 2 1 Xk ε] + t 2 L (ε) σk 2 + t 2 L (ε) = t 3 ε + t 2 L (ε). Da ie Lieberg-Summe L (ε) gege 0 für kovergiert u ε > 0 beliebig klei gewählt were ka, erhalte wir, ass c k = 0. lim Schritt 3. Wir betrachte u k. Wir verwee hier ie Abschätzug e z z k (1 z) = k! z k 2 z 2 z 2 z k 2 k! (k 2)! z 2 e z. k=2 k=2 18 k=2

19 U u substituiere wir z = 1 2 σ2 k t2 : ( k = 1 e 2 σ2 k t2 1 1 ) 2 σ2 kt 2 σk t 4 4 e 1 2 σ2 k t2 σk t 4 4 e t2. Somit gilt für ie Summe k t 4 e t2 Also gilt laut Bemerkug σk 4 t 4 e t2 lim k = 0. Schritt 4. Wir habe also gezeigt, ass lim φ k (t) e t2 2 = 0. max,..., σ2 k. Mit em Stetigkeitssatz folgt araus, ass X X N(0, 1). Nu beweise wir eie Satz, er eie vereifachte Form es Satzes vo Lieberg ist. Satz (Ljapuow). Für alle N seie X 1,..., X uabhägige Zufallsvariable mit EX k = 0 u Var X k = σk 2, wobei σ2 k = 1. Es gelte außerem ie folgee Ljapuow Beigug: Es existiert ei δ > 0 mit (13.7.3) lim E X k 2+δ = 0. Da gilt: X X N N(0, 1). Beweis. Wir zeige, ass ie Ljapuow Beigug (13.7.3) ie Lieberg Beigug (13.7.1) impliziert. Sei also (13.7.3) erfüllt. Sei ε > 0 beliebig. Da gilt L (ε) = E [ Xk 2 1 ] [ ] Xk 2+δ X k >ε E 1 Xk >ε 1 E [ X ε δ k 2+δ] 0. Somit gilt ie Lieberg Beigug (13.7.1). ε δ Beispiel Wir betrachte ei -faches Beroulli-Experimete mit Erfolgswahrscheilichkeit p, für ie lim p (1 p ) = gilt. Da gilt: (13.7.4) S p p (1 p ) N N(0, 1). Bemerkug Dies ist beispielsweise awebar, we p = 1, p = 1 1 oer we p = p (0, 1) kostat ist. Zum Vergleich: Der Poisso Grezwertsatz gilt, we lim p = λ (0, ). 19

20 Beweis vo (13.7.4). De Satz vo e Moivre Laplace köe wir icht awee, e p ist im Allgemeie icht kostat. Wir were stattesse e Satz vo Lieberg awee. Wir betrachte uabhägige Zufallsvariable Y 1,..., Y Bi(1, p ),.h. P[Y k = 1] = p, P[Y k = 0] = 1 p. Für ie Summe ieser Zufallsvariable gilt a S := Y Y Bi(, p ). Wir betrachte auch ie ormierte Zufallsvariable Y k p X k := p (1 p ). Es gilt EX k = 0 u Var X k = 1. Für ie Summe ieser Zufallsvariable X k gilt a S := X X = S p p (1 p ). Wir zeige, ass S i Verteilug gege ie Staarormalverteilug kovergiert, iem wir ie Lieberg Beigug überprüfe. Sei ε > 0 vorgegebe. Wir köe ie Zufallsvariable X k wie folgt abschätze: 1 X k p (1 p ). Somit ist X k < ε für hireiche großes, e lim p (1 p ) =. Es gilt also L (ε) = E[X2 k 1 X k >ε] = 0 für hireiche großes. Somit ist ie Lieberg Beigug erfüllt. Nu arf er zetrale Grezwertsatz vo Lieberg beutzt were. Er besagt, ass S N(0, 1). Beispiel Seie X 1, X 2,... uabhägige (aber icht ietisch verteilte) Zufallsvariable mit Defiiere ie Partialsumme Wir behaupte u, ass P[X = ] = P[X = ] = 1 2. S = X X = ±1 ± 2 ±... ±. 3 S 3/2 N(0, 1). Beweis. De zetrale Grezwertsatz köe wir icht awee, a ie Zufallsvariable icht ietisch verteilt si. Stattesse muss ma e Satz vo Lieberg oer e Satz vo Ljapuow awee. Wir etscheie us für e Satz vo Ljapuow. Zuächst bemerke wir, ass EX k = 0 u Var X k = E[Xk 2] = k2. Die Variaz er Summe S ist a D 2 := Var S = k 2 = ( + 1)(2 + 1) ,.

21 Daraus folgt, ass D 3/2 3,. Um u e zetrale Grezwertsatz vo Ljapuow awee zu köe, efiiere wir us folgee Zufallsvariable: X k = X k für k = 1,...,. D Wir erkee, ass EX k = 0, Var X k = 1 Var X D 2 k = 1. Nu zeige wir, ass ie Ljapuow-Beigug mit δ = 1 erfüllt ist: ( ) 3 k E[ X k 3 ] = = 1 k 3 0, D e k3 4 u 4 D3 9/2 3 für. Der Satz Ljapuow besagt a, ass 3 1 X k = X k N(0, 1). D Also ist ie Behauptug bewiese, a D 3/2 3 D 3 für ist. 21