13 Grenzwertsätze Das Gesetz der großen Zahlen

Transkript

1 13 Grenzwertsätze 13.1 Das Gesetz der großen Zahlen Der Erwartungswert einer zufälligen Variablen X ist in der Praxis meist nicht bekannt. Um ihn zu bestimmen, sammelt man Beobachtungen X 1,X 2,...,X n (n N) und bildet dann das arithmetische Mittel dieser Beobachtungen: n X = 1 n X i =: X n i=1 Dabei muß man jedoch beachten, daß die Beobachtungen X 1,...,X n unabhängig oder wenigstens unkorreliert sind. 495 W.Kössler, Humboldt-Universität zu Berlin

2 Satz 43 (Schwaches Gesetz der großen Zahlen) Es seien X 1,...,X n unkorrelierte zufällige Variablen mit µ := EX i und σ 2 := VarX i (für alle i = 1,...,n). Dann gilt für alle ε > 0: lim P( X n µ > ε) = 0. Beweis: Zum Beweis des Satzes verwenden wir die Ungleichung von TSCHEBYCHEW (vgl. Satz 38). 496 W.Kössler, Humboldt-Universität zu Berlin

3 Da die Zufallsgrößen X 1,...,X n unkorreliert sind, gilt ( ) ( n n ) Var X = Var X i = 1 Var X n 2 i = 1 n 2 1 n n i=1 i=1 i=1 Var (X i ) = 1 n 2 n σ 2 = σ2 n EX = E = 1 n ( 1 n ) n X i i=1 = 1 n E ( n i=1 n EX i = 1 n µ = µ n i=1 X i ) 497 W.Kössler, Humboldt-Universität zu Berlin

4 Mittels der TSCHEBYCHEW Ungleichung erhalten wir: P( X n µ > ε) = P( X EX > ε) = VarX ε 2 σ 2 n ε 2 0 Bem. 19 Aus dem Beweis erkennen wir, daß die Voraussetzungen etwas abgeschwächt werden können, anstelle Var X i = σ 2 genügt die Forderung lim 1 n 2 VarXi = W.Kössler, Humboldt-Universität zu Berlin

5 Def. 45 Wenn lim P( Y n Y 0 > ε) = 0 ε > 0 dann heißt Y 0 stochastischer Grenzwert der Folge {Y n } und man schreibt p lim Y n = Y W.Kössler, Humboldt-Universität zu Berlin

6 Bsp. 81 Es seien X i B(1,p) X i : p p Dann gilt: µ := EX = EX i = 0 (1 p) + 1 p = p 500 W.Kössler, Humboldt-Universität zu Berlin

7 und σ 2 := E(X p) 2 = (0 p) 2 (1 p) + (1 p) 2 p = p 2 (1 p) + (1 p) 2 p = p 2 p 3 + p 2 p 2 + p 3 = p p 2 = p (1 p) Nach dem schwachen Gesetz der großen Zahlen folgt: ( ) n 1 P X n i p > ε 0. i=1 501 W.Kössler, Humboldt-Universität zu Berlin

8 Bsp. 82 Es sei A ein Ereignis, p = P(A) sei unbekannt. Zur Schätzung von p führen wir eine Reihe von unabhängigen Experimenten durch, bei denen A und A die einzig möglichen Ausgänge seien. n: # der Experimente, die durchgeführt werden. n(a): # Auftretens des Ereignisses A. ˆp n = n(a) n die relative Häufigkeit des Ereignisses A. Frage: ˆp n p? Dazu definieren wir Zufallsgrößen X i (i = 1,...,n), 502 W.Kössler, Humboldt-Universität zu Berlin

9 X i := 1, A im i ten Experiment eintritt 0, A im i-ten Experiment nicht eintritt Dann gilt für alle i = 1,...,n: X i B(1,p) und P(X i = 1) = p sowie P(X i = 0) = 1 p. σ 2 = VarX i = p (1 p) µ = EX i = p Wir definieren weiterhin: n X := 1 X n i = 1 n(a) = ˆp n n. i=1 503 W.Kössler, Humboldt-Universität zu Berlin

10 Wir wenden nun das schwache Gesetz der großen Zahlen an und erhalten: lim P( ˆp n p > ε) = Folglich gilt: ˆp n p. lim P( X n µ > ε) = 0, ε > 0 Bem. 20 Schätzungen ˆp n, die gegen den zu schätzenden Parameter konvergieren heißen (schwach) konsistent. 504 W.Kössler, Humboldt-Universität zu Berlin

11 Satz 44 (Gesetz der Großen Zahlen) Seien die Zufallsvariablen X 1,...,X n identisch verteilt und unabhängig, E X i <, EX i = µ. Dann gilt P(ω : lim X n = µ) = 1. Bem. 21 Das Schwache Gesetz der Großen Zahlen lautet entsprechend: Seien die Zufallsvariablen X 1,...,X n identisch verteilt, EX i = µ und unkorreliert (cov(x i,x j ) = σ 2 δ ij ). Dann gilt p lim X n = µ. 505 W.Kössler, Humboldt-Universität zu Berlin

12 Das Gesetz der großen Zahlen eignet sich also zum Schätzen von Erwartungswerten oder zur Approximation von Integralen. Bsp. 83 Sei X F mit Dichte f(x), den Beobachtungen x 1,...,x n und g( ) eine beliebige Funktion. Der Erwartungswert E(g(X)) = g(x)f(x)dx wird (falls er existiert) geschätzt durch Î = 1 n n i=1 g(x i ) 506 W.Kössler, Humboldt-Universität zu Berlin

13 Bsp. 84 Ist f > 0 kann das Integral I = g(x) dx (falls es existiert) geschätzt werden durch Î = 1 n n i=1 g(x i ) f(x i ). 507 W.Kössler, Humboldt-Universität zu Berlin

14 13.2 Der Satz von GLIVENKO CANTELLI Seien X 1,...,X n unabhängige Beobachtungen mit P(X i < x) = F(x), i = 1,...,n. Die Verteilungsfunktion F(x) soll durch die Funktion approximiert werden. F n (x) := #{X i : X i <x,i=1,...,n} n Def. 46 Seien X 1,...,X n unkorreliert, X i F, und X (1),...,X (n), X (1) X (2)... X (n) die geordnete 508 W.Kössler, Humboldt-Universität zu Berlin

15 Stichprobe. Die Funktion F n (x) = #{X i: X i < x,i = 1,...,n} n 0 falls x < X (1) = i falls X n (i) x < X (i+1) 1 falls X (n) < x heißt empirische Verteilungsfunktion. EDF.sas EDF 2.sas Satz 45 Seien X 1,...,X n unkorreliert. Es gilt: lim P( F n(x) F(x) > ε) = 0 x R. 509 W.Kössler, Humboldt-Universität zu Berlin

16 Beweis: Wir definieren Zufallsgrößen Y ix (i = 1,...,n, x R) durch: 1, falls X i < x Y ix = 0, sonst Dann gilt offensichtlich für alle i = 1,...,n und x R: Y ix : F(x) F(x) D.h. Y ix B(1,F(x)). Sei, für alle x R, Y x := 1 n n Y ix. i=1 510 W.Kössler, Humboldt-Universität zu Berlin

17 Vergleichen wir die Zufallsgrößen F n (x) und Y x : Y x = F n (x). Aus Beispiel 81 folgt, µ := EY ix = F(x). Deshalb folgt aus dem schwachen Gesetz der großen Zahlen: D.h. für alle ε > 0 gilt: lim P( Y x µ > ε) = 0, ε > 0. lim P( F n(x) F(x) > ε) = W.Kössler, Humboldt-Universität zu Berlin

18 Verschärfung: Satz 46 (Satz von GLIVENKO CANTELLI) Es seien X 1,...,X n unabhängige zufällige Variablen. Dann gilt: ( ) P lim sup F n (x) F(x) = 0 = 1. x R Dieser Satz wird auch oft als der Hauptsatz der Statistik bezeichnet. 512 W.Kössler, Humboldt-Universität zu Berlin

19 13.3 Konvergenz von Folgen zufälliger Variablen Wir betrachten in diesem Abschnitt eine Reihe von Konvergenzbegriffen, die ersten beiden haben wir schon am Anfang des Kapitels kennengelernt. Def. 47 Eine Folge {X n } n N zufälliger Variablen konvergiert stochastisch (in Wkt.) gegen eine zufällige Variable X, falls für alle ε > 0 gilt: lim P( X n X > ε) = 0. Wir bezeichnen dann: p lim X n = X. 513 W.Kössler, Humboldt-Universität zu Berlin

20 X heißt stochastischer Grenzwert der Folge {X n }. Def. 48 Eine Folge {X n } n N zufälliger Variablen heißt fast sicher konvergent gegen eine zufällige Variable X, falls gilt: P ({ }) ω: lim X n (ω) = X(ω) Wir bezeichnen dann: limx n = X f.s. a = 1. X heißt f.s. Grenzwert der Folge {X n }. a Das Kürzel f.s. steht für fast sicher. Manchmal findet man statt f.s. auch das Kürzel a.e.. Es bedeutet almost everywhere. 514 W.Kössler, Humboldt-Universität zu Berlin

21 Def. 49 Es seien X 1,...,X n,x zufällige Variablen mit E X i p <,E X p <. {X n } konvergiert im p-ten Mittel gegen X, falls lim E X n X p = 0. Wir bezeichnen dann: lim X n = X p.m. (q.m. wenn p = 2). 515 W.Kössler, Humboldt-Universität zu Berlin

22 Def. 50 Es sei {X n } n N eine Folge von zufälligen Variablen. X sei eine Zufallsgröße mit der Verteilungsfunktion F(x) = P(X < x). Die Folge {X n } n N konvergiert in Verteilung gegen die Zufallsgröße X, wenn für alle x R, in denen die Funktion F stetig ist, gilt: lim P(X n < x) = F(x). Wir bezeichnen dann: X n D X. 516 W.Kössler, Humboldt-Universität zu Berlin

23 Wir versuchen jetzt Zusammenhänge zwischen den verschiedenen Konvergenzbegriffen herzustellen. Lemma 47 Sei X eine Zufallsvariable mit E X p <, p < p. Dann gilt ( ) E X p 1 p ( E X p) 1 p. Beweis: Die Funktion g(x) = x t ist konvex für t 1. Für eine beliebige Zufallsvariable Y gilt (Jensens Ungleichung) EY t E Y t. Sei Y = X p, t = p p 1. Daraus folgt ( E X p ) p p E (( X p ) p p ) = E X p. 517 W.Kössler, Humboldt-Universität zu Berlin

24 Folg. 7 Sei p < p. lim X n = X p.m. lim X n = X p.m. Beweis: Wegen Lemma 47 gilt: ( E Xn X p ) 1 p ( E X n X p) 1 p. Lemma 48 Sei p 1. Dann gilt lim X n = X p.m. p lim x X n = X. 518 W.Kössler, Humboldt-Universität zu Berlin

25 Beweis: Es gilt für alle n: P( X n X > ε) = P( X n X p > ε p ) E X n X p ε p Markoff-Ungleichung lim P( X E X n X p n X > ε) lim = 0. ε p Das folgende Beispiel zeigt, daß stochastische und fast sichere Konvergenz nicht identisch sind. Bsp. 85 Wir wollen eine Folge {X n } n N zufälliger Variablen konstruieren, für die zwar p lim X n = 0 gilt, nicht aber limx n = 0 f.s. Es seien Ω = [0, 1] und E = [0, 1] B W.Kössler, Humboldt-Universität zu Berlin

26 gegeben. Für alle Ereignisse A [0, 1] gelte: 0 P(A) = 1dx 1. Wir betrachten nun eine Folge {A n } n N von Ereignissen im Ereignisfeld E. Für alle n N sei A n definiert durch: A n := [k 2 h, (k + 1) 2 h ], wobei für die Zahlen h und k folgendes gelte: h,k Z + {0}; n = 2 h + k; (n 2 2 h ) 0 k < 2 h. A 520 W.Kössler, Humboldt-Universität zu Berlin

27 Die Folge {X n } n N definieren wir nun wie folgt: 1, falls ω A n X n (ω) = 0, sonst Untersuchen wir die stochastische Konvergenz dieser Folge von Zufallsgrößen: Nach Definition der Folge {X n } n N gilt: d.h. p lim X n = 0. P( X n > ε) = P( X n = 1) = P(A n ) = (k + 1) 2 h k 2 h = 2 h 2 n 0,

28 Wir untersuchen nun, ob die Folge {X n } n N auch fast sicher gegen Null konvergiert. Sehen wir uns die Intervalle A n an, für n = 1,...,8: n = 2 h + k h k A n 1 = A 1 = [0, 1] 2 = A 2 = [0, 1] 2 3 = A 3 = [ 1, 1] 2 4 = A 4 = [0, 1] 4 5 = A 5 = [ 1, 1] = A 6 = [ 1, 3] = A 7 = [ 3, 1] 4 8 = A 8 = [0, 1] 8

29 Die Folge {A n } n N ist nirgends konvergent. Also ({ }) P ω: lim X n (ω) = 0 = 0 1. Satz 49 Es sei {X n } n N eine Folge von zufälligen Variablen, für die es zwei Zufallsgrößen X und Y gibt, so daß gilt: Dann folgt daraus: X = p lim X n und Y = p lim X n. P(X = Y ) = 1. Beweis: Es sei ε > 0 beliebig. Dann berechnen wir P ({ω: X(ω) Y (ω) > ε}) = ( ) 523 W.Kössler, Humboldt-Universität zu Berlin

30 ( ) = P ({ω: X(ω) X n (ω) + X n (ω) Y (ω) > ε}) P ({ω: X(ω) X n (ω) + X n (ω) Y (ω) > ε}) P ({ ω: X n (ω) X(ω) > ε 2} { ω: Xn (ω) Y (ω) > ε 2 P ({ ω: X n (ω) X(ω) > 2}) ε + P ({ }) ω: X n (ω) η(ω) > ε 2 0 }) D.h. P( X Y > ε) = 0 ε > 0. P ({ω: X(ω) = Y (ω)}) = W.Kössler, Humboldt-Universität zu Berlin

31 Lemma 50 p lim X n = X X n D X Wir kennen vier verschiedene Arten der Konvergenz einer Folge von Zufallsgrößen gegen eine zufällige Variable. Sie bilden z.t. eine gewisse Hierarchie. limx n = X f.s. = p lim X n = X = X n D X limx n = X q.m. = p lim X n = X Die Umkehrungen gelten im allgemeinen nicht. Da die Verteilungskonvergenz in dieser Kette die schwächste ist, wird sie oft auch als schwache Konvergenz bezeichnet. 525 W.Kössler, Humboldt-Universität zu Berlin

32 Bsp. 86 X n Bi(n,p n ), lim np n = λ, Y Poi(λ) X n D Y. Diese Aussage kennen wir schon von früher. 526 W.Kössler, Humboldt-Universität zu Berlin

33 13.4 Die fast sichere Konvergenz Dieser Abschnitt wird in der Vorlesung nicht behandelt. Er dient nur als Ergänzung für den interessierten Leser. Def. 51 Es sei {A n } n N eine Folge von Ereignissen. Wir definieren ( ) lim sup A n := lim A k. k=n Bem.: Wir definieren für alle n N: B n := k=n A k. Dann gilt: B n+1 B n (n N). Folglich ist die Folge {B n } n N 527 W.Kössler, Humboldt-Universität zu Berlin

34 monoton fallend. Demzufolge gilt: lim B n = n=1 B n. Das bedeutet jedoch nichts anderes als: ( ) lim sup A n = lim A k = k=n n=1 ( k=n A k ). Lemma 51 (BOREL CANTELLI) Es sei {A n } n N eine Folge von Ereignissen aus einem Wahrscheinlichkeitsraum (Ω, E,P). Gilt P(A n ) <, so folgt daraus: n=1 P ( ) lim sup A n = W.Kössler, Humboldt-Universität zu Berlin

35 Beweis: Zunächst gilt: P ( A k ) P(A n ). k=n k=n Es sei ε > 0 beliebig gewählt. Da nach Voraussetzung P(A n ) < gilt, folgt für hinreichend großes n: n=1 k=n P(A n ) < ε. Folglich gilt: 529 W.Kössler, Humboldt-Universität zu Berlin

36 P ( ) lim sup A n = P ( lim lim k=n A k ) = lim P P(A n ) = 0. k=n ( k=n A k ) Wir betrachten eine Folge {X n } n N von Zufallsvariablen, die fast sicher gegen eine zufällige Variable X konvergiert. Es gilt: lim X n = X f.s. 530 W.Kössler, Humboldt-Universität zu Berlin

37 P P P ({ }) ω: lim X n (ω) = X(ω) = 1 ( ) {ω: X k (ω) X(ω) ε} k=n Cauchy-Kriterium ( ) {ω: X k (ω) X(ω) > ε} k=n 1 ε > 0 0 ε > 0 lim P(B n ) = 0, B n := {ω: X k (ω) X(ω) ε} k=n ( ) P lim B n = 0 (da {B n } n N monoton fallend ist) ( ) P lim sup B n = W.Kössler, Humboldt-Universität zu Berlin

38 Satz 52 Es sei {X n } n N eine Folge von Zufallsgrößen, und X eine weitere zufällige Variable. limx n = Xf.s. p lim X n = X. Beweis: Es sei ε > 0 beliebig gewählt. Dann gilt: 0 lim P({ω: X n (ω) X(ω) > ε}) ( ) lim P {ω: X k (ω) X(ω) > ε} k=n = 0 nach Vor. 532 W.Kössler, Humboldt-Universität zu Berlin

39 Folg. 8 (aus dem Borel-Cantelli Lemma) P( X n X > ε) < ε > 0 lim = Xf.s. n=1 Lemma 53 Sei p lim X n = X. Dann existiert eine Teilfolge {X nk } von {X n } so daß lim k X nk f.s. Lemma 54 n=1 E X n X p < lim X n = Xf.s. Satz 55 (Satz von der majorisierten Konvergenz) lim X n = X f.s. und X n Y, E Y p <. Dann gilt: lim X n = X p.m. 533 W.Kössler, Humboldt-Universität zu Berlin