Musterlösung Klausur,,Einführung in die W theorie

Transkript

1 Institut für angewandte Mathematik Wintersemester 3/4 Andreas Eberle, Lisa Hartung / Patrick Müller Musterlösung Klausur,,Einführung in die W theorie. (Zufallsvariablen und ihre Verteilung) a) Was ist eine reellwertige Zufallsvariable? Wie sind die Verteilung und die Verteilungsfunktion definiert? [5 Pkt.] b) Skizzieren Sie die Graphen der Verteilungsfunktionen von Zufallsvariablen mit den folgenden Verteilungen: (i) X N(3,9), (ii) T Exp(5), (iii) max(z,) mit Z N(,). [6] c) Seien S und T unabhängige, zum Parameter λ = exponentialverteilte Zufallsvariablen. Berechnen Sie die Verteilungsfunktionen und Dichten der Zufallsvariablen (i) exp( T), (ii) T, (iii) S T. [] d) Zeigen Sie: Für eine nicht-negative Zufallsvariable X gilt: E[X] = ( F X (c))dc. [5] e) Die gemeinsame Verteilung der reellwertigen Zufallsvariablen X und Y sei absolutstetig mit Dichte { ax für < y < x <, f(x,y) = sonst. Bestimmen Sie die Konstante a, und berechnen Sie die Dichte von X, sowie die bedingte Dichte von Y gegeben X. Sind X und Y unabhängig? [9] Lösung: a) Reellwertige Zufallsvariable: Eine Abbildung X : Ω R heisst messbar, falls (M) X (B) A für alle B B(R). Eine reellwertige Zufallsvariable ist eine auf einem Wahrscheinlichkeitsraum definierte messbare Abbildung nach R.

2 Sei (Ω,A,P) ein Wahrscheinlichkeitsraum. Eine Abbildung X : Ω R ist genau dann eine Zufallsvariable bzgl. der Borelschen σ-algebra, wenn {X c} = {ω Ω X(ω) c} A c R, bzw. wenn {X < c} = {ω Ω X(ω) < c} A c R. Verteilung: µ X ist die Wahrscheinlichkeitsverteilung auf B(R) mit µ X [B] = P[X B] = P[X (B)]. Verteilungsfunktion: Die Funktion F X : R [,], F X (c) := P[X c] = µ X [(,c]] heisst Verteilungsfunktion (distribution function) der Zufallsvariable X : Ω R bzw. der Wahrscheinlichkeitsverteilung µ X auf (R,B(R)). b) (i) Verteilungsfunktion von N(3, 9): Wichtig: F(3)=/, Standardabweichung σ = 3, schnelle Konvergenz gegen bzw. für x bzw. x. (ii) Verteilungsfunktion von Exp(5): Wichtig: F(c) = fürc, F(/5) = /e, exponentielle Konvergenz gegen für x. (iii) Verteilungsfunktion von max(z,), Z N(,): Wichtig: F(c) = für c, F() = /, F(x) = /+Φ(c)/ für c >, d.h. schnelle Konvergenz gegen für x >>. c) (i) Für x [,] gilt F(x) =P( e T x) = P(e T x) () =P(T log( x)) = ( x) = x () Für x < ist F(x) =, und für x > gilt F(x) =, also F(x) = x + (Gleichverteilung). Insbesondere ist F absolutstetig mit Dichte f(x) = F (x) = [,] (x) für fast alle x. (3) (ii) Für x gilt: F(x) = P( T x) = P(T x) = e x. (4) Für x > ist F(x) =, also F(x) = exp(x). Insbesondere ist F absolutstetig mit Dichte f(x) = e x (,) (x) f.ü. (5)

3 (iii) Für x R ergibt sich die Dichte von S T als Faltung der Dichten der unabhängigen Zufallsvariablen S und T: f(x) = = = max(x,) f S (s)f T (x s)ds e s e x s (, ) (s) (,) (x s)ds e x s ds = ex x+ = e x. Die Verteilungsfunktion ergibt sich durch Integrieren: F(c) = c f(x)dx = { e c für c, e c für c. (6) d) Mithilfe des Satzes von Fubini erhalten wir ( F(c))dc = P(X > c)dc = E [ ] {X>c} dc (7) [ ] [ X ] =E {X>c} dc = E dc = E[X], (8) wobei wir X benutzt haben! e) Wegen f(x,y)dydx = x axdydx = ax dx = a 3 muss man a = 3 wählen, um eine W dichte zu erhalten. Dichte von X: Es gilt fast überall x f X (x) = f(x,y)dy = axdy = ax = 3x. () für < x <, und f X (x) = sonst. Bedingte Dichte von Y gegeben X: (9) f Y X (y x) = f(x,y) f X (x) = 3x (,x)(y) 3x = x (,x)(y) () für < x <, andernfalls willkürlich definiert(verschiedene Versionen der bedingten Dichte). Die Zufallsvariablen sind nicht unabhängig da die bedingte Dichte von x abhängt. 3

4 . (Zentraler Grenzwertsatz) a) Was bedeutet Konvergenz in Verteilung einer Folge (X n ) n N von reellen Zufallsvariablen (Definition)? Zeigen Sie anhand eines Beispiels, dass aus Konvergenz in Verteilung nicht die Konvergenz der Verteilungen in Variationsdistanz folgt. b) Formulieren und beweisen Sie den zentralen Grenzwertsatz für unabhängige, identisch verteilte, quadratintegrierbare Zufallsvariablen. Nötige Aussagen aus der Analysis sowie der Konvergenzsatz von Lévy können ohne Beweis vorausgesetzt werden - die verwendeten Aussagen sollten aber vollständig mit Voraussetzungen angegeben werden. [5 Pkt.] [5] c) Seien U eine auf (, ) gleichverteilte, und Z eine standardnormalverteilte Zufallsvariable. (i) Zeigen Sie, dass E[U] = / und Var[U] = / gilt. [5] (ii) Berechnen Sie den Erwartungswert und die Varianz von Z. [5] d) Sei S die Summe von unabhängigen, auf (, ) gleichverteilten Zufallsvariablen U i, i =,,...,. Berechnen Sie die Wahrscheinlichkeit P[S > 6] näherungsweise. Hinweis: Für eine standardnormalverteilte Zufallsvariable Z gilt: P[ Z > ],37, P[ Z > ],46, und P[ Z > 3],6. [6] Lösung: a) Konvergenz in Verteilung von Zufallsvariablen: Eine Folge (X n ) n N von Zufallsvariablen mit Werten in S konvergiert in Verteilung gegen eine Zufallsvariable X bzw. gegen die Verteilung von X, falls Verteilung(X n ) w Verteilung(X), d.h. falls E[f(X n )] E[f(X)] für alle f C b (S) gilt. Gegenbeispiel: Seien X n = /n mit Wahrscheinlichkeit. Die Verteilungen sind δ /n und δ. Es gilt für alle n, aber für f C b (S) gilt δ /n δ TV δ /n () δ () = E[f(X n )] = f(/n) f() = E[f(X)]. 4

5 b) Zentraler Grenzwertsatz: Seien X,X,... L (Ω,A,P) unabhängige, identisch verteilte Zufallsvariablen mit Varianz σ und sei S n = X +...+X n. Dann konvergieren die Verteilungen der standardisierten Summen schwach gegen N(,σ ). Ŝ n = S n E[S n ] n = n n i= (X i E[X i ]) Beweis des Satzes: O.B.d.A. sei E[X i ] =, ansonsten betrachten wir die zentrierten Zufallsvariablen X i := X i E[X i ].NachdemKonvergenzsatz vonlévygenã gteszuzeigen, dassdie 4 charakteristischen Funktionen der standardisierten Summen Ŝn punktweise gegen die charakteristische Funktion der Normalverteilung N(,σ ) konvergieren, d.h. φŝn (t) φ N(,σ )(t) = e σ t t R. () Da die Zufallsvariablen X i unabhängig, identisch verteilt und zentriert sind, gilt für t R: ( ) ( ( )) n E[S n]= t X φŝn (t) = φ Sn i iid t = φ X. n n Aus X L folgt φ X C (R), und φ X (t) = E[e itx ] = +ite[x ]+ (it) E[X ]+o(t ) = t σ +o(t ), wobei o für eine Funktion o : R + o(ǫ) C mit lim ǫ = steht. Damit erhalten wir: ǫ ( )) φŝn (t) = ( t σ t n n +o. n Dieser Ausdruck konvergiert für n gegen e t σ, denn für komplexe Zahlen z i,w i C mit z i, w i gilt nach der Dreiecksungleichung n n z i w i = (z w )z z 3 z n +w (z w )z 3 z 4 z n +...+w w n (z n w n ) i= i= n z i w i, i= und damit ) ( )) φ Ŝ n (t) exp ( t σ = ( t σ t n ) n +o exp( t σ n n n ( ) ) n t σ t n +o exp ( t σ. n n 5

6 c) (i) Der Erwartungswert ist gegeben durch E(U) = Für das zweite Moment erhält man Daher gilt für die Varianz (ii) Der Erwartungswert ist E( Z ) = π E(U ) = Das zweite Moment ist gleich Daher ist die Varianz gleich xdx = x dx = [ ] x =. [ ] 3 x3 = 3. Var(U) = E(X ) E(X) =. z e z / dz = π E( Z ) = E(Z ) =. Var( Z ) = E( Z ) E( Z ) = ze z / dz = ] [ e z / π ( ) = π π. = π. d) Nach Aufgabenteil c) (i) gilt und für alle i. Damit gilt E(S) = E(U ) = 6 σ := Var(U i ) = P[S > 6] = P[S E[S] > ] = P [ ] S E[S] >. σ Nach dem ZGS ist die Zufallsvariable auf der rechten Seite approximativ standardnormalverteilt. Daher erhalten wir näherungsweise P[S > 6] P(Z > ) = P( Z > )

7 3. (Konvergenzbegriffe für Zufallsvariablen) a) Seien Z n : Ω R (n N) und Z : Ω R reelle Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω, A, P). Wie sind die fast sichere Konvergenz, die stochastische Konvergenz, und die L -Konvergenz von (Z n ) n N gegen Z definiert? [3 Pkt.] b) Sei α R. Es gelte P[Z n = n α ] = n, P[Z n = ] = n Zeigen Sie, dass (Z n ) genau dann in L gegen konvergiert, wenn α < / ist. Wann konvergiert (Z n ) stochastisch gegen? [6] c) Seien A n (n N) Ereignisse mit n= P[A n] <. Zeigen Sie, dass mit Wahrscheinlichkeit nur endlich viele der Ereignisse eintreten. [5] d) Folgern Sie: Gilt für eine Folge (Z n ) von Zufallsvariablen P[ Z n Z > ε] < für alle ε >, n= dann konvergiert (Z n ) fast sicher gegen Z. [4] e) Seien U,U,... unabhängige, auf (,) gleichverteilte Zufallsvariablen, und sei Zeigen Sie: Z n = min(u,...,u n ). (i) Z n P-fast sicher. (ii) Für die Zufallsvariablen W n := nz n gilt [5] P[W n c] { e c für c >, für c. [5] f) In einem Glücksspiel verdoppelt bzw. halbiert sich das Kapital des Spielers in jeder Runde mit Wahrscheinlichkeit p bzw. p, p (,). Sei Z n das Kapital nach n Runden bei Startkapital Z =. (i) Beschreiben Sie Z n (n =,,,...) als Zufallsvariablen in einem geeigneten Modell. (ii) Für welche Werte von p konvergiert (Z n ) in L gegen? [3] (iii) Zeigen Sie, dass (Z n ) für p < / fast sicher gegen konvergiert. [3] [] 7

8 Lösungen: a) Fast sichere Konvergenz: Die Folge (Y n ) n N konvergiert P-fast sicher gegen Y, falls gilt: [ ] P lim Y n = Y = P[{ω Ω Y n (ω) Y(ω)}] =. Stochastische Konvergenz: Die Folge (Y n ) n N konvergiert P-stochastisch gegen Y (Notation Y n P Y), falls lim P[ Y n Y > ǫ] = für alle ǫ > gilt. L -Konvergenz : (Y n ) n N konvergiert in L (Ω,A,P) gegen Y, falls b) L -Konvergenz: lim E[ Y n Y ] =. E[ Z n ] = n α n = nα gdw. α < (3) Stochastische Konvergenz gegen gilt immer: { falls ǫ > n α P( Z n > ǫ) = sonst für n. (4) n c). Borel - Cantelli - Lemma: Für Ereignisse A,A,... A mit P[A n ] < gilt: [ ] P[ unendlich viele der A n treten ein ] = P A n =. Beweis: Da die Folge ergibt sich P n m [ m m n m A n =: B m von Ereignissen aus A monoton fallend ist, n m A n ] [ ] = P B m m = lim P[B m] m [ ] = lim P A n m n m }{{} liminf m P[A n] n=m P[A n ] =, n=m }{{} m da die Summe P[A n ] nach Voraussetzung konvergiert. 8

9 d) Aus schneller stochastischer Konvergenz folgt fast sichere Konvergenz. Beweis: Wir können o.b.d.a. Z = annehmen. Konvergiert Z n schnell stochastisch gegen, dann gilt für alle ε > : P[limsup Z n ǫ] P[ Z n ǫ nur endlich oft] =. Es folgt P[limsup Z n ] = P {limsup Z n > ǫ} =. ǫ Q + e) (i) Wegen der Unabhängigkeit der U i erhalten wir für ε > : P[ Z n > ε] = P[min(U,...,U n ) > ε] = P[U i > ε i n] = n P[U i > ε] = ( ε) n i= Nach d) folgt die fast sichere Konvergenz von Z n gegen, da die geometrische Reihe summierbar ist. (ii) Für c > gilt P[W n c] = P[Z n c n ] = ( c n )n e c, (5) für c ist P[W n c] = für alle n. { mit W keit p f) (i) Es seien A k = mit W keit p unabhängig, und Z n = n k= A k. ODER Es seien X k = { mit WSK p mit WSK p (ii) Wegen der Unabhängigkeit der A i gilt E[ Z n ] = ( E[A ] ) n = ( p+ ( p) ) n = Dies konvergiert genau dann gegen Null, wenn p 5. unabhängig, und Z n = n k= Xn ( 5 4 p+ ) n (6) 4 (iii) MitderzweitenDarstellungunddemWissendassS n = n k= X k einklassischer Random walk ist, der für p < / fast sicher gegen konvergiert, folgt fast sicher für alle p < /. Z n = Sn 9

10 4. (Entropie) Seien µ und ν Wahrscheinlichkeitsverteilungen auf einer abzählbaren Menge S. a) Wie ist die Entropie H(µ) definiert? Zeigen Sie: H(µ ν) = H(µ)+H(ν) und H(µ n ) = nh(µ) für n N. [8 Pkt.] b) Berechnen Sie die Entropie der folgenden Wahrscheinlichkeitsverteilungen: (i) µ = δ a (a S), (ii) µ = U S, (iii) µ = Geom(p) ( < p < ). [9] c) Seien X,X,... unabhängige Zufallsvariablen auf einem Wahrscheinlichkeitsraum (Ω,A,P) mit Verteilung µ. Geben Sie die Massenfunktion p n von (X,...,X n ) explizit an, und zeigen Sie n logp n(x,...,x n ) H(µ) P-fast sicher. [6] d) Sei ε >. Folgern Sie, dass die Wahrscheinlichkeiten der Mengen B n,ε := { x S n : e n(h(µ)+ε) p n (x,...,x n ) e n(h(µ) ε)} unter dem Produktmaß µ n für n gegen konvergieren. [4] e) Seien A n S n Mengen mit Zeigen Sie, dass für alle ε > lim P[(X,...,X n ) A n ] =. lim A n B n,ε p n (x,...,x n ) = gilt, und folgern Sie lim inf n log A n H(µ). [9] Lösung: a) Entropie einer diskreten Wahrscheinlichkeitsverteilung µ auf S: H(µ) := x S µ(x) µ(x)logµ(x) [, ]

11 Faktorisierungseigenschaft: H(ν µ) = H(ν)+H(µ). Beweis: Nach Definition der Entropie gilt: H(ν µ) = ν(x)µ(y) log(ν(x)µ(y)) x,y ν(x)µ(y) = x:ν(x) = H(ν)+H(µ). ν(x)log(ν(x)) y:µ(y) µ(y) log(µ(y)) Beweis von H(µ n ) = nh(µ): Induktion über n. Für n = ist die Aussage klar. Nehme nun an das die Behauptung für n richtig ist. Dann gilt sie auch für n+, da nach der eben gezeigten Faktorisierungseigenschaft und Induktionsvoraussetzung: H(µ n+ ) = H(µ n µ) = H(µ n )+H(µ) = (n+)h(µ). b) (i) Nach Definition H(δ a ) = µ(a)log(µ(a)) =. (ii) Nach Definition (iii) Nach Definiton H(U S ) = x S H(Geom(p)) = n= ( ) ( ) S log = log = log( S ). S S p( p) n log ( p( p) n ) n= = plog(p) ( p) n log( p) (n )p( p) n = log(p) log( p) ( ) p n= = log(p) p p log( p). Beim Berechnen der zweiten Summe haben wir benutzt, dass der Erwartungswert einer Geom(p)-verteilten Zufallsvariable T gleich /p ist - die Summe ist der Erwartungswert von T. c) DieMassenfunktionp n istdiewahrscheinlichkeit einerfolgevonausgängenx,...,x n bei Entnehmen einer Stichprobe von n unabhängigen Zufallsgrößen mit Verteilung µ und ist gegeben durch n p n (x,...,x n ) = µ(x i ). i=

12 Mit Wahrscheinlichkeit gilt < µ(x i ) für alle i, also p n (X,...,X n ) > und logµ(x i ). Nach dem Gesetz der Großen Zahlen (ohne Integrierbarkeit) folgt fast sicher n logp n(x,...,x n ) = n logµ(x i ) logµdµ = H(µ). n d) Wir schreiben die Mengen B n,ǫ um: B n,ǫ i= = {x S n : n(h(µ)+ǫ) logp n (x,...,x n ) n(h(µ) ǫ)} { = x S n : H(µ) ǫ } n logp n(x,...,x n ) H(µ)+ǫ { } = x S n : n logp n(x,...,x n )+H(µ) ǫ Nun folgt die Aussage aus Aufgabenteil c), da aus der fast sicheren Konvergenz die stochastische Konvergenz folgt. e) Es gilt A n B n,ǫ p n (x,...,x n ) = P[(X,...,X n ) A n B n,ǫ )]. (7) Nach Voraussetzung konvergiert P[(X,...,X n ) A n ] gegen Null. Außerdem gilt nach d): P[(X,...,X n ) B n,ε ] = µ n [B C n,ε ]. Also gilt nach (7): lim A n B n,ǫ p(x,...,x n ) =. Da für x B n,ǫ gilt p n (x,...,x n ) e n(h(µ) ǫ), erhalten wir A n B n,ǫ p(x,...,x n ) A n B n,ǫ e n(h(µ) ǫ) A n e n(h(µ) ǫ). Daraus folgt für alle ǫ > : n log A n H(µ) ǫ+ n log p(x,...,x n ) A n B n,ǫ Folglich n log A n H(µ)+ n log p(x,...,x n ). A n B n,ǫ Nun lassen wir n gegen unendlich laufen und erhalten wegen der eben gezeigten Aussage: lim inf n log A n H(µ).