Erwartungswerte, Varianzen

Transkript

1 Kapitel 3 Erwartungswerte, Varianzen Wir wollen nun Zufallsvariablen eine Maßzahl zuordnen, die ihr typisches Verhalten in vager Weise angibt. Haben wir n Punkte x 1,...,x n R d, so ist der Schwerpunkt 1 n (x x n ).Für eine Zufallsvariable, die mit gleicher Wahrscheinlichkeit jeden der Werte x i annimmt, nennen wir dieses arithmetische Mittel ihrer Werte den Erwartungswert. Dies ist offenbar eine nützliche Kenngröße. Wir werden diesen Begriff zunächst auf diskrete Zufallsvariablen erweitern und dann auf allgemeinere reelle Zufallsvariablen. Es folgt ein Abschnitt über die Größe der Abweichungen von diesen Schwerpunkt, die wir Varianz nennen, und deren Rolle der des Trägheitsmomentes in der Mechanik entspricht. 3.1 Erwartungswerte für diskrete Zufallsvariablen Definition 3.1 Sei X eine reelle Zufallsvariable und W : W X R abzählbar. Es gelte P[X W ]1. Dann nennen wir X eine diskrete (reelle) Zufallsvariable mit Wertebereich W X. Offenbar kann man W X durch jede abzählbare Obermenge von W X ersetzen, der Wertebereich ist also nicht eindeutig. Klar ist aber für diskrete Zufallsvariablen x W X P[X x] P[X W X ]1. Setzen wir nun W X : {x W X : P[X x>0]}, so ist WX der minimale Wertebereich von X. Wir werden dies im Folgenden aber nicht benötigen. 53

2 54 Erwartungswerte, Varianzen Definition 3.2 Sei X eine diskrete reelle Zufallsvariable mit Wertebereich W X. Wir sagen, dass X einen Erwartungswert hat, falls x P[X x] <. x W X Wir schreiben dann auch X L 1 : L 1 (P) und nennen E[X] : xp[x x] x W X den Erwartungswert von X. Ist P[X 0] 1, so nennen wir stets E[X] : xp[x x] [0, ] x W X den Erwartungswert von X. Gelegentlich schreiben wir daher auch E[ X ] < für X L 1 (P). Beispiel 3.3 Ist (Ω, P) ein diskreter Wahrscheinlichkeitsraum, so ist jede reelle Zufallsvariable diskret und W X {X(ω) : ω Ω}. Es gilt dann X L 1 (P) ω Ω P[{ω}] X(ω) <. In diesem Fall ist E[X] ω Ω P[{ω}]X(ω). Beispiele 3.4 (i) Sei X eine Bernoulli-Zufallsvariable mit Parameter p [0, 1]: X Ber p. Dann ist W {0, 1} und E[X] 0 (1 p)+1 p p. (ii) Sei X b n,p für gewisse n N und p [0, 1]. Dann ist W {0,...,n} und E[X] n ( n k k n np k1 k1 ) p k (1 p) n k ( n 1 k 1 n 1 np b n 1,p ({k}) np. k0 ) p k 1 (1 p) (n 1) (k 1) (iii) (Mittlere Wartezeit auf den ersten Erfolg) Sei X γ p geometrisch verteilt mit Parameter p (0, 1]. Sei f(x) 1 1 x. Dann hat f für x ( 1, 1) die Potenzreihenentwicklung f(x) n0 x n

3 3.1 Erwartungswerte für diskrete Zufallsvariablen 55 und die Ableitung (per gliedweiser Differentiation) 1 (1 x) 2 f (x) nx n 1, x ( 1, 1). n0 Also bekommen wir E[X] p(1 p) n 1 n n1 pf (1 p) 1 p. Satz 3.5 (Rechenregeln) Seien X, Y, X n,y n (Ω, A, P). Dann gilt L 1 (P), n N, diskrete reelle Zufallsvariablen auf (i) Ist P X P Y,soistE[X] E[Y ]. (ii) (Linearität) Es gelten für alle c R: cx L 1 (P), X + Y L 1 (P) (mit der Dreiecksungleichung E[ X + Y ] E[ X ]+E[ Y ]) sowie (iii) Ist P[X 0] 1, so sind äquivalent E[cX] ce[x] E[X + Y ]E[X]+E[Y]. E[X] 0 P[X 0]1. (iv) (Monotonie) Gilt P[X Y ]1, so gilt E[X] E[Y ] mit Gleichheit genau dann, wenn P[X Y ]1. (v) Ist P[X n 0] 1 für alle n N und gilt P[ n1 X n X] 1,soist E[X] (vi) Gilt Y n Y, so gilt E[Y ] lim n E[Y n ]. E[X n ]. (vii) Sind X und Y unabhängig, so ist X Y L 1 (P) und E[XY ]E[X]E[Y ]. n1 Beweis (i) Klar. (ii) Klar ist W cx cw X : {cx : x W X } also y P[cX y] c x P[X x] <. y W cx x W X Die selbe Rechnung ohne Betragstriche liefert E[cX] ce[x].

4 56 Erwartungswerte, Varianzen Klar ist W X+Y W X + W Y : {x + y : x W X,y W Y }. Also ist nach der Formel von der totalen Wahrscheinlichkeit E[ X + Y ] z P[X + Y z] z W X+Y z P[X x, X + Y z] x W X,z W X+Y x + y P[X x, Y y] x W X,y W Y ( x + y )P[X x, Y y] x W X y W Y x P[X x, Y y]+ y P[X x, Y y] x W X y W Y y W Y x W X x P[X x]+ y P[Y y] x W X y W Y E[ X ]+E[ Y ]. Die selbe Rechnung ohne Betragstriche ergibt E[X + Y ]E[X] +E[Y ]. Dabei dürfen wir die Summationsreihenfolge vertauschen, weil nach dem eben gezeigten alle Reihen absolut konvergieren. (iii) Der Wertebereich von X ist W X [0, ), also ist E[X] x W X xp[x x] 0. Sei nun P[X 0] 1 und E[X] 0. Dann ist für n N 0E[X] xp[x x] x W X xp[x x] x W X [ 1 n, ) 1 P[X x] n x W X [ 1 n, ) 1 n P[X W X [ 1 n, )] 1 n P[X 1 n ], also P[X 1 n ]0. Wegen {X 1 n } {X>0} folgt (iv) Setze Z : Y X und wende (iii) auf Z an. P[X >0] lim n P[X 1 n ]0. (v) Für N N setze S N : N n1 X n. Dann ist S N X nach Voraussetzung, also E[X] E[S N ] (nach (iv)) und damit E[X] lim N E[S N ] lim N n1 N E[X n ] E[X n ]. n1

5 3.1 Erwartungswerte für diskrete Zufallsvariablen 57 Um die andere Ungleichung zu zeigen, zeigen wir dass für jedes c (0, 1) gilt ce[x] E[X n ]. (3.1) n1 Definiere die Zufallsvariable T mit Werten in N durch T : min{n N : S N cx}. Wegen S N X und c<1folgt P[T < ] 1. Betrachte nun die Zufallsvariable S T : ω S T (ω) (ω). Dann ist der Wertebereich W ST N1 W S N abzählbar, also S T diskret. Per Konstruktion ist S T cx also ce[x] E[S T ] sp[s T s] s W ST sp[s N s, T N] N1 s W ST sp[(s N 1 {T N} )s] N1 s W ST E[S N 1 {T N} ] N1 N1 n1 N1 n1 N E[X n 1 {T N} ] N xp[x n x, T N] x W Xn xp[x n x, T N] n1 x W Xn Nn xp[x n x, T N] n1 x W Xn xp[x n x] n1 x W Xn E[X n ]. n1 (vi) Wende (v) an auf X n Y n+1 Y n und X Y Y 1.

6 58 Erwartungswerte, Varianzen (vii) Klar ist W XY {xy : x W x,y W y } abzählbar. Also ist E[ XY ] z P[XY z] z W XY x z/x P[Y z/x, X x] z W XY x W X,x 0 x y P[Y y, X x] y W Y x W X x P[X x] y P[Y y] x W X y W Y E[ X ] E[ Y ] <. Also ist XY L 1. Die selbe Rechnung ohne Betragstriche liefert E[XY ]E[X] E[Y ]. Beispiele 3.6 (i) (Binomialverteilung) Sei X b n,p für n N und p [0, 1]. Sind X 1,...,X n unabhängig und Bernoulli verteilt mit Parameter p, soistx d X X n, also E[X] E[X X n ]E[X 1 ]+...+ E[X n ]pn. (ii) (Negative Binomialverteilung) Sei X b n,p und seien X 1,...,X n unabhängig und geometrisch verteilt mit Parameter p. Nach Beispiel 3.4 ist E[X 1 ] 1 p.esistx i 1 b 1,p und (vergleiche Beispiel 2.38) X d X X n n. Also ist E[X] ne[x 1 ] n 1 p p n. Beispiel 3.7 In einer Urne seien m blaue Kugeln und n rote Kugeln. Wir ziehen diese ohne Zurücklegen und legen sie von links nach rechts aufgereiht auf einen Tisch. Wie groß ist die erwartete Anzahl von blauen Kugeln, neben denen rechts eine rote Kugel liegt? Wir setzen für i 1,...,m+ n { 1, die i-te Kugel ist blau, X i 0, sonst. Setze Y i 1 {Xi1}1 {Xi+10}, i 1,...,m+ n 1, und Y : Y Y m+n 1. Dann ist also E[Y i ] P[Y i 1]P[Y 1 1] m m + n n m + n 1, mn (m+n)(m+n 1). Insgesamt ist die gesuchte erwartete Anzahl E[Y ] m+n 1 i1 E[Y i ] mn m + n.

7 3.2 Erwartungswerte für allgemeine reelle Zufallsvariablen Erwartungswerte für allgemeine reelle Zufallsvariablen Sei X eine reelle Zufallsvariable. Dann ist (mit x : max{k Z : k x}) X n : 2 n 2 n X eine diskrete Zufallsvariable mit Wertebereich W Xn 2 n Z. Offenbar ist X n X X n +2 n (3.2) und X n 2 n X X n +2 n. (3.3) Ferner ist X n X. In Anlehnung an Satz 3.5(vi) treffen wir die folgende Definition. Definition 3.8 (Erwartungswert für allgemeine reelle Zufallsvariablen) Wir sagen, dass eine reelle Zufallsvariable X einen Erwartungswert besitzt (und schreiben X L 1 (P) oder E[ X ] < ), falls X n L 1 (P) für ein n N (und damit für alle n N) und nennen den Erwartungswert von X. E[X] : lim n E[X n] Satz 3.9 Die Rechenregeln aus Satz 3.5 gelten auch für nicht-diskrete Zufallsvariablen. Beweis Man muss jeweils immer nur zeigen, dass Summation und Limes vertauschen. Nach (3.2) und (3.3) sind die Limiten jeweils gleichmäßig, vertauschen also mit der Summation. Wir lassen die Details aus und verweisen auf die Vorlesung Stochastik I. Exemplarisch sei hier nur die Additivität gezeigt. Seien also X, Y L 1 (P). Dann ist E[X + Y ] E[X] E[Y ] lim E[2 n 2 n (X + Y ) 2 n 2 n X 2 n 2 n Y ] n lim n 4 2 n 0. Bemerkung 3.10 Ist X eine reelle Zufallsvariable mit P[X 0] 1, soist Nimmt speziell X Werte in N 0 an, so ist E[X] E[X] 0 P[X t] dt. (3.4) P[X n]. (3.5) n1

8 60 Erwartungswerte, Varianzen Beweis Gelte zunächst P[X N 0 ]1. Dann ist E[X] kp[x k] k1 k1 n1 n1 kn k P[X k] P[X k] P[X n]. Sei nun der allgemeine Fall X 0 betrachtet. Sei X n : 2 n 2 n X. Dann ist n1 E[X] lim n E[X n] lim n 2 n lim n 2 n 0 P[X n k2 n ] k1 P[X k2 n ] k1 P[X t] dt, wobei wir im letzten Schritt die Reihe als Riemann-Summe angesehen haben, die das Integral approximiert. Satz 3.11 Sei X eine reelle Zufallsvariable und habe die Verteilung P X eine Dichte f X. Dann gilt Ist E[ X ] <, so ist E[ X ] < E[X] f X (x) x dx <. (3.6) f(x)xdx. (3.7) Beweis Seien X n, n N, approximierende Zufallsvariablen wie oben. Dann ist (wegen x 2 n 2 n 2 n x x +2 n ) E[ X n ] k Z k Z k Z 2 n + k2 n P[X n k2 n ] (k+1)2 n k2 n f(x) dx k2 n (k+1)2 n k2 n ( x +2 n )f(x) dx ( x +2 n )f(x) dx x f(x) dx.

9 3.2 Erwartungswerte für allgemeine reelle Zufallsvariablen 61 Analog erhalten wir E[ X n ] 2 n + f(x) x dx. Also haben wir (3.6) gezeigt. Die selbe Rechnung ohne Betragstriche liefert (3.6). Beispiel 3.12 Sei X N µ,σ 2 normalverteilt mit Parametern µ R und σ 2 > 0. Nach Beispiel 1.54 ist Y : (X µ)/ σ 2 N 0,1. Die Verteilung von Y hat die Dichte f(x) 1 e x2 /2, x R. 2π Daher ist x f(x) dx 2 2π 0 xe x2 /2 dx 2 2π <. Also ist Y L 1 und damit X L 1. Weiter ist f(x) f( x), also x xf(x) eine ungerade Funktion und damit E[Y ] xf(x) 0. Folglich ist E[X] µ + σ 2 E[Y ]µ. Beispiel 3.13 Sei X Standard-Cauchy verteilt, das heißt X ist reell mit Dichte f(x) 1 1 π 1+x 2, x R. Dann ist f(x) f( x) wie bei der Normalverteilung, aber hier existiert der Erwartungswert nicht (und ist insbesondere nicht Null), denn x f(x) dx 2 x π 0 1+x 2 dx 2 x π 1 1+x 2 dx 1 1 π 1 x dx 1 (wobei wir für x 1 ausgenutzt haben, dass 1+x 1 2 2x ). Also ist E[ X ]. 2 Beispiel 3.14 Seien X 1,X 2,...identisch verteilte Zufallsvariablen mit E[ X 1 ] <. Dann gilt P[ X n n für unendlich viele n N] 0. (Vergleiche Beispiel 2.39.) Dies folgt leicht aus dem Borel-Cantelli Lemma, denn nach Bemerkung 3.10 ist P[ X n n] P[ X 1 n] E[ X 1 ] <. n1 n1 Satz 3.15 (Wald sche Identität) Seien T,X 1,X 2,... unabhängige reelle Zufallsvariablen in L 1 (P). Es sei P[T N 0 ]1, und es seien X 1,X 2,...identisch verteilt. Wir setzen S T : T X i. i1 Dann ist S T L 1 (P) und E[S T ]E[T ]E[X 1 ].

10 62 Erwartungswerte, Varianzen Beweis Setze S n n i1 X i für n N 0. Dann ist (mit Hilfe der Dreiecksungleichung, siehe Satz 3.5(i)) E[ S T ] E[ S n 1 {T n} ] n1 E[ S n ]E[1 {T n} ] n1 E[ X 1 ]np[t n] n1 E[ X 1 ]E[T ]. Die selbe Rechnung ohne Betragstriche liefert die Aussage. 3.3 Varianzen Wir wollen in diesem Abschnitt Varianzen und Kovarianzen von reellen Zufallsvariablen untersuchen. Zunächst betrachten wir allgemein Erwartungswerte von Funktionen von Zufallsvariablen, danach speziell quadratische Funktionen, die die Kovarianzen und Varianzen definieren. Satz 3.16 (i) Sei X (X 1,...,X n ) eine diskrete R n -wertige Zufallsvariable (mit Wertebereich W X ) und H : R n R eine beliebige Abbildung. Setze Y : H(X 1,...,X n ). Dann ist Y L 1 (P) genau dann, wenn x W X H(x) P[X x] <. In diesem Fall ist E[H(X)] x W X H(x) P[X x]. (ii) Sei X (X 1,...,X n ) ein R n -wertige Zufallsvariable mit Dichte f X (also P[X 1 x 1,...,X n x n ] x 1 dt x 1 n dt n f X (t 1,...,t n )) und H : R n R eine messbare Abbildung sowie Y : H(X). Dann ist Y L 1 (P) genau dann, wenn dx R n 1...dx n H(x 1,...,x n ) f X (x 1,...,x n ) <. In diesem Fall gilt E[H(X)] dx 1 dx n H(x 1,...,x n ) f X (x 1,...,x n ). Beweis (i) Für den Wertebereich W H(X) gilt klar W H(X) H(W X ) : {H(x) : x W X }. Für jedes y W H(X) ist das Ereignis {H(X) y} die disjunkte Vereinigung {H(X) y} x H 1 ({y}) {X x}. Es gilt also P[H(X) y] x H 1 ({y}) P[X x]. Mithin ist E[ H(X) ] y P[H(X) y] y W H(X) y W H(X) x H 1 ({y}) y W H(X) x H 1 ({y}) H(x) P[X x]. x W X Die selbe Rechnung ohne Betragstriche liefert die Aussage. y P[X x] H(x) P[X x]

11 3.3 Varianzen 63 (ii) Wir betrachten zunächst nur H : R n [0, ). Dann ist nach Bemerkung 3.10 E[H(X)] 0 0 P[H(X) t] dt dt dx 1 dx 1 dx 1 dx n f(x 1,...,x n )1 [t, ) (H(x 1,...,x n )) dx n f(x 1,...,x n ) dx n f(x 1,...,x n )H(x 1,...,x n ). 0 dt1 [t, ) (H(x 1,...,x n )) Für allgemeines H : R n R betrachte H H + H mit H + : R n [0, ) und H : R n [0, ). Dann ist nach dem bisher Gezeigten E[ H(X) ] E[H + (X)] + E[H (X)] dx 1 dx 1 dx n f(x 1,...,x n ) ( H + (x 1,...,x n )+H (x 1,...,x n ) ) dx n f(x 1,...,x n ) H(X). Die selbe Rechnung ohne Betragstriche liefert die Aussage. Sei stets X eine reelle Zufallsvariable, und sei p 1. Definition 3.17 Wir sagen, dass X ein p-tes Moment besitzt, falls M p (X) :E[ X p ] <. Wir schreiben dann X L p : L p (P) und nennen M p (X) das p te absolute Moment von X. Ist p N und M p (X) <, oder p {2, 4, 6,...}, oder ist X 0, so heißt das p te Moment von X. m p (X) :E[X p ] Satz 3.18 Ist p r 1 und X L p, so ist X L r. Beweis Die folgt direkt aus der Ungleichung x r 1+ x p für alle x R. Definition 3.19 Seien X, Y L 2. Dann heißt Var[X] :E[X 2 ] E[X] 2 die Varianz von X und σ : Var[X] heißt die Streuung von X. Ferner heißt Cov[X, Y ]:E[XY ] E[X]E[Y ] die Kovarianz von X und Y. Gilt Cov[X, Y ]0, so heißen X und Y unkorreliert.

12 64 Erwartungswerte, Varianzen Bemerkung Man beachte, dass xy x 2 +y 2. Daher ist E[ XY ] E[X 2 ]+E[Y 2 ] <.Für X, Y L 2 existiert also stets die Kovarianz. Beispiele 3.20 (i) Sei X Ber p. Dann ist E[X] p und X 2 X, also E[X 2 ]p. Mithin ist Var[X] p p 2 p(1 p). (3.8) (ii) Sei X Poi λ für ein λ 0. Dann ist E[X] λ und Also ist E[X(X 1)] k2 e λ k(k 1) λk k! λ2 k0 λ λk e k! λ2. Var[X] E[X 2 ] E[X] 2 E[X(X 1)] + E[X] E[X] 2 λ 2 + λ λ 2 λ. (3.9) (iii) Sei X γ p für p (0, 1]. Dann ist E[X] 1 p (siehe Beispiel 3.4(iii)). Setze f(x) 1 1 x x n, x ( 1, 1). n0 Dann ist und also Insgesamt erhalten wir 1 (1 x) 2 f (x) n1 2 (1 x) 3 f (x) n1 E[X 2 ]p n 2 (1 p) n 1 n0 nx n 2, n(n 1)x n 2, pf (1 p)+(1 p)f (1 p) 1 p + 2(1 p) p 2 2 p p 2. Var[X] E[X 2 ] E[X] 2 2 p p 2 1 p 2 1 p p 2. (3.10) Satz 3.21 Sind X, Y L 2 (P) unabhängig, so sind X und Y unkorreliert. Beweis Nach Satz 3.5(vii) ist E[XY ]E[X]E[Y ]. Hieraus folgt direkt die Aussage.

13 3.3 Varianzen 65 Bemerkung 3.22 Ins Satz 3.21 gilt die umgekehrte Implikation natürlich nicht. Hierzu betrachten wir als Beispiel X und Y mit P[X 0,Y 1] P[X 0,Y 1]P[X 1,Y 0]P[X 1,Y 0] 1 4. Dann ist Cov[X, Y ]0, aber P[X 0,Y 0]0 1 4 P[X 0]P[Y 0]. Satz 3.23 Es gelten (i) Cov[X, Y ]E[(X E[X])(Y E[Y ])] (ii) Var[X] E[(X E[X]) 2 ] (iii) Speziell ist stets Var[X] 0 und Var[X] 0 P[X E[X]] 1. (3.11) Beweis (i) Dies liefert die einfache Rechnung E[(X E[X])(Y E[Y ])] E[XY ] E[E[X]Y ] E[XE[Y ]] + E[E[X]E[Y ]] E[XY ] E[X]E[Y ] E[X]E[Y ]+E[X]E[Y] E[XY ] E[X]E[Y ] Cov[X, Y ]. (ii) Dies folgt direkt aus (i), weil Var[X] Cov[X, X]. (iii) Die Aussage folgt aus (ii) zusammen mit Satz 3.5(iii)), angewandt auf die Zufallsvariable (X E[X]) 2. Beispiel 3.24 Sei X N µ,σ 2 mit µ R und σ 2 > 0. Dann ist E[X] µ und mittels affiner Substitution und partieller Integration erhalten wir Var[X] E[(X µ) 2 ] 1 ) (x µ) 2 (x µ)2 exp ( 2πσ 2 2σ 2 dx 1 ) x 2 exp ( x2 2πσ 2 2σ 2 dx ) σ2 x 2 exp ( x2 dx 2π 2 [ xe σ2 x2 /2 ) ] + exp ( x2 dx 2π 2 σ 2.

14 66 Erwartungswerte, Varianzen Satz 3.25 Die Abbildung Cov : L 2 (P) L 2 (P) R ist eine positiv semidefinite symmetrische Bilinearform mit Cov[X, Y ]0, falls es ein y R gibt mit P[Y y] 1. Ausgeschrieben heißt dies: Für X 1,..., X m, Y 1,..., Y n L 2 (P) und α 1,...,α m, β 1,...,β n R, sowie d, e R m n Cov d + α i X i,e+ β j Y j α i β j Cov[X i,y j ]. (3.12) i1 j1 i,j Speziell gilt die Bienaymé-Gleichung [ m ] m Var X i Var[X i ]+ i1 i1 m Cov[X i,x j ]. (3.13) Für unkorrelierte (speziell also für unabhängige) X 1,...,X m gilt [ m ] m Var X i Var[X i ]. (3.14) i1 i1 i,j1 i j Beweis m n Cov d + α i X i,e+ β j Y j i1 j1 ( m E α i (X i E[X i ])) n β j (Y j E[Y j ]) i1 j1 m n α i β j E[(X i E[X i ])(Y j E[Y j ])] i1 j1 m n α i β j Cov[X i,y j ]. i1 j1 Beispiel 3.26 Seien n N und p [0, 1], sowie X b n,p. Wir wollen die Varianz von X ausrechnen. Seien X 1,...,X n unabhängig und Bernoulliverteilt mit Parameter p (und damit Var[X i ]p(1 p). Dann ist X d X X n, also Var[X] Var[X X n ]Var[X 1 ]+...+ Var[X n ]np(1 p).

15 3.3 Varianzen 67 Beispiel 3.27 Seien n N und p (0, 1], sowie X b n,p. Seien X 1,...,X n unabhängig X i γ p. (und damit Var[X i ] 1 p p nach Beispiel 3.20(iii)). Dann ist X d X X n n, also Var[X] Var[X n] Var[X X n ]n 1 p p 2. Korollar 3.28 Sind X, Y L 2, so gilt die Cauchy-Schwarz-Ungleichung (Cov[X, Y ]) 2 Var[X] Var[Y ]. (3.15) In (3.15) gilt Gleichheit genau dann, wenn es Zahlen a, b R gibt mit P[X ay + b] 1. In diesem Fall nennen wir X und Y perfekt korreliert. Beweis Die Cauchy-Schwarz Ungleichung gilt für jede positiv semidefinite Bilinearform, auf einem Vektorraum V. Es gilt jeweils Gleichheit x, y 2 x, x y, y genau dann, wenn es eine Zahl a R gibt mit x ay, x ay 0. Wenden wir dies auf die positiv semidefinite Bilinearform Cov[, ] auf L 2 (P) an, so erhalten wir die Cauchy-Schwarz Ungleichung für X, Y L 2 mit Gleichheit genau dann, wenn Var[X ay ]0, also genau dann, wenn (vergleiche Satz 3.23(iii)) P[X ay E[X]+aE[Y ]] 1, also die gewünschte Aussage mit b ae[y ] E[X]. Zeigen wir nun also die Aussage für die allgemeine positiv semidefinite Bilinearform. Ohne Einschränkung gilt y, y > 0 (sonst ist die Aussage trivial). Es gilt dann 0 y, y x x, y y, y, y x x, y y y, y 2 x, x 2 y, y x, y 2 + y, y x, y 2 ( y, y y, y x, x x, y 2), also y, y x, x x, y 2 0. Es gilt Gleichheit genau dann, wenn x, y x, y x y, x y, y y, y y 0. Satz 3.29 (Formel von Blackwell-Girshick) Seien T,X 1,X 2,...unabhängige reelle Zufallsvariablen in L 2 (P). Es sei P[T N 0 ]1, und es seien X 1,X 2,...identisch verteilt. Wir setzen Dann ist S T L 2 (P) und S T : T X i. i1 Var[S T ]E[X 1 ] 2 Var[T ]+E[T ]Var[X 1 ].

16 68 Erwartungswerte, Varianzen Beweis Es ist E[S 2 T ] ( n ) 2 E 1 T n X i n0 n0 i1 ( n ) 2 E[1 T n ]E X i i1 ( n ) 2 ( n ) 2 P[T n] E (X i E[X i ]) + E[X i ] n0 i1 P[T n] ( nvar[x 1 ]+n 2 E[X 1 ] 2) n0 E[T ]Var[X 1 ]+E[T 2 ]E[X 1 ] 2. i1 Nach der Wald schen Identität (Satz 3.15) ist E[S T ]E[T ]E[X 1 ], also ist Var[S T ]E[S 2 T ] E[S T ] 2 E[T ]Var[X 1 ]+(E[T 2 ] E[T ] 2 )E[X 1 ] 2. Dies ist aber die Behauptung. Wir kommen nun zu einer weiteren wichtigen Ungleichung für reellwertige Zufallsvariablen. Trotz der Einfachheit des Argumentes ist diese Aussage fundamental. Satz 3.30 (Markoffungleichung, Tschebyscheffungleichung) (i) Sei X eine reelle Zufallsvariable und f :[0, ) [0, ) eine monotone Funktion. Dann gilt für jedes a>0mit f(a) > 0 die Markoffungleichung P[ X a] E[f( X )]. (3.16) f(a) (ii) Speziell gilt für X L 2 (P) die Tschebyscheffungleichung P[ X E[X] >a] Var[X] a 2. (3.17) Beweis (i) Betrachte die Zufallsvariable Y : f(a)1 { X a}. Dann ist Y f( X ), also (nach Satz 3.5(iv)) E[f( X )] E[Y ]f(a)p[ X a]. (ii) Wende (i) auf die Zufallsvariable X X E[X] an mit f(x) x 2. Beispiel 3.31 Sei X b n,p. Wie können wir für a N die Wahrscheinlichkeit P[X a] einfach abschätzen? (Beispiel 3.20). Daher liefert die Tschebys- Es ist E[X] n 1 p p cheffungleichung (siehe Beispiel 3.6) und Var[X] n 1 p p 2 P[X a] P [ X E[X] a E[X] ] Var[X] (a E[X]) 2 1 p (ap n(1 p)) 2.

17 3.4 Der Median 69 Beispiel 3.32 Sei X Poi λ für ein λ>0. Wie groß ist P[X a]? Wir wenden zunächst die Tschebyscheffungleichung an. Es ist E[X] λ und Var[X] λ (siehe Beispiel 3.20(ii)). Also ist P[X a] Var[X] (a E[X]) 2 λ (a λ) 2. (3.18) Wir wollen diese Abschätzung verbessern, indem wir eine geeignetere Funktion in der Markoffungleichung wählen. Setze f(x) :exp(θx), wobei θ : log(a/λ). Dann ist P[X a] e θa E[e θx ] e θa e λ θk λk e k! k0 e θa e λ e λeθ e θa e λ(1 eθ). Dieser Ausdruck wird minimal genau für unsere Wahl von θ, und es folgt ( P[X a] exp a λ a log ( a ) ). λ (3.19) Für große a ist diese Abschätzung besser als (3.18). 3.4 Der Median Für reelle Zufallsvariablen X, die keinen Erwartungswert besitzen, ist es nützlich, eine andere Kenngröße anzugeben, die einen typischen Wert angibt. Dies kann der Median sein, der als derjenige Wert m X definiert ist, so dass X mit Wahrscheinlichkeit mindestens 1 2 Werte kleiner als m X annimmt, ebenfalls mit Wahrscheinlichkeit mindestens 1 2 Werte größer als m X. Definition 3.33 (Median) Sei µ ein Wahrscheinlichkeitsmaß auf R. Dann heißt jede Zahl m R mit µ((,m]) 1 2 und µ([m, )) 1 2 (3.20) ein Median von µ. Ist speziell X eine reelle Zufallsvariable, so heißt m X Median von X, falls m X der Median von P X ist, also falls P[X m X ] 1 2 und P[X m X ] 1 2. (3.21) Satz 3.34 Die Menge M µ {m R : mist Median von µ} : [m,m + ] ist ein kompaktes Intervall, das möglicherweise aus nur einem Punkt besteht. Beweis Seien m 1,m 2 M µ, m 1 m 2, so ist für jedes m [m 1,m 2 ]: µ((,m]) µ((,m 2 ]) 1 2 und µ([m, )) µ([m 1, )) 1 2.

18 70 Erwartungswerte, Varianzen Also ist m M µ. Außerdem gilt µ((,x]) 0 für x, also existiert ein x R mit µ((,x]) 1 4. Klar ist x m für alle m M µ. Analog existiert ein y R mit y>mfür alle m M µ. Also ist M µ beschränkt. Ist #M µ 1, so ist klar M µ kompakt. Sei also nun M µ ein nicht entartetes Intervall und m : inf M µ R. Sei m n M µ für jedes n N und m 1 >m 2 >m 3 >...sowie m lim n m n, so ist µ((,m ]) lim n µ((,m n]) 1 2 und µ([m, ) µ((m, )) lim µ([m n, )) 1 n 2. Mithin ist m M µ. Analog folgt m + : sup M µ M µ, also ist M µ abgeschlossen und damit kompakt. Der Median hat eine einfache Transformationseigenschaft. Satz 3.35 Sei X eine reelle Zufallsvariable und ϕ : R R eine monoton wachsende, oder monoton fallende, Abbildung. Sei ferner m X ein Median von X. Dann ist ϕ(m X ) ein Median der Zufallsvariablen ϕ(x). Beweis Sei zunächst ϕ monoton wachsend. Für alle x R ist {ϕ(x) ϕ(x)} {X x} und {ϕ(x) ϕ(x)} {X x}. Daher ist P[ϕ(X) ϕ(m X )] P[X m X ] 1 2 und P[ϕ(X) ϕ(m X )] P[X m X ] 1 2. Analog ist für ϕ monoton fallend {ϕ(x) ϕ(x)} {X x} und {ϕ(x) ϕ(x)} {X x}. Daher ist P[ϕ(X) ϕ(m X )] P[X m X ] 1 2 und P[ϕ(X) ϕ(m X )] P[X m X ] 1 2. Beispiel 3.36 Wir nehmen an, dass ein an einem Faden aufgehängter frei drehbarer Spiegel eine zufällige Lage X einnimmt, die gleichverteilt sein soll in dem Intervall (0,π/2). Um die Lage abzulesen, verwenden wir einen Laserstrahl, der einen Messpunkt Y auf einem l Längeneinheiten entfernten Wandschirm liefert. Wir können annehmen, dass die Winkel so angegeben sind, dass gilt: Y l tan(x). Welches ist eine gute Kenngröße für Y? Die Stammfunktion von x tan(x) ist x log(cos(x)). Also ist E[Y ] π/2 0 2 l tan(x) dx πl π 2 log(cos(x)) xπ/2. x0 Andererseits ist von X der Median m X π 4, also von Y der Median m Y l tan(π/4) l. Können wir nun experimentell m Y bestimmen, so können wir ebenfalls auf den Median von X rückschließen durch m X arctan(m Y /l). Bemerkung 3.37 Ist die Verteilungsfunktion x F X (x) P[X x] streng monoton wachsend, so ist der Median eindeutig. Beweis Übung!

19 3.4 Der Median 71 Satz 3.38 Ist X L 1 (P), so ist jeder Median m X ein Minimierer des L 1 -Abstands zu X: E[ X a ] E[ X m X ] für alle x R] (3.22) und E[ X a ] E[ X m X ] a ist eine Median von X. (3.23) Beweis Dann ist Definiere h(a) h(a) :E[ X a ], a R. 0 0 a P[ X a t] dt P[X a t]+p[x a t] dt P[X t] dt + a P[X t] dt. Für t<m X ist 1 P[X t] P[X <t] 0. Für a b m X ist daher h(b) h(a) b a b a b a 0. P[X t] dt + a b P[X t] dt (1 P[X t] P[X <t]) dt (1 P[X t] P[X <t]) dt Speziell ist h(m X ) h(a) für alle a m X. Analog erhält man m(m X ) h(a) für alle a m X. Sei nun m der kleinste Median von X und b<m. Dann ist für alle t (b, m ) sogar 1 P[X t] P[X < t] < 0, also h(b) h(m ) > 0. Analog erhält man h(b) h(m + ) > 0 für alle b die echt größer sind als der größte Median m +. Korollar 3.39 Ist X L 2 (P) und ist m ein Median von X, so ist m E[X] Var[X]. (3.24) Beweis Für jedes c R ist E[X] c E[X c] E[ X c ] E[ X c ]. Außerdem ist für Y L 2 (P) stets E[Y 2 ]Var[Y ]+E[Y ] 2 E[Y ] 2. Wir wenden dies an mit c m und Y X E[X] und erhalten E[X] m E[ X m ] Satz 3.38 E[ X E[X] ] E[(X E[X]) 2 ] Var[X].