Varianz und Kovarianz

Transkript

1 KAPITEL 9 Varianz und Kovarianz 9.1. Varianz Definition Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und X : Ω eine Zufallsvariable. Wir benutzen die Notation (1) X L 1, falls E[ X ] <. () X L, falls E[X ] <. Lemma Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und X, Y : Ω zwei Zufallsvariablen. Dann gilt: (1) X, Y L X + Y L. () X L, a ax L. (3) X L X L 1. Beweis von (1). Seien X, Y L, also E[X ] <, E[Y ] <. Aus der Ungleichung (X + Y ) X + Y folgt, dass Somit gilt X + Y L. E[(X + Y ) ] E[X ] + E[Y ] <. Beweis von (). Sei X L, also E[X ] <. Es folgt, dass E[(aX) ] = a E[X ] <, somit ax L. Beweis von (3). Sei X L, also E[X ] <. Es gilt die Ungleichung X X +1, also [ ] [ ] X + 1 X E[ X ] E = E + 1 <. Somit ist X L 1. Definition Sei X L. Die Varianz von X ist: Die Standardabweichung von X ist: Var X = E[(X E[X]) ] <. σ(x) = Var X. Bemerkung Die Varianz beschreibt die erwartete quadratische Abweichung einer Zufallsvariable von ihrem Erwartungswert. Wird X in irgendwelchen physikalischen Einheiten, etwa in Metern, gemessen, so wird Var X in Quadratmetern gemessen. Deshalb führt man die Standardabweichung von X ein. Diese wird dann wieder in Metern gemessen, hat 1

2 also die gleichen Einheiten wie X. Die Standardabweichung und die Varianz beschreiben, wie stark die Zufallsvariable um ihrem Erwartungswert streut. Für eine konstante Zufallsvariable X = c gilt zum Beispiel, dass Var X = σ(x) = 0, da es in diesem Fall gar keine Streuung gibt. Satz Für jede Zufallsvariable X L gilt die Formel: Var X = E[X ] (E[X]). Bemerkung Es gilt Var X 0. Als Korollar erhalten wir, dass (E[X]) E[X ]. Beweis. Wir benutzen die Linearität des Erwartungswerts: Var X = E[(X EX) ] = E[X X EX + (EX) ] = E[X ] E[EX X] + E[(EX) ] = E[X ] EX EX + (EX) = E[X ] (EX). Dabei haben wir benutzt, dass EX eine Konstante ist. Beispiel Sei X U[0, 1] gleichverteilt auf dem Intervall [0, 1]. Wir berechnen Var X. Lösung. Die Dichte von X ist Wir berechnen EX: EX = f X (y) = { 1, y [0, 1], 0, y [0, 1]. yf X (y)dy = 1 0 ydy = 1. Wir berechnen E[X ] mit der Transformationsformel für den Erwartungswert: Somit erhalten wir E[X ] = y f X (y)dy = Var X = 1 3 ( 1 Für die Standardabweichung ergibt sich σ(x) = ) = 1 1. y dy = 1 3. Satz Sei X L eine Zufallsvariable und a, b Konstanten. Dann gilt: (1) Var(aX + b) = a Var X. () σ(ax + b) = a σ(x).

3 Beweis von (1). Wir benutzen die Linearität des Erwartungswerts: Var(aX+b) = E[(aX+b E(aX+b)) ] = E[(aX+b aex b) ] = E[a (X EX) ] = a Var X. Beweis von (). σ(ax + b) = Var(aX + b) = a Var X = a σ(x). Beispiel Sei X U[a, b] gleichverteilt auf einem Intervall [a, b]. Es gilt EX = a+b. Wir berechnen Var X. Lösung. Wir haben die Darstellung X = (b a)y + a, wobei Y U[0, 1]. Var X = Var((b a)y + a) = (b a) Var Y = Für die Standardabweichung ergibt sich σ(x) = b a 1. (b a). 1 Bemerkung Die Varianz einer Zufallsvariable ist immer 0. Für eine konstante Zufallsvariable X = c gilt Var X = 0. Können wir die Umkehrung dieser Aussage beweisen? Sei X eine Zufallsvariable mit Var X = 0. Dann kann man behaupten, dass P[X = EX] = 1. Das heißt: die Zufallsvariable X ist fast sicher konstant. Wir werden das später mit Hilfe der Tschebyscheff-Ungleichung beweisen. Satz Sei X N(µ, σ ) normalverteilt mit Parametern (µ, σ ). Dann gilt EX = µ und Var X = σ. Beweis. Zuerst betrachten woir den Fall µ = 0, σ = 1. Die Dichte von X ist dann f X (y) = 1 π e y /, y. Für den Erwartungswert erhalten wir EX = yf X (y)dy = 1 π ye y / dy = 0, da die Funktion ye y / ungerade ist. Für die Varianz erhalten wir Var X = E[X ] (EX) = y f X (y)dy = 1 y e y / dy. π Um dieses Integral zu berechnen, benutzen wir partielle Integration: Var X = 1 y( e y / ) dy = 1 ye y / + e y / dy = 1. π π Sei nun X N(µ, σ ) normalverteilt mit beliebigen Parametern (µ, σ ). Dann haben wir die Darstellung X = σy + µ, wobei Y (0, 1). Es gilt dann EX = E[σY + µ] = µ 3

4 und Var X = Var(σY + µ) = σ Var Y = σ. Für die Standardabweichung ergibt sich übrigens σ(x) = σ (wobei wir immer annehmen, dass σ > 0). Satz Sei X Poi(λ) Poisson-verteilt mit Parameter λ > 0. Dann gilt EX = Var X = λ. Beweis. Wir haben bereits gezeigt, dass EX = λ. Wir berechnen Var X. Betrachte zunächst E[X(X 1)] = k(k 1) P[X = k] = k=0 k= = e λ λ = e λ λ e λ = λ. λ λk k(k 1)e k! k= λ k (k )! Für E[X ] gilt dann E[X ] = E[X(X 1)] + EX = λ + λ. Für die Varianz erhalten wir Var X = E[X ] (E[X ]) = λ + λ λ = λ. 9.. Kovarianz und Korrelationskoeffizient Definition Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und X, Y : Ω zwei Zufallsvariablen mit X, Y L. Dann ist die Kovarianz von X und Y wie folgt definiert: Bemerkung 9... Cov(X, X) = Var X. Cov(X, Y ) = E[(X EX)(Y EY )]. Bemerkung Wir zeigen, dass die Kovarianz wohldefiniert ist. Seien X, Y L. Nach Lemma 9.1. existieren EX und EY. Außerdem gilt dann X := X EX L und Ỹ := Y EY L. Wir zeigen, dass E[ XỸ ] existiert. Es gilt Daraus folgt, dass E[ XỸ ] 1 XỸ X + Ỹ. ( E[ X ) ] + E[Ỹ ] <. 4

5 Somit ist die Zufallsvariable existiert. XỸ = (X EX)(Y EY ) integrierbar und die Kovarianz Satz Seien X, Y L. Dann gilt: Cov(X, Y ) = E[XY ] E[X] E[Y ]. Beweis. Wir benutzen die Linearität des Erwartungswerts: Cov(X, Y ) = E[(X EX)(Y EY )] = E[XY X EY Y EX + (EX)(EY )] = E[XY ] E[EY X] E[EX Y ] + E[(EX)(EY )] = E[XY ] EY EX EX EY + (EX)(EY ) = E[XY ] E[X] E[Y ]. Dabei haben wir EX und EY wie Konstanten behandelt. Bemerkung Für die Berechnung der Kovarianz kann man folgende Formeln benutzen: (1) Für X, Y diskret: E[XY ] = st P[X = s, Y = t]. s Im X t Im Y () Für X, Y absolut stetig mit gemeinsamer Dichte f X,Y : E[XY ] = st f X,Y (s, t)dsdt. Satz Seien X, Y L Zufallsvariablen und a, b, c, d Konstanten. Dann gilt: Cov(aX + b, cy + d) = ac Cov(X, Y ). Beweis. Übungsaufgabe. Für die Kovarianz gelten ähnliche echenregeln wie für das Skalarprodukt. Satz Seien X 1,..., X n, Y 1,..., Y m L Zufallsvariablen und a 1,..., a n, b 1,..., b m Konstanten. Dann gilt: n m Cov(a 1 X a n X n, b 1 Y b m Y m ) = a i b j Cov(X i, Y j ). i=1 j=1 Beweis. Übungsaufgabe. Satz 9..8 (Cauchy-Schwarz-Ungleichung). Seien X, Y L Zufallsvariablen. Dann gilt E[XY ] E[X ] E[Y ]. 5

6 Bemerkung Zum Vergleich: Für zwei Vektoren x, y d gilt die Ungleichung x, y = x y cos(φ) x y = x, x y, y. Beweis von Satz Für beliebige Konstante a gilt 0 E[(aX + Y ) ] = E[a X + axy + Y ] = a E[X ] + ae[xy ] + E[Y ]. Die rechte Seite ist eine quadratische Funktion von a. Diese Funktion ist für alle a nichtnegativ. Die Diskriminante D muss somit 0 sein: Das beweist die Behauptung. D = 4(E[XY ]) 4E[X ] E[Y ] 0. Korollar Für beliebige Zufallsvariablen X, Y L gilt Cov(X, Y ) Var X Var Y. Beweis. Betrachte die zentrierten Zufallsvariablen X := X EX L und Ỹ := Y EY L. Nun wenden wir die Cauchy-Schwarz-Ungleichung auf die Zufallsvariablen X und Ỹ an: Cov(X, Y ) = E[ E[ XỸ ] X ] E[Ỹ ] = Var X Var Y. Definition Seien X, Y L zwei Zufallsvariablen. Der Korrelationskoeffizient von X und Y ist ρ(x, Y ) = Cov(X, Y ). Var X Var Y Dabei nehmen wir an, dass X und Y nicht fast sicher konstant sind, so dass Var X 0 und Var Y 0. Bemerkung Aus Korollar folgt, dass ρ(x, Y ) 1. Der Korrelationskoeffizient ist ein Maß für den linearen Zusammenhang zwischen X und Y. Später werden wir zeigen, dass der Korrelationskoeffizient genau dann ±1 ist, wenn zwischen X und Y ein linearer Zusammenhang besteht, d.h., wenn Y = ax + b. Bemerkung Seien a, b, c, d und a, c > 0. Dann gilt: ρ(ax + b, cy + d) = ρ(x, Y ). Bemerkung ρ(x, X) = 1, ρ(x, X) = 1. Definition Zwei Zufallsvariablen X, Y L heißen unkorreliert, wenn Cov(X, Y ) = 0 (und somit auch ρ(x, Y ) = 0). Satz Seien X, Y L unabhängig. Dann sind X und Y unkorreliert, d.h. Cov(X, Y ) = 0. Beweis. Für unabhängige Zufallsvariablen gilt E[XY ] = E[X] E[Y ]. Wir erhalten Somit sind X und Y unkorreliert. Cov(X, Y ) = E[XY ] E[X] E[Y ] = 0. 6

7 Beispiel Unabhängige Zufallsvariablen sind unkorreliert. Die Umkehrung dieser Aussage gilt jedoch nicht. Sei (X, Y ) ein Vektor, der gleichverteilt auf dem Einheitskreis A = {(t, s) : t + s < 1} ist. Wir behaupten, dass Cov(X, Y ) = 0 und dass dennoch X und Y abhängig sind. Lösung. Die gemeinsame Dichte von (X, Y ) ist f X,Y (t, s) = 1 π 1 A(t, s). Die anddichten (d.h. die Dichten von X und Y ) sind f X (t) = f Y (t) = π 1 t 1 t <1. Wegen Symmetrie sind die Erwartungswerte von X und Y gleich 0: Nun berechnen wir E[XY ]: E[XY ] = A EX = EY = π 1 1 tsf X,Y (t, s)dtds = 1 π t 1 t dt = 0. ts1 A (t, s)dtds = 0. Dabei ist das Integral gleich 0, da sich die Funktion ts1 A (t, s) bei der Transformation (t, s) ( t, s) in ts1 A (t, s) verwandelt. Somit sind X und Y unkorreliert: Cov(X, Y ) = 0. Und doch sind X, Y abhängig, denn wären X und Y abhängig, dann müsste die gemeinsame Dichte f X,Y (t, s) mit dem Produkt der anddichten f X (t)f X (s) für alle (t, s) außerhalb einer Menge vom Lebesgue-Maß 0 übereinstimmen. Dies ist jedoch nicht der Fall, denn f X,Y (t, s) = 1 ( ) π 1 A(t, s) 1 t 1 s π 1 t <1, s <1 = f X (t) f Y (s) zum Beispiel für alle (t, s) mit t < 1, s < 1 und t + s unkorreliert, aber abhängig. > 1. Somit sind X und Y Satz Für beliebige Zufallsvariablen X, Y L gilt Var(X + Y ) = Var(X) + Var(Y ) + Cov(X, Y ). Beweis. Mit X := X EX und Ỹ = Y EY gilt Var(X + Y ) = E[((X EX) + (Y EY )) ] = E[( X + Ỹ ) ] = E[ X ] + E[ XỸ ] + E[Ỹ ] = Var(X) + Cov(X, Y ) + Var(Y ). 7

8 Korollar Für unabhängige Zufallsvariablen X, Y L gilt Var(X + Y ) = Var(X) + Var(Y ). Bemerkung Zum Vergleich: Für beliebige Zufallsvariablen X, Y L 1 gilt E[X + Y ] = E[X] + E[Y ]. Bemerkung Für beliebige X 1,..., X n L gilt n Var(X X n ) = Var(X i ) + i=1 Für unabhängige X 1,..., X n L gilt sogar Var(X X n ) = 1 i<j n n Var(X i ). i=1 Cov(X i, X j ) Beispiel 9... Sei X Bin(n, p) binomialverteilt mit Parametern n, p. Berechne Var X. Lösung. Wir können X als die Anzahl der Erfolge in einem n-fachen Bernoulli-Experiment auffassen. Wir haben also die Darstellung X = X X n, wobei { 1, Erfolg beim i-ten Experiment, X i = i = 1,..., n. 0, sonst, Dabei sind X 1,..., X n unabhängig mit P[X i = 1] = p und P[X i = 0] = 1 p. Für jedes X i gilt E[X i ] = 1 p + 0 (1 p) = p und Var X i = E[X i ] (E[X i ]) = E[X i ] (E[X i ]) = p(1 p). Für die Varianz von X erhalten wir (wegen der Unabhängigkeit von X 1,..., X n ) Var X = Var(X X n ) = Var(X 1 ) Var(X n ) = np(1 p). Bemerkung Die maximale Varianz wird angenommen, wenn p = 1. Die minimale Varianz tritt ein, wenn p = 0 oder p = 1. (In diesem Fall ist X konstant und Var X = 0). Im nächsten Satz zeigen wir, dass der Korrelationskoeffizient genau dann gleich ±1 ist, wenn es einen linearen Zusammenhang zwischen X und Y gibt. Dabei entspricht der Wert +1 einem positiven Zusammenhang und 1 einem negativen Zusammenhang. Satz Seien X, Y : Ω zwei Zufallsvariablen mit X, Y L und Var X 0, Var Y 0. Es gilt: (1) ρ(x, Y ) = 1 es existieren a > 0 und b mit P[Y = ax + b] = 1. () ρ(x, Y ) = 1 es existieren a < 0 und b mit P[Y = ax + b] = 1. Beweis von (1). Sei ρ(x, Y ) = 1. Definiere Var Y a = > 0 und b = EY aex. Var X 8

9 Definiere die Zufallsvariable = Y (ax + b). Wir zeigen, dass P[ = 0] = 1. Es gilt = (Y EY ) a(x EX) = Ỹ a X. Somit ist E[ ] = EỸ ae X = 0. Weiterhin gilt Var = E[ ] = E[Ỹ a XỸ + a X ] = Var Y a Cov(X, Y ) + a Var X Var Y = Var Y Var X Var Y + Var Y Var X Var X Var X = 0. Somit gilt P[ = E ] = 1, also P[ = 0] = 1. 9