47 5 Erwartungswerte, Varianzen und Kovarianzen Zur Charakterisierung von Verteilungen unterscheidet man Lageparameter, wie z. B. Erwartungswert ( mittlerer Wert ) Modus (Maximum der Wahrscheinlichkeitsfunktion, d. h. wahrscheinlichster Wert) Median (0, 5-Quantil : mindestens 50 % der Wahrscheinlichkeitsmasse liegt über diesem Punkt, und 50 % darunter; schwer zu berechnen und nicht eindeutig) und Streuungsparameter: Varianz (mittlere quadratische Abweichung) Standardabweichung (Wurzel aus der Varianz) mittlere absolute Abweichung Am einfachsten mathematisch zu handhaben, sind Erwartungswerte und Varianzen, da diese immer eindeutig sind meist leicht zu berechnen sind
48 5 ERWARTUNGSWERTE, VARIANZEN UND KOVARIANZEN 5. Der Erwartungswert einer diskreten Zufallsvariable Definition 5. Der Erwartungswert E(X) EX einer diskreten Zufallsvariable X mit Träger T ist definiert als E(X) x T x P (X x) x T x f(x) wenn diese Summe absolut konvergent ist. Den Erwartungswert eines Zufallsvektors definiert man als den Vektor der Erwartungswerte der einzelnen Komponenten. Man könnte die Summe in obiger Definition auch über alle x R laufen lassen, da für x / T gilt: f(x) 0, also letztlich nur abzählbar viele Summanden ungleich Null sind. Beispiel 5. (Erwartungswert der Bernoulliverteilung) Für X B(π) gilt: { π für x 0 f(x) π für x Daher gilt für den Erwartungswert: E(X) π + 0 ( π) π Beispiel 5.2 (Erwartungswert der Poissonverteilung) Für X P(λ) gilt: Der Erwartungswert lautet daher E(X) λ f(x) λx x! exp( λ) für x N 0 x λx λ x exp ( λ) exp ( λ) x! x0 }{{} (x )! x f(x) ( λ (x+) ) λ x exp ( λ) λ exp ( λ) x! x! x0 x0 }{{} exp (λ)
5. Der Erwartungswert einer diskreten Zufallsvariable 49 Eigenschaften des Erwartungswertes:. Sei X a mit Wahrscheinlichkeit, d.h. P (X a). Dann heißt X deterministische Zufallsvariable. Es gilt: EX a 2. Linearität des Erwartungswertes Seien a, b R und X, Y beliebige Zufallsvariablen. Dann gilt: Allgemeiner gilt dann auch: n n E( a i X i ) a i E(X i ) i i E(a X + b Y ) a EX + b EY für a i R und beliebige Zufallsvariablen X i Natürlich gilt auch E(aX + b) ae(x) + b, denn man kann Y als deterministische Zufallsvariable mit Wert Y auffassen. Anwendung für die Linearität des Erwartungswertes: Der Erwartungswert einer binomialverteilten Zufallsvariable X, d.h. X B(n, π), muss EX n π sein, da X darstellbar ist als Summe von n unabhängigen bernoulliverteilten Zufallsvariable X i B(π) (mit i,..., n), wobei jede Zufallsvariable den Erwartungswert E(X i ) π hat: ( n ) n n E X i E(X i ) π n π i i Satz 5. (Erwartungswert von Zufallsvariablen mit Träger N) Hat X den Träger T N, so gilt: E(X) P (X k) Beweis: k P (X k) k k tk t i P (X t) t P (X t) k t P (X t) t EX
50 5 ERWARTUNGSWERTE, VARIANZEN UND KOVARIANZEN Beispiel 5.3 (Erwartungswert der geometrischen Verteilung) Sei X G(π), dann gilt f(x) π ( π) x für x N und damit P (X k) ( π) k Unter Anwendung von Satz 5. kann man den Erwartungswert ausrechnen: E(X) geom.reihe P (X k) k ( π) k k ( π) k k0 ( π) Satz 5.2 (Transformationsregel für Erwartungswerte) Sei X eine diskrete Zufallsvariable und g(x) eine reelle Funktion. Dann gilt für Y g(x): E(Y ) E(g(X)) g(x) f(x) x T Sei (X, Y ) ein Zufallsvektor aus den Zufallsvariablen X und Y mit gemeinsamer Wahrscheinlichkeitsfunktion f XY (x, y) und sei g(x, y) eine reellwertige Funktion. Dann gilt für Z g(x, Y ) : E(Z) E(g(X, Y )) x π g(x, y) f X,Y (x, y) y Speziell gilt daher: E(X Y ) x x y f X,Y (x, y) y Man beachte, dass im Allgemeinen nur bei linearen Funktionen g E(g(X)) g(e(x)) gilt.
5. Der Erwartungswert einer diskreten Zufallsvariable 5 Beispiel 5.4 Sei X eine Zufallsvariable mit Wahrscheinlichkeitsfunktion /4 für x 2 /8 für x f(x) /4 für x 3/8 für x 3 Dann ergibt sich der Erwartungswert von E(X 2 ) zu: E(X 2 ) x T x x 2 f(x) ( 2) 2 4 + ( )2 8 + 2 4 + 32 3 8 4 3 4 Alternativ könnte man zunächst die Wahrscheinlichkeitsfunktion von Y X 2 berechnen, (/4 + /8) 3/8 für x f(y) /4 für x 4 3/8 für x 9 und dann den Erwartungswert von Y direkt bestimmen: E(Y ) y T y y f(y) 3 8 + 4 4 + 9 3 8 Man beachte dass 4 3 4. 4 3 4 E(X2 ) E(X) 2 ( ) 2 3 9 4 6
52 5 ERWARTUNGSWERTE, VARIANZEN UND KOVARIANZEN 5.2 Varianz und Standardabweichung Definition 5.2 Die Varianz V (X), auch Var(X), einer diskreten Zufallsvariable ist definiert als: Var(X) E[(X EX) 2 ] Erwartete quadratische Abweichung vom Erwartungswert Satz 5.3 (Verschiebungssatz) Zur einfacheren Berechnung der Varianz kann der Verschiebungssatz angewendet werden: Var(X) E(X 2 ) [E(X)] 2 Beweis: Var(X) E[(X EX) 2 ] Eigenschaften von Varianzen: E[X 2 2XEX + (EX) 2 ] EX 2 E(2XEX) + E((EX) 2 ) EX 2 2EXEX + (EX) 2 EX 2 (EX) 2. Var(aX + b) a 2 Var(X) für alle a, b R Dies gilt weil: Var(aX + b) E [ ((ax + b) E(aX + b)) 2] E [ (a(x EX)) 2] E [ a 2 (X EX) 2] a 2 E [ (X EX) 2] a 2 Var(X) 2. Sind X und Y unabhängig, so gilt: Var(X + Y ) Var(X) + Var(Y ) (4) Die Varianz der Summe entspricht der Summe der Varianzen Als Streuungsparameter sind Varianzen noch nicht auf der richtigen Skala, denn sie geben ja die mittlere quadratische Abweichung wieder! Daher definiert man die Standardabweichung:
5.2 Varianz und Standardabweichung 53 Definition 5.3 Die Standardabweichung einer diskreten Zufallsvariable X ist definiert als die Wurzel aus der Varianz: σ σ(x) Var(X) Im Gegensatz zur Varianz gilt für die Standardabweichung: σ(ax + b) a σ(x) für alle a, b R Bemerkung: Die mittlere absolute Abweichung E( X EX ) erscheint intuitiver, ist aber deutlich schwerer mathematisch zu handhaben. Beispiel 5.5 (Varianz der Bernoulli-Verteilung) Sei X B(π). Wir wissen EX π. Ferner ist Daher: E(X 2 ) 0 2 f(0) + 2 f() 0 ( π) + π π Var(X) EX 2 (EX) 2 π π 2 π( π) Daher lautet die Varianz für eine binomialverteilte Zufallsvariable Y B(n, π): Var(Y ) n π ( π), da sie ja die Summe von n unabhängigen Bernoulliverteilten Zufallsvariablen Y,..., Y n, jeweils mit Var(Y i ) π( π), ist. Verwende dazu die Gleichung (4). Als Maß für die Streuung einer Verteilung ist die Varianz bzw. Standardabweichung einer Zufallsvariable X schwer direkt zu interpretieren. Es gilt aber folgender Satz: Satz 5.4 (Ungleichung von Tschebyscheff) P ( X E(X) c) Var(X) c 2
54 5 ERWARTUNGSWERTE, VARIANZEN UND KOVARIANZEN Beispiel 5.6 Sei E(X) beliebig und Var(X). Dann ist P ( X E(X) ) P ( X E(X) 2) 4 P ( X E(X) 3) 9
5.3 Kovarianz und Korrelation 55 5.3 Kovarianz und Korrelation Definition 5.4 Als Maß für die lineare stochastische Abhängigkeit von zwei Zufallsvariablen X und Y definiert man die Kovarianz: und die Korrelation Cov(X, Y ) E[(X EX)(Y EY )] ρ(x, Y ) Cov(X, Y ) VarX VarY unter der Voraussetzung, dass Var(X) > 0 und Var(Y ) > 0 gilt. Für die einfachere Berechnung der Kovarianz kann man auch den Verschiebungssatz anwenden: Satz 5.5 (Verschiebungssatz für die Kovarianz) Beweis: Cov(X, Y ) E(XY ) EX EY Cov(X, Y ) E[(X EX)(Y EY )] E[XY XEY Y EX + EXEY ] E(XY ) EX EY Beachte: E(XY ) kann mit dem Transformationssatz für Erwartungswerte leicht über die gemeinsame Wahrscheinlichkeitsfunktion f XY (x, y) von X und Y berechnet werden. Beispiel 5.7 Die vorliegende Wahrscheinlichkeitsfunktion ist die gleiche wie im Beispiel 4.0. Es wurde festgestellt, dass die Zufallsvariablen X und Y stochastisch abhängig sind. Nun soll die Kovarianz Cov(X, Y ) und die Korrelation ρ berechnet werden. f X,Y (x, y) y y 0 y 2 f X (x) x /8 3/8 2/8 6/8 x 2 2/8 0 3/8 5/8 x 3 0 4/8 3/8 7/8 f Y (y) 3/8 7/8 8/8
56 5 ERWARTUNGSWERTE, VARIANZEN UND KOVARIANZEN Für die Berechnung der Kovarianz werden folgende Werte benötigt: ( ) ( ) 3 E(X Y ) ( ) + 0 +... 29 8 8 8 E(X) E(Y ) ( ) 6 8 + 2 5 8 + 3 7 8 37 8 3 8 + 0 7 8 + 2 8 8 3 8 Es ergibt sich: Cov(X, Y ) 29 8 37 8 3 8 4 324 Für die Korrelation benötigt man noch woraus sich E(X 2 ) E(Y 2 ) 6 8 + 4 5 8 + 9 7 8 89 8 3 8 + 0 7 8 + 4 8 8 35 8 Var(X) E(X 2 ) E(X) 2 233 324 Var(Y ) E(Y 2 ) E(Y ) 2 46 324 und schließlich ρ 4 233 46 0.25 ergibt. Definition 5.5 Zwei Zufallsvariablen X und Y heißen unkorreliert, wenn d.h. wenn gilt: Cov(X, Y ) 0 bzw. ρ(x, Y ) 0 E(X Y ) EX EY X und Y sind positiv/negativ korreliert, falls gilt: ρ(x, Y ) > 0 bzw. ρ(x, Y ) < 0 Das heißt für größere Werte von X erhält man eher größere/kleinere Werte von Y.
5.3 Kovarianz und Korrelation 57 Aus der Unabhängigkeit zweier Zufallsvariablen folgt deren Unkorreliertheit aber der Umkehrschluss gilt i. A. nicht! Beweis: E(XY ) x unabh. x x x y f X,Y (x, y) y x y f X (x) f Y (y) y x f X (x) y f Y (y) y EX EY Gegenbeispiel: Seien X B(π ) und Y B(π ) unabhängig. 2 2 Betrachte: Z X + Y Z 2 X Y 0 mit W keit 4 mit W keit 2 2 mit W keit 4 mit W keit 4 0 mit W keit 2 mit W keit 4 Die gemeinsame Wahrscheinlichkeitsfunktion von Z und Z 2 lautet: Klarerweise gilt nicht: f Z,Z 2 (z, z 2 ) z 0 z z 2 f Z2 (z 2 ) z 2 0 /4 0 /4 z 2 0 /4 0 /4 /2 z 2 0 /4 0 /4 f Z (z ) /4 /2 /4 f(z, z 2 ) f(z ) f(z 2 ) für alle z und z 2, d. h. Z, Z 2 sind nicht unabhängig.
58 5 ERWARTUNGSWERTE, VARIANZEN UND KOVARIANZEN Aber E(Z ) E(Z 2 ) 0 E(Z Z 2 ) 0 Cov(Z, Z 2 ) 0 E(Z ) E(Z 2 ) Also sind Z und Z 2 unkorreliert. Während die Kovarianz nicht leicht zu interpretieren ist, ist dies leichter für die Korrelation, da für alle Zufallsvariablenn X, Y gilt: ρ(x, Y ) Dies folgt aus der Cauchy-Schwarzschen Ungleichung: [E(XY )] 2 E(X 2 ) E(Y 2 ) Das heißt, dass die Korrelation in gewisser Weise normiert ist. ρ(x, Y ) gilt genau dann, wenn perfekte lineare Abhängigkeit zwischen X und Y besteht: Y a + b X für bestimmte a und b R mit b 0. Ist b > 0 so ist ρ(x, Y ). Ist b < 0 so ist ρ(x, Y ). Eigenschaften von Kovarianzen: Seien X, Y beliebige Zufallsvariablen und a, b, c, d R, wobei b d > 0. Dann gilt:. Cov(a + bx, c + dy ) b d Cov(X, Y ) Daher: ρ(a + bx, c + dy ) b d Cov(X, Y ) b2 VarX d 2 VarY Cov(X, Y ) VarX VarY ρ(x, Y ) d.h. die Korrelation ist invariant bzgl. linearer Transformationen 2. Cov(X, X) Var(X)
5.3 Kovarianz und Korrelation 59 3. Schließlich gilt für X + Y : Var(X + Y ) E((X + Y ) E(X + Y )) 2 lin. EW ert E(X EX + Y EY ) 2 E(X EX) 2 + E(Y EY ) 2 +2 E [(X EX)(Y EY )] }{{}}{{}}{{} Var(X) Var(Y ) Cov(X,Y ) Insgesamt : Var(X + Y ) Var(X) + Var(Y ) + 2 Cov(X, Y ) Wie bereits erwähnt, gilt für unabhängige X und Y : Var(X + Y ) Var(X) + Var(Y )