1 Multivariate Zufallsvariablen

Transkript

1 1 Multivariate Zufallsvariablen 1.1 Multivariate Verteilungen Definition 1.1. Zufallsvariable, Zufallsvektor (ZV) Sei Ω die Ergebnismenge eines Zufallsexperiments. Eine (univariate oder eindimensionale) Zufallsvariable X ist eine Funktion X : Ω R, d.h. eine Abbildung von Ω in die reellen Zahlen. X ordnet jedem Ergebnis ω Ω eine Zahl x R zu. Eine (multivariate oder mehrdimensionale) Zufallsvariable oder Zufallsvektor X = (X 1,..., X d ) ist eine Funktion X : Ω R d. X ordnet jedem Ergebnis ω Ω ein d-tupel von Zahlen (Vektor) x = (x 1,..., x d ) R d zu. Zufallsvektor: gemeinsame Darstellung d univariater Zufallsvariablen Beispiel 1.2. Zweidimensionale Zufallsvariable X 1 ordne jeder Person einer Grundgesamtheit (GG) ihre Körpergröße (in cm) zu, X 2 sei das Körpergewicht (in kg). Insgesamt wird der ZVektor X = (X 1, X 2 ) betrachtet. Streudiagramm: Stichprobe von n = 100 Personen (Beobachtungen von X) Koerpergewicht Koerpergroesse 6

2 Die folgende Definition d-variater Verteilungs- und Dichtefunktionen verallgemeinert die entsprechenden Begriffe für univariate Zufallsvariablen. Wiederum unterscheiden wir diskrete und stetige Verteilungen. Es gibt auch Mischformen (ZVektoren mit diskreten und stetigen Komponenten) und ZVektoren, die weder stetige noch diskrete Komponenten haben (für die Anwendung weniger interessant). Definition 1.3. Verteilungsfunktion, Dichte Die Verteilungsfunktion beschreibt die Wahrscheinlichkeit, dass der ZV X = (X 1,..., X d ) Werte aus einem bestimmten Bereich annimmt, F(x) = P(X x) = P(X 1 x 1,..., X d x d ), x = (x 1,..., x d ) R d. Anschaulicher wird die Verteilung eines ZVs durch ihre Dichte oder ihre Wahrscheinlichkeitsfunktion beschrieben. Dichte von X (falls X stetig verteilt): so dass f (x) = f (x 1,..., x d ), und F(x) = R d f (t)dt = x f (t)dt =... xd... x1 f (t 1,..., t d )dt 1... dt d f (t 1,..., t d )dt 1... dt d = 1. Umgekehrt gilt in allen Stetigkeitspunkten x von f : f (x) = d F(x) x 1... x d. Wahrscheinlichkeitsfunktion (oder diskrete Dichte) von X (falls X diskret verteilt): p(x) = P(X = x) = P(X 1 = x 1,..., X d = x d ), 7

3 wobei der Träger T X = {x : P(X = x) > 0} höchstens abzählbar viele Elemente besitzt. In diesem Falle und t F(x) = F(x 1,..., x d ) = t 1 x 1... t d x d P(X 1 = t 1,..., X d = t d ) p(t) = t 1... t d p(t 1,..., t d ) = 1. Definition 1.4. Gemeinsame Verteilung, Randverteil., bedingte Verteil. Für X = (X 1, X 2 ) mit X 1 = (X 1,..., X k ) und X 2 = (X k+1,..., X d ) k- und (d k)-variaten ZVen heißt F mit F(x) = P(X x) gemeinsame Verteilungsfunktion von X 1 und X 2. Randverteilung (Marginalverteilung) von X 1 : F 1 (x 1 ) = P(X 1 x 1 ) = F(x 1,..., x k,,..., ) Dichte (der Randverteilung) von X 1 : f 1 (x 1 ) = f (x 1, x 2 )dx 2 =... f (x 1, x k+1,..., x d ) dx k+1... dx d. bzw. bei diskreten Verteilungen: p 1 (x 1 ) = x k+1... x d p(x 1, x k+1,..., x d ). Bedingte Dichte von X 2 gegeben X 1 = x 1 : f 2 (x 2 x 1 ) = f (x 1, x 2 ) f 1 (x 1 ) falls f 1 (x 1 ) > 0. Die letzte Definition gilt für stetige und diskrete Dichten gleichermaßen. 8

4 Beispiel 1.5. Sei X = (X 1, X 2 ) (d = 2) mit gemeinsamer Dichte f (x 1, x 2 ) = 1 [0,1] [0,1] (x 1, x 2 ) Randdichten von X 1 und X 2 : f 1 (x 1 ) = f 2 (x 2 ). Bedingte Dichte von X 2 gegeben X 1 = x 1 : f 2 (x 2 x 1 ) = Nun habe X = (X 1, X 2 ) für ein 1 < c < 1 die gemeinsame Dichte f (x 1, x 2 ) = 1 + c(2x 1 1)(2x 2 1), 0 x 1, x 2 1 Randdichten von X 1 und X 2 : f 1 (x 1 ) = Bedingte Dichte von X 2 gegeben X 1 = x 1 : f 2 (x 2 x 1 ) = Definition 1.6. Wir nennen X 1 und X 2 unabhängig, falls F(x 1, x 2 ) = F 1 (x 1 ) F 2 (x 2 ) für alle (x 1, x 2 ) R d. Satz 1.7. Folgende Aussagen sind äquivalent: 1 X 1 und X 2 sind unabhängig. f (x 1, x 2 ) = f 1 (x 1 ) f 2 (x 2 ) für alle x 1, x 2. f 2 (x 2 ) = f 2 (x 2 x 1 ) für alle x 1 mit f 1 (x 1 ) > 0. (Gilt für stetige und diskrete Dichten.) 1 Messbarkeitsfragen werden in dieser Vorlesung vernachlässigt. 9

5 Definition 1.8. Erwartungswert (Momente erster Ordnung) Sei X = (X 1,..., X d ) ein d-variater ZV mit Dichte f. Der Erwartungswert(vektor) von X ist E(X 1 ) E(X) =. = x 1 f 1 (x 1 )dx 1. =: µ E(X d ) x d f d (x d )dx d Satz 1.9. Eigenschaften des Erwartungswerts Der Erwartungswert ist linear: für a, b R und A R k d, b R k gilt E(aX + by) = ae(x) + be(y), E(AX + b) = AE(X) + b. Für X und Y unabhängig: E(XY ) = E(X)E(Y). Beispiel Sei X = (X 1, X 2 ) (d = 2) mit gemeinsamer Dichte f (x 1, x 2 ) = 1 [0,1] [0,1] (x 1, x 2 ). Erwartungswertvektor von X: E(X) = E X 1 + X 2 = E X 1 X 2 X 1 X 2 = Definition Kovarianz, Korrelation (Momente zweiter Ordnung) Seien X = (X 1,..., X d ) ein d-variater und Y ein k-variater ZV. Kovarianz zwischen X i und X j, 1 i, j d: Cov(X i, X j ) = E([X i E(X i )][X j E(X j )]) = E(X i X j ) E(X i )E(X j ) =: σ ij 10

6 Kovarianzmatrix von X: Var(X) = Σ = E([X E(X)][X E(X)] ) = σ 11 σ σ 1d σ 21 σ σ d 1,d σ d1... σ d,d 1 σ dd Schreibweise: X (µ, Σ). Korrelation zwischen X i und X j, 1 i, j d: Cor(X i, X j ) = σ ij σii σ jj =: ρ ij Korrelationsmatrix von X: ρ 11 ρ ρ 1d ρ 21 ρ P = ρ d 1,d ρ d1... ρ d,d 1 ρ dd Kovarianzmatrix von X und Y: Cov(X, Y) = E([X E(X)][Y E(Y)] ) = Σ X,Y R d k Für Z = X gilt: Σ Z = Σ X Y Σ Y,X Σ X,Y Σ Y. Satz Für d- bzw. k-variate ZVen X und Y gilt: Σ X 0 (d. h. x Σ X x 0 für alle x R p ) Σ X = Var(X) = 11

7 Σ X,Y = Cov(X, Y) = Σ X,Y = Cov(X, Y) = Cov(Y, X) = Σ Y,X Var(AX + b) = Erinnerung univariat: var(ax + b) = Cov(X + Y, Z) = Cov(X, Y + Z) = Var(X + Y) = Cov(AX, BY) = Für X und Y unabhängig Cov(, ) ist biliniear (linear in jedem Argument). Beispiel Aus Unkorreliertheit folgt umgekehrt nicht die Unabhängigkeit, wie man z.b. aus dem Beispiel X N(0, 1) und Y = X 2 sieht: 12

8 Cov(X, Y) = Definition Bedingte Erwartungen Sei X 1 = (X 1,..., X k ), X 2 = (X k+1,..., X d ) Der bedingte Erwartungswert von X 2 gegeben X 1 = x 1 ist E(X k+1 X 1 = x 1 ) xk+1 f k+1 x1 (x k+1 x 1 )dx k+1 E(X 2 X 1 = x 1 ) =. =. E(X d X 1 = x 1 ) xd f d x1 (x d x 1 )dx d ((d k)-variate Funktion von x 1 R k ), die bedingte Kovarianzmatrix von X 2 gegeben X 1 = x 1 ist Var(X 2 X 1 = x 1 ) = E(X 2 X 2 X 1 = x 1 ) E(X 2 X 1 = x 1 )E(X 2 X 1 = x 1 ). Die bedingte Korrelation zwischen X i und X j gegeben X 1 = x 1 ist ρ i,j X1 =x 1 = Cov(X i, X j X 1 = x 1 ) Var(X i X 1 = x 1 )Var(X j X 1 = x 1 ) Beispiel Gegeben sei die Dichte f (x 1, x 2, x 3 ) = 2 3 (x 1 + x 2 + x 3 )1 [0,1] [0,1] [0,1] (x 1, x 2, x 3 ). Randdichten: f 1,3 (x 1, x 3 ) = f 3 (x 3 ) = 13

9 Bedingte Dichten: f 1,2 3 (x 1, x 2 x 3 ) = Momente: f 1 3 (x 1 x 3 ) = E(X i ) = 5 9, E(X2 i ) = 7 18, E(X ix j ) = 11 36, 1 i = j 3 Kovarianzmatrix: Σ = Var(X) = Korrelation: 13/162 1/324 1/324 1/324 13/162 1/324 1/324 1/324 13/162 ρ 12 = Bedingte Momente: E(X 1 X 3 = x 3 ) = 6x (x 3 + 1) E(X 2 1 X 3 = x 3 ) = 4x (x 3 + 1) E(X 1 X 2 X 3 = x 3 ) = 3x (x 3 + 1) Bedingte Kovarianzmatrix von (X 1, X 2 ) gegeben X 3 = x 3 : 12x x (x 3 + 1) (x 3 + 1) 2 Σ 12 3 = Bedingte Korrelation: 1 12x 2 144(x 3 + 1) x (x 3 + 1) 2 1 ρ 12 X3 =x 3 = 12x3 2 [ , ] + 24x

10 Bemerkung Die bedingte Erwartung E(X 2 X 1 ) =: h(x 1 ) heißt auch Regressionsfunktion von X 2 gegeben X 1. Es gilt = E[E(X 2 X 1 )] Var(X 2 ) = E[Var(X 2 X 1 )] + Var[E(X 2 X 1 )] Notation Bisher: E(X 2 X 1 = x 1 ), jetzt neue Notation: E(X 2 X 1 ) Gemeint ist: definiere Funktion h( ) durch h(x 1 ) := E(X 2 X 1 = x 1 ), wende Funktion h( ) auf X 1 an h(x 1 ) ist ZV (hat Verteilung, Erwartungswert, Varianz,... ). Vorsicht: h(x 1 ) = E(X 2 X 1 = X 1 ). Beispiel Sei (X 1, X 2 ) mit f 1 (x 1 ) = 2x 1, 0 x 1 1, und f 2 1 (x 2 x 1 ) = x 1 1 exp( x 2 /x 1 ), x 2 0. gemeinsame Dichte: f (x 1, x 2 ) = Momente von X 1 : E(X 1 ) = Var(X 1 ) = 1/18 Momente von X 2 (ohne Berechnung von f 2 ): E(X 2 X 1 ) = Var(X 2 X 1 ) = E(X 2 ) = Var(X 2 ) = = 5/9 15

11 Satz Seien X 1 und X 2 p- bzw. d-variate ZVen. Unter allen Funktionen h(x 1 ) : R p R d minimiert E(X 2 X 1 ) den mittleren quadratischen Fehler (mean squared error, MSE) MSE(h) = E([X 2 h(x 1 )] [X 2 h(x 1 )]). Für den Approximationsfehler U = X 2 E(X 2 X 1 ) gilt E(U) = Empirische Kennzahlen von Stichproben Gegeben seien Beobachtungen x 1,..., x n, x i = (x i1,..., x id ), von d-variatem Merkmal X = (X 1,..., X d ). Datenmatrix: x x 1d X =..... = x 1. Rn d x n1... x nd x n Definition Empirische Kennzahlen Sei x 1,..., x n eine Stichprobe eines d-variaten Zufallsvektors. Empirische Lage- und Streuungskennzahlen: Arithmetisches Mittel: x = 1 n n x i = i=1 1 n n i=1 x i,1. 1 n n i=1 x i,d. Empirische Kovarianzmatrix: s 11 s s 1d S = 1 n n 1 (x i x)(x i x) s 21 s = i= s d 1,d s d1... s d,d 1 s dd 16

12 Empirische Korrelation: r ij = s ij sii s jj, 1 i, j d. Empirische Korrelationsmatrix: r 11 r r 1d r 21 r R = r d 1,d r d1... r d,d 1 r dd Beispiel Kennzahlen (Fortsetzung von Bsp. 1.2) Koerpergewicht Koerpergroesse Seien wieder X 1 und X 2 Körpergröße und Körpergewicht. Stichprobe: x 1,..., x 100 mit x i = (x i,1, x i,2 ) (Größe, Gewicht i-te Person). Mittlere Lage: x = 1 n n i=1 x i = ( 1 n n i=1 x i,1, 1 n n i=1 x i,2 ) = (174.9, 76.7). Empirische Kovarianzmatrix S = Empirische Korrelationsmatrix R =

13 Bemerkung Berechnung empirischer Kennzahlen Arithmetisches Mittel: x = 1 n n x i = 1 n X 1 n i=1 Empirische Kovarianzmatrix: S = ˆΣ = 1 n n n 1 ˆΣ mit n x i x i x x = 1 n X X x x = 1 n (X X 1 n X 1 n 1 nx) i=1 = 1 n X H n X, wobei H n = I n 1 n 1 n1 n (Zentrierungsmatrix). H n ist symmetrisch und idempotent. (Damit sieht man unmittelbar, dass S symmetrisch und nicht-negativ definit ist.) Empirische Korrelationsmatrix: R = D 1/2 SD 1/2 mit D = diag(s 11,..., s dd ) ( ) D 1/2 = diag( 1 1 s11,..., sdd ) Bemerkung Lineare Transformation Sei Y = AX eine linear transformierte ZVe, mit A R k d. Für die entsprechende Datenmatrix y y 1d Y =..... gilt dann: Y = XA. y n1... y nd Arithmetisches Mittel: y = n 1 Y 1 n = Ax Empirische Kovarianzmatrix: S y = n 1 Y H n Y = AS x A 18

14 Beispiel Messen wir nun die Körpergröße in Zoll statt in cm (1 inch = 2.54 cm), und das Gewicht in Pfund (1 lb = 0,4536 kg). A = y = S y = Bemerkung Seien X 1,..., X n eine Zufallsstichprobe unabhängiger, identisch wie X verteilter ZVen mit Erwartungswert µ und Kovarianzmatrix Σ, X das arithmetische Mittel und S die empirische Kovarianzmatrix der ZVen. Es gilt E(X) = µ Var(X) = E(S) = 1 n Σ 1 n 1 E [ n i=1 X i X i nx X ] = Σ 1.3 Kurze Erinnerung an das Wichtigste aus linearer Algebra Satz Jordan sche Spektralzerlegung (Eigenwertzerlegung) Jede symmetrische (d d)-matrix A kann zerlegt werden in A = VΛV, wobei Λ = diag(λ 1,..., λ d ) 19

15 eine Diagonalmatrix mit den Eigenwerten von A und V = (v 1,..., v d ) eine Orthogonal-Matrix zugehöriger Eigenvektoren ist. Beispiel A = Λ = V = Beispiel S = Λ = V = Korollar Zu jeder symmetrischen, nicht-negativ definiten (d d)-matrix A gibt es genau eine Matrix A 1/2, so dass A = A 1/2 A 1/2. Diese Matrix ist gegeben durch A 1/2 = VΛ 1/2 V, 20

16 wobei Λ und V wie in Satz Satz Singulärwertzerlegung Jede (d k)-matrix A mit Rang r kann zerlegt werden in A = VΛW, wobei die Diagonalmatrix Λ = diag( λ 1,..., λ r ) die von Null verschiedenen Eigenwerte von AA und A A enthält, und V = (v 1,..., v r ) sowie W = (w 1,..., w r ) Spalten-orthogonale Matrizen mit den zugehörigen je r Eigenvektoren dieser beiden Matrizen sind, V V = I r = W W. Definition Sei A eine (d k)-matrix. Eine verallgemeinerte Inverse (G- Inverse) A erfüllt AA A = A. Eine G-Inverse von A ist mit Satz 1.30 A = WΛ 1 V. Definition Mahalanobis-Transformation: Falls S invertierbar, so nennt man die spezielle lineare Transformation mit y i = S 1/2 (x i x), i = 1,..., n, Mahalanobis-Transformation; in Matrix- Notation: Y = (Y 1 n x )S 1/2. Für die so transformierten Messwerte gilt y = 0 und S y = I d. Beispiel Körpergröße, Gewicht S 1/2 = 21