Multivariate Verteilungen. Gerhard Tutz LMU München

Transkript

1 Multivariate Verteilungen Gerhard Tutz LMU München

2 INHALTSVERZEICHNIS 1 Inhaltsverzeichnis 1 Multivariate Normalverteilung 3 Wishart Verteilung 7 3 Hotellings T Verteilung 11 4 Wilks Λ 14

3 INHALTSVERZEICHNIS Abb. 1: Übersicht über multivariate Verteilungen

4 1 MULTIVARIATE NORMALVERTEILUNG 3 1 Multivariate Normalverteilung Ein Zufallsvektor x = (X 1,..., X p ) heißt (nicht entartet) multivariat normalverteilt, x N p (µ, Σ), wenn die Dichte gegeben ist durch { 1 f(x) = (π) 1/ exp 1 } Σ 1/ (x µ)t Σ 1 (x µ), wobei µ T = (µ 1,..., µ p ) = E(x T ) den Erwartungswert und Σ = cov(x) die Kovarianzmatrix des Zufallsvektors x bezeichnet. Vorausgesetzt ist, dass Σ positiv definit ist, Σ bezeichnet die Determinante der Kovarianzmatrix. Alternativ lässt sich die Normalverteilung charakterisieren durch die Projektionen. Ein Zufallsvektor ist normalverteilt, wenn a T x eindimensional normalverteilt ist für jedes a IR p (Für a = wird die entartete Verteilung zugelassen). Faßt man a T x als Projektion auf den Vektor a auf, ergibt sich damit, dass jede beliebige Projektion einer multivariaten Normalverteilung eine eindimensionale Normalverteilung ergibt. Isodensiten Die Isodensiten oder Höhenlinien sind diejenigen Kurven, die dieselbe Dichte besitzen. Für die Normalverteilung sind die Isodensiten Ellipsoide, die bestimmt sind durch wobei c eine beliebige Konstante ist. Die Spektralzerlegung von Σ liefert (x µ) T Σ 1 (x µ) = c, Σ = PLP T und Σ 1 = PL 1 P T, wobei P die orthogonale Matrix der orthonormalen Eigenvektoren ist, und L = Diag (λ 1,..., λ p ) die Diagonalmatrix der Eigenwerte. Damit ergibt sich c = (x µ) T PL 1/ L 1/ P T (x µ) = y T L 1 y = p y i λ i,

5 1 MULTIVARIATE NORMALVERTEILUNG 4 = c ist eine Ellipsoiden- wobei y = P T (x µ). Die Gleichung p yi λ i gleichung mit den Hauptachsenlängen λ i c. Seien die Eigenvektoren bestimmt durch P = (v 1,..., v p ), so sind die Komponenten von y bestimmt durch y = (v T 1 (x µ),..., v T p (x µ)), sind also Projektionen von x µ auf die Eigenwerte v 1,..., v p. Einige Eigenschaften: 1. Gilt x N p (µ, Σ), dann ist y = Ax + b mit (q p) Matrix A und (q 1) Vektor b wiederum normalverteilt mit y N q (Aµ + b, AΣA T ).. Gilt x N p (µ, Σ), dann ist y = Σ 1/ (x µ) standardnormalverteilt, d.h. y N p (, I). Die quadratische Form (x µ)σ 1 (x µ) ist damit χ verteilt, (x µ)σ 1 (x µ) χ (p). 3. Sei x N(µ, Σ) partitioniert in x T = (x T 1, xt ) mit zugehörigen Partitionen µ T = (µ T 1, µ T ), = ( Σ 11 Σ 1 Dann gilt für die bedingte Verteilung wobei Σ 1 Σ ) x x 1 N(µ.1, Σ.1 ), µ.1 = µ + Σ 1 Σ 1 11 (x 1 µ 1 ), Σ.1 = Σ Σ 1 Σ 1 11 Σ 1. Für den Spezialfall x = y (eindimensional), x T 1 = (x 1,..., x p 1 ) gilt Σ = σ y, Σ 1 = (cov(y, x 1 ),..., cov(y, x p )) = Σ T 1 und daher mit σ yxi = cov(y, x i ).

6 1 MULTIVARIATE NORMALVERTEILUNG 5 µ.1 = E(y) + = E(y) p σ yxi (x i µ i )/σy p σ yxi µ i /σy + Σ.1 = σ y Σ 1 Σ 1 11 Σ 1. p σ yxi σy x i Abb. : Zweidimensionale Normalverteilungsdichte für unkorrelierte Merkmale, ρ =, mit µ 1 = µ =, σ 1 = σ = Abb. 3: Zweidimensionale Normalverteilungsdichte, ρ =.8, µ 1 = µ =, σ 1 = σ = 1.

7 1 MULTIVARIATE NORMALVERTEILUNG Abb. 4: Zweidimensionale Normalverteilungsdichte, ρ =.8, µ 1 = µ =, σ 1 = σ = 1.

8 WISHART VERTEILUNG 7 Wishart Verteilung Die Wishart Verteilung ist für Zufallsmatrizen definiert, d.h. für Matrizen, deren sämtliche Komponenten Zufallsvariablen sind. Seien x 1,..., x m N p (, Σ) und unabhängig. Man betrachtet die (p p) Matrix M = m x i x T i = X T X, wobei X = Die (p p) Matrix M = m x i x T i Parametern S und m, M W p (Σ, m). x T 1. x T m. besitzt eine Wishart Verteilung mit den Die Standardform der Verteilung liegt vor, wenn Σ = I gilt. Gilt M = m x i x T i W (Σ, m) erhält man für Σ 1/ MΣ 1/ = m (Σ 1/ x i )(Σ 1/ x i ) T W p (I, m). Anwendung: SSP Matrix X besitzt die Form einer Datenmatrix mit m unabhängigen Wiederholungen einer p dimensionalen normalverteilten Größe. M ist daher die SSP Matrix (Matrix of sums of squares and products). Sei x T i = (x i1,..., x im ), dann gilt x T X = 1. = [x (1),..., x (m) ], x T m wobei x T (j) = (x 1j,..., x mj ) zur Komponente j gehört.

9 WISHART VERTEILUNG 8 Man erhält M = (m ij ) = X T X = x T (1). x T (p) [x (1),..., x (p) ] = x T (1) x (1) x T (1) x ()... x T (1) x (p) x T () x (1). x T (p) x (1) x T (p) x (p) mit x T (j) x (j) = x T (j) x (s) = m x ij. m x ij x is. Empirische Varianz Sind z 1,..., z m unabhängige Wiederholungen von N p (µ, Σ), dann ist z = (z z m )/m ( normalverteilt mit N p (µ, Σ/n) und z 1 z,..., z m z sind verteilt wie N, m 1 ) m Σ, allerdings nicht mehr unabhängig. Die empirische Kovarianzmatrix S = 1 m m (z i z)(z i z) T besitzt für x i = z i x die Struktur der Matrix M. Man erhält als Verteilung ms W p (Σ, m 1), d.h. in mσ sind nur m 1 unabhängige Komponenten enthalten.

10 WISHART VERTEILUNG 9 Eigenschaften: 1. Für p = 1 gilt M = m x i, wobei x i N(, σ ), so dass M/σ = m (x i /σ) eine χ (m) Verteilung besitzt. Die Wishart Verteilung W 1 (σ, m) ist somit äquivalent zur σ χ (m) Verteilung.. Gelte M = X T X W p (Σ, m) und B sei (p q) Matrix, dann gilt mit Y = XB B T MB = B T X T XB = Y T Y W q (B T ˆΣB, m). 3. Als Spezialfall von () ergibt sich die Verteilung von quadratischen Formen. Gilt M W p ( ˆΣ, m) und a ist fester Vektor mit a T ˆΣa, dann gilt a T Ma a T ˆΣa χ (m) = W 1 (a T ˆΣa, m). 4. Gilt M 1 W p ( ˆΣ, m 1 ), M W p ( ˆΣ, m ) und M 1 und M sind unabhängig, dann gilt M 1 + M W p ( ˆΣ, m 1 + m ). 5. Sei X aus n unabhängigen Ziehungen aus N p (, Σ) konstruiert und C sei symmetrische (n n) Matrix. Die Matrix Σ T CX besitzt eine Wishart Verteilung, genau dann, wenn C idempotent ist. Es gilt dann X T CX W p (Σ, r) mit r = rg(c) = tr(c). 6. Als Spezialfall von (5) ergibt sich für die empirische Kovarianzmatrix S = 1 n XT HX mit H = I 1 n 1 n1 T n die Aussage ns W (Σ, n 1), da die Zentrierungs Matrix H den Rang n 1 besitzt.

11 WISHART VERTEILUNG 1 Funktionen von Wishart Verteilungen: Seien A W p (I, m), B W p (I, n), m p dann gilt 1. Λ = A Λ(p, m, n) A + B. Der größte Eigenwert λ von (A + B) 1 B besitzt eine Verteilung mit den Eigenschaften θ(p, m, n) θ(1, m, n) 1 θ(1, m, n) θ(p, m, 1) 1 θ(p, m, 1) = = 1 Λ(1, m, n) Λ(1, m, n) 1 Λ(p, m, 1) Λ(p, m, 1) n F (n, m) m p F (p, m p + 1). m p + 1 Ein anderer Zugang ergibt sich für den größten Eigenwert λ von A 1 B, da λ = λ/(1 + λ) ein Eigenwert von (A + B) 1 B ist. Damit erhält man θ = λ 1 + λ mit λ größter Eigenwert von A 1 B.

12 3 HOTELLINGS T VERTEILUNG 11 3 Hotellings T Verteilung Bestimmung: Sei d N p (, I) und M W p (I, m) und d und M seien unabhängig, dann folgt md T M 1 d T (p, m) Hotellings T Verteilung, wobei p die Dimension des Vektors unabhängiger Normalverteilungen ist und m die Anzahl der Komponenten der Wishart Verteilung. Allgemeiner seien x und M unabhängig mit x N p (µ, Σ), M W p (Σ, m), dann erhält man m(x µ) T M 1 (x µ) T (p, m). Die Aussage ergibt sich aus d = Σ 1/ (x µ) N(, I) und M = Σ 1/ MΣ 1/ W p (I, m) aus m d T M 1 d = m(x µ) T M 1 (x µ). Anwendung: Sei x = 1 n x i N(µ, Σ/n) der Mittelwert aus n unabhängigen normalverteilten Zufallsvariablen x i N(µ, Σ) und S = 1 n n (x i x)(x i x) T n die empirische Kovarianzmatrix. Dann gilt (n 1)( x µ) T S 1 ( x µ) T (p, n 1). Die Aussage ergibt sich aus ns W p (Σ, n 1) und n 1/ ( x µ) N(µ, Σ) aus (n 1)n 1/ ( x µ) T (ns) 1 n 1/ ( x µ) = (n 1)( x µ) T S 1 ( x µ).

13 3 HOTELLINGS T VERTEILUNG 1 Für den Spezialfall p = 1 ergibt sich (n 1)( x µ) T S 1 ( x µ) ( x µ) = n 1 n 1 (x i x) i ( ) x µ = s/ T (1, n 1). n Weitere Eigenschaften und Anwendungen: 1. T und t-verteilung Die T (1, m) Verteilung entspricht dem Quadrat der t(m) Verteilung und damit der F (1, m) Verteilung.. T und F Verteilung Genereller gilt eine Äquivalenz zwischen der T Verteilung und der F Verteilung in der Form bzw. T (p, m) ˆ={(mp)/(m p + 1)}F (p, m p + 1). F (p, s) = s s + p 1 T (p, s + p 1) 3. Verteilung der empirischen Mahalanobis Distanz zwischen x und µ. Aus () folgt wegen (n 1)( x µ) T S 1 ( x µ) T (p, n 1) n p ( x µ) T S 1 (x µ) p F (p, n p). 4. Verteilung der empirischen Mahalanobis Distanz für zwei Stichproben. Aus unabhängigen Stichproben x (i) 1,..., x(i) n i N(µ i, Σ i ), i = 1, erhält man die Mittelwerte und empirischen Kovarianzen x i = 1 n i ni j=1 x(i) j, S i = 1 n i ni j=1 (x(i) j x i )(x (i) j x i ) T

14 3 HOTELLINGS T VERTEILUNG 13 und mit der gepoolten Matrix S = (n 1 S 1 +n S )(n ) die quadrierte Mahalanobis Distanz Gilt µ 1 = µ, Σ 1 = Σ, so folgt D = ( x 1 x ) T S 1 ( x 1 x ). n 1 n n 1 + n D T (p, n ) bzw. n 1 n (n p 1) D F (p, n p 1). n(n )p 5. T ist invariant gegenüber Transformationen t(x) = Ax + b, wobei A eine nichtreguläre Matrix ist.

15 4 WILKS Λ 14 4 Wilks Λ Wilks Λ Verteilung erhält man aus zwei unabhängigen Wishart verteilten Größen A W p (I, m), B W p (I, n), m p. Die Größe Λ = A Λ(p, m, n) A + B folgt der Wilks Verteilung Λ(p, m, n) mit Parametern p, m, n. Durch Erweitern mit A 1 folgt wegen AB = A B für Λ die Darstellung Λ = I + A 1 B 1. Eigenschaften: 1. Für den eindimensionalen Spezialfall A χ (1), B χ (1) ergibt sich die Beta Verteilung Λ(1, 1, 1) ˆ= B(.5,.5).. Für p = 1 besitzt A eine χ (m) Verteilung und B eine χ (n) Verteilung, so dass Λ(1, m, n) = B(m/, n/). 3. Die Verteilungen Λ(p, m, n) und Λ(n, m + n p, p) sind identisch. 4. Die Verteilung von Λ(p, m, n) ist identisch der Verteilung des Produkts u 1... u n, wobei u i Beta ((m + i p)/, p/), i = 1,..., n. 5. Die Verteilung von Λ(p, m, 1) ist äquivalent zu B((m+1 p)/, p/). 6. Weiter gilt 1 Λ(p, m, 1) Λ(p, m, 1) 1 Λ(1, m, n) Λ(1, m, n) p F (p, m p + 1). m p + 1 n F (n, m). m