2.Tutorium Multivariate Verfahren

Transkript

1 2.Tutorium Multivariate Verfahren - Multivariate Verteilungen - Hannah Busen: und Nicole Schüller: und Institut für Statistik, LMU München 1 / 21

2 Gliederung 1 Mehrdimensionale Zufallsvariablen 2 Multivariate Verteilungen 3 Verteilungs-Überblick 4 Multivariate Schätzung 5 Rechenregeln für Matrizen 2 / 21

3 Mehrdimensionale Zufallsvariablen Gliederung 1 Mehrdimensionale Zufallsvariablen 2 Multivariate Verteilungen 3 Verteilungs-Überblick 4 Multivariate Schätzung 5 Rechenregeln für Matrizen 3 / 21

4 Mehrdimensionale Zufallsvariablen p-dimensionale Zufallsvariable X: X 1 X p X =., wobei X 1,..., X p Zufallsvariablen Komponentenweiser Erwartungswert(vektor): E(X 1 ) µ 1 µ = E(X) =. =. E(X p ) µ p 4 / 21

5 Mehrdimensionale Zufallsvariablen Kovarianz: Σ = Cov(X) = E[(X µ)(x µ) ] = cov(x 1, X 1 )... cov(x 1, X p )..... cov(x p, X 1 )... cov(x p, X p ) Korrelation: σ 1 P = (ρ ij ) pxp = D 1 ΣD 1 mit D =... σ p da ρ ij = cov(x i,x j ) var(xi ) var(x j ) 5 / 21

6 Multivariate Verteilungen Gliederung 1 Mehrdimensionale Zufallsvariablen 2 Multivariate Verteilungen 3 Verteilungs-Überblick 4 Multivariate Schätzung 5 Rechenregeln für Matrizen 6 / 21

7 Multivariate Verteilungen Multivariate Normalverteilung x heißt p-dimensional normalverteilt mit Erwartungswert µ und Kovarianzmatrix Σ: x N p (µ, Σ) Dichte: 1 f (x) = exp( 1 (2π) p/2 Σ 1/2 2 (x µ) Σ 1 (x µ)) Insbesondere ist in x =. jede Komponente X i X 1 X p normalverteilt: X i N(µ i, σ 2 i ) 7 / 21

8 Multivariate Verteilungen Wishartverteilung M heißt wishart-verteilt mit Kovarianzmatrix Σ und m Freiheitsgraden: M W p (Σ, m) Zusammenhang zur p-dimensionalen Normalverteilung: Seien x 1,..., x m iid Np (0, Σ) Sei weiterhin M = m i=1 x ix i R pxp Dann gilt: M W p (Σ, m) Eindimensionales Pendant: X 2 -Verteilung 8 / 21

9 Multivariate Verteilungen Hotellings T 2 -Verteilung X ist Hotelling-T 2 -verteilt mit p und m Freiheitsgraden: X T 2 (p, m) Zusammenhang zur p-dimensionalen Normalverteilung und Wishartverteilung: Sei d N p (0, Σ) und M W p (I, m) d und M seien unabhängig Dann gilt: md M 1 d T 2 (p, m) Eindimensionales Pendant: Student-t-Verteilung 9 / 21

10 Verteilungs-Überblick Gliederung 1 Mehrdimensionale Zufallsvariablen 2 Multivariate Verteilungen 3 Verteilungs-Überblick 4 Multivariate Schätzung 5 Rechenregeln für Matrizen 10 / 21

11 Verteilungs-Überblick Univariate Verteilungen N, ² X ~ N 0,1 M = i=1 m X i 2 X M /m =m1/2 X M 1/ 2 t m Verteilung ² Verteilung M ~ m 2 11 / 21

12 Verteilungs-Überblick Multivariate Verteilungen N p, X ~ N p 0, I p m M = i=1 X i X i T m X T M 1 X Hotellings T² T² p, m Wishart M ~W p I p,m 12 / 21

13 Multivariate Schätzung Gliederung 1 Mehrdimensionale Zufallsvariablen 2 Multivariate Verteilungen 3 Verteilungs-Überblick 4 Multivariate Schätzung 5 Rechenregeln für Matrizen 13 / 21

14 Multivariate Schätzung Schätzung für µ = E(X) Gegeben sei die Datenmatrix X x x x 1p X = 1. =..... x n1... x np x n Schätzung des Erwartungswerts mittels des Mittelwertsvektors n x = 1 i=1 x i1 x 1. n =. n i=1 x ip x p 14 / 21

15 Multivariate Schätzung Schätzung der Kovarianzmatrix Σ (Vektordarstellung) Erwartungstreuer Schätzer S S = 1 n 1 n i=1 Alternativer Schätzer (x i x)(x i x) = 1 n 1 ˆΣ = n 1 n S = 1 n ( n ) x i x i n x x i=1 ( n ) x i x i n x x i=1 15 / 21

16 Multivariate Schätzung Schätzung der Kovarianzmatrix Σ (Matrixdarstellung) Betrachte Zentrierungsmatrix H: H = I n 1 n 1 n1 n = n HX enthält zentrierte Daten Erwartungstreuer Schätzer S S = 1 n 1 (HX) (HX) = 1 n 1 X H HX = 1 n 1 X HX H ist idempotent und symmetrisch 16 / 21

17 Multivariate Schätzung Eigenschaften von S Erwartungstreue E(S) = Σ Verteilung von S Wenn x N p (µ, Σ), dann gilt: (n 1)S = n (x i x)(x i x) W p (Σ, n 1) i=1 17 / 21

18 Rechenregeln für Matrizen Gliederung 1 Mehrdimensionale Zufallsvariablen 2 Multivariate Verteilungen 3 Verteilungs-Überblick 4 Multivariate Schätzung 5 Rechenregeln für Matrizen 18 / 21

19 Rechenregeln für Matrizen Rechenregeln für Matrizen (A + B) = A + B = B + A (A B) = B A (A B) 1 = B 1 A 1 (A ) 1 = (A 1 ) A (B + C) = AB + AC (A + B) C = AC + BC x Ay = y A x = (x Ay) (x y) A = x A y A 19 / 21

20 Rechenregeln für Matrizen Binomische Formel Erinnerung: Binomische Formel mit Skalaren (a + b) 2 = a 2 + 2ab + b 2 Falls A symmetrisch (x y) A(x y) = x Ax 2x Ay + y Ay 20 / 21

21 Rechenregeln für Matrizen Ableitungsregeln y x x x Ay A x Ax x = y = xy = (A + A ) x A symmetrisch (A + A ) x = 2Ax = 2A x 21 / 21