Eigenwerte: Auto.eigen<-eigen(cor(Auto.frame))$values round(auto.eigen,digits=4) Kumulierter Anteil

Transkript

1 Korrelationsmatrix: Auto.cor<-cor(Auto.frame) round(auto.cor,digits=4) X1 X2 X3 X4 X5 X6 X7 X X X X X X X MV07f01

2 Eigenwerte: Auto.eigen<-eigen(cor(Auto.frame))$values round(auto.eigen,digits=4) Kumulierter Anteil der erklärten Variation: round(cumsum(auto.eigen/7)*100,digits=2) Eigenvektoren: Auto.eigenvektor12<-eigen(cor(Auto.frame))$vectors[,1:2] round(auto.eigenvektor12,digits=4) MV07f02

3 Faktorenladungen: Auto.Ladung<-Auto.eigenvektor12%*%diag(sqrt(Auto.eigen[1:2])) round(auto.ladung,digits=4) [,1] [,2] X X X X X X X Kommunalitäten: Auto.Kommun<-diag(Auto.Ladung%*%t(Auto.Ladung)) round(auto.kommun,digits=4) MV07f03

4 Restmatrix: Ψ (2) = R Λ (2) Λ t (2) Auto.Rest<-Auto.cor-Auto.Ladung%*%t(Auto.Ladung) round(auto.rest,digits=4) X1 X2 X3 X4 X5 X6 X7 X X X X X X X MV07f04

5 Rotation: Optimale Drehwinkel nach Varimax: α = 21.8 T = ( cos(α) sin(α) sin(α) cos(α) ) = Λ (2) = Λ (2) T ( ) Dreh.mat<-matrix(c(0.9284, , , ), byrow=t, nrow=2) Auto.Dreh.Ladung<-Auto.Ladung%*%Dreh.mat

6 Ladungsmatrix nach der Drehung: round(auto.dreh.ladung,digits=4) [,1] [,2] X X X X X X X MV07f05

7 Hilfe zur Interpretation der Faktoren: +, wenn λ jk > 0.5 f 1 f 2 Anschaffungspreis X 1 + Betriebskosten X 2 + Umfang der Serienausstattung X 3 + Styling der Karosserie X 4 + Prestige der Marke X 5 + Fahrkomfort X 6 + Raumangebot X Faktor: Produktdesign 2. Faktor: Wirtschaftlichkeit MV07f06

8 Darstellung der Variablen vor und nach der Drehung: 2. Faktor X1 X2X3 X6 X4 X7 X5 2. Faktor X1 X2 X3 X6 X4 X7 X5 MV07f Faktor Faktor

9 Faktorenanalyse in R: factanal(auto.frame,factors=2) Call: factanal(x = Auto.frame, factors = 2) Uniquenesses: X1 X2 X3 X4 X5 X6 X Loadings: Factor1 Factor2 X X X X X X X Factor1 Factor2 SS loadings Proportion Var Cumulative Var Test of the hypothesis that 2 factors are sufficient. The chi square statistic is 4.96 on 8 degrees of freedom. The p-value is MV07f08

10 1. Uniquenesses: Spezifische Varianzen, d.h. Var(e j ), j = 1,...,7 2. Loadings: Faktorenladungen. 3. SS loadings: Summe der Quadrate der Faktorenladungen in der Spalte = Varianz, die durch diesen Faktor erklärt wird. 4. Proportion Var: Anteil der Varianz, die durch diesen Faktor erklärt wird. 5.Cumulative Var: Der kumulierte Anteil der erklärten Varianz.

11 6.Test of the hypothesis that 2 factors are sufficient: Nullhypothese: Zwei Faktoren reichen. PG χ 2 [(m p) 2 m p]/2 m = 7,p = 2 = [(7 2) 2 7 2]/2 = 8 PG = 4.96 P-Wert: round(1-pchisq(4.96,8),digits=3) MV07f09

12 Auto.Lade.ML<-factanal(Auto.frame, factors=2) $loadings[,1:2] round(auto.lade.ml,digits=4) Factor1 Factor2 X X X X X X X

13 MV07f10 2. Faktor X1 X2 X3 X6 X4 X7 X Faktor

14 Die Funktion varimax rotiert Ladungsmatrizen varimax(auto.ladung) $loadings [,1] [, 2] X X X X X X X $rotmat [,1] [,2] [1,] [2,] Faktorenladungen nach Rotation Rotationsmatrix MV07f11

15 Die multivariate Normalverteilung Y t = (Y 1,...,Y m ) E(Y ) = µ Var(Y ) = Σ a t = (a 1,...,a m ) U = a t Y univariate ZV mit E(U) = a t µ Var(U) = a t Σa Eine m-dimensionale Zufallsvariable Y hat eine multivariate Normalverteilung, wenn alle Linearkombinationen von Y eine univariate Normalverteilung besitzen. Kap. 2.2: Σ positiv semidefinit Im Gegensatz zu Kap. 2.3: Hier keine weiteren Bedingungen an Σ. Definition über Dichte verlangt Existenz von Σ 1, d.h. Σ voller Rang und somit positiv definit Normalverteilung, für die Σ 1 nicht existiert, heißt singuläre oder degenerierte Normalverteilung.

16 Folgerung aus der Definition: A m p -Matrix und W = A t Y = W N p (A t µ;a t ΣA) Denn: Jede Linearkombination von W ist eine Linearkombination von Y und damit normalverteilt. Univariat: Standardisierung: m = 1 = Y µ σ Jetzt multivariates Analogon: N(0; 1) Y N m (µ; Σ) U N p (0;I p ), wobei p = Rang(Σ) und I p p- dimensionale Einheitsmatrix MV07f12

17 Fall A: Rang(Σ) = m m m-matrix B: Σ = BB t (z.b. Σ = AΛA t = AΛ }{{ 1/2 } Λ} 1/2 {{ A} t ) B B t Wir zeigen Y ist verteilt wie: µ + BU U N m (0;I) = BU N m (0;BB }{{} t ) = µ + BU N m (µ; Σ) Y = µ + BU Inverse Transformation: U = B 1 (Y µ) Y N m (µ; Σ) = E(U) = 0 Var(U) = B ( 1 Σ(B ) 1 ( ) t = B 1 (BB t )(B t ) 1 = B 1 B B t (B t ) 1) = I m Damit gilt U N(0;I m ). Σ MV07f13

18 Fall B: Rang(Σ) = p < m = P, nichtsingulär, so dass PΣP t = ( Ip ) ( ) Σ = P 1 Ip 0 (P 1 ) t 0 0 ( ) P1 P = für p m Matrix P 1 = Rang(P 1 ) = p Q := P 1 Q = [Q 1,Q 2 ], wobei Q 1 (m p)-matrix mit Rang(Q 1 ) = p Σ = Q ( Ip ) Q t = [Q 1,Q 2 ] P 2 ( Ip )( Q t 1 Q t 2 Für Σ mit Rang p gibt es P 1 und Q 1 mit Rang p, so dass ) = Q 1 Q t 1 Σ = Q 1 Q t 1 und P 1 ΣP t 1 = I p MV07f14

19 Rang(Σ) = p < m = Σ = Q 1 Q t 1 P 1 ΣP t 1 = I p Wir zeigen Y ist verteilt wie: µ + Q 1 U U N p (0;I) Q 1 U (m 1) N m (0,Q 1 Q t 1 ) = N m(0, Σ) vom Rang p Y = µ + Q 1 U N m (µ;q 1 Q t 1 ) = N m(µ; Σ) vom Rang p Wenn umgekehrt Y N m (µ; Σ), so gilt mit der p m-matrix P 1 U = P 1 (Y µ) p 1 N p (0;P 1 ΣP t 1 ) = N p(0;i)

20 Y = µ + Q 1 U N m (µ;q 1 Q t 1 ) = N m(µ; Σ) vom Rang p U = P 1 (Y µ) p 1 N p (0;P 1 ΣP t 1 ) = N p(0;i) Die Matrizen P 1 und Q 1 können z.b. so gewählt werden: Rang(Σ) = p < m: Λ Diagonalmatrix Eigenwerte 0 von Σ und A die m p-matrix der zugehörigen Eigenvektoren P 1 = Λ 1/2 A t Q 1 = AΛ 1/2 Rang(Σ) = m Λ Diagonalmatrix der Eigenwerte von Σ und A m m-matrix der zugehörigen Eigenvektoren P 1 = P = Λ 1/2 A t Q 1 = Q = P 1 = B Hauptkomponentenanalyse, transformierte Variablen sind unkorreliert und haben Varianz 1 MV07f15

21 Zusammenfassung: Y N m (µ; Σ) mit Rang p m gilt genau dann, wenn Y = µ + BU, wobei U N p (0;I),BB t = Σ und B ist eine m p-matrix vom Rang p. Wenn Σ vollen Rang hat, ist B eine m m-matrix mit vollem Rang und wir schreiben: U = B 1 (Y µ). MV07f16

22 Eigenschaften der multivariaten Normalverteilung Y N m (µ, Σ) vom Rang m = (Y µ) t Σ 1 (Y µ) χ 2 m m = 1 = [(Y µ)/σ] 2 χ 2 1 U = B 1 (Y µ) mit BB t = Σ und U N(0;I) U t U = m Uj 2 U j N(0; 1) = U t U χ 2 m j=1 U t U = (Y µ) t (B 1 ) t B 1 (Y µ) = (Y µ) t Σ 1 (Y µ) µ 0 µ (Y µ 0 ) t Σ 1 (Y µ 0 ) χ 2 m(δ 2 ) Nichtzentralitätsparmeter: δ 2 = (µ µ 0 ) t Σ 1 (µ µ 0 ) MV07f17

23 Randverteilungen und bedingte Verteilungen Y = ( Y 1 Y 2 ) µ = ( µ1 µ 2 mit Y 1 ein (q 1) Vektor ) Σ = ( Σ11 Σ 12 Σ 21 Σ 22 ) q < m Σ 11 q q Σ 22 (m q) (m q) Σ 12 = Σ t 21 q (m q) Y 1 N q (µ 1 ; Σ 11 ). Y 1 und Y 2 unabhängig Σ 12 = 0. Rang(Σ 22 ) = m q = Y 1 Y 2 = y 2 multivariat Normal mit: E(Y 1 Y 2 = y 2 ) = µ 1 + Σ 12 Σ 1 22 (y 2 µ 2 ) Var(Y 1 Y 2 = y 2 ) = Σ 11 Σ 12 Σ 1 22 Σ 21 MV07f18

24 Bedingte Verteilungen für q = 1 q = 1 = Y 1 = Y 1 E(Y 1 Y 2 = y 2 ) = µ 1 + Σ 12 Σ 1 22 (y 2 µ 2 ) Var(Y 1 Y 2 = y 2 ) = Σ 11 Σ 12 Σ 1 22 Σ 21 Σ 12 Σ 1 22 E(Y 1 Y 2 = y 2 ) = µ 1 + Σ 12 Σ 1 22 (y 2 µ 2 ) 1 (m 1) E(Y 1 Y 2 = y 2 ) = µ 1 + β 2 (y 2 µ 2 ) β m (y m µ m ) Var(Y 1 Y 2 = y 2 ) = 1 σ 11 m = 2 E(Y 1 Y 2 = y 2 ) = µ 1 +ρ σ 1 σ 2 (y 2 µ 2 ) Var(Y 1 Y 2 = y 2 ) = σ 2 1 (1 ρ2 ) MV07f19

25 Zerlegung der unbedingten Varianz: Var(Y 1 Y 2 = y 2 ) = σ 11 Σ 12 Σ 1 22 Σ 21 σ 11 = Σ 12 Σ 1 22 Σ 21 + Var(Y 1 Y 2 = y 2 ) SQ(Total) = SQ(Regression) + SQ(Residuale) MV07f19a

26 Linearkombinationen zufälliger Vektoren: V = n r=1 d r X r X r zufällige Vektoren; d r skalare Konstanten. E(X r ) = µ r, Varianz-Kovarianzmatrix Σ r µ V = E(V ) = n r=1 d r E(X r ) = n r=1 d r µ r Σ V = Var(V ) = n r=1 d 2 rσ r + 2 r<s d r d s cov(x r,x s ) Wenn X r normalverteilt, dann auch V

27 V = n r=1 d r X r Σ V = Var(V ) = n r=1 d 2 rσ r + 2 r<s d r d s cov(x r,x s ) X r unkorreliert und dieselbe Varianz-Kovarianzmatrix Σ d t = (d 1,d 2,...,d n ) n Var(V ) = r=1 d 2 r Σ = (d t d)σ MV07f20

28 X r unkorreliert und dieselbe Varianz-Kovarianzmatrix Σ V = n r=1 d r1 X r W = n r=1 d r2 X r d t i = (d 1i,d 2i,...,d ni ) cov(v,w) = (d t 1 d 2)Σ Wenn X r normalverteilt, so auch V und W. V und W sind unabhängig, wenn d t 1 d 2 = 0.

29 Stichprobenmittelwert: X r N m (µ; Σ) unabhängig X = n r=1 X r /n d r = 1/n X N m ( µ; 1 n Σ ) m = 1 Var( X) = σ 2 /n MV07f21

30 Schätzung der Parameter X erwartungstreuer Schätzer des Parameters µ S erwartungstreuer Schätzer von Σ X multivariate Normalverteilung = X M-L-Schätzer von µ [(n 1)/n]S M-L-Schätzer von Σ Gemeinsame Verteilung von X und S??? Brauchen: Wishart-Verteilung!!! MV07f22

31 Die Wishart-Verteilung Multivariate Verallgemeinerung der χ 2 -Verteilung Seien X r, r = 1, 2,...,f unabhängig und N m (µ r ; Σ). Dann nennt man die f Verteilung der m m-matrix W = X r X t r eine Wishart-Verteilung und r=1 W wird eine Wishart-Matrix genannt. Die Verteilung heißt zentral, wenn alle µ r = 0 und wir schreiben dann: W W m (f, Σ) Andernfalls heißt die Verteilung nichtzentral und wir schreiben: Dabei ist M t = [µ 1,µ 2,...,µ f ]. W W m (f, Σ;M) MV07f23

32 Wishart-Matrix: X t X = X = X t 1 X t 2. X t f W = X t X = (X 1,...,X f ) Y t 1 Y t 2. Y t m X = (Y 1, Y 2,...,Y m ) X t 1. X t f (Y 1,Y 2,...,Y m ) = = f X r X t r = (w ij ) m m r=1 Y t 1Y 1 Y t 1Y 2... Y t 1Y m Y t 2Y 1 Y t 2Y 2... Y t 2Y m Y t my 1 Y t my 2... Y t my m w ij = Y t iy j = f Y ir Y jr = f X ri X rj das (ij)-te Element von W, d.h. W ist die r=1 r=1 zufällige Matrix der (unkorrigierten) Summen der Quadrate und Produkte der Y j. MV07f24

33 Eigenschaften der Wishart-Verteilung: 1. E(W) = fσ + M t M 2. Rang(W) = min(f, m) mit Wahrscheinlichkeit W 1 W m (f 1, Σ;M 1 ) und W 2 W m (f 2, Σ;M 2 ) unabhängig = W 1 + W 2 W m (f 1 + f 2, Σ;M) mit M t = [M1 t Mt 2 ]. 4. W W m (f, Σ;M) und C eine m q-matrix von Konstanten = C t WC W q (f,c t ΣC;MC) Z r = C t X r = C t WC = f C t X r X t rc = f Z r Z t r r=1 Z r unabhängig und Z r N(C t µ r ; C t ΣC). 5. W W m (f, Σ;M) und c ein (m 1)-Vektor von Konstanten = c t Wc σ 2 χ 2 f (δ2 ) wobei σ 2 = c t Σc und σ 2 δ 2 = c t M t Mc r=1 MV07f25

34 X = X t 1 X t 2. X t n X r N m (µ r ; Σ) unabhängig mit E(X t ) = M t = [µ 1,µ 2,...,µ n ] D = [d 1,d 2,...,d n ] n n orthogonal V r = X t d r = (X 1,X 2,...,X n ) d r1 d r2. d rn = n d ri X i, i=1 = V r N m (ν r ; Σ) unabhängig mit ν r = M t d r r = 1, 2,...,n MV07f26

35 6. Die Wishart-Matrix X t X kann in die Summe von unabhängigen Wishart-Matrizen zerlegt werden: s X t X = X t D k Dk t X D k (n n k )-Matrizen mit s k=1 k=1 n k = n. Spalten sind disjunkte Teilmengen einer orthogonalen Matrix D. MV07f26a

36 Gemeinsame Verteilung X und S X r N m (µ; Σ), X t = [X 1,X 2,...,X n ] r = 1, 2,...,n unabhängig und identisch D n n orthogonal; D = [d 1,D 2 ] d t 1 = (1/ n)[1, 1,...,1] unabhängige Wishart-Matrizen X t X = X t d 1 d t 1 X + Xt D 2 D t 2 X V r := X t d r unabhängig, normalverteilt, Kovarianzmatrix Σ V 1 = 1 n n X r = n X MV07f27 r=1 X t d 1 d t 1 X = V 1V t t 1 = n X X n X t D 2 D2 t X = V r V t r = X t X n X X t = (n 1)S r=2

37 X = (1/ n)v 1 = X N m (µ; (1/n)Σ) Verteilung von S??? r > 1 = E(V r ) = E da d t 1 d r = 1 n n s=1 ( n d sr = 0 s=1 d sr X r ) = n s=1 d sr }{{} =0 µ = 0 = 0 Definition einer Wishart-Verteilung = n (n 1)S = V r V t r W m (n 1, Σ) E(S) = Σ r=2 m = 1 X N(µ;σ 2 /n) (n 1)s 2 σ 2 χ 2 n 1 s 2 = (1/(n 1)) n (x r x) 2 MV07f28 r=1