Herleitung der Hauptkomponenten: Y t = (Y 1,..., Y m ) Erwartung:µ Kovarianz:Σ. Z j = a 1j Y 1 + a 2j Y a mj Y m = a t j Y

Transkript

1 Herleitung der Hauptkomponenten: Y t = (Y 1,..., Y m ) Erwartung:µ Kovarianz:Σ Z j = a 1j Y 1 + a 2j Y a mj Y m = a t j Y a t j = (a 1j, a 2j,..., a mj ) Z 1, Z 2,...,Z m unkorreliert Varianzen fallen mit wachsendem Index j = 1,..., m a t j a j = m k=1 a 2 kj = 1. MV04f01

2 1. Hauptkomponente: Z 1 : Finde a 1 so, dass Nebenbedingung: Zielfunktion: Var(Z 1 ) = Var(a t 1Y ) a t 1 a 1 = 1 Maximum!! Var(a t 1 Y ) = at 1 Σa 1 Rückblick, Mathe: f(y 1,...,y m ) zu maximieren! λ, Lagrange Multiplikator, so dass in stationären Punkten y 0 gilt: Nebenbedingung g(y 1,...,y m ) = c f y i (y 0 ) λ g y i (y 0 ) = 0 i = 1,..., m L(y, λ) = f(y) λ[g(y) c] L y (y 0) = 0 MV04f02

3 L(a 1 ) = a t 1Σa 1 λ(a t 1a 1 1) (a t 1Σa 1 ) a 1 = 2Σa 1 L a 1 = 2Σa 1 2λa 1 = 0 (Σ λi)a 1 = 0 Dabei ist I = I m m die m-dimensionale Einheitsmatrix. Nach Theorem (Mathe) hat das homogene Gleichungssystem genau dann nichttriviale Lösungen a 1 0, wenn (Σ λi)a 1 = 0 det(σ λi) = 0 λ Eigenwert von Σ MV04f03

4 Eigenwerte Lösungen der Gleichung: det(σ λi) = 0 Gleichung ist Polynom n-ter Ordnung in λ, das m Nullstellen hat, die Eigenwerte λ 1, λ 2,..., λ m genannt werden. λ i c i Eigenvektor: Σc i = λ i c i Eigenvektoren gewöhnlich normiert, damit sie eindeutig sind: c t ic i = 1 MV04f04

5 Eigenschaften von Eigenwerten und Eigenvektoren a) m λ i = Spur(Σ) i=1 b) m λ i = det(σ) i=1 c) Σ reelle symmetrische Matrix, Eigenwerte und Eigenvektoren reell d) Σ positiv definit, alle Eigenwerte strikt positiv e) Σ positiv semidefinit, Rang(Σ) = p < m, p positive und m-p Eigenwerte =0 f) λ i λ j c i und c j orthonormiert MV04f04

6 g) m m-matrix C = (c 1,..., c m ) Eigenvektoren in den Spalten x = Cy C t C = I C t ΣC = Λ = λ λ λ m Dabei ist p = Rang(Σ) Aus C t ΣC = Λ folgt: x t Σx = y t C t ΣCy = y t Λy = λ 1 y λ p y 2 p Spektralzerlegung von Σ Σ = CΛC t = λ 1 c 1 c t λ pc p c t p MV04f04

7 Beispiel: Bestimmung der Eigenwerte und Eigenvektoren Σ = ( 1 1/2 1/2 1 ) det(σ λi) = det ( 1 λ 1/2 1/2 1 λ ) = (1 λ) 2 1/4 = λ 2 2λ + 3/4 Nullstellen: λ 1,2 = 1 ± 1 3/4, d.h. λ 1 = 3/2 und λ 2 = 1/2 Zu jedem Eigenwert λ i gehört ein Vektor c i, der Eigenvektor genannt wird, für den gilt: Σc i = λ i c i (Σ λ i I) c i = 0 Für λ 1 = 3/2 das Gleichungssystem (Σ 3/2I)c 1 = 0 zu lösen. MV04f04a

8 (Σ 3/2I)c 1 = 0 0.5c c 12 = 0 0.5c c 12 = 0 Das bedeutet c 11 = c 12, d.h jeder Vektor c t 1 = (c 11, c 11 ) ist eine Lösung. Für λ 2 = 1/2 ist das Gleichungssystem (Σ 1/2I)c 2 = 0 0.5c c 22 = 0 0.5c c 22 = 0 c 21 = c 22 Jeder Vektor c t 2 = (c 21, c 21 ) ist eine Lösung. Normierung: c t i c i = 1 c t 1 = (1/ 2, 1/ 2) c t 2 = (1/ 2, 1/ 2) MV04f04a

9 Bestimmung der ersten Hauptkomponente: Var(Z 1 ) = Var(a t 1Y ) = a t 1Σa 1 Max!! L(a 1 ) = a t 1Σa 1 λ(a t 1a 1 1) L a 1 = 2Σa 1 2λa 1 = 0 (Σ λi)a 1 = 0 λ muss ein Eigenwert sein und a 1 ein Eigenvektor Var(a t 1Y ) = a t 1Σa 1 = a t 1λIa 1 = λa t 1Ia 1 = λa t 1a 1 = λ Maximum!! λ = λ 1 (1. Eigenwert) a 1 (1. Eigenvektor) MV04f05

10 2. Hauptkomponente: Z 2 = a t 2Y a t 2a 2 = 1 Cov(Z 2, Z 1 ) = Cov(a t 2 Y, at 1 Y ) = E[at 2 (Y µ)(y µ)t a 1 ] = a t 2 Σa 1 = 0 Σa 1 = λ 1 a 1 a t 2a 1 = 0 Var(Z 2 ) = a t 2Σa 2 Maximum unter Nebenbedingungen: a t 2a 2 = 1 a t 2a 1 = 0 L(a 2 ) = a t 2 Σa 2 λ(a t 2 a 2 1) δa t 2 a 1 L a 2 = 2(Σ λi)a 2 δa 1 = 0 von links mal a t 1 2a t 1Σa 2 2λ a t 1a 2 }{{} =0 δ a t 1a 1 }{{} =1 = 2a t 1Σa 2 δ = 0 MV04f06

11 2a t 1Σa 2 δ = 0 0 = Cov(Z 2, Z 1 ) = a t 2Σa 1 = a t 1Σa 2 a t 1Σa 2 = 0 δ = 0 L a 2 = 2(Σ λi)a 2 δa 1 = 0 (Σ λi)a 2 = 0 Damit eine nichttriviale Lösung existiert, muss λ ein Eigenwert sein. Var(Z 2 ) = a t 2Σa 2 = a t 2λIa 2 = λa t 2a 2 = λ soll maximiert werden. λ = λ 2 a 2 2. Eigenvektor 2. Hauptkomponente: Z 2 = a t 2 Y MV04f07

12 1. Hauptkomponente: Z 1 = a t 1Y, wobei a 1 der zu λ 1 gehörige Eigenvektor 2. Hauptkomponente: Z 2 = a t 2Y, wobei a 2 der zu λ 2 gehörige Eigenvektor 3. Hauptkomponente: Z 3 = a t 3 Y, wobei a 3 der zu λ 3 gehörige Eigenvektor usw. Die Eigenwerte sind der Größe nach zu ordnen. Bei identischen Eigenwerten ist darauf zu achten, dass die zugehörigen Eigenvektoren orthogonal sind. MV04f07a

13 A m m = [a 1,...,a m ] Spalten sind die Eigenvektoren Z = (Z 1, Z 2,..., Z m ) t = A t Y Var(Z) = Λ = Vektor der Hauptkomponenten λ λ λ m Var(Z) = Var(A t Y ) = A t ΣA Λ = A t ΣA Σ = AΛA t MV04f08 m Var(Z i ) = i=1 m λ i = Spur(Λ) i=1

14 Var(Z) = A t ΣA = Λ = λ λ λ m m Var(Z i ) = i=1 m λ i = Spur(Λ) i=1 Spur(Λ) = Spur(A t (ΣA)) = Spur((ΣA)A t ) m = Spur(Σ) = Var(Y i ) i=1 MV04f08

15 m m Var(Z i ) = Var(Y i ) i=1 i=1 m m Var(Z i ) = i=1 i=1 Anteil der i-ten Hauptkomponente an der Totalvariation: λ i λ i / m j=1 λ j Anteil der ersten p Hauptkomponenten an der Totalvariation: p / m λ j j=1 j=1 λ j MV04f09

16 cov(teil01.frame) Groesse Schuh Gewicht Groesse Schuh Gewicht eigen(cov(teil01.frame)) $values [1] $vectors Gewicht Schuh Groesse Groesse Schuh Gewicht MV04f10

17 eigen(cov(teil01.frame)) $values [1] Eigenwerte: λ 1 = λ 2 = λ 3 = 2.01 $vectors Gewicht Schuh Groesse Groesse Schuh Gewicht Eigenvektoren: a t 1 = ( , , ) a t 2 = ( , , ) a t 3 = ( , , ) MV04f10a

18 Hauptkomponenten: HK1 = Groesse Schuh Gewicht HK2 = Groesse Schuh Gewicht HK3 = Groesse Schuh Gewicht In R: Eigenvektoren<-eigen(cov(teil01.frame))$vectors HK1<-as.matrix(teil01.frame)%*%Eigenvektoren[,1] HK2<-as.matrix(teil01.frame)%*%Eigenvektoren[,2] HK3<-as.matrix(teil01.frame)%*%Eigenvektoren[,3] Einfacher: as.matrix(teil01.frame)%*%eigenvektoren MV04f11

19 Die Kovarianzmatrix der Hauptkomponenten: cov(cbind(hk1,hk2,hk3)) [,1] [,2] [,3] [1,] e e e-15 [2,] e e e-14 [3,] e e e+00 In der Diagonalen stehen die Eigenwerte. Die Kovarianzen, Werte außerhalb der Diagonalen, sind nahezu Null. MV04f11a

20 Anteile an der Totalvariation: Eigenwerte<-eigen(cov(teil01.frame))$values Eigenwerte [1] print(round(eigenwerte/sum(eigenwerte)*100,digits=2)) [1] Die 1. Hauptkomponente Z 1 erklärt 89.8% der Variation, die 2. erklärt 9.53% der Variation. print(round(cumsum(eigenwerte)/sum(eigenwerte)*100,digits=2)) [1] Die beiden ersten Hauptkomponenten Z 1 und Z 2 erklären zusammen 99.32% der Variation. MV04f12

21 Verwendung der Korrelationsmatrix cor(teil01.frame) Groesse Schuh Gewicht Groesse Schuh Gewicht eigen(cor(teil01.frame)) $values [1] $vectors Gewicht Schuh Groesse Groesse Schuh Gewicht MV04f13

22 eigen(cor(teil01.frame)) $values [1] Eigenwerte: λ 1 = 2.61 λ 2 = 0.24 λ 3 = 0.15 $vectors Gewicht Schuh Groesse Groesse Schuh Gewicht Eigenvektoren: a t 1 = ( , , ) a t 2 = ( , , ) a t 3 = ( , , ) MV04f13a

23 Summe der Eigenwerte bei Verwendung der Korrelationsmatrix cor(teil01.frame) Groesse Schuh Gewicht Groesse Schuh Gewicht eigen(cor(teil01.frame)) $values [1] Summe der Diagonalelemente in der Korrelationsmatrix und damit auch die Summe der Eigenwerte ist 3! Der Beitrag der j-ten Hauptkomponente an der Totalvariation ist λ j /3. MV04f13b

24 Anteile an der Totalvariation eigen(cor(teil01.frame)) $values [1] Der Beitrag der j-ten Hauptkomponente an der Totalvariation ist λ j /3. Anteile in Prozent: eigen(cor(teil01.frame))$values*100/ Kumierte Anteile: cumsum(eigen(cor(teil01.frame))$values*100)/ Die 1. Hauptkomponente erklärt 87%, die zweite 8%, zusammen erklären sie 95% der Variation. MV04f13c

25 Berechnung der Hauptkomponenten bei Verwendung der Korrelationsmatrix Voraussetzung: Daten sind standardisiert, d.h. wir müssen durch die Standardabweichnungen dividieren! Standardabweichungen: sqrt(diag(cov(teil01.frame))) Groesse Schuh Gewicht stand<-sqrt(diag(cov(teil01.frame))) > diag(1/stand) [,1] [,2] [,3] [1,] [2,] [3,] MV04f13d

26 Standardisierung der Datenmatrix: K = 1/s /s /s m X = XK ist die standardisierte Datenmatrix. In R: teil01stand.frame<-as.matrix(teil01.frame)%*%diag(1/stand) > cov(teil01stand.frame) [,1] [,2] [,3] [1,] [2,] [3,] MV04f14

27 Berechnung der Hauptkomponenten in R: teil01stand.frame%*%eigen(cor(teil01.frame))$vectors HK1 HK2 HK MV04f15

28 Mittelwertkorrektur: Z = A t Y Z = A t (Y µ) Datenmatrix so verändern: (X 1µ t ) > mitte<-mean(teil01.frame) > mitte Groesse Schuh Gewicht > eins<-rep(1,nrow(teil01.frame)) > eins [1] [38] [75] [112] [149] [186] [223]

29 Mittelwertkorrektur in R: teil01.frame-eins%*%t(mitte) Groesse Schuh Gewicht

30 Berechnung der Hauptkomponenten in R: (as.matrix(teil01.frame) - eins%*%t(mitte))%*%eigenvektoren Gewicht Schuh Groesse MV04f16

31 R-Funktion prcomp prcomp(teil01.frame) Standard deviations: Rotation: PC1 PC2 PC3 Groesse Schuh Gewicht

32 prcomp(x, retx = TRUE, center = TRUE, scale. = FALSE, tol = NULL) aus<-prcomp(teil01.frame) # Ausgabe in aus gespeichert > aus$sdev # Standardabweichungen = Wurzel(Eigenwerte) [1] aus$rotation # Eigenvektoren PC1 PC2 PC3 Groesse Schuh Gewicht

33 aus$x # Hauptkomponenten PC1 PC2 PC MV04f17

34 R-Funktion princomp Usage: princomp(x, cor = FALSE, scores = TRUE, covmat = NULL, subset = rep(true, nrow(as.matrix(x)))) princomp(teil01.frame) Call: princomp(x = teil01.frame) Standard deviations: Comp.1 Comp.2 Comp variables and 226 observations. MV04f18

35 Elemente der Ausgabeliste von princomp: princomp returns a list with class "princomp"containing the following components: sdev: the standard deviations of the principal components. loadings: the matrix of variable loadings (i.e., a matrix whose columns contain the eigenvectors). center: the means that were subtracted. scale: the scalings applied to each variable. n.obs: the number of observations. scores: if scores = TRUE, the scores of the supplied data on the principal components. call: the matched call. MV04f19