Kapitel 6. Lineare Algebra in R. Vorlesung Programmieren in statistischer Software: R Sommersemester 2009

Transkript

1 Vorlesung Programmieren in statistischer Software: R Sommersemester 2009 Kapitel 6,,,, weitere nützliche Funktionen Christian Foliengestaltung von Martin Dörr

2 Inhalt dieses Abschnitts 1 in R 2 3 Beispiel zur 4 5 Funktionen Beispiele

3 Voraussetzung: die Matrix A ist reell, symmetrisch und positiv definit In der Statistik arbeiten wir häufig mit solchen Matrizen, z.b. im linearen Modell mit der Produktsummenmatrix X X, wenn X die Designmatrix der Kovariablen ist. Die erlaubt die Berechnung einer Matrix-Wurzel. in R Beispiel zur

4 : siehe Jede symmetrische positiv definite Matrix A R n n (positiv definit bedeutet, dass x Ax > 0 x R n 1, x 0) kann eindeutig in der Form A = LDL geschrieben werden. Dabei ist L eine untere Dreiecksmatrix (und L eine obere Dreiecksmatrix), deren Diagonalelemente alle gleich 1 sind und D eine Diagonalmatrix mit positiven Einträgen. Mit der Matrix-"Wurzel"von D und dem Matrix-Faktor G, definiert durch und D = D 1/2 D 1/2 G = LD 1/2, wird die Cholesky-Zerlegung äquivalent auch formuliert als A = GG. Liegt eine Berechnung der Cholesky-Zerlegung vor, so lässt sich das Gleichungssystem Ax = b effizient durch Vorwärts- und Rückwärtseinsetzen lösen: Durch Vorwärtseinsetzen Lösung des linearen Gleichungssystems Gy = b Durch anschließendes Rückwärtseinsetzen Lösung des linearen Gleichungssystems G x = y. Es werden nur etwa halbsoviele Operationen gebraucht wie beim Gauss-Jordan-Verfahren (LR-Zerlegung). in R Beispiel zur

5 in R In R die Funktion chol(a) die obere Dreiecksmatrix R zurück, d.h. es gilt R R = A Beispiel: A <- matrix(nrow=2, ncol=2, data=c(1,0.5,0.5,1) ) R <- chol(a) print(r) [1,] [2,] und B <- t(r) %*% R print(b) wieder die Originalmatrix A: [1,] [2,] in R Beispiel zur

6 In R wird die Funktion chol2inv zur Verfügung gestellt, die eine bereits mit chol() zerlegte Matrix für die Inversion verwendet. Beispiel: Ainv <- chol2inv(r) print(ainv) print(a %*% Ainv) print(ainv %*% A) > print(ainv) [1,] [2,] > print(a %*% Ainv) [1,] e+00 0 [2,] e-16 1 > print(ainv %*% A) [1,] e-16 [2,] e+00 Man sieht, dass hier schon die Numerik am Computer zuschlägt, d.h. das Produkt aus A und A 1 ergibt nicht exakt die Einheitsmatrix. in R Beispiel zur

7 mittels Ist X ein p 1 (Spalten-)Vektor von unabhängigen und standard Zufallsvariablen, d.h. cov(x) = I p mit I p Einheitsmatrix der Dimension p, und C eine p p Kovarianzmatrix mit C = R R (um die R-Version zu verwenden), dann gilt für den Vektor Y = R X: er ist p-dimensional multivariat normalverteilt mit Kovarianzmatrix Alternativ: cov(y) = cov(r X) = R cov(x)r = R R = C. cov(y ) = cov(x R) = R cov(x )R = R R = C Ist X eine n p Matrix von unabhängigen und standard Zufallsvariablen, so gilt: Y = XR mit Y Matrix mit n Zeilen und p Spalten, wobei jede Zeile einen Vektor aus einer p-dimensionalen multivariaten Normalverteilung mit Kovarianzmatrix C enthält. in R Beispiel zur

8 Beispiel zur set.seed(1789) C <- matrix(nrow=2, ncol=2, data=c(2,1,1,2) ) R <- chol(c) n < p <- 2 X <- matrix(nrow=n, ncol=p, data=rnorm(n*p) ) Y <- X %*% R print(cov(x)) print( cov(y) ) > print(cov(x)) [1,] [2,] > print( cov(y) ) [1,] [2,] in R Beispiel zur

9 Implementation im R Paket mvtnorm Funktion: rmvnorm(n, mean = rep(0, nrow(sigma)), sigma = diag(length(mean)), method="chol") Andere Zerlegungen (eigen und svd) stehen ebenfalls zur Verfügung Für Simulationen benötigt man oft korrelierte Variablen. Verwendet man für das Argument sigma direkt eine Korrelationsmatrix, so erhält man korrelierte Variablen mit diesen paarweisen Korrelationen. Achtung: es ist, bei größeren Dimensionen, oft sinnvoll zu überprüfen, ob man wirklich eine korrekte Korrelationsmatrix gewählt hat (die Korrelationen können nicht beliebig sein!) Beispiel: # Äqui-Korrelationsmatrix set.seed(1789) C <- matrix(nrow=5, ncol=5, data=0.5) diag(c) <- 1 X <- rmvnorm(n=1000, sigma=c ) print(cor(x)) > print(cor(x)) [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] in R Beispiel zur

10 der Voraussetzung: eine beliebige Matrix A R n p (kann sogar Matrix komplexer Zahlen sein, wir beschränken uns auf reelle Zahlen) : jede Matrix A mit Rang r läßt sich zerlegen als A = UDV Dabei gilt: U (n r) und V (r p) sind orthogonale Matrizen, d.h. U U = I r, V V = I r. D (r r) ist eine Matrix mit den Singulärwerten auf der Diagonalen. In der Standardeinstellung arbeitet R mit r = min(n, p). in R Beispiel zur

11 # SVD A <- matrix(nrow=2, ncol=3, data=c(1,2,3,4,5,6)) print(a) svda <- svd(a) print(svda) print(svda$u %*% diag(svda$d) %*% t(svda$v) ) > # SVD > A <- matrix(nrow=2, ncol=3, data=c(1,2,3,4,5,6)) > print(a) [,3] [1,] [2,] > svda <- svd(a) > print(svda) $d [1] $u [1,] [2,] $v [1,] [2,] [3,] > print(svda$u %*% diag(svda$d) %*% t(svda$v) ) [,3] [1,] [2,] in R Beispiel zur

12 # SVD A <- matrix(nrow=3, ncol=2, data=c(1,2,3,4,5,6)) print(a) svda <- svd(a) print(svda) print(svda$u %*% diag(svda$d) %*% t(svda$v) ) > # SVD > A <- matrix(nrow=3, ncol=2, data=c(1,2,3,4,5,6)) > print(a) [1,] 1 4 [2,] 2 5 [3,] 3 6 > svda <- svd(a) > print(svda) $d [1] $u [1,] [2,] [3,] $v [1,] [2,] > print(svda$u %*% diag(svda$d) %*% t(svda$v) ) [1,] 1 4 [2,] 2 5 [3,] 3 6 in R Beispiel zur

13 : Rangabfall # SVD: A mit Rang kleiner min(n,p) A <- matrix(nrow=3, ncol=2, data=c(1,2,3,2,4,6)) print(a) svda <- svd(a) print(svda) print(svda$u %*% diag(svda$d) %*% t(svda$v) ) > # SVD: A mit Rang kleiner min(n,p) > A <- matrix(nrow=3, ncol=2, data=c(1,2,3,2,4,6)) > print(a) [1,] 1 2 [2,] 2 4 [3,] 3 6 > svda <- svd(a) > print(svda) $d [1] e e-16 $u [1,] [2,] [3,] $v [1,] [2,] > print(svda$u %*% diag(svda$d) %*% t(svda$v) ) [1,] 1 2 [2,] 2 4 [3,] 3 6 in R Beispiel zur

14 : Rangabfall, die Zweite A <- matrix(nrow=3, ncol=2, data=c(1,2,3,2,4,6)) print(a) svda <- svd(a, nu=1, nv=1) print(svda) print(svda$u %*% diag(svda$d[1], nrow=1) %*% t(svda$v) ) > # SVD: A mit Rang kleiner min(n,p) > A <- matrix(nrow=3, ncol=2, data=c(1,2,3,2,4,6)) > print(a) [1,] 1 2 [2,] 2 4 [3,] 3 6 > svda <- svd(a, nu=1, nv=1) > print(svda) $d [1] e e-16 $u [,1] [1,] [2,] [3,] $v [,1] [1,] [2,] > print(svda$u %*% diag(svda$d[1], nrow=1) %*% t(svda$v) ) [1,] 1 2 [2,] 2 4 [3,] 3 6 in R Beispiel zur

15 Eigenvektoren Ausgangspunkt ist eine quadratische Matrix A R p p Die Eigenwerte λ i und Eigenvektoren γ i erfüllen die Bedingung Aγ i = λ i γ i, Die Eigenwerte können komplexe Zahlen sein i = 1,..., p In der Statistik interessieren wir uns speziell für die sogenannte von symmetrischen und quadratischen Matrizen in R Beispiel zur

16 Ausgangspunkt ist eine symmetrische, quadratische Matrix A R p p Die Eigenwerte einer symmetrischen Matrix sind reell Jede symmetrische Matrix A R p p kann dargestellt werden als A = ΓΛΓ, Λ: Diagonalmatrix der Eigenwerte Γ: orthogonale Matrix der standardisierten Eigenvektoren (z.b. Γ Γ = I) Folgerungen u.a.: Γ AΓ = Λ Ist A positiv definit, sind alle Eigenwerte größer 0 Ist A positiv (semi-)definit, sind alle Eigenwerte größer oder gleich 0 Rang von A entspricht der Anzahl Eigenwerte, die ungleich 0 sind Es lassen sich Potenzen bilden, wenn alle Eigenwerte positiv sind. Z.B. gilt A 1/2 = ΓΛ 1/2 Γ Damit läßt sich also auch eine Matrixwurzel definieren. Statistische Anwendung z.b. in der Hauptkomponentenanalyse (PCA), Dimensionsreduktion in R Beispiel zur

17 Beispiel: einer Korrelationsmatrix # einer Korrelationsmatrix C <- matrix(nrow=3, ncol=3, data=0.5) C[1,2] =C[2,1] <- 0.7 C[2,3] = C[3,2] <- 0.9 diag(c) <- 1 print(c) [,3] [1,] [2,] [3,] Eigenwertzerlegung: sz <- eigen(c) # Matrix der Eigenvektoren Gamma <- sz$vectors # Diagonalmatrix der Eigenwerte Lambda <- diag( sz$values ) # Test, ob sich wieder C ergibt test <- Gamma %*% Lambda %*% t(gamma) print(test) > print(test) [,3] [1,] [2,] [3,] in R Beispiel zur

18 einer Korrelationsmatrix: Fortsetzung # Matrixwurzel von C wurzelc <- Gamma %*% Lambda^{0.5} %*% t(gamma) print(wurzelc) [,3] [1,] [2,] [3,] > print(wurzelc %*% wurzelc) [,3] [1,] [2,] [3,] in R Beispiel zur

19 Test, ob eine Korrelationsmatrix vorliegt C <- matrix(nrow=3, ncol=3, data=0.5) C[1,2] =C[2,1] <- 0.7 C[2,3] = C[3,2] < diag(c) <- 1 print(c) sz <- eigen(c) print(sz) > print(sz) $values [1] $vectors [,3] [1,] [2,] [3,] Damit ist C keine Korrelationsmatrix (ein Eigenwert ist kleiner 0)! in R Beispiel zur

20 Nur exemplarisch: (Überbestimmtes) Geichungssystem lautet x 1 + x 2 + x 3 = 6 2x 1 + x 2 x 3 = 1 4x 1 x 2 + 2x 3 = 8 x 1 + x 2 + 2x 3 = 7 Allgemein: Ax = b von A (Q orthogonal, d.h. Q Q = I, R obere Dreiecksmatrix) : QRx = b bzw. Rx = Q b Lösen dieses Gleichungssystems durch Rückwärtseinsetzen. in R Beispiel zur

21 Gleichungssysteme in R # (Überbestimmtes) Gleichungssystem lösen A <- matrix(nrow=4, ncol=3, data=c(1,2,4,-1, 1,1,-1,1, 1,-1,2,2) ) b <- matrix(nrow=4, ncol=1, data=c(6,1,8,7) ) # Achtung: solve geht nicht, # denn es erwartet ein quadratisches A loesung <- qr.solve(a,b) print(loesung) > print(loesung) [,1] [1,] 1 [2,] 2 [3,] 3 ansehen: qra <- qr(a) print(qr.q(qra)) print(qr.r(qra)) > print(qr.q(qra)) [,3] [1,] [2,] [3,] [4,] > print(qr.r(qra)) [,3] [1,] [2,] [3,] in R Beispiel zur

22 Gleichungssysteme: Beispiel 2 (Überbestimmtes) Geichungssystem lautet und hat keine Lösung! x 1 + x 2 + x 3 = 6 2x 1 + x 2 x 3 = 0 4x 1 x 2 + 2x 3 = 8 x 1 + x 2 + 2x 3 = 7 in R Beispiel zur

23 Gleichungssysteme in R # (Überbestimmtes) Gleichungssystem ohne Lösung A <- matrix(nrow=4, ncol=3, data=c(1,2,4,-1, 1,1,-1,1, 1,-1,2,2) ) b <- matrix(nrow=4, ncol=1, data=c(6,0,8,7) ) # Achtung: solve geht nicht, # denn es erwartet ein quadratisches A loesung <- qr.solve(a,b) print(loesung) > print(loesung) [,1] [1,] [2,] [3,] Dies entspricht der KQ-Lösung: kq <- lm( b ~ 0 + A ) print(kq) > print(kq) Call: lm(formula = b ~ 0 + A) Coefficients: A1 A2 A in R Beispiel zur

24 Funktionen Kondition einer Matrix: Quotient aus größtem und kleinstem Eigenwert Äussere Produkte von Vektoren Kronecker Produkt in R Beispiel zur

25 Funktionen, Beispiele Matrix mit schlechter Kondition # kappa X <- matrix(nrow=3, ncol=3, data=0.9999) diag(x)<- 1 print(x) cond <- kappa(x, exact=true) print(cond) ev <- eigen(x)$values print(ev[1] / ev[3]) > print(x) [,3] [1,] [2,] [3,] > cond <- kappa(x, exact=true) > print(cond) [1] > ev <- eigen(x)$values > print(ev[1] / ev[3]) [1] in R Beispiel zur

26 Funktionen, Beispiele Äusseres Produkt zweier Vektoren x und y (im Beispiel: y = x) x <- 1:5 print(outer(x,x)) print(outer(x,x,fun="+")) > print(outer(x,x)) [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] > print(outer(x,x,fun="+")) [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] in R Beispiel zur

27 Funktionen, Beispiele Kronecker Produkt zweier Matrizen (hier: Erzeugung einer blockdiagonalen Matrix) A <- matrix(nrow=2,ncol=2, data=c(1,2,3,4), byrow=t) B <- diag(1,3) print(a) print(b) print( kronecker(b,a) ) > print(a) [1,] 1 2 [2,] 3 4 > print(b) [,3] [1,] [2,] [3,] > print( kronecker(b,a) ) [,3] [,4] [,5] [,6] [1,] [2,] [3,] [4,] [5,] [6,] in R Beispiel zur