Computergestützte Mathematik zur Linearen Algebra Singulärwertzerlegung Achim Schädle Übungsleiter: Lennart Jansen Tutoren: Marina Fischer, Kerstin Ignatzy, Narin Konar Pascal Kuhn, Nils Sänger, Tran Dinh 8. Januar 2015 Achim Schädle (HHU) CompLinA 8. Januar 2015 1
Symmetrische Matrizen Erinnerung: Für A R n,n symmetrisch, dann gilt alle Eigenwerte von A sind reell es gibt eine Orthonormalbasis {q 1,..., q n } von Eigenvektoren von A: Q T AQ = D = diag(λ 1,..., λ n ) wobei Q = [q 1... q n ] orthogonal (Q T Q = QQ T = I ) Es gilt: Rang(A) = p genau dann, wenn genau p Eigenwerte λ j von Null verschieden sind. Achim Schädle (HHU) CompLinA 8. Januar 2015 2
Eigenschaften von A T A Lemma. Es sei A R m,n, m n. 1 A T A ist symmetrisch und positiv semidefinit. 2 A T A ist genau dann positiv definit, wenn kern(a) = {0}. 3 In jedem Fall gilt kern(a T A) = kern(a) bild(a T A) = bild(a T ) = kern(a) Achim Schädle (HHU) CompLinA 8. Januar 2015 3
Beweis A T A symmetrisch ist offensichtlich. Ferner ist x T A T Ax = (Ax) T (Ax) = Ax 2 0 für alle x, d.h. A T A positiv semidefinit und kern(a T A) kern(a). Wegen kern(a) kern(a T A) folgt kern(a T A) = kern(a). bild(a T A) bild(a T ) ist klar, Gleichheit folgt aus dim bild(a T A) = n dim kern(a T A) = n dim kern(a) = rang(a) = dim bild(a) = dim bild(a T ). Seien z bild(a T ) und x kern(a) beliebig, dann gibt es y R m mit z = A T y und x T z = x T A T y = (Ax) T y = 0. Achim Schädle (HHU) CompLinA 8. Januar 2015 4
Singulärwertzerlegung Es sei A R m,n, m n mit Rang(A) = p. λ 1,..., λ n seien die absteigend sortierten Eigenwerte von A T A λ 1 λ 2... λ p > λ p+1 =... = λ n = 0 und v 1,..., v n R n sei eine Orthonormalbasis von Eigenvektoren (von A T A). Definiere u i = 1 Av i, i = 1,..., p, λi dann gilt ui T u j = 1 1 (Av i ) T Av j = 1 vi T (A T A)v j = λ j vi T v j = δ ij λi λj λi λ j λi λ j Achim Schädle (HHU) CompLinA 8. Januar 2015 5
Singulärwertzerlegung II Damit ist {u 1,..., u p } eine Orthonormalbasis von Bild(A), denn dim bild(a) = dim bild(a T A) = rang(a T A) = p Ergänze diese durch weitere m p Vektoren u p+1,..., u m zu einer Orthonormalbasis von R m. Diese Vektoren spannen bild(a) = kern(a T ) auf: A T u i = 1 λi A T Av i = λ i v i, i = 1,..., p A T u i = 0 i = p + 1,..., m Achim Schädle (HHU) CompLinA 8. Januar 2015 6
Singulärwertzerlegung III Definition und Satz. Jede Matrix A K m,n mit rang(a) = p besitzt eine Singulärwertzerlegung, d.h. ein System {σ i, u j, v k i = 1,..., p, j = 1,..., m, k = 1,..., n} mit σ 1 σ 2..., σ p > 0 und Orthonormalbasen {u j } m j=1 und {v k} n k=1 des K m bzw. K n, wobei Av i = σ i u i, A T u i = σ i v i, i = 1,..., p, Av k = 0, A T u j = 0, j, k > p σ i heißen Singulärwerte von A, v i rechte und u i linke Singulärvektoren. Achim Schädle (HHU) CompLinA 8. Januar 2015 7
Singulärwertzerlegung IV In Matrizenschreibweise: U = [u 1,..., u m ] R m,m, σ 1 0 0... Σ =. 0 σ p 0 0 0 0 V = [v 1,..., v n ] R n,n Dann gilt U T U = I, V T V = I und A = UΣV T, A T = V Σ T U T, Σ = U T AV, p p A = σ i u i vi T, A T = σ i v i ui T i=1 i=1 Achim Schädle (HHU) CompLinA 8. Januar 2015 8
Geometrische Interpretation Durchlaufen die Vektoren x = α i v i + α j v j + α k v k, x 2 = α 2 i + α 2 j + α 2 k = 1 die Einheitskugel des Unterraums span{v i, v j, v k }, dann durchlaufen ihre Bilder Ax = σ i α i u i + σ j α j u j + σ k α k u k, = β i u i + β j u j + β k u k, ein Ellipsoid in dem durch u i, u j und u k aufgespannten Teilraum des R m, denn 1 σi 2 βi 2 + 1 σj 2 βj 2 + 1 σk 2 βk 2 = α2 i + αj 2 + αk 2 = 1 (Ellipsoid mit Scheitelpunkten (±σ i, 0, 0), (0, ±σ j, 0), (0, 0, ±σ k ) in den zu (u i, u j, u k ) gehörenden Koordinaten.) Achim Schädle (HHU) CompLinA 8. Januar 2015 9
Beispiel A = [ ] 1 2, Matlab: [U,S,V] = svd(a) 0 2 v 2 v 1 A σ2u 2 σ 1 u 1 Achim Schädle (HHU) CompLinA 8. Januar 2015 10
Eigenwert- / Singulärwertzerlegung Für A R n,n diagonalisierbar gibt es X C n,n nicht singulär mit A = X ΛX 1, Λ = diag(λ 1,..., λ n ) C n,n Für A R m,n beliebig gibt es orthogonale Matrizen U R m,m, V R n,n mit A = UΣV T, Σ = diag(σ 1,..., σ n ) R m,n mit σ i 0. Achim Schädle (HHU) CompLinA 8. Januar 2015 11
Anwendung Satz. Sei A = UΣV T = n i=1 σ iu i v T i A A k 2 A B 2 und A k = k i=1 σ iu i v T. Dann gilt für alle Matrizen B mit rang B = k und A A k = σ k+1. Es gilt auch A k = UΣ k V T mit Σ k = diag(σ 1,..., σ k, 0,..., k) i Anwendung: Datenkompression Achim Schädle (HHU) CompLinA 8. Januar 2015 12
Vektornormen Definition: Eine Abbildung : C n R heißt Vektornorm, wenn 1 x 0 für alle x und x = 0 x = 0 (Positivität) 2 x + y x + y (Dreiecksungleichung) 3 αx = α x Eine Abbildung : C m,n R heißt Matrixnorm, wenn eine Vektornorm ist und zusätzlich 4 AB A B für alle A, B für die AB existiert Achim Schädle (HHU) CompLinA 8. Januar 2015 13
Beispiele/Aufgabe Schreiben Sie eine Matlab-Funktion plotnorm(p), welche die Menge {x R 2 x p 1} plottet. x 1 = n x i i=1 ( n ) 1/2 x 2 = x i 2 = x T x i=1 x = max n x i i=1 ( n ) 1/p x p = x i p (1 p < ) i=1 Achim Schädle (HHU) CompLinA 8. Januar 2015 14
Induzierte Matrixnormen Seien (n) und (m) Vektornorm über R n bzw. R m. Durch A (m,n) = Ax (m) sup = sup Ax x R n \{0} x (m) (n) x R n, x =1 wird eine (von einer Vektornorm) induzierte Matrixnorm auf R m,n definiert. Achim Schädle (HHU) CompLinA 8. Januar 2015 15
Beispiele: A 1 und A Sei A = [a 1 a 2 a n ] C m,n und x 1 = 1: n Ax 1 = x j a j 1 j=1 n j=1 x j a j 1 max 1 j n a j 1 Damit: A 1 max 1 j n a j 1 Für x = e k, wobei k so, dass a k 1 = max 1 j n a j 1, gilt Gleichheit, also A 1 = max 1 j n a j 1 maximale Spaltensummennorm analog: A = max 1 i n A(i, :)T 1 maximale Zeilensummennorm Achim Schädle (HHU) CompLinA 8. Januar 2015 16