Singulärwert-Zerlegung Zu jeder komplexen (reellen) m n-matrix A existieren unitäre (orthogonale) Matrizen U und V mit s 1 0 U AV = S = s 2.. 0.. Singulärwert-Zerlegung 1-1
Singulärwert-Zerlegung Zu jeder komplexen (reellen) m n-matrix A existieren unitäre (orthogonale) Matrizen U und V mit s 1 0 U AV = S = s 2.. 0.. Die singulären Werte s 1 s 2 s k > s k+1 = = 0 sind die Wurzeln der Eigenwerte von A A und k ist der Rang von A. Singulärwert-Zerlegung 1-2
Singulärwert-Zerlegung Zu jeder komplexen (reellen) m n-matrix A existieren unitäre (orthogonale) Matrizen U und V mit s 1 0 U AV = S = s 2.. 0.. Die singulären Werte s 1 s 2 s k > s k+1 = = 0 sind die Wurzeln der Eigenwerte von A A und k ist der Rang von A. Die Spalten u j von U und v j von V bilden orthonormale Basen aus Eigenvektoren von AA bzw. A A, und es gilt Av j = s j u j Singulärwert-Zerlegung 1-3
Mit Hilfe der Singulärwertzerlegung lässt sich die lineare Abbildung x y = Ax in der Form y = k i=1 s i (v i x)u i darstellen. Daraus folgt insbesondere, dass Kern A = span{v k+1,..., v n }, Bild A = span{u 1,..., u k }. Singulärwert-Zerlegung 1-4
Mit Hilfe der Singulärwertzerlegung lässt sich die lineare Abbildung x y = Ax in der Form y = k i=1 s i (v i x)u i darstellen. Daraus folgt insbesondere, dass Kern A = span{v k+1,..., v n }, Bild A = span{u 1,..., u k }. Schließlich ist A 2 = s 1 und A 2 F = j,k a j,k 2 = s 2 1 + + s2 k. Singulärwert-Zerlegung 1-5
Beweis: (i) Konstruktion: Singulärwert-Zerlegung 2-1
Beweis: (i) Konstruktion: A A hermitesch und positiv semidefinit = V A AV = diag(s1, 2..., sk 2, 0,..., 0) Singulärwert-Zerlegung 2-2
Beweis: (i) Konstruktion: A A hermitesch und positiv semidefinit = V A AV = diag(s 2 1,..., s 2 k, 0,..., 0) = S t S, V V = E (Eigenwerte s 2 j absteigend sortiert) Singulärwert-Zerlegung 2-3
Beweis: (i) Konstruktion: A A hermitesch und positiv semidefinit = V A AV = diag(s 2 1,..., s 2 k, 0,..., 0) = S t S, V V = E (Eigenwerte sj 2 absteigend sortiert) Spalten von AV orthogonal mit Norm s i = AV = ( s 1 u 1 s k u k 0 0 ) = US mit einer unitären Matrix U; die Spalten u k+1,..., u m ergänzen u 1,..., u k zu einer orthonormalen Basis Singulärwert-Zerlegung 2-4
Beweis: (i) Konstruktion: A A hermitesch und positiv semidefinit = V A AV = diag(s 2 1,..., s 2 k, 0,..., 0) = S t S, V V = E (Eigenwerte sj 2 absteigend sortiert) Spalten von AV orthogonal mit Norm s i = AV = ( s 1 u 1 s k u k 0 0 ) = US mit einer unitären Matrix U; die Spalten u k+1,..., u m ergänzen u 1,..., u k zu einer orthonormalen Basis Darstellung A = USV Singulärwert-Zerlegung 2-5
(ii) Rang: Singulärwert-Zerlegung 2-6
(ii) Rang: Invarianz des Ranges unter unitären Transformationen = Rang A = Rang S = k Singulärwert-Zerlegung 2-7
(ii) Rang: Invarianz des Ranges unter unitären Transformationen = (iii) Av j = s j u j : Rang A = Rang S = k Singulärwert-Zerlegung 2-8
(ii) Rang: Invarianz des Ranges unter unitären Transformationen = (iii) Av j = s j u j : folgt aus mit e j dem j-ten Einheitsvektor Rang A = Rang S = k A = USV, V v j = e j, Se j = s j e j Singulärwert-Zerlegung 2-9
(ii) Rang: Invarianz des Ranges unter unitären Transformationen = (iii) Av j = s j u j : folgt aus mit e j dem j-ten Einheitsvektor (iv) y = i s i(v i x)u i: Rang A = Rang S = k A = USV, V v j = e j, Se j = s j e j Singulärwert-Zerlegung 2-10
(ii) Rang: Invarianz des Ranges unter unitären Transformationen = (iii) Av j = s j u j : folgt aus mit e j dem j-ten Einheitsvektor (iv) y = i s i(vi x)u i: folgt aus (iii) und x = i Rang A = Rang S = k A = USV, V v j = e j, Se j = s j e j (v i x)v i (Darstellung bzgl. einer orthonormalen Basis) Singulärwert-Zerlegung 2-11
(ii) Rang: Invarianz des Ranges unter unitären Transformationen = (iii) Av j = s j u j : folgt aus mit e j dem j-ten Einheitsvektor (iv) y = i s i(vi x)u i: folgt aus (iii) und x = i Rang A = Rang S = k A = USV, V v j = e j, Se j = s j e j (v i x)v i (Darstellung bzgl. einer orthonormalen Basis) (v) A 2 = s 1, A 2 F = s2 1 + + s2 k : Singulärwert-Zerlegung 2-12
(ii) Rang: Invarianz des Ranges unter unitären Transformationen = (iii) Av j = s j u j : folgt aus mit e j dem j-ten Einheitsvektor (iv) y = i s i(vi x)u i: folgt aus (iii) und x = i Rang A = Rang S = k A = USV, V v j = e j, Se j = s j e j (v i x)v i (Darstellung bzgl. einer orthonormalen Basis) (v) A 2 = s 1, A 2 F = s2 1 + + s2 k : folgt aus der Invarianz euklidischer Normen unter unitären Transformationen Singulärwert-Zerlegung 2-13
Beispiel: Berechnung der Singulärwert-Zerlegung von 6 5 8 A = 6 5 8 6 5 8 6 5 8 Singulärwert-Zerlegung 3-1
Beispiel: Berechnung der Singulärwert-Zerlegung von 6 5 8 A = 6 5 8 6 5 8 6 5 8 (i) Bestimmung von V : 144 0 192 A t A = 0 100 0 192 0 256 Singulärwert-Zerlegung 3-2
Beispiel: Berechnung der Singulärwert-Zerlegung von 6 5 8 A = 6 5 8 6 5 8 6 5 8 (i) Bestimmung von V : 144 0 192 A t A = 0 100 0 192 0 256 Eigenwert 100 mit Eigenvektor (0, 1, 0) t Singulärwert-Zerlegung 3-3
Beispiel: Berechnung der Singulärwert-Zerlegung von 6 5 8 A = 6 5 8 6 5 8 6 5 8 (i) Bestimmung von V : 144 0 192 A t A = 0 100 0 192 0 256 Eigenwert 100 mit Eigenvektor (0, 1, 0) t Spalte 3 = (4/3) Spalte 1 Eigenwert 0 mit Eigenvektor (4, 0, 3) t /5 Spur A = 500 Eigenwert 500 100 0 = 400 mit orthogonalem Eigenvektor Singulärwert-Zerlegung 3-4
absteigende Sortierung der singulären Werte (Wurzeln der Eigenwerte von A t A 20 0 0 3/5 0 4/5 V = 0 1 0, S = 0 10 0 0 0 0 4/5 0 3/5 0 0 0 Singulärwert-Zerlegung 3-5
absteigende Sortierung der singulären Werte (Wurzeln der Eigenwerte von A t A 20 0 0 3/5 0 4/5 V = 0 1 0, S = 0 10 0 0 0 0 4/5 0 3/5 0 0 0 (ii) Bestimmung von U: Singulärwert-Zerlegung 3-6
absteigende Sortierung der singulären Werte (Wurzeln der Eigenwerte von A t A 20 0 0 3/5 0 4/5 V = 0 1 0, S = 0 10 0 0 0 0 4/5 0 3/5 0 0 0 (ii) Bestimmung von U: 10 5 0 AV = 10 5 0 10 5 0 10 5 0 Normierung (Division durch s 1, s 2 ) Spalte 1 und 2 von U: 1/2 1/2 u 1 = 1/2 1/2, u 2 = 1/2 1/2 1/2 1/2 Singulärwert-Zerlegung 3-7
Ergänzung zu einer orthogonalen Basis 1 1 1 1 U = 1 1 1 1 1 2 1 1 1 1 1 1 1 1 Singulärwert-Zerlegung 3-8
Ergänzung zu einer orthogonalen Basis 1 1 1 1 U = 1 1 1 1 1 2 1 1 1 1 1 1 1 1 (iii) Probe: A = USV t Singulärwert-Zerlegung 3-9
Ergänzung zu einer orthogonalen Basis 1 1 1 1 U = 1 1 1 1 1 2 1 1 1 1 1 1 1 1 (iii) Probe: A = USV t A = = 1 2 6 5 8 6 5 8 6 5 8 6 5 8 = USV t 1 1 1 1 20 0 0 1 1 1 1 0 10 0 1 1 1 1 0 0 0 1 1 1 1 0 0 0 1 5 3 0 4 0 5 0 4 0 3 Singulärwert-Zerlegung 3-10