Kapitel 6. Lösung linearer Gleichungssysteme II (nicht-reguläre Systeme)

Kapitel 6. Lösung linearer Gleichungssysteme II (nicht-reguläre Systeme) Inhalt: 6.1 Nicht-reguläre Systeme 6.2 Lösung mit der QR-Zerlegung 6.3 Lösung mit der Singulärwertzerlegung 6.4 Konditionierung Numerische Mathematik I 239

Nicht-reguläre Systeme 6.1 Nicht-reguläre Systeme Problemstellung: Das lineare Gleichungssystem Ax = b mit A R m n, b R m, umfasst m Gleichungen mit n Unbekannten. Wir lassen sogar zu, dass das System nicht lösbar (oder überbestimmt) ist, d.h. die Beziehung Rang(A) = Rang([A;b]) verletzt ist. Gesucht: Lösung x R n des Linearen Ausgleichsproblems: Ax b 2 = min x R n Ax b 2; d.h. der Vektor Ax hat den kleinsten euklidischen Abstand von der rechten Seite b unter allen Vektoren Ax, also allen Vektoren in Bild(A) R m. Bemerkung: a) Ax = b ist genau dann lösbar, wenn b Bild(A). b) dimbild(a) = Rang(A) min(m,n). Numerische Mathematik I 240

Nicht-reguläre Systeme Satz: Lösung des linearen Ausgleichsproblems 6.1.1 Satz: Lösung des linearen Ausgleichsproblems Es seien m,n N sowie A R m n und b R m. a) Es existiert stets eine Lösung x R n des linearen Ausgleichsproblems. Ax b 2 = min x R n Ax b 2; b) Die Lösungen x von (6.1.1a) erfüllen die Normalengleichung (6.1.1a) A T Ax = A T b; (6.1.1b) umgekehrt ist jede Lösung x der Normalengleichung auch Lösung des linearen Ausgleichsproblems. c) Die Lösungsmenge der Normalengleichung ist der affine Unterraum x +Kern(A) = {x +y y Kern(A)}, wobei x eine Lösung von (6.1.1b) ist. Genau im Fall Rang(A) = n ist die Normalengleichung also eindeutig lösbar. Numerische Mathematik I 241

Nicht-reguläre Systeme Satz: Lösung des linearen Ausgleichsproblems Bemerkung: a) Für eine Matrix A R m n ist die Matrix A T A R n n symmetrisch und positiv semi definit. b) Im Fall Rang(A) = n ist A T A symmetrisch und positiv definit, also insbesondere invertierbar. Zur Lösung der Normalengleichung kann man die Cholesky-Zerlegung von A T A verwenden. Der Rechenaufwand ist mn2 + n3 zum Aufstellen der (unteren Hälfte der 2 6 symmetrischen) Matrix A T A und der Cholesky-Zerlegung. Numerische Mathematik I 242

Nicht-reguläre Systeme Satz: Lösung des linearen Ausgleichsproblems Beweis: (geometrisch!) 1. Die Untervektorräume Bild(A) = {Ax : x R n } R m, Kern(A T ) = {y R m : A T y = 0} R m sind orthogonal und erfüllen R m = Bild(A) Kern(A T ): denn 2. Zerlege die rechte Seite b: A T y = 0 (A T y) T x = 0 für alle x R n y T (Ax) = 0 für alle x R n y Bild(A). b = s +r mit s Bild(A), r Kern(A T ). Damit ist s die Orthogonalprojektion von b auf Bild(A), also b s 2 = min{ b Ax 2 : x R n }. Die Lösungen von (6.1.1a) sind also genau die Lösungen des linearen Gleichungssystems Ax = s. Dieses Gleichungssystem ist lösbar (wegen s Bild(A)), und damit ist Teil a) bewiesen. 3. Jede Lösung x von Ax = s erfüllt die Normalengleichung, denn A T Ax = A T s = A T b A T r = A T b, weil r Kern(A T ). Umgekehrt sei x eine Lösung der Normalengleichung (6.1.1b). Wegen s Bild(A) existiert y R n mit s = Ay. Damit folgt Ax s 2 2 = A(x y) 2 2 = (x y) T A T A(x y) = (x y) T (A T Ax A T s) = 0, }{{} =0 also gilt Ax = s. Damit ist Teil b) bewiesen. Teil c) folgt mit Linearer Algebra. Numerische Mathematik I 243

Nicht-reguläre Systeme Bemerkung: 6.1.2 Bemerkung: Die Matrix M = A T A ist die Gramsche Matrix der Spaltenvektoren a 1,...,a n R m von A. Der Skalarproduktraum ist hierbei R m mit dem euklidischen Skalarprodukt. Die Normalengleichung in Satz 6.1.1 für das lineare Ausgleichsproblem ist also genau das Gleichungssystem zur Berechnung der Gauß-Approximation in Satz 3.3.6(c). Numerische Mathematik I 244

Nicht-reguläre Systeme Anwendungsbeispiele: 6.1.3 Anwendungsbeispiele: a) Gaußsche Ausgleichsparabel, Methode der kleinsten Fehlerquadrate (siehe polyfit): Gegeben: n N (Polynomgrad ist n 1), m n, Punkte (x k,y k ) mit k = 1,2,...,m Gesucht: Polynom p(x) = c 1 +c 2 x + +c nx n 1 mit m y k p(x k ) 2 min! k=1 Lösung: lineares Ausgleichsproblem Ax = b für den Vektor x = (c 1,...,c n) T R n und 1 x 1 x n 1 1 y 1 1 x 2 x n 1 2 y A =., b = 2.. 1 x m xm n 1 y m Es gilt Rang(A) = n genau dann, wenn mindestens n verschiedene Argumente x k gegeben sind: dann ist die hierzu ausgewählte n n-teilmatrix eine Vandermonde-Matrix, hat also vollen Rang. Insbesondere dürfen die x k mehrfach auftreten. Numerische Mathematik I 245

Nicht-reguläre Systeme Anwendungsbeispiele: b) Gaußsche Ausgleichsrechnung mit Basisfunktionen u 1,...,u n : [a,b] R Gesucht: Funktion g(x) = c 1 u 1 (x)+c 2 u 2 (x)+ +c nu n(x) mit m y k g(x k ) 2 min! k=1 Lösung: lineares Ausgleichsproblem Ax = b für den Vektor x = (c 1,...,c n) T R n und u 1 (x 1 ) u 2 (x 1 ) u n(x 1 ) y 1 u 1 (x 2 ) u 2 (x 2 ) u n(x 2 ) y A =., b = 2.. u 1 (x m) u 2 (x m) u n(x m) y m Ob Rang(A) = n gilt, hängt von den Funktionen u 1,...,u n und der Lage der Stützstellen x 1,...,x m ab: es gilt Rang(A) = n genau dann, wenn keine nicht-triviale Linearkombination g = n c j u j, (c 1,...,c n) T R n \{0}, j=1 in allen x k, 1 k m, den Wert Null annimmt. Ist u 1,...,u n ein Tschebyscheff-System, so gilt dies immer, falls mindestens n verschiedene Stellen x k vorliegen. Numerische Mathematik I 246

Nicht-reguläre Systeme Anwendungsbeispiele: Kleiner Einschub: Definition: Tschebyscheff System, Haarscher Raum Es sei n 1 und u 1,...,u n C[a,b] seien linear unabhängig. Die Familie (u 1,...,u n ) heißt Tschebyscheff-System in C[a,b], wenn jede nicht-triviale Linearkombination g = n c j u j, (c 1,...,c n ) T R n \{0}, j=1 höchstens n 1 Nullstellen in [a, b] besitzt. Der n-dimensionale Vektorraum Span(u 1,...,u n ) heißt dann Haarscher Raum. Numerische Mathematik I 247

Nicht-reguläre Systeme Anwendungsbeispiele: c) Nichtlineare Ausgleichsrechnung, Koordinatentransformation Anstatt des in b) betrachteten Ansatzes werden oft nichtlineare Ansätze, z.b. g(x) = c 1 1+c 2 x, c 1,c 2 R, zur Approximation der Daten (x k,y k ), 1 k n, verwendet. Dieser Ansatz ist nichtlinear in Bezug auf die Unbekannten Koeffizienten c 1,c 2. Durch Koordinaten-Transformation (von y und/oder x) erzeugt man einen linearen Ansatz 1 g(x) = 1 c 1 + c 2 c 1 x für die neuen Variablen c 1 = 1, c 2 = c 2 c 1 c 1 und die transformierten Daten ( x k,ỹ k ) mit x k = x k, ỹ k = 1 y k ), 1 k n. Man führt die Gaußsche Ausgleichsrechnung für die transformierten Größen durch und bestimmt daraus die Funktion g. (Übung!) Numerische Mathematik I 248

Lösung mit der QR-Zerlegung 6.2 Lösung mit der QR-Zerlegung Ziel: Lösung des Linearen Ausgleichsproblems mit A R m n und b R m, Ax b 2 = min x R n Ax b 2, ohne Berechnung von A T A (zur Vermeidung von Rundungsfehlern). Verfahren: Für jede orthogonale Matrix Q O(m) gilt Falls es gelingt, ein so zu bestimmen, dass Ax b 2 = Q T (Ax b) 2 = Q T Ax Q T b) 2. ( ) Q T R A = 0 (m n) n Q O(m) r 11 mit R = r 1n...... R n n, 0 r nn gilt, so wird mit der Bezeichnung Q T b = ( c) d mit c R n, d R m n ( ) ( ) Ax b 2 2 = R c 2 x = Rx c 2 + d 0 2. (m n) n d 2 Das lineare Ausgleichsproblem wird im Fall Rang(A) = Rang(R) = n also von x = R 1 c gelöst; hierbei wird x mittels Rücksubstition berechnet. Numerische Mathematik I 249

Lösung mit der QR-Zerlegung Satz: QR-Zerlegung Wir formulieren die Haupt-Aussage gleichzeitig für reelle und komplexe Matrizen. 6.2.1 Satz: QR-Zerlegung Es sei A K m n mit Rang(A) = n gegeben. Dann existiert Q O(m) (falls K = R) bzw. Q U(m) (falls K = C) sowie eine obere Dreiecksmatrix R K n n mit reellen Diagonalelementen r jj > 0, 1 j n, so dass ( ) R A = Q gilt. Dabei gilt: 0 (m n) n (i) Die Matrix R sowie die ersten n Spalten von Q sind eindeutig bestimmt. (ii) Die ersten n Spalten von Q sind eine Orthonormalbasis von Bild(A). (iii) Die letzten m n Spalten von Q sind eine Orthonormalbasis von Kern(A T ). Numerische Mathematik I 250

Lösung mit der QR-Zerlegung Satz: QR-Zerlegung Beweis und Konstruktion von Q: Als Vektoren q 1,...,q n wählen wir die Vektoren im Gram-Schmidt-Orthonormalisierungsverfahren ausgehend von den Spalten a 1,...,a n R m von A; die Vektoren q 1,...,q n bilden also eine Orthonormalbasis von Bild(A). Spaltenweises Aufschreiben der Gleichung A = (a 1,...,a n) = (q 1,...,q n)r mit oberer Dreiecksmatrix R K n n ergibt a 1 = r 11 q 1, a 2 = r 12 q 1 +r 22 q 2, (6.2.1a). a n = r 1n q 1 + +r n 1,n q n 1 +r nnq n. Die Koeffizienten r jk sind dann r 11 = a 1, r 12 = a 2,q 1 q 1, r 22 = a 2 r 12 q 1. r 1n = a n,q 1,...,r n 1,n = a n,q n 1, r nn = a n r 1n q 1 r n 1,n q n 1. Wegen der linearen Unabhängigkeit der a 1,...,a n gilt r jj > 0 für 1 j n. Mit Wahl einer beliebigen ONB (q n+1,...,q m) von Bild(A) = Kern(A T ) ist Q = (q 1,...,q m) K m m orthogonal (bzw. unitär), und es gilt ( ) R A = Q. 0 (m n) n Eindeutigkeit von R mit r jj > 0 und den Vektoren q 1,...,q n folgt aus den Gleichungen (6.2.1a). Numerische Mathematik I 251

Lösung mit der QR-Zerlegung Bemerkung: 6.2.2 Bemerkung: a) Die Matrix R in Satz 6.2.1 ist der Cholesky-Faktor von A T A. b) Die Gram-Schmidt-Orthonormalisierung ist numerisch nicht besonders stabil: Nach wenigen Schritten (n 5) beobachtet man bereits den Verlust der paarweisen Orthogonalität der q j. Daher wird im Folgenden ein numerisch stabileres Verfahren zur Berechnung einer QR-Zerlegung (mit Diagonalelementen r jj 0) angegeben. Numerische Mathematik I 252

Lösung mit der QR-Zerlegung Definition: Householder-Transformation 6.2.3 Definition: Householder-Transformation Für einen Einheitsvektor v K m, v 2 = 1, heißt die Matrix H v = I 2vv T = I 2 v 1. v m (v 1,...,v m ) K m m eine Householder-Transformation. Eigenschaften von H v: (siehe Übungen) (i) H v = H v T = H 1 v ; also ist H v hermitesch und orthogonal (für K = R) bzw. unitär (für K = C). (ii) H 2 v = I. (iii) H vy = y für alle y (Span(v)). im orthogonalen Komplement von (iv) H vy = y für alle y (Span(v)). Für K = R: H v beschreibt eine Spiegelung des R m an der Hyperebene (Span(v)). Numerische Mathematik I 253

Lösung mit der QR-Zerlegung Lemma: Householder-Transformation zur Elimination 6.2.4 Lemma: Householder-Transformation zur Elimination Es sei y R m \{0}. Mit e 1 bezeichnen wir den ersten kanonischen Einheitsvektor. Wir setzen α = sign(y 1 ) y 2, ṽ = y +αe 1, v = 1 ṽ ṽ. Dann gilt H v y = αe 1. Bemerkung zur Wahl von α: (i) Alternativ kann man auch α = sign(y 1 ) y 2 wählen; dies ergibt jedoch im Spezialfall y = ce 1 den Vektor ṽ = 0, der zur Konstruktion von H v nicht zugelassen ist. Unsere Wahl im Lemma mit α = sign(y 1 ) y 2 hilft außerdem, Auslöschung bei der numerischen Berechnung von zu vermeiden. ṽ = (y 1 +α,y 2,...,y m) T (ii) Falls y 1 = 0, setze α = y 2 oder α = y 2. (iii) Im Komplexen wählt man α = e iarg(y 1) y 2 (numerisch stabile Wahl für ṽ = y +αe 1 ) oder α = e iarg(y 1) y 2. Numerische Mathematik I 254

Lösung mit der QR-Zerlegung Bemerkung: Praktischer Umgang mit Householder-Transformationen 6.2.5 Bemerkung: Praktischer Umgang mit Householder-Transformationen (i) Bei Berechnungen stellt man die Matrix H v nicht auf, sondern bildet H vx = x 2(v T x) v = x 2 x,v v. Auch auf die Normierung kann verzichtet werden gemäß H vx = x 2 x,ṽ ṽ 2 ṽ. (ii) Im Reellen: für α = ±sign(y 1 ) y ist αy 1 = ± y 1 y ; für ṽ = y +αe 1 ist also Hiermit rechnet man für x R m zuerst und dann Speziell ergibt sich für x = y damit ṽ 2 = y 2 +2αy 1 + α 2 = 2 y ( y ± y 1 ). β = 2 x,ṽ ṽ 2 = x,y +αx 1 y ( y ± y 1 ) H vx = x βṽ = x βy αβe 1. β = 1, H vy = αe 1. Numerische Mathematik I 255

Lösung mit der QR-Zerlegung Beispiel: 6.2.6 Beispiel: Elimination der 1. Spalte von A = 1 2 0 0 1 1 durch Householder-Transformation: 1 0 2 y = 1 0, α = y = 2, ṽ = 1+ 2 0. 1 1 Berechne A (1) = H va spaltenweise: β 1 2 2 2 2 2 2 0 1 1 0 2 2 Zur Probe beachte man, dass die euklidische Norm der Spalten sich nicht ändert. Numerische Mathematik I 256

Lösung mit der QR-Zerlegung Algorithmus: QR-Zerlegung mit Householder-Matrizen 6.2.7 Algorithmus: QR-Zerlegung mit Householder-Matrizen Es sei A R m n mit m n = Rang(A). Wir berechnen Matrizen r 11 r 1n... A (j). = H v (j) H v (1)A = r jj r jn, j = 1,...,n, 0 à (j) mit einer im nächsten Schritt zu bearbeitenden Teilmatrix ã (j) 1,1 ã (j) 1,n j à (j) =.. ã (j) m j,1 ã (j) m j,n j R(m j) (n j) (Ã(n) tritt nicht auf; falls m = n, so endet die Berechnung bei j = n 1). Der Vektor v (j) R m der Householder-Matrix H v (j) ist ein Einheitsvektor der Form v (j) = (0,...,0,v (j) j,...,v (j) m ) T. Numerische Mathematik I 257

Lösung mit der QR-Zerlegung Algorithmus: QR-Zerlegung mit Householder-Matrizen Initialisierung: A = A (0) = Ã(0) Für j = 1,...,n (bzw. j = 1,...,n 1 falls m = n) 1. y R m j+1 bezeichne die erste Spalte von Ã(j 1), setze α j = sign(y 1) y 2, ṽ (j) = (y 1 +α j,y 2,...,y m j+1) T R m j+1, 2. berechne A (j) = H v (j)a (j 1) wie folgt: v (j) = 1 ṽ (j) (0,...,0,ṽ(j) 1,...,ṽ(j) m j+1 )T R m. Zeilen und Spalten 1 bis j 1 von A (j 1) bleiben unverändert, Ersetze Spalte 1 von Ã(j 1) durch ( α j,0,...,0) T ; insbesondere ist r jj = α j. Für k = 2,...,n j +1 (nur falls j < n) ersetze Spalte k von Ã(j 1) durch k β jk ṽ (j) mit β jk = 2 ã(j 1) k,ṽ (j). ṽ (j) 2 ã (j 1) (n) Ergebnis: A = H v (1) H v (n) A und A (n) = }{{} =Q R m m Numerische Mathematik I 258 ( R 0 m n,n ).

Lösung mit der QR-Zerlegung Bemerkung: 6.2.8 Bemerkung: a) Rechenaufwand für A (j) : Norm der Spalte ã (j 1) 1 R m j+1 : m j +1 Mult./Add. und eine Wurzel, β j,k, k = 2,...,n j +1: jeweils m j +1 Mult./Add. und 1 Division (gleicher Nenner), Update der Spalten k = 2,...,n j +1 von Ã(j 1) : jeweils m j +1 Mult./Add. Insgesamt für A (j) also (m j +1)(2(n j)+1) Mult./Add., n j Div., 1 Wurzel. Gesamter Rechenaufwand der QR-Zerlegung: 2 3 n3 +n 2 (m n)+o(n 2 +n(m n)) b) Die QR-Zerlegung wird auch zur Lösung linearer Gleichungssysteme Ax = b eingesetzt (also für reguläres A R n n ). Ihr Vorteil ist, dass die Konditionszahl (bzgl. der Spektralund der Frobeniusnorm) cond(a) = cond(a (1) ) = = cond(a (n) ) = cond(r) erhalten bleibt. Die Lösung von Rx = Q T b mittels Rücksubstitution erfolgt also mit einer oberen Dreiecksmatrix R mit der gleichen Kondition wie A. Der Nachteil ist der doppelt so hohe Rechenaufwand gegenüber der LR-Zerlegung. Numerische Mathematik I 259

Lösung mit der QR-Zerlegung Beispiel: 6.2.9 Beispiel: QR-Zerlegung der Matrix A = 1 2 0 0 1 1 durch Householder-Transformationen: 1 0 2 Der 1. Schritt wurde in Beispiel 6.2.6 mit v (1) 1 = 4+2 1+ 2 0 2 1 berechnet. Für den 2. Schritt setze ( ) 1 y =, α 2 2 = y = 3, ṽ (2) = ( ) 1+ 3. 2 Berechne A (2) = H v (2)A (1) durch Update des unteren rechten 2 2-Blocks: β 1 1+ 2 3 3 2 2 2 Es ist 0 3 0 0 3 3 2 6 3 0 v (2) 1 = 6+2 1+ 3 3 2 Numerische Mathematik I 260

Lösung mit der QR-Zerlegung Bemerkung: 6.2.10 Bemerkung: Die Diagonaleinträge von R in der (reellen) QR-Zerlegung mit Householder-Matrizen sind r jj = α j. Um positive Diagonaleinträge r jj > 0 wie in Satz 6.2.1 zu erhalten, muss man im j-ten Schritt die Wahl α j = y treffen, ohne Berücksichtigung des Vorzeichens der Komponente y 1. Achtung: Dies führt im Spezialfall y = ce 1 mit c > 0 zu ṽ j = 0, ist also gar nicht zulässig. Für diesen Fall setzt man statt H v (j) die Einheitsmatrix I ein (, die keine Householder-Matrix ist, warum?), führt also keinen Update der Spalten von Ã(j 1) durch. Numerische Mathematik I 261

Lösung mit der Singulärwertzerlegung 6.3 Lösung mit der Singulärwertzerlegung Ziel: Das Lineare Ausgleichsproblems mit A R m n, b R m und Rang(A) < n besitzt unendlich viele Lösungen: L = {x R n : A T Ax = A T b}. Man bestimme hiervon die Minimallösung x L mit x 2 = min{ x : x L}. (Geometrisch: x 2 ist der Abstand des affinen Raumes L vom Nullpunkt.) Numerische Mathematik I 262

Lösung mit der Singulärwertzerlegung Verfahren: Falls es gelingt, orthogonale Matrizen U O(m), V O(n) so zu bestimmen, dass σ 1 U T... AV = D = 0 σ r 0 mit σ 1 σ 2 σ r > 0 gilt (r = Rang(A)), so ist mit der Bezeichnung y = V T x Ax b 2 = U T Ax U T b 2 = U T AVV T x U T b 2 = Dy U T b 2 2, d.h. alle Lösungen x = Vy L des linearen Ausgleichsproblems sind gegeben durch y 1 = b,u 1 σ 1,...,y r = b,ur, y r+1,...,y n beliebig!. σ r Minimale Norm y 2 wird von y = (y 1,...,y r,0,...,0) T angenommen, minimale Norm x 2 = Vy 2 = y 2 also von x = Vy = r k=1 b,u k σ k v k. Numerische Mathematik I 263

Lösung mit der Singulärwertzerlegung Satz: Singulärwertzerlegung 6.3.1 Satz: Singulärwertzerlegung Es seien m,n N sowie A R m n gegeben, weiter sei r = Rang(A). Dann existieren orthogonale Matrizen U O(m) und V O(n) und reelle Zahlen σ 1 σ 2 σ r > 0, so dass σ 1... A = UΣV T 0 mit Σ = σ r 0 0 K m n. Die Zahlen σ k, 1 k r, sind eindeutig bestimmt und heißen die Singulärwerte von A. Numerische Mathematik I 264

Lösung mit der Singulärwertzerlegung Bemerkung: 6.3.2 Bemerkung: a) Im Fall r = Rang(A) = n < m hat die Matrix Σ die Gestalt σ 1... Σ = σ. n 0 (m n) n und im Fall r = Rang(A) = m < n ist σ 1 Σ =... 0m (n m). b) Die Moore-Penrose-Pseudoinverse A + R n m von A (Matlab/Octave pinv) ist 1 σ 1 A + = VΣ + U T mit Σ +. =.. 0 1 Kn m. σ r 0 0 Man rechnet die charakterisierenden Eigenschaften AA + und A + A symmetrisch, AA + A = A, A + AA + = A + leicht nach. (Übungen!) Mit ihrer Hilfe lässt sich die Minimallösung schreiben als σ m x = A + b. Numerische Mathematik I 265

Lösung mit der Singulärwertzerlegung Bemerkung: Beweismethode 1: Eigenwerte und -vektoren von A T A und AA T : Es sei r = Rang(A). Die Matrix A T A R n n besitzt den Rang r, ist symmetrisch und positiv semi-definit. Zu ihren Eigenwerten λ 1 λ r > 0, λ r+1 = = λ n = 0 wählen wir eine ONB des R n aus Eigenvektoren (v 1,...,v n). Wir setzen u j = 1 Av λj j für j = 1,...,r. Es gilt u j 2 2 = 1 Av j 2 2 λ = 1 vj T A T T Av j = vj v j = 1, j λ j }{{} =λ j v j also sind u 1,...,u r Einheitsvektoren in R m. Wir ergänzen zu einer ONB (u 1,...,u m) des R m. Dann erhalten wir die Singulärwertzerlegung σ 1 U T AV = U T ( σ 1 u 1 σ ru r 0 0 )... 0 = σ r mit den Orthogonalmatrizen U = (u 1,...,u m), V = (v 1,...,v n) und den Singulärwerten σ j = λ j, j = 1,...,r. 0 Numerische Mathematik I 266

Lösung mit der Singulärwertzerlegung Bemerkung: Beweismethode 2: vollständige Induktion nach den Dimensionen von A: Es sei σ 1 = A 2 die Spektralnorm von A. 1. Im Fall σ 1 = 0 ist A = 0, also gilt A = UΣV für alle Orthogonalmatrizen U O(m) und V O(n) mit der Nullmatrix Σ = 0 R m n. 2. Es sei σ 1 0. Wähle einen Einheitsvektor v 1 R n mit Av 1 = σ 1 und setze u 1 = 1 v σ 1. 1 Sodann ergänze zu Orthogonalmatrizen V = (v 1,...,v n) O(n) und U = (u 1,...,u m) O(m). Dann gilt σ 1 w T U T AV = U T (σ 1 u 1, Av 2, Av n) = 0 B mit w R n 1 und B R (m 1) (n 1). Wir zeigen w = 0: ( σ 1 = A 2 = A T 2 = V T A T U 2 V T A T Ue 1 2 = σ1 w) 2 = σ1 2 + w 2. Numerische Mathematik I 267

Lösung mit der Singulärwertzerlegung Bemerkung: Sind nun Ũ O(m 1) und Ṽ O(n 1) so, dass σ 2... 0 B = Ũ ΣṼT mit Σ = σ R (m 1) (n 1), r 0 0 so ergibt sich die Singulärwertzerlegung σ 1 σ 1 2 0 ( A = U. 1 ) T.. V. Ũ σ r Ṽ }{{} }{{} O(m) 0 0 O(n) Numerische Mathematik I 268

Lösung mit der Singulärwertzerlegung Bemerkung: 6.3.3 Bemerkung: Es sei r = Rang(A) und A = UΣV T die Singulärwertzerlegung von A R m n. (i) σ 1 = A 2 ist der größte Singulärwert von A. (ii) Es gilt Kern(A) = Kern(A T A) = Span(v r+1,...,v n), Kern(A T ) = (Bild(A)) = Span(u r+1,...,u m). (iii) Die Singulärwertzerlegung von A kann geschrieben werden als r A = σ j u j vj T ; j=1 hierbei ist u j vj T eine m n-matrix vom Rang 1. (iv) Die Vektoren v 1,...,v r sind Eigenvektoren von A T A, und die die Vektoren u 1,...,u r sind Eigenvektoren von AA T, zu den gleichen Eigenwerten λ j = σ 2 j. Numerische Mathematik I 269

Lösung mit der Singulärwertzerlegung Bemerkung: Numerischer Rang 6.3.4 Bemerkung: Numerischer Rang Falls Rang(A) = r < p := min{m,n} gilt, so werden trotzdem kleine Singulärwerte σ r+1,...,σ p > 0 (durch Rundungsfehler in A und im Berechnungsverfahren) berechnet. Dies führt zu einer großen Verfälschung der Minimallösung des linearen Ausgleichsproblems Ax b 2 = min!, also von x = p k=1 b,u k σ k v k. Definition: Für A R m n und ǫ > 0 heißt Rang(A,ǫ) = min{rang(b) : A B 2 ǫ} der numerische Rang von A. Die Matrix A heißt numerisch Rang-defizient, falls Rang(A,ǫ) < p = min{m,n} für ǫ = eps A 2. Numerische Mathematik I 270

Lösung mit der Singulärwertzerlegung Satz: Rang-k Approximation 6.3.5 Satz: Rang-k Approximation Die Matrix A R m n habe die Singulärwertzerlegung A = UΣV T. Wir definieren die abgeschnittene Singulärwertzerlegung für 1 k < r = Rang(A) als A k = k j=1 σ j u j v T j. Dann gilt A A k 2 = min{ A B 2 : Rang(B) k} = σ k+1. Insbesondere gilt Rang(A,ǫ) = k für jedes σ k+1 ǫ < σ k. Numerische Mathematik I 271

Lösung mit der Singulärwertzerlegung σ 1... Beweis: Es gilt Rang(A k ) = k und A k = UΣ k V T 0 mit Σ k = σ. k Also ist 0 0 A A k 2 = U T (A A k )V 2 = Σ Σ k 2 = σ k+1, weil σ k+1 der größte Singulärwert von Σ Σ k ist. Sei nun B R m n mit Rang(B) k. Dann ist dim(kern(b)) n k, also dim(span(v 1,...,v k+1 ) Kern(B)) 1. Satz: Rang-k Approximation Wähle x = k+1 j=1 α jv j mit x 2 = 1 und x Kern(B). Dann ist k+1 1/2 1/2 k+1 k+1 (A B)x 2 = Ax 2 = α j σ j u j = α 2 j σj 2 σ k+1 α 2 j. j=1 j=1 j=1 2 }{{} = x 2 =1 Also ist die Spektralnorm von A B größer oder gleich σ k+1. Numerische Mathematik I 272

Konditionierung Definition: Konditionszahl rechteckiger Matrizen 6.4 Konditionierung Der Begriff der Konditionszahl wird auf rechteckige Matrizen erweitert. 6.4.1 Definition: Konditionszahl rechteckiger Matrizen Für A R m n mit Rang(A) = r und Singulärwerten σ 1 σ r > 0 heißt die (Spektral-)Kondition von A. cond 2 (A) = σ 1 σ r Bemerkung: a) Für die Moore-Penrose-Pseudoinverse A + gilt A + 2 = 1 σ r, also ist (fast wie für invertierbare Matrizen) cond 2 (A) = A 2 A + 2. b) Im Fall Rang(A) = n ist cond 2 (A) = cond 2 (A T A) = ( λmax(a T ) 1/2 A) λ min (A T. A) Numerische Mathematik I 273

Konditionierung Definition: Konditionszahl rechteckiger Matrizen Zusammenfassung: Methoden zur Lösung des linearen Ausgleichsproblems Ax b 2 min!, A R m n, Rang(A) = n. Methode Lösung Kondition Aufwand Normalengleichung A T Ax = A T b cond(a T A) = (cond(a)) 2 mn2 + n3 2 6 QR-Zerlegung Rx = (q 1,...,q n) T b cond(r) = cond(a) mn 2 n3 3 Singulärwertzerlegung x = n k=1 b,u k σ k v k cond(σ) = cond(a) 2mn 2 +4n 3 Bemerkung: ( ) R a) Zur QR-Zerlegung: Aus A = Q folgt 0 ( R 2 = R = Q 0) T A 2 = A 2 = σ 1. 2 Die Moore-Penrose-Pseudoinverse von A ist A + = (R 1 0)Q T, also R 1 2 = (R 1 0) 2 = A + Q 2 = A + 2 = 1 σ n. b) Als Algorithmus zur Singulärwertzerlegung wird das iterative Verfahren von Golub und Reinsch empfohlen, siehe G. Golub, C. van Loan, Matrix Computations, Abschnitt 8.6, Johns Hopkins University Press; 3. Auflage, 1996. Numerische Mathematik I 274