6 Lösung linearer Gleichungssysteme I: LR-Zerlegung und Verwandte

Transkript

1 Numerik I Version: Lösung linearer Gleichungssysteme I: LR-Zerlegung und Verwandte Die zwei wichtigsten Aufgaben der linearen Algebra: Lösung linearer Gleichungssysteme: Ax = b, wobei die n k Matrix A und der Vektor b R n vorgegeben sind, x R k ist gesucht Wenn es mehrere Lösungen gibt (Ker(A) {0} [kernel of A]), dann sind alle Lösungen gesucht (es gibt unendlich viele, aber die Menge der Lösungen, als ein Unterraum [subspace], kann durch endlich viele Angaben parametrisiert werden) Wenn b R(A) [range of the matrix], dh Ax = b nicht lösbar ist, besteht die Frage, für welche x Ax b minimal ist (lineare Ausgleichprobleme [least square problem]) Spezielle numerische Methoden: LR (oder LU)-Zerlegung, LL t -Zerlegung, QR-Zerlegung Iterative Methoden: Jacobi- und Gauß-Seidel-Iteration Eine Matrix in eine kanonische Form zu bringen Für quadratische Matrizen ist das die Aufgabe der Diagonalisierung der Matrix, dh Berechnung der Eigenwerte und Eigenvektoren (In einigen Fällen gibt es nur die Jordansche Form) Für nicht-quadratische Matrizen verwendet man die Singulärwertzerlegung Spezielle numerische Methoden: Vektoriteration, Jacobi-Verfahren, QR-Verfahren Bemerkung 6 Wir betrachten den Fall des reellen Vektorraums, dh die Elemente aller Vektoren und Matrizen sind reelle Zahlen Dieselben Definitionen und Sätze gelten für den komplexen Körper, aber man muss beachten, dass die Transponierte (einer Matrix oder eines Vektors) durch die hermitesche Transponierte (Transponierte + komplexe Konjugation) ersetzt werden muss 6 Theorie: Gauß -Algorithmus (Wiederholung) Vom theoretischem Standpunkt ist der Gauß -Algorithmus [Gauß elimination] die beste Strategie, um lineare Gleichungssysteme zu lösen In diesem Kapitel werden wir die Grundbegriffe (ohne Beweise) wiederholen Die Details wurden in Linearer Algebra I diskutiert Das lineare Gleichungssystem a x + a 2 x a k x k = b a 2 x + a 22 x a 2k x k = b 2 a n x + a n2 x a nk x k = b n (6)

2 Numerik I Version: mit n Gleichungen und k Unbekannten x, x 2,, x k lässt sich in der kompakten Form schreiben, wobei a a 2 a k a 2 a 22 a 2k A := a n a n2 a nk Ax = b x x 2 x = x k b b 2 und b := b n A heißt die Matrix des Gleichungssystems und der Vektor b ist die rechte Seite des Systems Der Vektor x enthält die Unbekannten Unsere Vektoren a,b,,x,y (fettgedruckt) sind immer Spaltenvektoren Zeilenvektoren werden mit Transposition konstruiert: x x 2 x = x k und x t = (x, x 2,, x k ) Bemerkung 62 (i) Die Anzahl der Unbekannten (k) und die Anzahl der Gleichungen (n) kann unterschiedlich sein Jede Zeile der Matrix entspricht einer Gleichung und jede Spalte der Matrix entspricht einer Unbekannten (ii) Um die Elemente der Matrix A aus dem Gleichungssystem zu bestimmen, muss man die Unbekannten in derselben Reihenfolge schreiben Zum Beispiel: Das Gleichungssystem muss zuerst umgeschrieben werden: 2x 3 5x 2 = 3 x 2 + 5x x 4 = 5 5x 2 + 2x 3 = 3 5x + x 2 x 4 = 5 bevor man die Matrix A abliest: A = ( ) Dreieckssysteme Definition 63 Quadratische n n Matrizen L, R der Form l 0 0 r r 2 r n l 2 l 22 0 L =, R = 0 r 22 r 2n l n l n2 l nn 0 0 r nn

3 Numerik I Version: heißen untere, beziehungsweise obere Dreiecksmatrizen [lower and upper triangular matrices] Wenn alle Diagonalelemente sind, l = l 22 = = l nn =, r = r 22 = = r nn =, dann nennt man diese Matrizen unipotente untere (obere) Dreiecksmatrizen [unit lower and upper triangular matrices] In englischer Literatur werden die Buchstabe L (lower) und U (upper) benutzt, in deutscher Literatur L (links) und R (rechts) Gleichungssysteme mit unteren (bzw oberen) Dreiecksmatrizen heißen untere (bzw obere) gestaffelte Gleichungssysteme [lower and upper triangular system] Diese Systeme sind durch eine sukzessive Auflösung von oben nach unten (bzw von unten nach oben) direkt lösbar (Vorwärts- oder Rückwärtssubstitution [forward or backward substitution]) Zum Beispiel, beim Gleichungssystem x = oder 2x = 2 x + 2x 2 = 5 x + x 2 +3x 3 = 4 kann man zuerst x = aus der ersten Gleichung (erste Zeile) bestimmen, dann setzt man x in die zweite Gleichung und löst man sie für x 2 = 2 Schließlich setzt man x, x 2 in die dritte Gleichung und erhält x 3 = Die Lösung ist x = 2 Der folgende Begriff ist die rechteckliche Verallgemeinerung der oberen Dreiecksmatrix Definition 64 Die n k Matrix A = , heißt von Zeilenstufenform oder Echelon-Form, wenn an den Stellen Zahlen stehen, die nicht Null sind, und bei beliebige Zahlen stehen Die ersten Elemente in jeder Zeile, die nicht Null sind, heißen Pivotelemente ( ) Eine Matrix ist in Echelon-Form, wenn die Pivotelemente der Zeilen von links oben bis rechts unten laufen Die Zeilen ohne Pivotelemente (Nullzeilen) stehen unten in der Matrix Die Spalten mit Pivotelementen heißen Pivotspalten und die entsprechenden Unbekannten heißen Pivotvariablen Die Unbekannten, die nicht einer Pivotspalte entsprechen, heißen freie Variablen

4 Numerik I Version: Gleichungssysteme mit Matrizen in Echelon-Form können auch unmittelbar durch sukzessive Auflösung (von unten nach oben) gelöst werden Die freie Variablen werden Parameter und die Pivotvariablen können von unten nach oben durch diese Parameter bestimmt werden Beispiel: A = , b = Die freie Variablen sind x 2 und x 4 (Spalten ohne Pivotelement) Ersetzen wir diese Variablen durch die Parameter; x 2 = s, x 4 = t, wobei t, s beliebige reelle Zahlen sind, und lösen wir: Aufgabe: Prüfen Sie nach! x = 5 + s t (62) Beachten Sie, dass die Element(e) des Vektors b, die den Nullzeilen von A entsprechen, unbedingt Null sein müssen, sonst hat das Gleichungssystem keine Lösung Es gilt auch umgekehrt: wenn alle diese Elemente von b Null sind, ist das System lösbar 62 Eliminationsverfahren Das Ziel ist, ein beliebiges Gleichungssystem in eine Zeilenstufenform (Echelon-Form) zu bringen, ohne Änderung der Menge der Lösungen Wir führen die so genannte erweiterte Matrix (augmented matrix) ein; wir fügen einfach den Vektor b der Matrix A als eine zusätzliche Spalte bei und trennen diese letzte Spalte mit einer vertikalen Linie ab: [A b] Die folgenden, so genannten elementaren Zeilenumformungen [elementary row-operation] der erweiterten Matrix verändern die Lösung nicht: Vertauschung von zwei Zeilen Subtraktion einer Zeile von einer anderen Zeile Multiplikation einer Zeile mit einer beliebigen Zahl, die nicht Null ist Beachten Sie, dass diese Operationen für die Matrix [A b] durchgeführt werden sollten, insbesondere ändert sich auch der Vektor b

5 Numerik I Version: Die Gauß -Elimination ist ein Algorithmus, der eine beliebige erweiterte Matrix [A b] durch elementare Zeilenumformungen in eine Zeilenstufenform (Echelon-Form) bringt Er funktioniert spaltenweise, von links nach rechts Er wird durch das Beispiel erläutert [A b] := Schritt [Elimination in der ersten (linken) Spalte] Wenn die erste Spalte der Nullvektor ist, entspricht sie schon der Zeilenstufenform (Echelon-Form) und man muss nichts tun Sonst betrachtet man ein beliebiges Element a m 0 der ersten Spalte, das nicht Null ist Man vertauscht die erste und die m-te Zeile, um dieses Element an die erste Position der ersten Zeile zu bringen Man nennt diese Elemente Pivotelemente und sie werden unterstrichen: Vertauschen der ersten und der dritten Zeile In unserem Beispiel kann man m = 2, m = 3 oder m = 4 wählen, weil a 2, a 3 und a 4 nicht Null sind: Für jedes i 2, mit a i 0 (in der neuen Matrix), subtrahiert man a i a -mal die erste Zeile von der i-ten Zeile Diese Operation setzt die ersten Elemente der i-ten Zeile auf 0: a i a i ( a i a ) a = 0 und alle Elemente der i-ten Zeile werden (im Allgemeinen) verändert Die erste Zeile bleibt unverändert (Subtraktion von ( a 2 a ) -mal der ersten Zeile von der zweiten, dann Subtraktion von ( a3 a ) -mal der ersten Zeile von der dritten, usw)

6 Numerik I Version: In unserem Beispiel ist das erste Element der zweiten Zeile schon Null Um das erste Element der dritten Zeile zu eliminieren, subtrahieren wir 2 = -mal die erste Zeile von der 2 dritten, dann subtrahieren wir 4 = 2-mal die erste Zeile von der vierten und die Elimination der ersten Spalte ist komplet Die Zeilen mit einem Pivotelement (in diesem Beispiel die erste Zeile) heißen Pivotzeilen Schritt 2 [Elimination in der zweiten Spalte] Das Verfahren ist dasselbe wie im Schritt, aber wir lassen die Pivotzeile unberührt Wenn die zweite Spalte unter den Pivotzeilen, dh, normalerweise, ausgenommen der ersten Elemente identisch Null ist, ist schon die Elimination der zweiten Spalte komplett: (63) 0 0 Sonst wählen wir ein Element a i2 0 mit i 2 aus der zweiten Spalte, vertauschen die zweite und die i-te Zeile, um dieses Element an die zweite Position der zweiten Spalte zu bringen, und benutzen dieses Element, um alle anderen (von Null verschiedenen) Elemente in der zweiten Spalte durch Subtraktion eines Vielfaches der zweiten Zeile von jeder Zeile ab der dritten zu eliminieren: In unserem Beispiel: Schritt 3 [Elimination in der dritten Spalte] Wir lassen die Pivotzeilen unberührt Bei diesem Schritt sind normalerweise die ersten zwei Zeilen die Pivotzeilen, aber in der Situation (63) ist nur die erste Zeile eine Pivotzeile Wenn die dritte Spalte unter den Pivotzeilen identisch Null ist, dann müssen wir nichts mehr damit tun:

7 Numerik I Version: oder Dies ist die Situation in unserem Beispiel: die Elimination der zweiten Spalten hat automatisch die dritte Spalte auch eliminiert Beachten Sie, dass wegen dieser doppelten Elimination es keine Pivotelemente in der dritten Spalte gibt Sonst bringen wir ein Element, das nicht Null ist, durch Vertauschen unmittelbar unter die ersten zwei Zeilen (die Pivotzeile) Dann benutzen wir dieses Element um alle anderen Elemente darunter auf 0 zu bringen Das Verfahren läuft offenbar weiter mit der Elimination jeder Spalte Der letzte Schritt in unserem Beispiel ist wobei 2 -mal der dritten Zeile von der vierten subtrahiert wurde Am Ende können wir das Gleichungssystem in Zeilenstufenform (Echelon-Form) durch Rücksubstitution von unten nach oben lösen Die letzte Spalte enthält keine Pivotelemente Dies ist äquivalent zu der Tatsache, dass es keine Zeile gibt, die nur in der Spalte von b nicht Null ist (dh es gibt keine widersprüchliche Gleichung der Form 0 x +0 x x k = c 0) In diesem Fall ist das Gleichungssystem lösbar Die dritte Variable, x 3 = t, ist ein beliebiger Parameter Man erhält die allgemeine Lösung x 3 x x = 2 x 3 = 4 0 x t Das heißt, alle Vektoren x dieser Form lösen Ax = b, und alle Lösungen können mit einem geeigneten t R in dieser Form dargestellt werden wurde Wir fassen diese Tatsache im folgenden Satz zusammen, der in Lineare Algebra I bewiesen 2 0

8 Numerik I Version: Satz 65 (Gauß -Elimination) (i) Eine beliebige erweiterte Matrix [A b] kann durch elementare Zeilenoperationen in eine Zeilenstufenform (Echelon-Form) gebracht werden (ii) Das Gleichungssystem Ax = b ist lösbar genau dann, wenn die letzte (erweiterte) Spalte in der Zeilenstufenform (Echelon-Form) der Matrix [A b] keine Pivotelemente besitzt (iii) Wenn das Gleichungssystem Ax = b lösbar ist, kann die Menge der Lösungen aus der Zeilenstufenform (Echelon-Form) von [A b] durch Rücksubstitution in einer parametrischen Form dargestellt werden Die Parameter sind die freien Variablen Beachten Sie, dass die Zeilenstufenform (Echelon-Form) nicht eindeutig ist Bei der Wahl der Pivotelemente hat man eine gewisse Freiheit: jedes Element der Spalte, das nicht Null ist, kann als Pivotelement benutzt werden Diese Wahl beeinflusst die theoretische Lösung nicht In der Numerik kann man diese Freiheit für eine bessere Genauigkeit ausnutzen 63 Reguläre Systeme Satz 66 (Aus linearer Algebra) Die folgenden Eigenschaften einer quadratischen n n Matrix A sind äquivalent: (i) A ist invertierbar; (ii) Das System Ax = b besitzt mindestens eine Lösung für beliebige rechte Seite b (Existenz der Lösung) Das Bild von A ist der ganze R n : R(A) = R n, d h der Rang von A ist n, rg(a) = n (iii) Der Kern von A ist trivial: Ker A = {0}, dh das System besitzt höchstens eine Lösung (Eindeutigkeit der Lösung) (Beachten Sie: Der Kern ist nicht leer, sondern erhält den Nullvektor) (iv) det A 0 (v) Für beliebige b ist jede Spalte der Matrix A eine Pivotspalte in der Zeilenstufenform (Echelon-Form) von [A b] (vi) Jede Zeile in der Zeilenstufenform (Echelon-Form) von [A b] ist Pivotzeile Die Matrix A heißt regulär, wenn sie diese Eigenschaften erfüllt Die Regularität einer Matrix kann durch die Gauß -Elimination aufgrund von (v) entschieden werden

9 Numerik I Version: Im Fall einer regulären Matrix ist die Gleichung Ax = b eindeutig lösbar, und die Lösung kann als x = A b aufgeschrieben werden Normalerweise braucht man die inverse Matrix nicht zu bestimmen, um die Lösung zu bekommen, aber die Gauß -Elimination bietet auch einen Algorithmus für die Berechnung von A Berechnung der Inversen einer regulären Matrix Sei die n n Matrix A regulär Bilden wir eine erweiterte Matrix der Größe n (2n), [A I], wobei I die n n Identitätsmatrix ist Nach der Durchführung der Gauß -Elimination erhält man eine obere Dreiecksmatrix auf der linken Seite: 0 0 [A I] = Diese Matrix auf der linken Seite ist regulär, dh alle Diagonalelemente sind nicht Null Man kann dann diese Elemente benutzen (von unten nach oben), um alle Elemente oberhalb der Diagonale auf der linken Seite zu eliminieren Man fängt mit dem letzten Pivotelemenent an und subtrahiert ein Vielfaches der letzten Zeile von allen anderen Zeilen: Dann benutzt man das nächste Pivotelemente (von unten), um diese Spalte zu annullieren, usw Schließlich dividiert man jede Zeile durch ihre Pivotelemente, um eine Einheitsmatrix auf der linken Seite zu erhalten: = [I A ] Dieses Verfahren folgt aus der Tatsache, dass die Spaltenvektoren der inversen Matrix A = [v v 2 v n ] die Gleichungen Av = e, Av 2 = e 2, Av n = e n, lösen, und bei der Elimination der [A I] löst man diese n Gleichungssysteme parallel, weil I = [e e 2 e n ] (Aufgabe: überdenken!)

10 Numerik I Version: Verschiedene Pivotstrategien Erinneren Sie sich an das Beispiel in Kapitel 22 Die Matrix A hat eine große Konditionszahl, deshalb war das Problem Ax = b schlecht konditioniert: die Lösung war sehr empfindlich (instabil) gegenüber kleiner Änderung der Eingaben Dieses Phänomen ist eine Eigenschaft des ursprünglichen Problems und es hat nichts mit numerischen Fehlern zu tun Aber numerische Fehler (zb Rundungsfehler) können die Ursache der Instabilität der Eingabedaten sein, zb wenn die rechte Seite b oder die Matrix A nicht gemessene Daten, sondern früher ausgerechnete Eingaben enthalten Das folgendes Beispiel zeigt jedoch, dass sogar ein gut konditioniertes Problem instabil gemacht werden kann, wenn man den Algorithmus unvorsichtig plant Der Einfachheit halber benutzen wir eine Gleitpunktarithmetik im dezimalen System, wobei nur drei signifikante Ziffern behalten werden und die anderen Ziffern werden immer abgerundet A = ( ) 0000 ( ) und b = 2 und betrachten das System Ax = b Die genaue Lösung des Systems ist x genau ( ) ( ) (64) Jetzt verwenden wir die Gaußsche Elimination Das Element kann als Pivotelement benutzt werden Der erste Schritt liefert: 0000 = Die beiden Zahlen, 9999 und 9998, werden auf dieselbe Zahl 9990 gerundet, also der Rechner speichert nur und die Lösung dieses Systems ist x = ( 0 ) Der relative Fehler der Lösung ist in der Größenordnung O(), obwohl die Rundung nur mit einem relativen Fehler 0 3 äquivalent ist Was ist schiefgegangen? Aufgrund des Beispiels aus Kapitel 22 könnten Sie denken, dass das Problem schlecht konditioniert war Aber es ist einfach zu sehen, dass die Konditionszahl, κ(a) 268,

11 Numerik I Version: nicht zu groß ist Sie rechtfertigt die Fehlervergrößerung um einen Faktor 000 nicht Wenn man auf der anderen Seite die zwei Zeilen vertauscht und a 2 = das Pivotelement wird, dann bringt man das System auf folgende Zeilenstufenform 0000 = 2 = 2, denn die richtigen Zahlen und in der zweiten Zeile werden auf 0999 gerundet Dieses System hat die Lösung ( ) x = die im Vergleich zur wirklichen Lösung x genau des Systems Ax = b ganz befriedigend ist Der erste Algorithmus ist ein Beispiel für eine instabile Methode, der zweite ist stabil, und beide lösen dasselbe gut konditionierte Problem Erinneren Sie sich (Kapitel 2), dass die Stabilität eine Eigenschaft des numerischen Verfahrens ist: Sie hat mit der Akkumulation der Rundungs- (und anderer numerischer) Fehler zu tun Wenn man ein gut konditioniertes Problem mit einem instabilen Verfahren löst, kann die Fehlervergrößerung (relative Fehler im Output versus relative Fehler im Input) viel größer sein, als die Konditionszahl vorhersagt Eine kleine Konditionszahl ist keine Garantie für eine zuverlässige Lösung: man muss das richtige Verfahren finden 62 Gaußsche Elimination mit Spaltenmaximumsstrategie Die Ursache des Problems in dem vorherigen Beispiel war, dass im Vergleich zu anderen Elementen das Pivotelement eine ganz kleine Zahl war Erinneren Sie sich, dass man während der Gaußschen Elimination durch das Pivotelement dividiert und Divisionen durch kleine Zahlen gefährlich sind Es ist ganz einfach, dieses Problem zu eliminieren In jedem Schritt darf man in einer Pivotspalte ein beliebiges (von Null verschiedenes) Element als Pivotelement wählen Die Spaltenmaximumsstrategie ist einfach die Wahl des (im Betrag) größtmöglichen Pivotelements in jeder Spalte Hier ist ein Beispiel Nehmen wir an, dass die Matrix [A b] in einem Zwischenstadium in

12 Numerik I Version: der folgenden Form ist: c c c m In der ursprünglichen Elimination würden wir c als das nächste Pivotelement wählen (wenn es nicht Null ist) und wir würden die Zeile nur vertauschen, wenn c = 0 Bei der Gaußsche Elimination mit Spaltenmaximumsstrategie bringen wir die Zeile mit der größten c p in die Pivotposition, dh, wenn c p = max j=,2,m c j, vertauschen wir die Zeile von c mit der Zeile von c p und wir benützen c p als Pivotelement Diese einfache Idee liefert oft eine dramatische Verbesserung der Stabilität des Gaußschen Verfahrens In der Praxis sollte diese Strategie in jedem Fall verwendet werden 622 Gaußsche Elimination mit relativer Spaltenmaximumsstrategie Betrachten wir das Beispiel A = ( ) 0000 und b = ( ) und beachten, dass das Gleichungssystem A x = b mit dem System Ax = b aus (64) äquivalent ist (die erste Gleichung wurde mit 0000 multipliziert) Die Spaltenmaximumsstrategie erfordert keine Zeilenvertauschung und die Elimination liefert = Diese Matrix wird auf gerundet und die Lösung ist noch einmal ( ) 0 x =, die weit entfernt von der wirklichen Lösung ist Das Problem ist, dass das Pivotelement in der ersten Zeile im Vergleich zu den anderen Elementen in derselben Zeile relativ klein ist Deshalb sollte man die Pivotzeile

13 Numerik I Version: so aussuchen, dass das Pivotelement in dieser Zeile relativ zu der anderen Elemente der Zeile möglichst das größte ist Die Größe der anderen Elemente wird in der Summennorm gemessen In dem folgenden Zwischenstadium c c 2 c k c,k c 2 c 22 c 2k c2,k c m c m2 c mk cm,k+ bestimmen wir den Index p der Pivotzeile so, dass ( ) ci c p max i m k+ j= c = k+ ij j= c pj und wir bringen c p durch Vertauschungen in Pivotposition Beachten Sie, dass die letzte Spalte (entsprechend dem Vektor b) in diesem Vergleich auch betrachtet wird Beispiel: Betrachten wir die Matrix (die letzte Spalte wird nicht abgespalten, weil man das Eliminationsverfahren für beliebige Matrizen benutzen kann, nicht nur für erweiterte Matrizen in der Form [A b], die bei der Lösung der Gleichungssysteme auftauchen) Aufgrund der Größen = , = , = wählen wir die letzte Zeile als Pivotzeile, also vertauschen wir die erste und die dritte Zeile und führen die Elimination mit dem Pivotelement 004 in der ersten Spalte durch = Jetzt vergleichen wir die Größe = 0357, = 03, also ist 25 ein besseres Pivotelement und wir brauchen keine Zeilenvertauschung Die Elimination mit relativer Spaltenmaximumsstrategie endet bei der Matrix

14 Numerik I Version: LR (oder LU)-Zerlegung Wir möchten den Grund hinter der Verbesserung der Gaußschen Elimination mit der Pivotstrategie verstehen Dazu brauchen wir eine tiefere Einsicht in die Gaußsche Elimination In diesem Kapitel betrachten wir nur quadratische reguläre Matrizen A Nehmen wir an, dass jemand uns eine spezielle Zerlegung der Matrix A liefert: 0 0 r r 2 r n l r 22 r 2n A = LR = (65) l n l n2 0 0 r nn wobei L eine unipotente untere Dreiecksmatrix und R eine obere Dreiecksmatrix ist In der englischer Literatur spricht man von LU-Zerlegung [LU-factorization] Aufgrund der Regularität det(a) 0 und det(l) det(r) = det(a) sind L und R regulär, insbesondere r ii 0 Mit dieser Zerlegung kann die Lösung Ax = b auf zwei einfachere Probleme aufgeteilt werden Zuerst löst man das System für eine Hilfsvariable z Lz = b und dann löst man Rx = z Das erste Gleichungssystem kann durch einfache Vorwärtssubstitution gelöst werden, das zweite durch Rückwärtssubstitution (da alle Diagonalelemente nicht Null sind) Wie kann man die LR-Zerlegung einer vorgegebenen Matrix A erhalten? Die Antwort: die Gaußsche Elimination liefert sie ganz automatisch Die LR-Zerlegung ist eine Buchhaltung der Gaußschen Elimination Der Einfachheit halber nehmen wir an, dass während der Gaußschen Elimination keine Zeilenvertauschung benötig wird Satz 67 Sei A eine n n reguläre Matrix und sei die Gaußsche Elimination ohne Zeilenvertauschung durchführbar Dann liefert derselbe Algorithmus eine LR-Zerlegung (65) von A Die Zerlegung ist eindeutig Beweis Wir fangen mit einer Definition an:

15 Numerik I Version: Definition 68 Eine unipotente untere Dreiecksmatrix der Form L k := l k+,k l k+2,k l n,k (66) (alle andere Elemente sind Null) heißt Frobeniusmatrix und Die folgenden Eigenschaften folgen unmittelbar aus Matrixmultiplikationen: L k = L := L L 2 L n = l k+,k l k+2,k l n,k 0 0 l 2 0 l n l n2 Daraus folgt dass jede unipotente untere Dreiecksmatrix invertierbar ist und die Inverse ist durch die Formel L = L n L 2 L (67) gegeben (Achten Sie auf den Umtausch der Reihefolge aufgrund (AB) = B A ) Aufgabe 69 Finden Sie die Inverse einer unipotenten oberen Dreiecksmatrix R in ähnlicher Weise Lemma 60 (i) Die Menge der unteren Dreiecksmatrizen bildet eine Halbgruppe, dh das Produkt zweier unterer Dreiecksmatrizen ist eine untere Dreiecksmatrix (Die Assozivität folgt aus der Matrixmultiplikation) (ii) Die Menge der regulären unteren Dreiecksmatrizen bildet eine Gruppe, dh jede solche Matrix hat eine Inverse, die auch untere Dreiecksmatrix ist (iii) Die Menge der unipotenten unteren Dreiecksmatrizen bildet eine Untergruppe dieser Gruppe

16 Numerik I Version: Beweis des Lemmas Teil (i) ist trivial, Teil (iii) folgt aus (67) und Teil (i) Teil (ii) folgt daraus, dass jede reguläre untere Dreiecksmatrix sich in der folgenden Form zerlegen lässt: l 0 0 l l 2 l 22 0 L = = 0 l 22 0 l 2 /l 22 0 =: DL l n l n2 l nn 0 0 l nn l n /l nn l n2 /l nn wobei D eine reguläre Diagonalmatrix und L eine unipotente untere Dreiecksmatrix ist Dann gilt L = (L ) D, also ist L offensichtlich eine untere Dreiecksmatrix Jetzt kehren wir zurück zum Beweis des Satzes Da für die Elimination keine Zeilenvertauschung nötig war, haben wir a 0 und wir können dieses Element als Pivot benutzen, um die erste Spalte zu eliminieren Das Element a 2 kann durch die Subtraktion von l 2 := (a 2 /a )- mal der ersten Zeile von der zweiten Zeile eliminiert werden Man kann diese Operation durch eine Multiplikation von links durch eine einfache Frobeniusmatrix erreichen: 0 0 a a 2 a n a a 2 a n l 2 0 a 2 a 22 a 2n = a 2 l 2 a a 22 l 2 a 2 a 2n l 2 a n 0 0 a n a n2 a nn a n a n2 a nn und mit der Wahl l 2 := (a 2 /a ) eliminiert man das zweite Elemente der ersten Spalte Man kann die ganze erste Spalte mit einer Frobeniusmatrix eliminieren: 0 0 a a 2 a n a a 2 a n l 2 0 a 2 a 22 a 2n a 2 l 2 a a 22 l 2 a 2 a 2n l 2 a n = l n } 0 a n {{ } } a n2 a nn {{ } } a n l n a a n2 l n a 2 {{ a nn l n a n } =:L A A und natürlich wählt man l i := a i, 2 i n, (68) a um eine Matrix der Form a a 2 a n 0 L A = =: 0 a 22 a 2n = A 0 0 a n2 a nn zu bekommen Jetzt betrachten wir das zweite Element der zweiten Spalte: a 22 = a 22 l 2 a 2

17 Numerik I Version: Nach unserer Voraussetzung ist dieses Element nicht Null (keine Zeilenvertauschung), also können wir dieses Element für die Elimination der zweiten Spalte unter der zweiten Zeile benutzen Dies kann man auch mit einer Frobeniusmatrix durchführen: a a 2 a 3 a n a 22 a 23 a 2n 0 l a 32 a 33 a 3n 0 l n2 0 } {{ } } 0 a n2 a n3 {{ a nn } =:L 2 A a a 2 a 3 a n 0 a 22 a 23 a 2n = 0 a 32 l 32a 22 a 33 l 32a 23 a 3n l 32a 2n Mit der Wahl } 0 a n2 l n2 a 22 a n3 l n2 a 23 {{ a nn l n2 a 2n } A l i2 := a i2, 3 i n a 22 können wir die Form a a 2 a 3 a n 0 0 a 22 a 23 a 2n A = L 2 A = 0 0 = 0 0 a 33 a 3n a n3 a nn erreichen und A = L 2 A = L 2 L A Nach n Schritten erhalten wir offenbar eine obere Dreiecksmatrix a a 2 a 3 a n 0 a 22 a 23 a 2n L n L n 2 L 2 L A = 0 0 a 33 a 3n =: R, a (n ) nn wobei L k eine Frobeniusmatrix mit nichttrivialen k-ten Spalten (66) ist Mit der inversen Matrix erhalten wir die Zerlegung L := L L 2 L n = A = LR 0 0 l 2 0 l n l n2

18 Numerik I Version: Um die Eindeutigkeit zu beweisen, nehmen wir an, dass LR = A = L R, wobei L, L unipotente untere, und R, R obere Dreiecksmatrizen sind Aufgrund der Regularität aller dieser Matrizen kann man sie invertieren und erhält: L L = R R Wegen der Gruppeneigenschaft der Dreiecksmatrizen (Lemma 60) ist diese Matrix gleichzeitig unipotente untere Dreiecksmatrix und obere Dreiecksmatrix, dh sie muss die Identitätsmatrix sein: I = L L = R R, also L = L, R = R und die Eindeutigkeit der Zerlegung ist bewiesen 2 Aufgabe 6 Finden Sie die LR-Zerlegung der Matrix A = 3 5 Lösung: Der erste Schritt bei der Gaußschen Elimination ist: = 0 2, dh Subtraktion der ersten Zeile von der zweiten Der nächste Schritt ist = Diese zwei Schritte kann man in einem Schritt machen: = } {{ } L Als nächstes verwenden wir = 0 2, 0 2 } {{ } L 2 also = } 2 {{ 0 } } {{ } } 5 {{ } 0 0 } {{ } L 2 L A =:R

19 Numerik I Version: Nach der Inversion der L-Matrizen folgt: dh = } {{ } } {{ } } {{ } } {{ } A L L R 2 } {{ } =:L A = 3 = = LR und das komplettiert die LR-Zerlegung von A 63 LR-Zerlegung mit Zeilenvertauschung Wir diskutieren kurz den Fall, wenn man Zeilenvertauschung verwenden muss Definieren wir die Standard-Einheitsvektoren: 0 e k = 0 wobei alle Elemente Null sind, ausgenommen das k-te Element, das ist Wir definieren für i < j n die Matrix: P ij := 0 0 wobei in der i-ten und j-ten Zeile die statt auf der Diagonalen in der j-ten, bzw i-ten Spalte steht

20 Numerik I Version: Die Vertauschung der i-ten und j-ten Zeile kann mittels einer Linksmultiplikation durch die Matrix P ij erreicht werden: b t b t b t i b t j P ij = b t j b t i b t n b t n (mit dem Index t bezeichnet man den Transponierten des Vektors, da die Zeilen der Matrix Zeilenvektoren sein müssen und nach unserer Konvention sind alle Vektoren ohne Index t Spaltenvektoren) Die Rechtsmultiplikation durch dieselbe Matrix liefert eine Spaltenvertausch: a a i a j P ij = a a j a i Die P ij Matrizen heißen Involutionsmatrizen Man kann dieses Konzept der Vertauschung verallgemeinern: Definition 62 Eine bijektive Abbildung π : {,, n} {,, n} heißt Permutation Für ein festes n bildet die Menge der Permutationen Π n eine Gruppe mit der Operation der Komposition Die Matrix P π := e π() e π(2) e π(3) e π(n) mit den Standard Einheitsvektoren als Spalten heißt die π zugeordnete Permutationsmatrix Die Zeilen von P π sind auch Standard-Einheitsvektoren, die so angeordnet sind, wie es der inversen Permutation π entspricht: e t π () e t P π = π (2) e t π (n) weil für jedes k gilt: e t π () e π e t π (2) () e k e e π k = (2) e k = e π(k) e t π (n) e π (n) e k

21 Numerik I Version: genauso wie e π() e π(2) e π(3) e π(n) e k = e π(k) Die Rechts-Multiplikation mit einer Permutationsmatrix permutiert die Spalten einer beliebigen Matrix (Aufgabe: Nachprüfen!) a a 2 a 3 a n P π = a π() a π(2) a π(3) a π(n) Die Links-Multiplikation permutiert die Zeilen einer beliebigen Matrix b t b t π b t () P π 2 = b t π (2) b t n b t π (n) Die Matrixmultiplikation entspricht der Multiplikation (Komposition) in der Permutationsgruppe: P π P σ = P π σ π, σ Π n Wir sagen, dass die Permutationsmatrizen eine Darstellung [representation] der Gruppe der Permutationen bilden Aufgabe 63 Zeigen Sie, dass für jede Permutationsmatrix gilt: a) P = P t ; b) det(p π ) = sgn π {±}, wobei sgn π das Signum der Permutation ist; c) Jede Permutationsmatrix kann als ein Produkt von verschiedenen Involutionsmatrizen dargestellt werden Satz 64 Sei A eine n n reguläre Matrix Dann liefert der Gaußsche Algorithmus (möglicherweise mit Zeilenvertauschung) eine LR-Zerlegung (65) von A in der folgenden Form: PA = LR, wobei P eine Permutationsmatrix ist Die Permutationsmatrix kann so gewählt werden, dass alle Elemente von L vom Betrag kleiner oder gleich sind Die Zerlegung ist nicht eindeutig

22 Numerik I Version: Beweis Die Strategie ist: Wir werden die Gaußsche Elimination mit Spaltenmaximumstrategie durch Links-Multiplikationen erzeugen Betrachten Sie die erste Spalte von A Diese Spalte ist nicht Null, sonst wäre A singulär Mit einer Permutationsmatrix für Zeilenvertauschung P können wir das größte Element der ersten Spalte nach oben, in Pivotposition bringen: A P A Mit einer Frobeniusmatrix können wir die erste Spalte eliminieren: 0 L P A = 0 Beachten Sie, dass die Elemente von L vom Betrag kleiner oder gleich sind, aufgrund der Formel (68) und da das Element a das Betragsmaximum in seiner Spalte ist Jetzt betrachten wir die zweite Spalte unter der ersten Zeile Diese Spalte von Dimension (n ) kann nicht Null sein, sonst wären die ersten zwei Spalten der Matrix 0 0 L P A = 0 0 linear abhängig, also wäre A nicht regulär (L und P sind invertierbare Matrizen, sie ändern die Regularität nicht) Mit einer Zeilenvertauschung (P 2 ) bringen wir das größte Element dieser Spalte in die Pivotposition und damit eliminieren wir die ganze Spalte (L 2 ): 0 L 2 P 2 L P A = 0 0 Noch einmal, die Elemente von L 2 sind vom Betrag kleiner oder gleich Nach (n ) Schritten erhalten wir L n P n L 2 P 2 L P A = R Aufgrund der Regularität kann man in jeder Spalte ein Pivotelement finden Jetzt schreiben wir dieses Produkt in die Forme PA = LR um Beachten Sie, dass alle Permutationsmatrizen tatsächlich Involutionsmatrizen sind, insbesondere P j = Pj, also gilt: L n (P n L n 2 P n )(P n P n 2 L n 3 P n 2 P n )(P n P n 2 P n 3 L n 4 P n 3 P n 2 P n ) = R } {{ } } {{ } I I

23 Numerik I Version: Definieren wir L n 2 := P n L n 2 P n L n 3 := P n P n 2 L n 3 P n 2 P n usw Beachten Sie, dass alle diese Matrizen trotz der Permutationen unipotente Frobeniusmatrizen bleiben, weil P ij l i,k l j,k P ij = l j,k l i,k wenn i > k und j > k (Die Multiplikation mit P ij von links vertauscht die i-ten und j-ten Zeilen, die Multiplikation mit P ij von rechts vertauscht die i-ten und j-ten Spalten Diese zwei Operationen stellen die eins auf der Diagonale wieder her und nur die zwei Elemente l i,k und l j,k werden vertauscht) Am Ende gilt L n L n 2 L P n P n 2 P A = R } {{ } =:P und nach der Inversion der Frobeniusmatrizen erhalten wir mit der Permutationsmatrix und der unipotenten unteren Dreiecksmatrix PA = LR P := P n P n 2 P L := ( L n L n 2 L ) Die Tatsache, dass jedes Element von L vom Betrag kleiner oder gleich sind, folgt aus der analogen Eigenschaft aller L j Matrizen und aus der Formel für die Inverse einer Frobeniusmatrix Dies komplettiert den Beweis der LR-Zerlegung mit Permutation Zum Schluss bemerken wir, dass eine LR-Zerlegung auch für allgemeine (nicht nur quadratischen regulären Matrizen) existiert: Aufgabe 65 Formulieren Sie die Definitionen und die Sätze dieses Kapitels, um ein Analogon der LR-Zerlegung für eine allgemeine rechteckige Matrix zu erhalten

24 Numerik I Version: Pivotstrategien im Hinblick auf die LR-Zerlegung Die LR-Zerlegung ermöglicht uns zu erklären, was beim Beispiel in Kapitel 62 passiert ist Der Einfachheit halber nehmen wir an, dass keine Permutationsmatrix nötig ist Das Gaußsche Verfahren führt die Lösung von Ax = b auf die Lösung zweier Dreieckssysteme zurück Im ersten Teil des Verfahrens (Umformung in Echelon-Form) benutzt man die Matrix L und überführt damit Ax = LRx = b = L Ax = L LRx = L b in die Gleichung Rx = L b (69) Um L b zu berechnen, löst man die Gleichung Lz = b (siehe den Anfang des Kapitels 63) Im zweiten Teil des Verfahrens, löst man das obere Dreieckssystem (69) durch Rückwärtssubstitution Die Fehlervergrößerung im ersten und zweiten Schritt kann (schlimmstenfalls) κ (L), bzw κ (R) sein Es ist einfach zu sehen (AUFGABE!) dass für beliebige zwei Matrizen κ(ab) κ(a)κ(b) aber es kann sein, dass κ(a) = κ(lr) κ(l)κ(r) (60) Dies ist die Situation im Fall des Beispiels des Kapitels 62 Wir haben mit einem gutkonditionerten Problem Ax = b mit κ(a) 26 angefangen Das Eliminationsverfahren trennt es in zwei einfachere, aber schlecht-konditionierte Probleme Um das zu sehen, berechnen wir die LR-Zerlegung von A: ( 0 4 ) A = = und die Konditionszahlen sind ( ) ( ) = LR (6) κ(l) 0 8, κ(r) 0 8 Wie hilft die Spaltenmaximumstrategie? Statt A faktorisieren wir die Matrix ( ) ( ) ( ) 0 A = 0 4 = = L R und berechnen κ(l ) κ(r ) 26

25 Numerik I Version: In dieser Weise trennen wir das ursprüngliche Problem in zwei gut-konditionierte Probleme Tatsächlich haben wir gar nichts an Stabilität verloren, da die Konditionszahl des ursprüngliches Problems auch κ(a) 26 ist Die Zeilenvertauschung ändert die Konditionszahl nicht: für jede Permutationsmatrix, da und mit y = P x κ(pa) = κ(a) PA = sup PAx = sup Ax = A x = x = (PA) = A P = sup A P x = sup A y = A x = y = In der Realität löst man die Gleichung Lz = b in (n ) Schritten: die sukzessiven Multiplikationen in der Gauß-Elimination durch L, L 2,, entsprechen der sukzessiven Lösung von n Systemen: L z = b, L 2 z 2 = z,, L n z n = z n 2 und z := z n Also statt (60) erhalten wir (am schlimmsten) eine Fehlervergrößerung um einen Faktor κ(r)κ(l )κ(l 2 ) κ(l n ) (62) Die Situation mit der Spaltenmaximumstrategie ist nicht immer so gut wie in Beispiel (6) Aufgrund von κ(pa) = κ(a) κ(l)κ(r) kann keine Zerlegung die Stabilität verbessern Die Fehlervergrößerung des ursprünglichen Problems, κ(a), ist immer kleiner (am besten gleich) als die sukzessiven Fehlervergrößerungen, wenn wir die Probleme Lz = b und Rx = z separat lösen (man benutzt den Output des ersten Problems als Eingabe im zweiten, also multiplizieren sich die Fehlervergrößerungen) Im Allgemein, eben mit Spaltenmaximumstrategie (oder relativer Spaltenmaximumstrategie) erhalten wir strikte Ungleichungen Betrachten wir das Beispiel vom Kapitel A = 3 = = LR

26 Numerik I Version: Hier ist κ(a) = 84, κ(l) = 6, κ(r) = 6, dh die Fehlervergrößerung des Gaußschen Verfahrens ist 6 6 = 256, statt der maximalen Fehlervergrößerung von 84 des ursprünglichen Problems In diesem Verfahren gab es keine Spaltenmaximumstrategie, denn bei der Elimination der zweiten Spalte haben wir das Element 2 benutzt, obwohl wir die zweite und dritte Zeile vertauschen könnten, um das Element 4 statt 2 als Pivot zu benutzen Betrachten wir die Matrix 2 A = PA = 5 3 wobei wir schon die zwei letzten Zeilen durch die Multiplikation mit P vertauscht haben Es ist einfach zu sehen, dass diese Vertauschung der Spaltenmaximumstrategie bei der Elimination der zweiten Zeile entspricht Die LR-Zerlegung ist A = 5 = = L R und κ(a ) = 84, κ(l ) = 5, κ(r ) = 4725 Die Fehlervergrößerung hat sich auf = 236 verbessert (gegenüber dem Wert 256 ohne Spaltenmaximumstrategie), aber sie ist weit weg von 84, der theoretisch besten Fehlervergrößerung Es ist also zu empfehlen, die Spaltenmaximumstrategie in jedem Fall zu benutzen, weil sie die Stabilität immer verbessert und ihr Zeitaufwand ganz minimal ist 64 Praktische Tricks Die LR-Zerlegung (Gaußsche Elimination) braucht O(n 3 ) arithmetische Operationen im Fall einer n n Matrix (Aufgabe: Nachdenken!) Aber der meiste Aufwand wird für die Berechnung der L und R Matrizen benutzt Sobald diese Matrizen zur Verfügung stehen, benötigt die Lösung Ax = b Lz = b, Rx = z nur O(n 2 ) Operationen (Vorwärts- und Rückwärtssubstitutionen) Diese Tatsache kann offenbar ausgenutzt werden, wenn man mehrere Gleichungssysteme mit verschiedenen rechten Seiten b aber mit derselben Matrix A lösen muss Dies ist eine realistische Situation, weil manchmal die Matrix A durch physikalische Gesetze festgelegt wird,

27 Numerik I Version: aber der Vektor b verschiedene Messdaten enthält Denken Sie an das Beispiel in Kapitel 35, insbesondere an Gleichung (22), wobei die linke Seite die Matrix des diskreten Laplaceoperators aus physikalischer Begründung enthält, aber die rechte Seite von der gemessenen (lokalen) Dichte i abhängt Der andere Trick ist eine Korrektur der Lösung Nehmen wir an, dass Ax = b durch LR- Zerlegung gelöst wurde Wegen Rundungsfehler erhält man den Vektor x = x + x statt der wahren Lösung x Dann gilt A x = Ax + A( x) = b + A( x) dh A( x) = A x b (63) Nach der Bestimmung der Lösung x kann man die rechte Seite berechnen und dann die Gleichung (63) für den korrigierten Vektor x lösen und dann setzen wir x = x x für die neue Näherung der Lösung Weil die LR-Zerlegung schon zur Verfügung steht, ist der Zeitaufwand für die Berechnung des Vektors x ziemlich klein (O(n 2 ) statt O(n 3 )) Von praktischer Sicht gibt es eine Warnung: Auf der rechten Seite von (63) betrachten wir die Differenz zweier Vektoren, und wir erwarten, dass diese Differenz ganz klein (fast Null) ist Aufgrund dieses starken Auslöschungseffekts ist wichtig, die rechte Seite (insbesondere die Multiplikation A x) mit doppelter Genauigkeit zu berechnen Am Ende dieses Kapitels betonen wir noch einmal: Das Lösungsverfahren der linearen Gleichungssysteme mittels des Gaußschen Eliminationsverfahrens (LR-Zerlegung) ist theoretisch sehr nützlich und beliebt, aber es ist instabil Im Fall von größeren Matrizen (n 0) sollte es nur mit Vorsicht und immer mit den Pivotstrategien benutzt werden In Kapitel 7 und 9 diskutieren wir stabile Methoden 65 Cholesky-Zerlegung (LL t -Zerlegung) Definition 66 Eine symmetrische n n Matrix A heißt positiv definit, wenn die so genannte quadratische Form der Matrix A Q(x) := x t Ax

28 Numerik I Version: für alle x 0 Vektoren positiv ist: Q(x) > 0, x R n,x 0 Die Matrix heißt positiv semidefinit, wenn Q(x) 0 für alle x R n WARNUNG: Die Positivität der Elemente der Matrix A, a ij > 0 für alle i, j n, hat (fast) gar nichts mit der positiven Definitheit der Matrix zu tun! Die Matrix ist positiv definit, weil A = ( 2 ) 2 Q(x) = 2x 2 2x x 2 + 2x 2 2 = x 2 + (x x 2 ) 2 + x 2 2 > 0 außer wenn x = x 2 = 0 Auf der anderen Seite ist die Matrix nicht positiv definit: (, ) A = ( ) 2 2 ( ) ( ) 2 = 2 2 Aufgrund Q(e k ) = a kk, k n, sind alle diagonalen Elemente einer positiv definiten Matrix positiv, aber diese Eigenschaft ist nicht hinreichend, wie das obige Beispiel demonstriert Satz 67 Sei A positiv definit Dann gilt: a) Alle Hauptuntermatrizen, dh die Untermatrizen der Form sind positiv definit a kk a k,k+ a k,k+m A (k,m) a := k+,k a k+,k+ a k+,k+m a k+m,k a k+m,k+ a k+m,k+m b) [Spektralzerlegung] A hat positive Eigenwerte, λ, λ n und es existiert eine Basis aus orthonormalen Eigenvektoren, v,v 2,,v n Die Matrix Q := v v 2 v n

29 Numerik I Version: ist orthogonal (QQ t = Q t Q = I) und sie diagonalisiert die Matrix A: λ A = QDQ t λ 2, mit D := λ n Diese Relation kann man auch in der folgenden Form aufschreiben: n A = λ j v j vj t j= (Warnung: vv t v t v Das erste ist eine n n Matrix, das zweite ist einfach das Skalarprodukt v t v = v v, also eine reelle Zahl) c) det(a) > 0 Bemerkung 68 (i) Punkt b) (Spektralzerlegung) gilt für alle symmetrischen Matrizen, ausgenommen die Positivität der Eigenwerte Im Fall der allgemeinen symmetrischen Matrizen sind die Eigenwerte reell aber nicht unbedingt positiv (ii) Für eine symmetrische Matrix ist die Positivität aller Eigenwerte äquivalent der positive Definitheit Dies folgt aus der Identität n x t Ax = λ j (x t v j ) 2 j= falls A = j= λ j v t j v j die Spektralzerlegung von A ist (iii) Im Fall des komplexen Körpers muss die Transponierte durch die Adjungierte (Transponierte und komplexe Konjugation) ersetzt werden Beweis a) Sei x R m+ beliebig Wir ergänzen x zu z R n, so dass z i := x i+ k, falls k i m + k und z i = 0 sonst ist: Dann erhält man x = x x m+ = z = 0 0 x x m+ 0 0 x t A (k,m) x = z t Az > 0, x 0

30 Numerik I Version: aus der positiven Definitheit der Matrix A Der Beweis von Teil b) wurde in der linearen Algebra diskutiert Schließlich folgt die Positivität der Determinante aus det(a) = det(qdq t ) = det(q)det(d)det(q t ) = det(qq t )det(d) = λ λ 2 λ n > 0 Damit ist der Beweis komplett Für eine reguläre symmetrische Matrix kann die LR-Zerlegung symmetrisiert werden Erinneren Sie sich, dass die Diagonalelemente von L alle eins sind, und die Diagonalelemente von R alle von Null verschieden sind (sonst wäre R und folglich A nicht regulär) Natürlich kann man die LR-Zerlegung so organisieren, dass L eine untere Dreiecksmatrix ist und R eine unipotente obere Dreiecksmatrix ist Im Fall einer symmetrischen Matrix kann man die Diagonalelemente gleichmäßig aufteilen Man zerlegt die R-Matrix aus der LR-Zerlegung einer Matrix A: r r r 2 r n r 2 r r r 22 r 2n R = = r 22 n r 2n r 22 = DU r nn r nn } {{ } } {{ } =:D =:U wobei D Diagonalmatrix und U unipotente obere Dreiecksmatrix ist Dann folgt A = LR = LDU (64) Aufgabe 69 Beweisen Sie, dass diese Zerlegung (64) in unipotente obere und untere Dreiecksmatrizen und in eine Diagonalmatrix in der Mitte eindeutig ist Aufgrund der Symmetrie A = A t und A t = U t DL t, folgt also gilt L = U t und A = LDL t LDU = U t DL t Wenn A weiterhin positiv definit ist, dann sind alle Elemente von D auch positiv Der Beweis ist die folgende Berechnung: d l 2 d 2 A = LDL t = l 3 l 32 l n l n2 d 3 l 2 l 3 l n l 32 l n2 d n (65)

31 Numerik I Version: und die Hauptuntermatrix A,k der ersten k Zeilen und Spalten ist das Produkt der drei Hauptuntermatrizen d l 2 d 2 A,k = l 3 l 32 l k l k2 d 3 l 2 l 3 l k l 32 l k2 d k für jedes k (die Eigenschaft, dass die Hauptuntermatrix als das Produkt der Hauptuntermatrizen berechnet werden kann, gilt für allgemeine Matrizen nicht, aber sie gilt für diese Dreiecksmatrizen) Wegen der positiven Definitheit der Matrix A,k gilt 0 < det(a,k ) = det(l,k )det(d,k )det([l,k ] t ) = d d 2 d k, für jedes k, also alle Diagonalelemente der Matrix D sind positiv Sei D := die Wurzel von D, dann schreiben wir d d2 dn A = LDL t = (L D)( DL t ) = (L D)(L D) t =: L L t Die Matrix L := L D ist eine untere Dreiecksmatrix mit positiven Diagonalelementen Aus Traditionsgründen wechseln wir die Notation und bezeichnen L einfach durch L (aber dieses L ist nicht die L -Matrix in der LR-Zerlegung) Die Zusammenfassung dieser Argumente ist Satz 620 (Cholesky-Zerlegung) Die n n Matrix A sei positiv definit und setzen wir voraus dass die Gauss-Elimination ohne Zeilenvertauschung durchführbar ist Dann gibt es genau eine untere Dreiecksmatrix L mit positiven Diagonalelementen, so dass dh A = LL t a a 2 a n l l l 2 l n a 2 a 22 a 2n = l 2 l 22 l 22 l n2 a n a n2 a nn l n l 2 l nn l nn (66) gilt Diese Faktorisierung heißt Cholesky-Zerlegung Einige Bücher nennen die offensichtlich äquivalente Zerlegung (65) die Cholesky-Zerlegung

32 Numerik I Version: Aufgabe 62 Beweisen Sie die Eindeutigkeit der Cholesky-Zerlegung Satz 620 gilt auch ohne die Voraussetzung dass die Gauss-Elimination ohne Zeilenvertauschung durchführbar ist, aber der obige Beweis gilt nicht Für den Beweis im allgemeinen Fall siehe Plato: Numerische Mathematik kompakt, Satz 424 Das obige Argument liefert einen Algorithmus, um die Cholesky-Zerlegung mittels der LR- Zerlegung zu berechnen Man kann auch einfach die Matrixgleichung A = LL t als (n + )n/2 Bestimmungsgleichungen für die (n + )n/2 Unbekannten, l ik ( k i n), benutzen: k a ik = l ij l kj j= k i n (Beachten Sie, dass wegen der Symmetrie von A und LL t die Anzahl der Gleichungen nur (n + )n/2 statt n 2 ist) Dies ist ein nichtlineares Gleichungssystem, aber es lässt sich sukzessiv lösen Die ersten paar Gleichungen sind (siehe (66)): a = l 2 l = a a 2 = l 2 l l 2 = a 2 /l a 22 = l l2 2 l 22 = a 22 l2 2 a 3 = l 3 l l 3 = a 3 /l a 32 = l 3 l 2 + l 32 l 22 l 32 = ( ) a 32 l 3 l 2 /l22 a 33 = l3 2 + l l2 33, l 33 = a 33 (l3 2 + l32) 2 usw Im Allgemeinen, erhält man nach der Bestimmung der (i )-ten Zeile von L l i = a i /l l i2 = ( a i2 l i l 2 ) /l22 l i3 = ( a i3 l i l 3 l i2 l 32 ) /l33 und l ik = ( a ik k j= l ij l kj ) /lkk, k i (67) i l ii = ( a ii lij) 2 /2 (68) j=

33 Numerik I Version: Die Existenz der LL t -Zerlegung (Satz 620) garantiert, dass alle Größen unter den Quadratwurzeln positiv sind, und alle Diagonalelemente l jj positiv sind Also sind alle diese Formeln ausführbar In ähnlicher Weise wie die LR-Zerlegung kann man das Cholesky-Verfahren für die Lösung eines linearen Gleichungssytems mit einer positiv definiten Matrix A benutzen Wenn A = LL t vorgegeben ist, dann Ax = b Lz = b, L t x = z (69) Die Stabilität ist jetzt viel besser als im Fall der allgemeinen (nicht symmetrischen) LR- Zerlegung Aus der Formel (68) folgt unmittelbar: l ik a kk Insbesondere ist das betragsmäßig größste Element der Matrix L nicht größer als die Quadratwurzel des maximalen Diagonalelements von A Die Situation der Zerlegung (6), wobei die Elemente von L und R viel größer als die der Matrix A waren, kann bei der Cholesky-Zerlegung nicht auftreten Darüber hinaus gilt κ(l) = κ(a) (620) für die Konditionszahlen der Matrix L und A = LL t (für den Beweis siehe (334)) Deshalb liefert die Cholesky-Zerlegung ein stabiles Verfahren für die Lösung des Systems Ax = b Bemerkung 622 (Ein heikler Punkt!) Die Relation (620) zusammen mit κ(l) = κ(l t ) zeigt, dass die Kondition des Problems und die gesamte Kondition des Problems Ax = b Lz = b, und L t x = z dieselbe sind (κ(a) = κ(l)κ(l t )), weil sich die Konditionszahlen sukzessiv durchgeführter Aufgaben multiplizieren Dh, wenn jemand die Cholesky-Zerlegung genau liefert, dann kann man sie für eine stabile Lösung des Problems Ax = b benutzen Es ist eine andere Frage, ob der obige sukzessive Algorithmus für die Berechnung der Matrix L stabil ist Die Antwort hängt von der präzisen Auswertung der Formel (67) ab, aber Auslöschungen bei der Subtraktion in (67) können auftreten

34 Numerik I Version: Bandmatrizen In Anwendungen tauchen oft quadratische n n Matrizen A auf, die dünn besetzt sind [sparse matrix], dh die meisten der Elemente sind Null Eine spezielle Form sind die Bandmatrizen: Definition 623 Es seien natürliche Zahlen p, q vorgegeben Eine quadratische Matrix A heißt Bandmatrix mit Bandbreite p + q, wenn alle Elemente a ij Null sind, falls j i + p oder j i q: a a p 0 a q A = an p+,n 0 a n,n q+ a nn Zum Beispiel, die Matrix des eindimensionalen Laplaceoperators (23), die Matrix bei der Berechnung des kubischen Splines (450) und die Matrix bei der Bestimmung der Eigenwerte der orthogonalen Polynome (543) waren alle so genannte tridiagonale Matrizen, die offenbar Bandmatrizen mit p = q = 2 sind Die Bandmatrizen benötigen viel kleineren Speicheraufwand (die Nullelemente werden nicht als separate Elemente gespeichert, also muss die Speicherkonfiguration der speziellen Struktur angepasst werden), und sie sind schneller und stabiler bei Berechnungen Wir diskutieren hier kein spezielles Verfahren für Bandmatrizen (es gibt viele!) Wir bemerken einfach, dass die LR- und die Cholesky-Zerlegung die Bandstruktur erhalten Insbesondere hat die Matrix L die Bandbreite q und R hat die Brandbreite p: 0 r r p 0 l q A = LR = rn p+,n 0 l n,n q+ 0 r nn Aufgabe 624 Beweisen Sie diese Eigenschaft der LR-Zerlegung für Bandmatrizen