Kapitel 5. LU Zerlegung. 5.1 L- und U-Matrizen

Kapitel 5 LU Zerlegung In vielen Fällen interessiert uns die inverse Matrix A 1 gar nicht. Stattdessen suchen wir die Lösung der Matrixgleichung Ax = b bzw. x = A 1 b 5.1) für einen oder wenige Vektoren b. In diesem Fall ist das in diesem Kapitel besprochene LU Verfahren um etwa einen Faktor drei schneller als das Gauß-Jordan-Verfahren. Ein weiterer Grund weshalb wir dieses Verfahren diskutieren wollen ist der, dass wir sehen werden, dass sich Aufgaben der Linearen Algebra of deutlich vereinfachen lassen wenn man Matrizen auf eine bestimmte Form bringt. 5.1 L- und U-Matrizen Betrachten wir die beiden Matrizen L = l 00 0 0 0 l 10 l 11 0 0 l 20 l 21 l 22 0 l 30 l 31 l 32 l 33, U = u 00 u 01 u 02 u 03 0 u 11 u 12 u 13 0 0 u 22 u 23 0 0 0 u 33, 5.2) wobei die nichttrivialen Matrixelemente d.h. diejenigen ungleich Null) von L unterhalb bzw. auf der Diagonale stehen, und die nichttrivialen von U oberhalb bzw. auf der Diagonale. Wir vereinbaren: Eine Matrix deren Matrixelemente ungleich Null ausschließlich auf bzw. unterhalb engl. lower) der Diagonale stehen heißt L Matrix. 33

34 KAPITEL 5. LU-ZERLEGUNG Eine Matrix deren Matrixelemente ungleich Null ausschließlich auf bzw. oberhalb engl. upper) der Diagonale stehen heißt U Matrix. Im Laufe dieses Kurses werden wir öfters sehen, dass bestimmte Aufgaben besonders leicht für L- bzw. U-Matrizen durchgeführt werden können. Die wichtigste dieser Anwendungen ist die Matrixinversion. Betrachten wir die Gleichungen Lx = b, Ux = b, 5.3) wobei die Matrizen L bzw. U und der Vektor b vorgegeben sein sollen, und wir x bestimmen wollen. Aufgrund der besonderen Struktur der Matrizen L l ij = 0 für i > j) und U u ij = 0 für i < j) erhalten wir in Komponentenschreibweise i l ij x j = b i, j=0 n 1 u ij x j = b i. 5.4) j=i Nun kommt der entscheidende Schritt. Betrachten wir zuerst nur die L-Matrix. Für i = 0 erhalten wir aus Glg. 5.4) l 00 b 0 = x 0 b 0 = x 0 l 00. 5.5) Wir haben damit soeben x 0 bestimmt. Aber auch die anderen Komponenten können wir relativ einfach bestimmen. Dazu schreiben wir Glg. 5.4) in die Form i 1 l ii x i + l ij x j = b i 5.6) j=0 um; wenn wir die x i für i = 0, 1, 2,... berechnen stellen wir fest, dass für jedes i alle Größen bis auf das aktuelle x i gegeben sind, das wir sofort aus Glg. 5.6) bestimmen können. Das Verfahren zur Invertierung von Lx = b durch Vorwärtssubstitution d.h. für i = 0, 1, 2,...) lautet somit x i = 1 b i l ii ) i 1 l ij x j, i = 0, 1, 2,... n 1. 5.7) j=0

5.2. CROUT SCHER ALGORITHMUS 35 Crout scher Algorithmus zur LU Zerlegung einer n n-matrix A 1. Setze l ii = 1 für i = 0, 1, 2,... n 1 2. Schleife über Spalten j = 0, 1, 2,... n 1 a) Für i = 0, 1,... j u ij = a ij i 1 k=0 l iku kj b) Für i = j + 1, j + 2,... n 1 l ij = a ij ) j 1 k=0 l iku kj /u jj Box 5.1. Crout scher Algorithmus zur LU Zerlegung. Hierbei ist die Summe so zu verstehen, dass sie für i = 0 nicht durchlaufen wird. Andererseits lösen wir die Gleichung U x = b durch Rückwärtssubstitution d.h. für i = n 1, n 2,...) x i = 1 b i u ii n 1 j=i+1 u ij x j ), i = n 1, n 2,... 0. 5.8) Aufgabe 5.1 Überprüfen Sie Glg. 5.8). Warum erfolgt die Auflösung i = n 1, n 2,... 0 in umgekehrter Reihenfolge? 5.2 Crout scher Algorithmus Im vorigen Abschnitt haben wir gesehen, dass die Matrixinversion für L- und U-Matrizen überaus einfach ist. Das LU Verfahren besteht darin, dass zur Lösung von Ax = b zuerst die Matrix in A = LU zerlegt wird, und danach die Matrixinversion bezüglich den im vorigen Abschnitt besprochenen Schritten erfolgt. Die Aufgabe der LU Zerlegung erfolgt mit Hilfe des Crout schen Algorithmus. Im Prinzip haben wir in der Wahl der L- und U-Matrizen eine gewisse Freiheit, da diese n 2 + n von Null verschiedene Matrixelemente besitzen und A = LU nur auf n 2 Bestimmungsgleichungen führt. Im Crout schen Algorithmus werden alle l ii auf Eins gesetzt. Danach werden die Matrixelemente l ij und u ij unter Ausnutzung der L- bzw. U-Matrixeigenschaften auf äußerst elegante Weise bestimmt. Der Algorithmus, den wir hier nicht ausführlich diskutieren

36 KAPITEL 5. LU-ZERLEGUNG a) i j b) i > j Abbildung 5.1: Schematische Darstellung der Crout schen LU-Zerlegung. wollen, ist in Box 5.1 dargestellt. Die Besonderheit besteht darin, dass zu jedem Zeitpunkt die benötigten Komponenten von L und U bereits zur Verfügung stehen. Das ist in Abbildung 5.2 schematisch dargestellt. Die Punkte entsprechen den Matrixelementen von U oberhalb bzw. auf der Diagonale) und L unterhalb der Diagonale; die Elemente l ii = 1 müssen nicht explizit gespeichert werden. Der schraffierte Bereich zeigt die Matrixelemente der Spalten an, die bereits vollständig berechnet wurden. Die mit Pfeilen versehenen Linien markieren die Matrixelemente, die zur Berechnung des aktuellen Elementes ij Symbol ) benötigt werden für: a) i j U-Matrix) und b) i > j L-Matrix). Man erkennt unmittelbar, dass das Verfahren stets auf bereits berechnete Elemente zugreift. 5.3 Rückeinsetzen im LU Verfahren Schließlich lösen wir die Gleichung LU x = b durch Rückeinsetzen in Rückwärts bzw. Vorwärtsrichtung. Unter Verwendung der Abkürzung Ly = b erhalten wir Ly = b, Ux = y. 5.9) Aufgabe 5.2 Überprüfen Sie Glg. 5.9). Das Lösungsverfahren mit Hilfe von Rückeinsetzen ist in Box 5.2 dargestellt.

5.4. IMPLEMENTIERUNG DES LU VERFAHRENS 37 Rückeinsetzen im LU Verfahren 1. Für i = 0, 1, 2,... n 1 y i = b i i 1 j=0 l ijy j 2. Für i = n 1, n 2,... 0 x i = y i ) n 1 j=i+1 u ijx j /u ii Box 5.2. Lösung der Gleichung LU x = b durch Rückeinsetzen. Dieses Verfahren wird zusammen mit dem Crout schen Algorithmus Box 5.1) verwendet. 5.4 Implementierung des LU Verfahrens Im Gegensatz zum Gauß-Jordan-Verfahren erfolgt die Lösung von Ax = b in zwei Schritten: 1) zuerst lösen wir A = LU; 2) danach lösen wir LU x = b für einen oder mehrere Vektoren b. Da wir die Matrizen L und U zwischenspeichern müssen, empfiehlt es sich, eine eigene Klasse zu definieren. Dies ist in den Dateien http://physik.uni-graz.at/~uxh/lineare-algebra/ludecomp.h http://physik.uni-graz.at/~uxh/lineare-algebra/ludecomp.cc erfolgt. Betrachten wir zuerst die Datei LUdecomp.h 1 class LUdecomp { 2 3 public: 4 LUdecomp) : n0) {} 5 LUdecompconst matrix& m) { decomposem); } 6 7 void decomposeconst matrix& m); 8 void solvedouble x[], const double b[]) const; 9 10 int size ) const { return n; } 11 12 private: 13 int n; 14 matrix lu; 15 }; Hier werden folgende Klassenfunktionen definiert Zeile 4. Standardkonstruktor.

38 KAPITEL 5. LU-ZERLEGUNG Zeile 5. Konstruktor, bei dem eine Matrix m nach dem Crout schen Algorithmus LU zerlegt wird. Zeile 7. Funktion, die eine Matrix m nach dem Crout schen Algorithmus LU zerlegt. Zeile 8. Lösung von LU x = b. Zeile 10, 13. Ordnung der zu invertierenden Matrix. Zeile 14. LU Matrix. In der LU Zerlegung, die in der Funktion decompose in LUdecomp.cc erfolgt, wird anstelle der beiden Matrizen L und U nur eine Matrix lu benutzt. Dies ist zulässig, da die nichttrivialen Elemente von L unterhalb der Diagonalen liegen auch die Diagonalelemente l ii = 1 müssen nicht gespeichert werden) und die nichttrivialen Elemente von U auf bzw. oberhalb der Diagonale stehen. In der Implementierung in LUdecomp ist das so erfolgt, dass wir am Anfang 1 #define li,j) lui, j) 2 #define ui,j) lui, j) definieren, und danach gewährleisten, dass in den Aufrufen von li, j) und ui, j) stets i < j bzw i j gilt. Schließlich erlaubt es die Funktion solve, die Gleichung LU x = b zu lösen Box 5.2). Aufgabe 5.3 Überprüfen Sie, ob das Matrixprodukt LU in der Funktion decompose tatsächlich A ergibt. Aufgabe 5.4 Überprüfen Sie mit Hilfe der Funktion solve, ob im LU Verfahren tatsächlich AA 1 = II erfüllt ist. 5.5 LU Verfahren mit Pivotisierung Was ist mit Pivotisierung? Das LU Verfahren sollte stets nur mit Pivotisierung verwendet werden! Im Gegensatz zum Gauß-Jordan-Verfahren erfolgt die Wahl des pivot Elementes durch Zeilenvertauschung. Hierbei gehen wir folgendermaßen vor. Betrachten wir in Box 5.1 die Croutsche Zerlegung für eine bestimmte Spalte j. Für i = j berechnet sich u jj nach

5.5. LU VERFAHREN MIT PIVOTISIERUNG 39 Abbildung 5.2: Schematische Darstellung des LU-Verfahrens mit Pivotisierung. Die aktuelle Spalte j ist mit gelbem Hintergrund unterlegt. Zuerst werden alle Matrixelemente entsprechend a ij mini 1,j 1) k=0 l ik u kj bestimmt. Danach wird unter den Elementen i j das größte Element gesucht Pivotelement). Schließlich werden die Zeilen j und die Zeile, in der das Pivotelement ) steht vertauscht und die Matrixelemente l ij mit i > j durch das Pivotelement dividiert. und für i > j berechnen sich die l ij nach j 1 u jj = a jj l ik u kj, 5.10) k=0 ) l ij = 1 j 1 a ij l ik u kj. 5.11) u jj Die entscheidende Beobachtung ist nun die, dass in beiden Fällen die Summe über k von 0 bis j 1 läuft, wie auch aus Abbildung 5.2 ersichtlich. Die Berechnung von u jj und l ij ist demzufolge vollkommen gleich, mit dem einzigen Unterschied, dass die Matrixelemente von l ij noch durch u jj dividiert werden. Diesen Sachverhalt nutzen wir bei der Pivotisierung aus Abbildung 5.5). Hierbei benutzen wir eine gemeinsame Matrix W zur Speicherung von L und U wie zuvor erklärt); die Elemente oberhalb bzw. auf der Diagonale interpretieren wir als die Elemente von U und die restlichen als die von L. Zur Berechnung der Matrixelemente von W in einer bestimmten Spalte j berechnen wir: k=0

40 KAPITEL 5. LU-ZERLEGUNG 1. zuerst die Matrixelemente u ij für i < j; 2. danach die Ausdrücke w ij = a ij j 1 k=0 l iku kj für i j. Schließlich bringen wir das größte Element von w ij, i = j, j + 1,... n durch Zeilenvertauschen auf die Diagonale, d.h. wir machen es zum Pivotelement u jj. Somit LU-zerlegen wir nicht die Matrix A sondern eine zeilenweise Permutation A. Aufgabe 5.5 Diskutieren Sie, welche Auswirkungen diese Zeilenvertauschung auf das anschließende Rückeinsetzen hat. Nach Zeilenvertauschen von W werden die Matrixelemente w ij mit i > j durch das Pivotelement u jj dividiert, und sind somit die gesuchten Elemente der L-Matrix. Genauso wie beim Gauß-Jordan-Verfahren ist es nicht nötig bei Zeilenvertauschung die Matrixelemente umzukopieren, sondern wir führen stattdessen ein Indizierungsarray perm ein. Der vollständige LU-Algorithmus mit Pivotisierung ist in Box 5.3 dargestellt. Aufgabe 5.6 Implementieren Sie das LU-Verfahren mit Pivotisierung. Gehen Sie folgendermaßen vor. 1. Deklarieren Sie im private-teil der Klassendefinition ein Array perm. 2. Reservieren Sie in der Funktion decompose genügend Speicherplatz für perm, und initialisieren Sie die Matrixelemente mit {0, 1, 2,... n 1}. 3. Ersetzen Sie alle Zugriffe auf lu i, j) durch luperm[i], j). Überprüfen Sie, ob die LU-Zerlegung weiterhin funktioniert. 4. Erstellen Sie die Pivotisierung in der Funktion decompose. Ersetzten Sie in der Funktion solve den Zugriff b[i ] durch b[perm[i]]. 5. Überprüfen Sie, ob das Verfahren richtig funktioniert. Wählen Sie Matrizen, die ohne Pivotisierung nicht LU-zerlegt werden könnten z.b. mit a 00 = 0). 5.6 Determinante Mit der LU-Zerlegung ist es auch besonders einfach, die Determinante einer Matrix zu bestimmen. Zuerst benutzen wir det A = det LU = det L det U. 5.12)

5.6. DETERMINANTE 41 LU Verfahren mit Pivotisierung 1. Initialisiere Matrix W die die Elemente von U und L speichert) 2. Initialisiere P = {0, 1, 2,... n 1} 3. Schleife über Spalten j = 0, 1, 2,... n 1 a) Schleife u über Zeilen b) Pivotisierung i. Initialisiere l = j ii. Schleife i > j über Spalten Falls w Pi)j > w Pl)j setze l = j iii. Falls l i vertausche Pi) mit Pl) c) Schleife i > j über Zeilen w Pi)j = a Pi)j mini 1,j 1) k=0 w Pi)k w Pk)j w Pi)j = w Pi)j /w Pj)j Rückeinsetzen im LU Verfahren mit Pivotisierung 1. Für i = 0, 1, 2,... n 1 y i = b Pi) i 1 j=0 w Pi)j y j 2. Für i = n 1, n 2,... 0 x i = y i ) n 1 j=i+1 w Pi)j x j /w Pi)i Box 5.3. LU Verfahren mit Pivotisierung. Wenn wir danach L und U entsprechend des Laplaceschen-Satzes 3.6) entwickeln, erkennen wir unmittelbar, dass aufgrund der besonderen Struktur von L- und U-Matrizen die Determinanten durch das Produkt der Diagonalelemente gegeben ist n 1 det A = i=0 u ii. 5.13) l ii n 1 Da in der Crout schen Zerlegung l ii = 1 gewählt wurde, gilt offensichtlich i l ii = 1. Eine kleine Komplikation entsteht dadurch, dass bei Pivotisierung die Determinante ihr Vorzeichen ändert, wenn eine ungerade Zahl von Vertauschungen nächster Nachbarzeilen verwendet wurde. Das kann man dadurch berücksichtigen, dass man i=0

42 KAPITEL 5. LU-ZERLEGUNG 1. eine zusätzliche Variable int det=1 einführt; 2. wann immer zwei Zeilen i und l bei der Pivotisierung vertauscht werden, die Variable det bezüglich 1 det =i+l%2)? 1 : 1; ändert. Aufgabe 5.7 Erklären Sie, warum die Multiplikation von dieser Form ist. Implementieren sie eine Klassenfunktion in LUdecomp, die die Determinante bestimmt. Benutzen Sie diese Funktion, um mit Hilfe von Glg. 3.9) die Inverse einer Matrix A zu bestimmen. Überprüfen Sie, ob tatsächlich AA 1 = II gilt. 5.7 Iterative Verbesserung Nehmen wir an, dass wir bei der Lösung von x = A 1 b mit Hilfe des LU-Verfahrens numerische Rundungsfehler gemacht haben. Wie können wir dies überprüfen? Indem wir wieder rückeinsetzen. Bezeichnen wir die tatsächliche Lösung mit x und die mit Rundungsfehlern behaftetet mit x + δx. In Wirklichkeit ist x + δx die Lösung des Problems Ax + δx) = b + δb. 5.14) Wir können nun Glg. 5.14) dazu benutzen, um den numerischen Lösungsvektor x + δx iterativ zu verbessern. Zuerst stellen wir fest, dass aus Glg. 5.14) unmittelbar Aδx = δb 5.15) folgt. Drücken wir die rechte Seite durch 5.14) aus, so erhalten wir Aδx = Ax + δx) b. 5.16) Demzufolge berechnet sich die verbesserte Näherung für den Lösungsvektor zu x + δx) x + δx) A 1 Ax + δx) b). 5.17)

5.7. ITERATIVE VERBESSERUNG 43 Beachten Sie, dass zur iterativen Verbesserung 5.17) sowohl die Matrix A als auch ihre Inverse bzw. die Matrizen L und U) benötigt werden. Im Folgenden wollen wir von dieser iterativen Verbesserung nicht Gebrauch machen. Aufgabe 5.8 Diskutieren Sie, wie Glg. 5.17) implementiert werden könnte.