Untersuchung dünnbesetzter QR-Verfahren bei der Berechnung dünnbesetzter approximativer Inverser

Transkript

1 Technische Universität München Institut für Informatik Untersuchung dünnbesetzter QR-Verfahren bei der Berechnung dünnbesetzter approximativer Inverser Diplomarbeit im Fach Informatik Andreas Roy Aufgabensteller : Univ.-Prof. Dr. Thomas Huckle Betreuer : Dipl.-Tech. Math. Alexander Kallischko Abgabedatum :

2 ii Erklärung zur Diplomarbeit Ich versichere, dass ich diese Diplomarbeit selbständig verfasst und nur die angegebenen Quellen und Hilfsmittel verwendet habe. Garching, den

3 iii Wenn der Weise stets dumm erscheint, können seine Fehler nicht enttäuschen und sein Erfolg ist eine angenehme Überraschung Levi bar Alphäus, Die Bibel nach Biff

4 iv

5 v Inhaltsverzeichnis Vorwort 1 1 Grundlagen Lineare Gleichungsysteme Kondition und Vorkonditionierung Jacobi- und Gauss-Seidel-Vorkonditionierer SPAI -Vorkonditionierer Lineare Ausgleichsrechnung Lösung mittels Normalengleichung Lösung mittels Orthogonalisierungsverfahren Householder-Reflektion Givens-Rotation Gram-Schmidt-Verfahren Modifikationen bei der Berechnung des SPAI Dünnbesetzte Verfahren Dünnbesetzte Speicherstrukturen Dünnbesetzte Methoden Minimum-Degree mit Eliminationsgraphen Minimum-Degree mit Quotientengraphen Concise Sparse Package QR-Updates Einfügen neuer Spalten Einfügen neuer Zeilen QR-Updates im SPAI Implementierung QR-Zerlegung in einfacher Präzision mit iterativer Nachverfeinerung Numerische Ergebnisse LAPACK versus CSparse Bandmatrizen Permutierte Bandmatrizen

6 vi Inhaltsverzeichnis  - Testreihen Vorpermutation durch AMD oder reverse Cuthill-McKee QR-Updates Extremfälle des Patternupdates Patternupdates mit Orsirr 2 und Sherman Patternupdates mit Pores 2 als Ausgangspattern Float versus Double Zusammenfassung und Ausblick 79 Literaturverzeichnis 81

7 1 Vorwort [...]Das indirecte Verfahren läßt sich halb im Schlaf ausführen, oder man kann während dessen an andere Dinge denken.[...] Brief von Gauss an Gerling, 1823 Das Lösen linearer Gleichungssysteme gehört zu den wichtigsten Methoden in der Mathematik. Das einfachste Verfahren zum Lösen solcher Systeme wurde 263 nach Christus von Liu Hui 263 in seinem Werk Mathematik in neun Büchern niedergeschrieben. Einen Popularitätsschub hat das Verfahren durch die Beschreibung von Carl Friedrich Gauss ( ) erhalten. Der nach Gauss benannte Algorithmus besteht aus 2 Schritten: Vorwärtselimination, Rücksubstitution. Die Vorwärtselimination bringt die Matrix mit Hilfe von Zeilenvertauschungen und Additionen geeigneter Vielfacher von Zeilen in obere Dreiecksform. Die Rückwärtssubstitution bestimmt sukzessive alle Lösungskomponenten, sodass nach diesem Schritt die exakte Lösung des Gleichungssystems vorliegt. Der Nachteil des Algorithmus ist neben der hohen Laufzeit von O(n 3 ), wobei n der Matrixdimension entspricht, der Verlust der Dünnbesetztheit bei grossen dünnbesetzten Matrizen im Verlauf der Vorwärtselimination und die Exaktheit der Lösung. Häufig ist man mit einem Ergebnis zufrieden, das auf einer gewissen Anzahl von Nachkommastellen genau ist. Um die Nachteile zu umgehen, bieten sich iterative Verfahren an. Bei diesen Verfahren wird ausgehend von einer Startlösung mittels Fixpunktiteration neue bessere Lösungen gesucht, bis das Residuum der gefundenen Lösung unter eine gewünschte ɛ- Schranke fällt. Die Konvergenz der iterativen Verfahren ist von der Kondition des Gleichungssystems abhängig. Um eine schnelle Konvergenz bzw. überhaupt Konvergenz zu erhalten, muss bei den Gleichungsystemen die Kondition verbessert werden. Dies wird durch den Einsatz von Vorkonditionierern erreicht.

8 2 0 Vorwort Die Auswahl der Vorkonditionierer bzw. der Vorkonditionierverfahren ist mannigfaltig. In dieser Arbeit wird dem Sparse Approximate Inverse Vorkonditionierer, kurz SPAI, mit Hilfe verschiedener Techniken zu mehr Performanz verholfen. Der Performanzgewinn soll mittels Ersetzung der herkömmlichen QR- Zerlegung durch dünnbesetzte QR-Zerlegung und QR-Updates erreicht werden. Eine weitere Performanzsteigerung wird von der float-basierten Rechnung erwartet, bei der alle Rechnungen im float-datentyp durchgeführt werden. Anschliessend wird mit Hilfe von Nachverfeinerungsschritten die Genauigkeit des Ergebnisses erhöht, sodass diese das ungefähre Niveau des double-datentyps erreicht.

9 3 1 Grundlagen Die Themen, die dieses Kapitel behandelt, liefern den mathematischen Hintergrund der vorliegenden Arbeit. Der Startpunkt durch das Grundlagenkapitel sind lineare Gleichungssysteme und wie man sie löst. Anschliessend wird auf die Kondition von Gleichungssystemen eingegangen und wie man diese durch Vorkonditionierung verbessert. Konkret wird dabei die SPAI -Vorkonditionierung betrachtet. Die Vorkonditionierung bestimmt durch die Verwendung der QR- Zerlegung das letzte Thema dieses Kapitels, die lineare Ausgleichsrechnung mit ihren Lösungsmöglichkeiten. 1.1 Lineare Gleichungsysteme Der Hintergrund regiert den Vordergrund Gottfried Niebaum, In vielen Bereichen der Forschung und Praxis treten lineare Gleichungssyteme der Form a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b 2... a n1 x 1 + a n2 x a nn x n = b n kurz Ax = b auf, mit A R n n, x R n und b R n. Diese Aufgabenstellung schnell und effizient zu lösen ist eine Hauptaufgabe in der Mathematik und Informatik. Das berühmteste Verfahren zum Lösen linearer Gleichungssysteme ist der Gauss-Algorithmus. Hier wird das System mittels Additionen von geeigneten Vielfachen einer Zeile auf eine andere Zeile in ein äquivalentes einfacheres System transformiert. Ziel der Umformung ist die Erzeugung eines

10 4 1 Grundlagen Gleichungssystems in Zeilenstufenform. Nach der Umformung kann das System mit Hilfe von x n = b n und x i = b i n j=i+1 a ijx j mit i = n 1,...,1 (1.1) a nn a ii gelöst werden. Das Verfahren benötigt zum Lösen des Gleichungssystems #Flops = 2n3 3. Die Anzahl der Flops kann verringert werden, wenn die Matrix A symmetrisch positiv definit, kurz spd, ist. In diesem Fall kann das Cholesky-Verfahren nach André-Louis Cholesky ( ) angewandt werden. Bei diesem Verfahren verwendet man eine eindeutige Zerlegung A = LDL T, wobei L eine untere Dreiecksmatrix ist, deren Werte auf der Diagonalen den Wert Eins annehmen. D ist eine Diagonalmatrix mit positiven Einträgen. Diese Zerlegung existiert für alle spd Matrizen. Aufgrund der positiven Einträge kann die Matrix D zerlegt werden in D = D 1 2 D 1 2 mit D 1 2 = dii für i = 1...n. (1.2) Mit Hilfe von (1.2) kann man die Cholesky-Zerlegung bestimmen. A = GG T mit G = LD 1 2. (1.3) Die Zerlegung kann man gewinnbringend zur Lösung des Gleichungssystems Ax = b verwenden. Bei vorhandener Cholesky-Zerlegung löst man y = G T x b = Gy, da b = Gy = G(G T x) = Ax gilt. Die Anzahl der benötigten Flops für das Cholesky-Verfahren beträgt #Flops = n3 3 und damit nur halb soviele wie beim Gauss-Verfahren. Die beiden vorangegangenen Verfahren werden auch als direkte Löser bezeichnet. Der Nachteil dieser Verfahren ist, dass sie für grosse dünnbesetzte Matrizen, wie sie beim

11 1.1 Lineare Gleichungsysteme 5 Lösen von partiellen Differentialgleichungen nach einer entsprechenden Diskretisierung häufig vorkommen, recht unpraktikabel sind, da sie die dünnbesetzte Struktur der Matrix A bei der Berechnung nicht ausnutzen sondern zerstören. Eine andere Klasse von Gleichungssystemlösern sind die iterativen Verfahren. Diese Methoden berechnen über x k+1 = φ(x k ) = Sx k +c, wobei S ein Splitting der Matrix A ist, einen Fixpunkt. Dieser Fixpunkt ist gleichzeitig Lösung des Gleichungsystems Ax = b. Damit das Verfahren konvergiert muss der Spektralradius von S kleiner als 1 sein [DH93, Seite 257]. Ausgehend von einer Startlösung x (0) wird eine Folge von Lösungen berechnet, wobei x (0) x (1)... lim i x (i) = x ist. Bei iterativen Verfahren wird die Lösung so lange berechnet bis die Norm des Residuum r (i), mit r (i) = b Ax i, eine ɛ-schranke unterschreitet. Die iterativen Verfahren unterteilen sich in Relaxations- und Krylovraumverfahren. Die Relaxationsverfahren gehen dabei von einer Startlösung x (0) aus und bestimmen mit Hilfe der Iterationsfunktion φ(x) eine Folge von neuen genaueren Lösungen. Das einfachste Verfahren sei hier kurz dargestellt, das Richardson- Verfahren. Es verwendet als Iterationsfunktion Das führt auf die Iterationsvorschrift φ(x) = b + (I A)x. (1.4) x (k+1) = x (k) + (b Ax (k) ) = φ(x (k) ). Betrachtet man (b Ax (k) ) als Residuum r, dann wird bei diesem Verfahren das Residuum als Korrektur zur Verbesserung der Näherung x (k) verwendet. Die Iterationsfunktion (1.4) lässt sich mit b = Ax = (A + I I)x = Ax + Ix Ix = (A I)x + x begründen. Das Verfahren konvergiert gegen die gesuchte Lösung, wenn A I 2 < 1. (1.5) Der Beweis befindet sich in [HS06, Seite 250]. Durch (1.5) ist das Verfahren nur sinnvoll für eine Ausgangsmatrix A, die nahe an der Einheitsmatrix I liegt. Dieses Verfahren ist der Ausgangspunkt für erfolgversprechendere Verfahren bei denen die Matrix A nicht nahe an der Einheitsmatrix I liegen muss, um

12 6 1 Grundlagen zu konvergieren. Ein anderer Ansatz, um das Gleichungssystem Ax b zu lösen, ist die Minimierung der Funktion f(x) = 1 2 xt Ax b T x f (x) = Ax b. (1.6) Voraussetzung dafür ist, dass A spd ist. Die Funktion aus (1.6) kann als Paraboloid interpretiert werden. z 3.0 z x y x y x z y Abbildung 1.1: Darstellung eines Paraboloiden sowie der Höhenlinien des Paraboloiden Die Lösung von (1.6) ist gekennzeichnet dadurch, dass die Ableitung an dieser Stelle Null ist. Ausgehend von einem Punkt auf dem Paraboloid sucht man das Minimum des Paraboloiden. Das lässt sich als iteratives Verfahren der Form x (k+1) = x (k) + a (k) d (k) (1.7) beschreiben, mit d (k) als k-te Suchrichtung und a (k) als Länge der Suchrichtung d (k). Die einzelnen Strategien zum Lösen des Problems, wie z.b. die Methode des steilsten Abstieges, die Methode der konjugierten Richtungen und die Methode der konjugierten Gradienten, unterscheiden sich durch die Bestimmung der Suchrichtung. Das Verfahren des steilsten Abstieges verwendet den negativen Gradienten f(x) als Suchrichtung. Siehe [HS06, Seiten ]. Die Methode der konjugierten Gradienten (CG-Verfahren) benutzt statt der negativen Gradienten Suchrichtungen, die A-orthogonal zueinander sind. Zwei Vektoren p, q R n sind A-orthogonal, wenn p, Aq = 0 gilt [HS06, Seite

13 1.2 Kondition und Vorkonditionierung 7 257]. Die A-orthogonalen Suchrichtungen spannen den Raum U k auf, der pro Iteration um einen Basisvektor vergrössert wird [DH93, Seite 271]. U k = span{r (0), Ar(0),...,A k 1 r (0) } für k = 1,, n. (1.8) Der Raum U k wird auch als Krylovraum bezeichnet. In der Iteration k wird im Raum x 0 +U k die beste Approximation gesucht. Nach spätestens n Iterationen entspricht die Approximation x n der gesuchten Lösung, da dann im gesamten Raum die Lösung gesucht wird. Die Gradientenverfahren konvergieren schnell gegen die Lösung, wenn der Paraboloid wenig verzerrt ist. Der Idealfall wird in der Abbildung 1.1 gezeigt. Hierbei bilden die Höhenlinien des Paraboloiden konzentrische Kreise um den Nullpunkt. Unter diesem Umstand kann die Lösung in einer Iteration berechnet werden. Der Grad der Verzerrung des Paraboloiden wird durch die Kondition der Ausgangsmatrix A bestimmt. Wie man die Kondition der Matrix verbessern kann, wird im folgenden Abschnitt beschrieben. 1.2 Kondition und Vorkonditionierung just dropped in to see what condition my condition was in... Mickey Newbury, Um auftretende Fehler einer Problemstellung analysieren zu können, bedarf es eines Maßstabes, der festlegt wie stark sich Störungen der Eingabedaten auf die Lösung des Problems auswirken. Um den Zusammenhang zu beschreiben, wurde der Begriff der Kondition eines Problems und damit einhergehend die Konditionszahl eingeführt. Die Konditionszahl κ(a) einer Matrix A lautet κ(a) := max Ax x =1 (1.9) min Ax. x =1 und bestimmt den Grad der Verzerrung der Normkugel nach Anwendung der Matrix A. Für Matrizen mit einer existierenden Inversen A 1 kann (1.9) umgeformt werden zu der kurzen prägnanten Darstellung κ(a) = A A 1. Siehe [DH93, Seite 35]. Um die Kondition der Matrix A zu verbessern, bieten sich Vorkonditionierer an. Unter Vorkonditionierung eines Gleichungssystems versteht man in der numerischen Mathematik die Umformung eines Systems

14 8 1 Grundlagen Ax = b in ein äquivalentes System, das eine bessere Kondition aufweist. Dabei kann zwischen einer Linksvorkonditionierung (1.10), einer Rechtsvorkonditionierung (1.11) und einer beidseitigen Vorkonditionierung (1.12) unterschieden werden: M 1 Ax = M 1 b (1.10) AM 1 y = b, x = M 1 y (1.11) M1 1 1 AM 2 y = M 1 1 b, x = M 1 2 y (1.12) Für die Vorkonditioniermatrix M verwendet man nicht-singuläre Matrizen, die A bzw. A 1 approximieren. Die Transformation verbessert dann für die eingesetzten iterativen Methoden die Kondition des Problems, wodurch eine bessere Konvergenzgeschwindigkeit bzw. überhaupt erst Konvergenz erreicht wird. Ziel ist es, ein M zu finden, so dass κ(m 1 A) κ(a). Trotz des ersichtlichen Vorteils des schnelleren Lösens muss darauf geachtet werden, dass dieser Vorteil nicht durch den zusätzlichen Aufwand aufgehoben wird. Auf die Lösung hat die Vorkonditionierung keine Auswirkungen. Überlicherweise wird das Produkt der Matrix A mit der Matrix M 1 nie explizit gebildet, stattdessen beschränkt man sich auf die einzelnen Vektorprodukte. Am Beispiel des CG-Verfahrens lässt sich die Auswirkung der Kondition auf die Konvergenz gut veranschaulichen. Für das CG-Verfahren gilt ( ) k κ 1 x x k A 2 x x 0 A, k = 1, 2,..., n, (1.13) κ + 1 wobei κ = cond(a) = λmax(a), die Energienorm x λ min (A) A= x T Ax und x der exakten Lösung entspricht. Für die Herleitung von (1.13) siehe [DH93, Seiten ]. Je kleiner der Faktor κ 1 κ+1 ist, desto schneller wird der Fehler x x k A verringert, d.h. man erhält eine bessere Konvergenzgeschwindigkeit, wenn κ(m 1 A) möglichst nahe an Eins liegt Jacobi- und Gauss-Seidel-Vorkonditionierer Ein einfach zu implementierender Vorkonditionierer ist der Jacobi-Vorkonditionierer. Diese Methode verwendet als Vorkonditioniermatrix M = D, wobei D

15 1.2 Kondition und Vorkonditionierung 9 der Diagonalen der Matrix A entspricht. Im Falle der Linksvorkonditionierung verwendet man folgendes Gleichungssystem: (D 1 A)x = (D 1 b). (1.14) Wendet man die Jacobi-Vorkonditionierung auf das Richardson-Verfahren (1.4) an, erhält man φ(x) = D 1 b + (I D 1 A)x. (1.15) Als hinreichende Bedingung für die Konvergenz von (1.15) gilt, dass A strikt diagonal dominant ist, d.h a ii > n a ij mit i = 1,...,n i j [Saa00, Seite 111]. Eine weitere einfache Möglichkeit ist der Gauss-Seidel- Vorkonditionierer. Dieser verwendet als Vorkonditioniermatrix M = (L + D), (1.16) wobei D der Diagonalen von A und L der unteren Dreiecksmatrix von A entspricht. Analog zum Jacobi-Vorkonditionierer lautet das Gleichungssystem und auf das Richardson-Verfahren angewandt ((D + L) 1 A)x = ((D + L) 1 b) (1.17) φ(x) = (D + L) 1 b + (I (D + L) 1 A)x. (1.18) Mit Hilfe der Gauss-Seidel-Vorkonditionierung konvergiert das Verfahren für jede Matrix A, die spd ist. Der Beweis lässt sich in [DH93, Seiten ] finden SPAI-Vorkonditionierer 1997 wurde von Grote und Huckle in [GH97] ein Vorkonditionierer vorgestellt, der eine dünnbesetzte approximierte Inverse erzeugt und diese Inverse als Vorkonditioniermatrix verwendet. Im Folgenden wird dieser Vorkonditionierer als SPAI bezeichnet. Neben der Verbesserung der Kondition einer Matrix ist ein weiteres Hauptmerkmal des Verfahrens die leichte Parallelisierbarkeit. Für die Berechnung der approximierten Inversen M A 1 wird neben der Ausgangsmatrix A R n n ein Muster (Pattern) P benötigt, das der Besetztheit von M entspricht. Das Pattern P enthält die Positionen an denen M Einträge haben

16 10 1 Grundlagen darf. Die SPAI -Methode erzeugt eine Matrix M für die AM I gilt. Um eine gute Approximation der Inversen zu berechnen, minimiert das Verfahren AM I F. Die Norm m A F = i=1 n a ij (1.19) einer Matrix A wird als Frobenius-Norm bezeichnet. Der Vorteil bei der Verwendung der Frobenius-Norm liegt in der einfachen Parallisierbarkeit der Berechnung: n AM I 2 F = (AM I)e k 2 2, (1.20) k=1 wobei e k dem k-ten Einheitsvektor entspricht. Die Umformung (1.20) führt das Ausgangsproblem auf n Minimierungsprobleme der Form j=1 min m k Am k e k 2 mit k = 1...n (1.21) zurück. Aufgrund der Unabhängigkeit der Summanden beim Berechnen der Norm, können die Minimierungsaufgaben parallel gelöst werden. Ausgehend vom Muster P werden die Besetztheitsstrukturen der einzelnen m k bestimmt. Das vorgegebene Muster kann mit Hilfe des Patternupdates um zusätzliche Einträge erweitert werden bis die Norm Am k e k 2 kleiner als eine gewählte ɛ-schranke ist oder die maximale Besetztheit erreicht wurde. Durch die Vorgaben des Pattern P ergibt sich die Möglichkeit das Minimierungsproblem (1.21) zu reduzieren und die Werte des Vektors m k effizient zu bestimmen. min m k Am k e k 2 min ˆm k Âk ˆm k ê k 2. (1.22) Um Âk, ˆm k und ê k zu erzeugen, sind zwei Indexmengen I k und J k nötig. In der Menge J k sind alle Indizes j aufgeführt, für die gilt m k (j) 0. Die Reduzierung von m k auf die Indizes j liefert ˆm k. Die Einträge i der Menge I k entsprechen den Zeilenindizes der Matrix A, die A(i, J k ) 0 erfüllen. Die Eliminierung aller Nullzeilen der Matrix A(., J k ) liefert Âk. Durch die Beschränkung des Einheitsvektors auf die Menge I k entsteht ê k A(I k, J k ) = Âk e k (I k ) = ê k.

17 1.2 Kondition und Vorkonditionierung 11 Das folgende Beispiel soll den Vorgang verdeutlichen: A = , P = Die Besetztheitstruktur des Vektors m 1 entspricht dem ersten Vektor von P. Die Indexmenge J 1 entspricht J 1 = {1, 4, 5} Die Matrix A, eingeschränkt auf die Spalten der Menge J 1, wird durch die Einträge mit Balken dargestellt A(., J 1 ) = Die Menge I 1 der Zeilenindizes umfasst I 1 = {1, 2, 3, 4, 5}. Mit Hilfe der beiden Mengen kann die Matrix Â1 bestimmt werden  1 = A(I 1, J 1 ) Die restlichen Âk, m k und e k werden analog gebildet. Das Lösen der einzelnen Minimierungsprobleme (1.22) erfolgt mit Hilfe der QR- Zerlegung. Das Verfahren der QR -Zerlegung wird im Kapitel behandelt: min m k  ˆm k ê k 2 = min m k QR ˆm k ê k 2 = min m k R ˆm k Q T ê k 2. (1.23) Die Lösung für (1.23) ist ˆm k = R 1 Q T ê k. Die Gesamtheit aller Lösungen m k, k = 1,...,n liefert eine approximierte Inverse M von A.

18 12 1 Grundlagen Um die Approximation der Inversen zu verbessern, kann das Pattern erweitert werden. Die Vergrösserung des Pattern und die daraus resultierende Verbesserung der Approximation der Inversen kann man als Verringerung von AM I F auffassen. Um die Norm AM I F zu verringern, müssen die einzelnen Minimierungsprobleme (1.21) gelöst werden. Ausgangspunkt der weiteren Verringerung der Norm ist das Residuum r k r k =  ˆm k ê k. (1.24) Zur besseren Übersicht wird das weitere Verfahren exemplarisch für einen Spaltenvektor m k beschrieben. Auf allen anderen Spalten lässt sich das Verfahren analog anwenden. Für die Verbesserung werden zwei neue Indexmengen L und N benötigt. Die Menge L umfasst alle Indizes l für die gilt r k (l) 0. Für alle l L werden alle Indizes g bestimmt für die gilt A(l, g) 0 und g / J. Alle gefundenen g werden zur jeweiligen Menge N l zusammengefasst. Die Menge aller Indizes J, die zu einer Verbesserung beitragen können, lässt sich formulieren als J = l L N l. (1.25) Im Falle des obigen Beispiels für k = 1 und einem Residuum, bei dem alle Elemente ungleich Null sind, würde die Menge J sich aus der Vereinigung der Indizes der Einträge mit Balken zusammensetzen P = , J = {2, 3}. 0 Aus dieser Menge wird der Index gesucht, der r k 2 am stärksten verringert. Man erhält das Minimierungsproblem min µ j  ˆm k ê k + µ j A(I,.)e j 2 2 = min µ j  ˆm k ê k + µ j â j 2 2 = min r k + µ j â j 2 2, j J. µ j (1.26) Das Minimierungsproblem (1.26) kann, unter Verwendung der Eigenschaften des Skalarproduktes, wie folgt gelöst werden: r k + µ j â j 2 2 = r k µ j r k, â j + µ 2 j â j 2 2 d r k + µ j â j 2 2 dµ = 2 r k, â j + 2µ j â j 2! 2= 0, j

19 1.3 Lineare Ausgleichsrechnung 13 mit der Lösung µ j = rt k âj â j. Mit den berechneten µ 2 j können die neuen Residuen berechnet werden. Die w Indizes aus j J, die die kleinsten Residuen 2 erzeugen, werden der Menge J hinzugefügt. Mit der vergrösserten Indexmenge J werden die Lösungen von (1.21) erneut berechnet. Wenn das Ergebnis von (1.21) die vorgebene ɛ-schranke nicht erreicht und die maximale Besetztheit noch nicht erreicht wurde, kann das Patternupdate solange durchgeführt werden, bis eine der beiden Bedingungen erfüllt wird. Die Residuen r k + µâ j 2 2 verbessern sich aufgrund der Tatsache, dass r k + µâ j 2 2 = r k 2 2 r 2 rk T k, âj â â j 2 j + rk T âj 2 â 2 â j 2 j 2 2 = r k rt k âj r â j 2 k T â j + (rt k âj) 2 â 2 â j 4 j = r k 2 2 (rt k âj) 2 â j 2 2 gilt. Weitere Informationen unter [GH97, Seiten ]. 1.3 Lineare Ausgleichsrechnung I wish to God these calculations had been executed by steam Charles Babbage, 1821 Wie im vorherigen Abschnitt gezeigt, verwendet der SPAI die lineare Ausgleichsrechnung in Form der QR-Zerlegung, um die einzelnen Spaltenvektoren m k zu berechnen. Der folgende Abschnitt befasst sich mit der linearen Ausgleichsrechnung im Allgemeinen. Anschliessend werden verschiedene Möglichkeiten zum Lösen linearer Ausgleichsprobleme betrachtet. In vielen Bereichen werden durch Messungen und Beobachtungen Sachverhalte beschrieben. Diese Sachverhalte sollen mit Hilfe einer Gesetzmässigkeit ausgedrückt werden, d.h. man sucht ein mathematisches Modell, das die Daten am besten approximiert. Von den Messungen ausgehend erhält man m Messwerte, welche in einem Vektor zusammengefasst werden. Die gesuchten Modellparameter werden in einen zweitem Vektor der Länge n untergebracht. Der Zusammenhang zwischen Modellparameter und den Messwerten wird durch eine Matrix beschrieben. Man erhält das lineare Gleichungssystem Ax = b, wobei A R m n, x R n und b R m ist, sowie m > n. Das überbestimmte Gleichungssystem hat im Normalfall keine eindeutige Lösung, man möchte

20 14 1 Grundlagen aber das Gleichungssystem mit einem möglichst kleinen Fehler lösen. Daher versucht man das Residuum r = Ax b zu minimieren. Das führt zu dem Minimierungsproblem min Ax b x R n 2. (1.27) Statt der 2-Norm kann auch eine andere Norm, wie die 1-Norm oder die -Norm, verwendet werden. Die Verwendung der genannten Normen führt auf andere Problemstellungen, wie das Standardproblem der linearen Optimierung (Verwendung der 1-Norm) oder das Problem der Tschebyscheffschen Ausgleichsrechnung (Verwendung der -Norm). Siehe [DH93, Seite 70]. Das Problem (1.27) lässt sich auf mehreren Wegen lösen. Eine Möglichkeit ist das Lösen mit Hilfe der Normalengleichung, eine andere Möglichkeit löst das Problem mittels Orthogonalisierungsverfahren Lösung mittels Normalengleichung Das Verfahren zum Lösen des linearen Ausgleichsproblems mit Hilfe der Normalengleichung verwendet als Ausgangspunkt die Äquivalenz der beiden Minimierungsprobleme min Ax b x R n 2 und min Ax b x R 2 n 2, d.h. der Lösungsvektor x ist bei beiden Problemen identisch, wobei A R m n, der Rang(A) = n und b R m. Ausgehend von der quadrierten Form kann man folgenden Zusammenhang herstellen min Ax b x R 2 n 2 = Ax b, Ax b = (Ax b) T (Ax b) = x T A T Ax 2x T A T b + b T b. (1.28) Das Ergebnis der Umformung (1.28) ist eine quadratische Gleichung und stellt einen nach oben geöffneten Paraboloiden dar. Durch Ableiten der Gleichung nach x und Nullsetzen kann die Lösung des ursprünglichen Minimierungsproblems bestimmt werden. Das führt auf 2A T Ax 2A T b = 0 bzw. A T Ax = A T b, (1.29) wobei A T Ax = A T b als Normalengleichung bezeichnet wird. Das entstandene Gleichungssystem ist symmetrisch und kann mit der in Kapitel 1.1 beschriebenen Cholesky-Zerlegung gelöst werden. Das Verfahren liefert den Lösungsvektor

21 1.3 Lineare Ausgleichsrechnung 15 x für (1.27) [Sch93, Seiten ]. Dieser Algorithmus benötigt zum Lösen des Systems #Flops = (m + n/3)n 2. (1.30) Der Nachteil dieser Methode ist im Allgemeinen die Verschlechterung der Kondition des Problems. Es kann gezeigt werden, dass die Kondition κ(a T A) = κ(a) 2 ist [DH93, Seite 73]. Im folgenden Abschnitt werden Verfahren behandelt, die (1.27) lösen aber keine Verschlechterung der Kondition des Problems wie die Normalengleichung zur Folge haben Lösung mittels Orthogonalisierungsverfahren Diese Methode nutzt die Zerlegung A = QR aus, wobei A R m n, Q R m m eine orthogonale Matrix, d.h. Q T Q = I, und R R m n eine obere Dreiecksmatrix ist, so dass gilt Q T A = = ( ) R. (1.31) 0 Der Vorteil dieser Zerlegung liegt in der Invarianz von Q bezüglich der 2-Norm, d.h die Kondition bleibt damit unverändert. Qy 2 = y 2, mit Q 2 = 1 (1.32) Um (1.32) zu zeigen, betrachtet man die quadrierte Form von Qy 2 : Für die Kondition gilt Qy 2 2= Qy, Qy = Q T Qy, y = y, y = y 2 2. κ(qa) = κ(a). (1.33) Weitere Informationen zu (1.33) siehe [DH93, Seite 77]. Die Normalengleichung (1.29) hingegen verschlechtert die Kondition. Der Nachteil der Orthogonalisierungsverfahren ist jedoch der höhere Aufwand, der bei der QR-Zerlegung geleistet werden muss. Darauf wird in den verschiedenen Methoden zur QR-Zerlegung genauer eingegangen. Auf das lineare Ausgleichsproblem angewandt, ergibt sich folgender Zusammenhang: min x R n Ax b 2= min x R n QRx b 2= min x R n Rx QT b 2, (1.34)

22 16 1 Grundlagen wobei Q T b = ( b1 b 2 ), b 1 R n und b 2 R m n. Die Lösung des Minimierungsproblems (1.34) ist x = R 1 b 1. Dies zeigt sich in Ax b 2 = Q T (Ax b) 2 ( ) ( = Rx b1 2 0 b 2) = Rx b b 2 2. (1.35) Der erste Summand in (1.35) verschwindet genau dann, wenn x = R 1 b 1 ist. Der minimale Abstand bzw. Wert des Residuums r = Ax b ist festgelegt durch b 2 2. Im Folgenden werden drei Methoden der QR-Zerlegung beschrieben. Die wichtigsten Verfahren sind die Householder-Reflektion, die Givens-Rotation und das Gram-Schmidt-Verfahren. Bei der Householder-Reflektion und der Givens- Rotation wird die Matrix Q nicht explizit aufgebaut. Die Gram-Schmidt- Methode hingegen konstruiert die Matrix Q verfahrensbedingt Householder-Reflektion Die Householder-Reflektion wurde von Alston Scott Householder im Jahr 1958 vorgestellt. Es handelt sich dabei um eine Spiegelung des Vektors a an einer Ebene l, die durch den Ursprung verläuft, sodass der Vektor auf ein Vielfaches eines Einheitsvektors gespiegelt wird: 2 v 1 a e 1 αe l 2 vt a v T v Abbildung 1.2: Spiegelung eines Vektor a an einer Ebene auf ein Vielfaches des Einheitsvektors Bei der Householder-Reflektion wird eine Matrix der Form ) H = (I 2 vvt v T v (1.36)

23 1.3 Lineare Ausgleichsrechnung 17 verwendet. Den Vektor v = a + αe 1 (1.37) bezeichnet man als Householder-Vektor. Das Ziel der Reflektion ist das Erzeugen eines Vielfachen vom ersten Einheitsvektor durch Elimination von Einträgen des Ausgangsvektors a. Es soll gelten Ha = αe 1 ) Ha = (I 2 vvt a = a 2 vt a v T v v T v v (a + αe 1 ) T a = a 2 = (a + αe 1 ) T (a + αe 1 ) (a + αe 1) ) x ( 1 2aT a + 2αa 1 a T a + 2αa 1 + α 2 2α(a + αe 1 )a (a + αe 1 ) T (a + αe 1 ) e 1. (1.38) Der Minuend aus Gleichung (1.38) wird Null, wenn α = a 2 entspricht. Der Vektor a wird somit auf ein Vielfaches des ersten Einheitsvektors abgebildet. Für den Householder-Vektor v ergibt sich daraus v = a a 2 e 1. Um eventuell auftretende Auslöschung zu verhindern, wenn a nahe an e 1 liegt, bestimmt man v = (a a 2 n) a 1 + a 2. (1.39) In der QR-Zerlegung wird für jeden Spaltenvektor von A, der Reihe nach die Householder-Matrix aufgebaut und auf A angewandt. Startpunkt des Verfahrens ist der erste Spaltenvektor von A. Mit diesem Vektor wird die Householder- Matrix bestimmt und auf A angewandt. Im nächsten Schritt nimmt man den zweiten Spaltenvektor des neu entstandenen A und verfährt analog. Dies wird bis zum letzten Vektor wiederholt. Durch diese Vorgangsweise wird die Ausgangsmatrix A Schritt für Schritt in die obere Dreiecksmatrix R überführt. A = H 1A = R Die Matrix Q setzt sich aus dem Produkt der einzelnen Householder-Matrizen zusammen. Damit ergibt sich H 1 H 2 H n = Q.

24 18 1 Grundlagen Q wird in der Praxis für gewöhnlich nicht explizit aufgebaut, stattdessen werden die einzelnen Householder-Vektoren gespeichert. Platz für die Householder- Vektoren bieten die Elemente des Ausgangsvektors die eliminiert wurden, damit das erste Element nicht mit dem jeweiligen Diagonalelement kollidiert, wird der Vektor so umgeformt bzw. so erzeugt, dass das erste Element den Wert Eins enthält. Die Kosten für die QR-Zerlegung mittels Householder-Reflektion betragen #Flops = 4n 2 (m n/3) Givens-Rotation Bei den Givens-Rotationen (nach Walace Givens 1958) handelt es sich um Drehungen in der Ebene. Mit Hilfe der Rotationen können die einzelnen Richtungskomponenten des Vektors a eliminiert werden, sodass am Ende der Vektor auf ein Vielfaches des ersten Einheitsvektor e 1 gedreht wird. Abbildung 1.3 stellt den einfachsten Fall dar. Hier genügt es den Vektor a R 2 mit einer einzigen Drehung um den Winkel θ auf den Einheitsvektor zu drehen. 2 1 a θ e 1 αe Abbildung 1.3: Drehung eines Vektors a auf ein Vielfaches des Einheitsvektors Um die Drehung des Vektors a auf ein Vielfaches αe 1 des Einheitsvektors e 1 durchzuführen, verwendet man das Gleichungssystem ( cosθ sin θ sin θ cosθ ) ( ) a1 = α a 2 ( ) 1. 0 Die Givens-Rotation arbeitet im Vergleich zur Householder-Reflektion selektiver. Man wählt die einzelnen Einträge der Matrix bzw. des Vektors, die auf Null gesetzt werden sollen, aus und eliminiert sie Schritt für Schritt. Um den Eintrag der i-ten Spalten und k-ten Zeile zu eliminieren, verwendet man die

25 1.3 Lineare Ausgleichsrechnung 19 Matrix G ij : c s 0 i. G ij = s c 0 j i j Um die Werte für c (Cosinus) und s (Sinus) zu wählen, betrachtet man folgendes Gleichungssystem ( ) ( ) ( ) c s xi cxi sx j =. (1.40) s c sx i + cx j Für die beiden Gleichungen aus (1.40) soll gelten, dass x j sx i + cx j = y j = 0 (1.41) und cx i sx j = y i = x 2 i + x2 j. (1.42) Die Gleichung (1.42) muss gelten, da die Givens-Rotation die Norm erhalten soll. Alle Werte ausser y i und y j bleiben unverändert, deshalb muss der Anteil von x j zu y i hinzugefügt werden. Durch Kombination der Gleichungen (1.41) und (1.42) lässt sich der Wert für c und s einfach bestimmen. c = x i x 2 i + x2 j und s = x j x 2 i + x2 j. (1.43) Für eine stabilere und vor einem Überlauf geschützte Methode zur Berechnung der Givens-Rotation siehe [GvL96, Seite 216]. Während der QR-Zerlegung, wendet man die Givens-Rotationen auf alle Elemente unterhalb der Diagonalen von A an, deren Wert ungleich Null ist und eliminiert diese. A = = G 12A = = G 12 G 13 G 14 G 23 G 24 G 34 R 0 =

26 20 1 Grundlagen Die Matrix Q resultiert aus dem Produkt aller Givens-Rotationen. Wie schon beim Householder-Verfahren wird Q nicht explizit berechnet, stattdessen berechnet man nur eine einfache Gleitkommazahl k für jede Rotation und speichert diesen Wert an der Stelle, die in der Ausgangsmatrix eliminiert wurde. Es ergibt sich somit kein höherer Speicheraufwand für die Givens-Rotationen und die Givens-Rotationen G ij lassen sich schnell rekonstruieren [GvL96, Seiten ]. Der Aufwand für die Anwendung der Givens-Rotationen, während der QR- Zerlegung, auf eine vollbesetzte Matrix A R m n beträgt 3n 2 (m n/3) Flops. (1.44) Das Householder-Verfahren ist im Vergleich zum Givens-Verfahren um ein Drittel schneller. Kostensenkend in Bezug auf die Laufzeit des Verfahrens kann sich der Einsatz der Givens-Rotationen bei dünnbesetzten Matrizen auswirken. Ein Standardbeispiel ist die Faktorisierung einer sogenannten Hessenberg Matrix 0 0 0, bei der die Kosten auf #Flops = 3n 2 sinken, da nur die (n 1) Subdiagonalelemente eliminiert werden müssen. Neben der punktweisen Auswahl der Transformationen und den geringeren Kosten bei einigen dünnbesetzten Problemen ist die freiwählbare Ausführungsreihenfolge der Givens-Rotationen ein weiterer Vorteil, d.h. man kann die Drehung eines Vektors a R n auf den ersten Einheitsvektors auf mehreren Wegen erreichen Gram-Schmidt-Verfahren G 1n G 13 G 12 a = αe 1 oder G 12 G 23 G n 1,n a = αe 1 Als drittes Verfahren zur Orthogonalisierung wird das Gram-Schmidt-Verfahren betrachtet. Bei diesem Verfahren wird die Matrix Q explizit erstellt, wodurch das Verfahren mehr Speicherplatz als die Householder- bzw. Givens- Methode benötigt. Das allgemeine Gram-Schmidt-Verfahren hat schlechte numerische Eigenschaften, welche zum Verlust der Orthogonalität, während der

27 1.3 Lineare Ausgleichsrechnung 21 Orthogonalisierung, führen können. Das allgemeine Verfahren verwendet man nur mit Reorthogonalisierungsschritten. Im Folgenden wird nur das modifizierte Gram-Schmidt-Verfahren (MGS) näher untersucht. Bei diesem Verfahren wurden die schlechten numerischen Eigenschaften entfernt durch die Änderung des Zeitpunktes der Normierung im Algorithmus. Hierbei wird die Ausgangsmatrix A R m n in die Matrix Q R m n überführt. A A (1) A (n) = Q Für die einzelnen Matrizen A (k) k n gilt A (k) = (q 1, q 2,, q k 1, a (k) k,, a(k) n ), wobei die Vektoren (q 1,, q k 1 ) zueinander orthogonal sind. Die restlichen Vektoren (a (k) k,, a(k) n ) müssen im weiteren Verlauf noch orthogonalisiert werden. Vor der eigentlichen Orthogonalisierung der k-ten Spalte erfolgt erst eine Normierung der Spalte: q k = a(k) k a (k) k 2 Der Wert a (k) k 2 wird als Diagonalelement r kk in der Matrix R gespeichert. Nach der Normierung von q k erfolgt die Orthogonalisierung mit den Vektoren (a (k) k+1,, a(k) n ) r kj = q T, a (k) j a (k+1) j = a j r kj q k, wobei j = k + 1,, n. Der Algorithmus zur QR-Zerlegung mittels Gram-Schmidt kostet #Flops = 2mn 2. (1.45) Der Vorgang lässt sich auf 2 Arten durchführen, je nachdem ob die Matrix R zeilenweise oder spaltenweise aufgebaut wird. Die beiden Arten werden im Folgenden kurz schematisch skizziert. Das zeilenweise MGS: A... q 1 ã 2 ã q 1 q 2 â = Q = R.

28 22 1 Grundlagen Die Berechnung des spaltenweisen MGS verläuft: A... q 1 a 2 a q 1 q 2 a = Q = R. Die entsprechenden Algorithmen zur Berechung des zeilen- bzw. spaltenweisen MGS und weitere Informationen finden sich in [Bjö96, Seite 62]. Im anschliessenden Kapitel wird beschrieben, wie man dünnbesetzte Verfahren einsetzen kann, um die QR-Faktorisierung einer dünnbesetzten Matrix effizient durchzuführen. Weiterhin wird eine Möglichkeit aufgezeigt, wie man eine vorhandene Zerlegung einer Matrix A verwenden und anpassen muss, wenn man der Matrix A Zeilen bzw. Spalten hinzufügt. Der Vorteil dieser Methode ist, dass die QR-Zerlegung nicht mehr komplett neu berechnet werden muss, sondern die schon vorhandene Zerlegung wieder verwendet werden kann.

29 23 2 Modifikationen bei der Berechnung des SPAI Häufig wird der SPAI -Vorkonditionierer auf dünnbesetzte Matrizen angewendet, weshalb die entstehenden Matrizen Âi, siehe 1.2.2, ebenfalls häufig dünnbesetzt sind. Daher bietet es sich an, die intern verwendete QR-Zerlegung mittels dünnbesetzter Verfahren durchzuführen. Der Abschnitt 2.1 behandelt dieses Thema. Eine weitere Verbesserung der Laufzeit des SPAI kann durch Optimierung des Patternupdates erreicht werden. Um die Approximation der Inversen, die der SPAI berechnet, zu verbessern, wird das Ausgangspattern um neue Spalten erweitert, siehe dazu Abschnitt Da die vorherige Zerlegung vorliegt, kann durch das QR-Update-Verfahren auf einfache Art und Weise die Zerlegung aktualisiert werden. Die Vorgehensweise wird in Abschnitt 2.2 beschrieben. Ein anderer Ansatz zur Optimierung des SPAI ist die QR- Zerlegung und das Lösen des Least-Squares-Problemes auf Basis des Datentyps float durchzuführen und dann die Genauigkeit der Lösung mit Hilfe iterativer Nachverfeinerung zu erhöhen. 2.1 Dünnbesetzte Verfahren [...]Immer und immer wieder bitte ich: weniger Zahlen, dafür gescheitere.[...] Wladimir Iljitsch Uljanow, 1921 Um lineare Gleichungssysteme der Form Ax = b mit Hilfe von Rechnern zu lösen, kann man selbst Löser programmieren oder auf Bibliotheken zurückgreifen. Eine der meist verwendeten Bibliotheken ist das Lineare Algebra Package, kurz LAPACK genannt. Die Bibliothek und die dazugehörige Dokumentation ist auf verfügbar. Sie realisiert Fortran77-Routinen zum Lösen von linearen Gleichungssystemen, Least Squares Problemen, Eigenwertproblemen und Singulärwertproblemen. In den Routinennamen ist festgelegt mit welcher Genauigkeit bzw. welchem Datentyp gerechnet wird. Die Genauigkeit bzw. der Datentyp wird mit dem ersten Buchstaben des verwendeten

30 24 2 Modifikationen bei der Berechnung des SPAI Funktionsnamen bestimmt. Es stehen zur Auswahl: d = doppelte Genauigkeit, reell s = einfache Genauigkeit, reell z = doppelte Genauigkeit, komplex c = einfache Genauigkeit, komplex Allgemein lauten die Funktionen xfunktion(parameter 1,..., Parameter n), wobei x {d, s, z, c} ist. Im SPAI werden hauptsächlich die Routinen xgeqrf, xormqr und xtrtrs verwendet, da mit ihnen die QR-Zerlegung, die Anwendung von Q T auf einen Vektor und Rx = Q T b realisiert werden können. Die Funktionen werden im Folgenden kurz vorgestellt. Weitere Information finden sich unter [ABB + 99]. xgeqrf xormqr Mit dieser Funktion wird die Zerlegung der Matrix A R m n in A = QR durchgeführt. Die Zerlegung wird, wie in Abschnitt beschrieben, ausgeführt. Die Matrix Q wird nicht explizit aufgebaut, sondern in Form der Householder- Vektoren unterhalb der Diagonalen von A gespeichert. h i,j entspricht der i-ten Komponente im j-ten Householder- Vektor. R 1,1 R 1,2 R 1,n h 2,1 R 2, Rn,n h n+1,1 h n,2... h 2,n... h m,1 h m 1,2... h m n,n Die Funktion überschreibt die Ursprungsmatrix A mit der Zerlegung. Mit xormqr wird Q bzw. Q T, auf eine Matrix C bzw. einen Vektor b angewandt. Die Anwendung von Q = H 1 H 2...H n auf C erfolgt intern durch die Anwendung der Householder- Matrix H i für i = 1,..., n auf C. xtrtrs xtrtrs löst das System Ax = b durch Rücksubstitution, wobei A in Form einer oberen Dreiecksmatrix vorliegt. Das Ergebnis der Rücksubstitution liegt am Ende in den ersten n Einträgen von b vor. Die einzelnen Parameter der Funktionen xgeqrf, xormqr und xtrtrs sind auf

31 2.1 Dünnbesetzte Verfahren 25 dokumentiert und können dort nachgelesen werden. In LAPACK werden die Matrizen immer voll gespeichert, d.h. es werden alle Werte inklusive der Nullen in einem eindimensionalen Feld abgelegt. Da Fortran mehrdimensionale Strukturen im Gegensatz zu C spaltenweise speichert, ist das LAPACK-Speicherformat für Matrizen ebenfalls spaltenweise. Die Matrix a 11 a 12 a 13 a 21 a 22 a 23 A = a 31 a 32 a 33 a 41 a 42 a 43 a 51 a 52 a 53 ist intern als folgendes Feld realisiert: a a 31 a 41 a 51 a 12 a 22 a 32 a 42 a 52 a 13 a 23 a 33 a 43 a 53 Nachfolgend wird der Algorithmus zur Lösung eines Least-Squares-Problemes mittels LAPACK grob skizziert. Die Zerlegung wird in einer C-Struktur QRS gespeichert. Die Struktur speichert neben der Zerlegung die Matrixdimension, die Startindizes der Matrixspalten, die gewählten Zeilen, die gewählten Spalten und noch weitere Steuerinformationen. Data : Matrix A, Vektor b, Zeilen, Spalten, gewählte Zeilen, gewählte Spalten Result : Lösung x Initialisierung der Variablen QRC qrc anlegen und initialisieren Lösen von Ax = b Zerlegen der Matrix mit Hilfe von xgeqrf Anwenden von Q T auf b durch xormqr Lösen von Rx = Q T b mit dtrtrs Speichern der Informationen qrc Zerlegung = QR-Zerlegung qrc beta = beta = Beta-Vektor der Zerlegung Bestimmen der Anfangsindizes der Spalten qrc Anfangsindizes = Anfangsindizes Algorithmus 1 : Lösen eines Least-Squares-Problemes in LAPACK

32 26 2 Modifikationen bei der Berechnung des SPAI Dieses Verfahren funktioniert bei vollen und bei dünnbesetzten Matrizen, wobei es sich eher für volle Matrizen eignet, da der Speicherplatzbedarf bei vollen Matrizen nicht reduziert werden kann. Bei dünnbesetzten Matrizen wird jedoch eine Menge Speicherplatz dazu verwendet, Nullen zu speichern. Da Nullen keine Informationen enthalten, ist dieser Speicherplatz unnötiger Weise belegt. Im nächsten Abschnitt werden Speicherstrukturen und Verfahren angegeben, die keine unnötigen Nullen speichern und verwenden. An diese Speicherstrukturen müssen auch die jeweiligen Implementierungen der Verfahren angepasst werden Dünnbesetzte Speicherstrukturen Der SPAI wird häufig auf dünnbesetzte Matrizen A angewendet, sodass auch die dabei vorkommenden Matrizen Â, siehe Abschnitt 1.2.2, dünnbesetzt sind. Daher ist es angebracht nur die Nichtnull-Elemente zu speichern, um Speicherplatz zu sparen. Es gibt verschiedene Speicherformate, um eine Matrix dünnbesetzt zu speichern. Die einfachste Methode, ist die Matrix in Tripletform zu speichern. Hier werden drei Vektoren benötigt. Ein Vektor zum Speichern der Werte, ein Vektor für die Spaltenindizes und ein Vektor für die Zeilenindizes. Insgesamt belaufen sich die Speicherkosten auf O(3 nz(a)) anstatt von O(m n) im vollen Fall. Der Wert nz(a) entspricht der Anzahl der Elemente der Matrix A, die ungleich Null sind. Ein verbessertes Verfahren ist das Compress Sparse Column Verfahren, kurz CSC. Hierbei werden zwei Vektoren x und i der Länge nz(a) benötigt und ein dritter Vektor p der Länge n + 1. n entspricht der Anzahl der Spaltenvektoren. Der Vektor x enthält die numerischen Werte und i die jeweilige Zeilenindizes. Die Einträge der Matrix werden spaltenweise gespeichert. Der Vektor p enthält den Startindex der Matrixspalten A = In CSC gespeichert ergeben sich folgende Vektoren: x = {5, 4, 9.9, 3.5, 0.53, 3, 1.2, 67.8, 2.3,6.2, 0.1, 1} i = {1, 4, 5, 1, 3, 4, 6, 2, 5, 1, 2, 5} p = {0, 4, 8, 10, 13}.

33 2.1 Dünnbesetzte Verfahren 27 Weitere Speicherstrukturen sind Compress Sparse Row, welches analog zu CSC aufgebaut ist, das Modified Sparse Row (MSR) und das Ellpack-Itpack-Schema. Informationen zu den letztgenannten Speicherschemen finden sich in [Saa00, Seiten 85-86] Dünnbesetzte Methoden Beim Wechsel vom LAPACK-Speicherschema, bei dem alle Elemente der Matrix, auch die Nullen explizit gespeichert, hin zur Verwendung dünnbesetzter Speicherschema müssen die ursprünglich verwendeten Funktionen angepasst werden. Die Methode c = Ab, wobei A R m n im LAPACK-Format gespeichert ist, lautet: for i = 0...m do for j = 0...n do c[i] += A[i m + j] b[j] ; end end Algorithmus 2 : c = Ab im vollbesetzten Speicherschema Dieser Algorithmus für c = Ab benötigt O(mn) Schritte zur Berechnung von c. Nachfolgend derselbe Algorithmus abgewandelt für die Verwendung einer im CSR-Format gespeicherten Matrix A R m n : for k = 0...n 1 do for j = p[i]...p[i + 1] 1 do c[k] += x[j] b[i[j]] ; end end Algorithmus 3 : c = Ab mit CSC-Schema Hier wird die Berechnung in O(nz(A)) Schritten durchgeführt, nachteilig wirkt sich jedoch die indirekte Indizierung der Elemente von b auf die Laufzeit aus. Im Allgemeinen ist man bei dünnbesetzten Methoden, wie auch bei Verfahren mit vollen Matrizen, auf eine hohe Effizienz aus. Daher versucht man bei Faktorisierungen von Matrizen so wenig Fill-In wie möglich zu erzeugen, um einen größtmöglichen Nutzen aus dem dünnbesetzten Speicherschema zu ziehen. Fill- In ist die verfahrensbedingte Erzeugung von Nichtnullkomponenten, die beim

34 28 2 Modifikationen bei der Berechnung des SPAI Start des Verfahrens Null waren. Um den Fill-In bei einer Zerlegung zu verringern, sucht man eine Permutationen P der Matrix, sodass bei einer Faktorisierung möglichst wenig Fill-In entsteht. Dieses Problem ist NP-vollständig. Der Beweis findet sich in [Yan81]. Daher verwendet man Heuristiken. Eine Möglichkeit, eine solche Permutation P zu finden, besteht in graphentheoretischen Verfahren. Eine Methode ist das Minimum-Degree-Verfahren, das zur Klasse der Greedy-Algorithmen gehört. Im Folgenden werden zwei Varianten des Verfahrens näher vorgestellt Minimum-Degree mit Eliminationsgraphen Das Pattern der Nichtnulleinträge einer symmetrischen Matrix A R n n kann als Graph G = G 0 = (V, E) aufgefaßt werden, wobei V = V 0 = {1...n} der Knotenmenge entspricht und E der Kantenmenge. Eine Kante (i, j) ist genau dann in E enthalten, wenn die Komponente a ij 0 ist, a ij A. Um Schleifen zu vermeiden, gilt zusätzlich i j. Während der Faktorisierung wird im Eliminationsschritt b der Knoten k V b 1 aus G b entfernt. G b entspricht dem Graphen nach dem b-ten Schritt. Alle Knoten, die adjazent zum entfernten Knoten k sind, werden durch neue Kanten miteinander verbunden und bilden einen vollständigen Untergraphen, eine Clique. Diese neuen Kanten werden der Menge E b 1 hinzugefügt. E b = E b 1 E neu V b = V b 1 \ {k} mit E neu enthält die neuen Kanten Die neuen Kanten, die E b hinzugefügt werden entsprechen dem Fill-In im Schritt b. Um den Fill-In zu verringern, wird immer das Element k der Menge V b 1 gewählt mit minimalem Grad d(k). d(k) ist die Anzahl der Kanten des Knoten k. Die Reihenfolge der gewählten Komponenten am Ende der Faktorisierung entspricht der gesuchten Permutation P. Im Folgenden Beispiel wird das Verfahren für die ersten drei Schritte gezeigt. Ausgehend von folgender Besetztheitsstruktur Pattern(A) ergibt sich der Graph G 0 : G P attern(a) =

35 2.1 Dünnbesetzte Verfahren 29 In Abbildung 2.1 wird das schrittweise Entfernen von Knoten und Einfügen neuer Kanten dargestellt. Im ersten Eliminationsschritt wird der Knoten 1 als Pivotelement gewählt, im zweiten Schritt der Knoten 3, im dritten Schritt der Knoten 4 usw. Der Vorgang wird solange durchgeführt bis nur noch ein Element vorhanden ist. Dann ist die Elimination abgeschlossen. Die Reihenfolge der entfernten Knoten entspricht dabei der Permutation P. G 1 2 G 2 2 G Abbildung 2.1: Schrittweise Elimination von Knoten aus dem Graphen Die gestrichelten Linien entsprechen den neu eingefügten Kanten pro Eliminationsschritt. Das Verfahren liefert nicht die optimale Lösung aber eine obere Grenze für den Fill-In, der durch das b-te Pivotelelement verursacht wird, [ADD96, Seiten ]. Der Nachteil bei dieser Methode ist, dass keine Aussagen im Voraus getroffen werden können, wieviel Fill-In in der Matrix erzeugt wird und somit wieviel Platz während Berechnung für den Graph benötigt wird. Das folgende Quotientengraph-Verfahren hingegen kommt mit einer festen vorausberechenbaren Speichermenge aus Minimum-Degree mit Quotientengraphen Mit Hilfe des Quotientengraphen werden die oben beschriebenen Cliquen nicht explizit gebildet, d.h. es werden keine neuen Kanten eingefügt sondern die Cliquen durch Knotenmengen beschrieben. Der Quotientengraph ist definiert als G b = (V b, V b, E b, Ēb ), wobei V b der Menge der Knoten des Graphen entspricht, die noch nicht bis zum b-ten Schritt entfernt wurden. Die Knoten, die bis zum b-ten Schritt entfernt wurden, sind in der Menge V b enthalten. Die Menge der Kanten im Graph G b wird ebenfalls

36 30 2 Modifikationen bei der Berechnung des SPAI in zwei Teilmengen aufgeteilt: E b V b V b Ē b V b V b Der Quotientengraph G 0 entspricht dem Eliminationsgraph G 0, d.h. V0 und Ē 0 sind leere Mengen. Die einzelnen Knoten k V b des Graphen werden durch zwei weitere Mengen charakterisiert: A k = {j (k, j) E}, T k = {j (k : j) Ē}. A k entspricht der Menge der Knoten w V b die adjazent mit k in G b sind. Analog dazu ist T k definiert. Die Menge L e des Elementes e V b enthält die Knoten k V b, die adjazent zu e sind: L e = {k (k, e) Ē}. Der Grad d k des Knoten k lässt sich bestimmen mit d k = L k = (A k L e ) \ k e T k (2.1) Bei der Elimination des b-ten Pivotelements wird das p V b mit minimalem d k entfernt und die Mengen V b = V b 1 \ p V b = V b 1 p verringert bzw. erweitert. Die Mengen E b und Ēb werden durch A k, T k für alle k V b sowie L e für alle e V b dargestellt. Die adjazenten Knoten k zum Knoten p werden nicht mit neuen Kanten verbunden wie im Eliminationsgraphen, sondern durch die Menge L p = (A p e T p L e ) \ p repräsentiert. Die existierenden Kanten im Graph G b zwischen den Knoten r, s L p werden aus der Menge E entfernt, da die Information redundant ist. Betrachtet man den Eliminationsgraphen G b, entsprechen die Einträge von L p genau den Knoten, die eine neue Clique nach dem Entfernen von p in G b

37 2.1 Dünnbesetzte Verfahren 31 bilden. Die Kante zwischen r und s im G b wird durch Entfernen von s aus A r und r aus A s erreicht: A k = (A k \ L p ) \ p, k L p. Die Menge A k enthält alle Einträge der Spalte k der Ausgangsmatrix A, die bis zum b-ten Schritt nicht verändert wurden. Alle Elemente der Menge V, die adjazent mit dem Knoten p waren, werden mit p vereinigt. Alle Referenzen der verschmolzenen Elemente in den verschiedenen T k werden auf p gesetzt. In allen Mengen T k mit k V und k adjazent zu p wird p eingetragen: T k = (T k \ T p ) p, k L p Zuletzt werden A p, T p und alle L e mit e T p entfernt. Das folgende Beispiel wurde aus [ADD96, Seiten ] entnommen und die ersten vier Schritte etwas ausführlicher durchgeführt. Ausgangspunkt ist die Besetztheitsstruktur einer Matrix A: P attern(a) = (2.2) Der Quotientengraph G 0 entspricht, wie oben erwähnt, dem Eliminationsgraphen G 0. Im Folgenden werden nur die Mengen dargestellt, die sich während der Elimination ändern. Die durchgezogenen Linien stellen die Kanten von E dar. Die gestrichelten Linien entsprechen den Elementen von Ē. Die durchgezogenen Kreise entsprechen den Elementen der Menge V. Die Elemente der Menge V werden durch gestrichelte Kreise dargestellt. Die Abbildung 2.2 zeigt den zum Pattern(A) (2.2), gehörenden Quotientengraphen G 0. In den Mengen A i sind die jeweiligen adjazenten Knoten aufgeführt. Alle anderen Mengen entsprechen der leeren Menge.