Technische Universität Berlin Institut für Mathematik. Bachelorarbeit im Studiengang Technomathematik

Transkript

1 Technische Universität Berlin Institut für athematik Bachelorarbeit im Studiengang Technomathematik Vorkonditionierte Krylov-Unterraum-Verfahren zur Lösung linearer Gleichungssysteme arkus Wolff Betreut von: Erstgutachter: Prof. Dr. Volker John (WIAS Berlin) Prof. Dr. Etienne Emmrich

2

3 Die selbstständige und eigenständige Anfertigung versichert an Eides statt: Berlin, den arkus Wolff

4

5 Inhaltsverzeichnis 1 Einleitung 1 2 Notation 1 3 Krylov-Unterräume 2 4 Vorkonditionierung 8 5 Verfahren GRES Grundalgorithmus Fester Vorkonditionierer Flexibler Vorkonditionierer Abschließende Bemerkungen zu GRES CG-Verfahren Grundalgorithmus Fester Vorkonditionierer Flexibler Vorkonditionierer Abschließende Bemerkungen zu CG BiCGStab Grundalgorithmus Fester Vorkonditionierer Flexibler Vorkonditionierer Abschließende Bemerkungen zu BiCGStab Vergleich der drei Verfahren Numerische Beispiele Laplace-Gleichung in 2D Laplace-Gleichung in 3D CD-Gleichung in 2D CD-Gleichung in 3D Auswertung 43 8 Fazit 48 Literaturverzeichnis 49

6 1 Einleitung In dieser Arbeit beschäftigen wir uns mit numerischen Verfahren zur Lösung von linearen Gleichungssystemen. Für wenige Gleichungen kann man eine Lösung auf einem Blatt Papier bestimmen, aber wenn man ein System bestehend aus tausenden oder millionen von Gleichungen betrachtet, benötigt man spezielle Algorithmen. Ein wichtiger Spezialfall sind dünnbesetzte atrizen, das heißt die Einträge der atrix, die das Gleichungssystem repräsentiert, sind meist Null. Systeme von dünnbesetzten atrizen lassen sich leichter und schneller lösen als bei Systemen von vollbesetzten atrizen, bei denen fast jeder Eintrag von Null verschieden ist. Dieser Spezialfall ist von praktischer Bedeutung, da diese dünnbesetzten atrizen unter anderem bei der Lösung von Differentialgleichungen mit dem Finite- Elemente-Verfahren auftreten. Die Grundidee des Finite-Element-Verfahren ist, dass man die Gleichungen in einem endlich-dimensionalen Raum betrachtet. Als Basis des Raumes wählt man Funktionen mit einer besonderen Gestalt, um dünnbesetzte atrizen zu erhalten. Jede Funktion des Raumes lässt sich durch eine Linearkombination der Basisfunktionen darstellen. Die Koeffizienten der Gewichte kann man in einem Vektor zusammenfassen. Damit lässt sich jede Funktion des Raumes durch einen Vektor darstellen. Damit man eine möglichst gute Lösung erhält, muss die Dimension des Raumes meist sehr groß gewählt werden und man erhält große lineare Gleichungssysteme. Als Grundlage und Orientierung dieser Arbeit diente uns das Buch Iterative ethods for Sparse Linear Systems von Y. Saad [1]. Dabei beschränken wir uns auf die drei Verfahren BiCGStab, CG und GRES. Bei den drei Verfahren handelt es sich um Krylov-Unterraum-Verfahren, weswegen wir in Kapitel 3 eine kurze Einführung zu Krylov-Unterräumen geben werden. Ein wichtiges ittel, die Lösung von linearen Gleichungssystemen zu beschleunigen, ist das Vorkonditionieren. Die Grundidee wird kurz in Kapitel 4 erklärt. In Kapitel 5, dem Hauptteil dieser Arbeit, werden wir die drei Verfahren mit Vorkonditionierung herleiten und deren Vor- und Nachteile zusammenfassen. Die zum Testen der Algorithmen ausgewählten Beispiele werden in Kapitel 6 kurz erläutert und im nachfolgendem Kapitel werden die Ergebnisse ausgewertet. 2 Notation In dieser Arbeit betrachten wir verschiedene Verfahren zur Bestimmung einer Lösung x R n des Problems Ax b, (1) wobei A R n n eine nicht singuläre und dünnbesetzte atrix ist und der Vektor b R n gegeben ist. Da A nicht singulär ist, gibt es für jedes b R n eine eindeutige Lösung. Um die Güte einer berechneten Lösung x zu ermitteln, definieren wir das 1

7 Residuum r b Ax. (2) Ist die Norm des Residuums Null, so stimmt unsere berechnete Lösung x mit der exakten Lösung überein. Die Hoffnung ist, dass mit kleiner werdender Norm des Residuums, auch die zugehörige berechnete Lösung stärker mit der exakten Lösung übereinstimmt. Als Norm wählen wir meist die eukldische Norm. In dieser Arbeit ist mit beziehungsweise, stets die euklidische Norm beziehungsweise das euklidische Skalarprodukt gemeint. Da wir oft Annahmen, Zuweisungen aus Algorithmen oder zuvor gezeigte Gleichheiten bei Beweisen oder Herleitungen benötigen, benutzen wir folgende Schreibweise Term A III Term B. Dies bedeutet, dass aus Term A mit der Zuweisung aus Zeile III des Algorithmus Term B wird. Römische Zahlen werden bei der Nummerierung von Zeilen der Algorithmen benutzt und arabische Zahlen bei der Nummerierung von Anforderungen und Gleichheiten. Im Verlauf der Arbeit werden auch einige Eigenschaften von atrizen benötigt, welche im folgenden kurz definiert werden. Definition 2.1. Sei A eine reelle n m atrix mit Einträgen a i, j. Dann heißt A obere Dreiecksmatrix, falls a i, j 0 für i > j, obere Hessenbergmatrix, falls a i, j 0 für i > j + 1, quadratisch, falls n m. Eine quadratische atrix A heißt symmetrisch, falls A A T, das heißt a i, j a j,i für alle i, j 1, 2,..., n, positiv definit, falls x T Ax > 0 für alle x 0. 3 Krylov-Unterräume Als erstes benötigen wir ein paar Definitionen. Definition 3.1. Seien A und b wie in (1). Dann nennt man K m (A, b) span { b, Ab,..., A m 1 b } den m-ten Krylov-Unterraum. 2

8 Definition 3.2. Seien A und b wie oben und p ein nichttriviales Polynom kleinsten Grades mit p(a)b 0. Dann nennt man den Grad von p auch Grad von b bezüglich A, kurz grade(b). Definition 3.3. Seien U R n ein Unterraum und A wie oben. Dann ist U invariant unter A, falls für alle x U gilt Ax U. Damit lässt sich eine Aussage über die Dimension von Krylov-Unterräumen treffen. Proposition 3.4. Seien A,b wie oben und k N der Grad von b bezüglich A. Dann ist K k (A, b) invariant unter A und für alle m k gilt K m (A, b) K k (A, b). Beweis. Da k der Grad von b bezüglich A ist, existiert ein Polynom p(x) k i0 α i x i mit p(a)b k i0 α i A i b 0, α k 0. Somit ist A k b k 1 i0 α ia i α k, und damit ist A k b ein Element des Krylov-Unterraums K k (A, b). Also ist K k (A, b) invariant unter A. Damit folgt nun auch, dass A k+1 b K k (A, b) ist und so weiter. Somit ist für alle m k A m b K k (A, b), also K m (A, b) K k (A, b). Proposition 3.5. Seien A,b wie oben und k N der Grad von b bezüglich A. Dann gilt für die Dimension des m-ten Krylov-Unterraums Des Weiteren gilt für m k und K m (A, b) ist invariant unter A. Beweis. Wir zeigen, dass für m k dim(k m (A, b)) min{m, k}. K m (A, b) K k (A, b) dim(k m (A, b)) m gilt. Der Rest der Aussage folgt dann mit Proposition 3.4. Sei also m k. Dann ist für alle Polynome p(x) m 1 i0 α ix i, die einen kleineren Grad als m haben, äquivalent 3

9 p(a)b 0, p 0. Insbesondere gilt also genau dann, wenn für i 0, 1,..., m 1 m 1 i0 α ia i b 0, α i 0 gilt. Daraus folgt, dass (b, Ab,..., A m 1 b) eine Basis ist und somit gilt dim(k m (A, b)) m. Die Grundidee von Krylov-Unterraum-Verfahren ist, dass man in der i-ten Iteration eine Approximation der exakten Lösung ˆx im i-ten Krylov-Unterraum sucht: ˆx x i x 0 + K i (A, r 0 ), wobei x 0 der Startwert ist und r 0 b Ax 0 das Startresiduum. Somit erhält man nach spätestens k grade(r 0 ) Iterationen die exakte Lösung unter der Annahme, dass man exakt rechnet. Damit sind Krylov-Unterraum-Verfahren iterative Verfahren, das heißt, sie berechnen in jeder Iteration eine Approximation an die exakte Lösung. Im Gegensatz dazu liefern direkte Löser nur am Ende die Lösung und keine Zwischenlösungen. Als Nächstes betrachten wir, wie man eine orthonormale Basis eines m-dimensionalen Krylov-Unterraums bestimmt. Dazu verwenden wir das Arnoldi-Verfahren (siehe Algorithmus 6.1 in [2]). Proposition 3.6. Angenommen der Algorithmus 3.1 läuft bis zum Ende durch. Dann bilden die Vektoren v 1, v 2,..., v m eine orthonormal Basis des Krylov-Unterraums K m (A, v 1 ). Beweis. Die Vektoren sind normiert, da v 1 so gewählt wird und für v j mit j 2, 3,..., m gilt v j XI w j 1 VII w j 1 w j 1 1. h j, j 1 Die Orthogonalität kann man mittels vollständiger Induktion nach den ersten Vektoren v 1, v 2,..., v i zeigen. Für i 1 ist die Aussage klar. Zeigen wir nun den 4

10 Algorithm 3.1: Arnoldi-Verfahren I Wähle v 1 mit v 1 1 II for j 1, 2,..., m 1 do III for i 1, 2,..., j do IV h i, j Av j, v i V end VI w j Av j j i1 h i, jv i VII h j+1, j w j VIII if h j+1, j 0 then IX Stop X end XI v j+1 w j h j+1, j XII end Induktionsschritt von i i + 1 h i+1,i v i+1, v l XI w i, v l VI i Av i, v l h k,iv k, v l k1 Av i, v l i wobei l {1, 2,..., i} beliebig gilt. Als Letztes muss noch gezeigt werden, dass k1 h k,i v k, v l } {{ } δ k,l I.V. Av i, v l h l,i IV Avi, v l Av i, v l 0, span{v 1, v 2,..., v m } span{v 1, Av 1,..., A m 1 v 1 } gilt. Das heißt, für alle v j mit j {1, 2,..., m} existiert ein Polynom p j 1 mit Grad j 1 mit v j p j 1 (A)v 1. Der Induktionsanfang für j 1 ist klar. Zeigen wir nun den Induktionsschritt von j j + 1 h j+1, j v j+1 XI,VI Av j I.V. j i1 h i, jv i j Ap j 1 (A)v 1 h i, jp i 1 (A)v 1 i1 [ j ] Ap j 1 (A) h i, jp i 1 (A) v 1. i1 } {{ } p j (A) Als nächstes zeigen wir noch einige Zusammenhänge zwischen den im Algorithmus 3.1 vorkommenden atrizen. Diese werden wir später für GRES benötigen. 5

11 Proposition 3.7. Seien A eine n n atrix und V m [v 1, v 2,..., v m ], H m {h i, j } mittels des Algorithmus 3.1 berechnet. Weiter sei H m eine m m atrix die durch Streichung der letzten Zeile von H m entsteht. Dann gelten folgende Gleichungen AV m V m H m + w m e T m V m+1 H m, V T mav m H m. Beweis. Zunächst erhalten wir wie zuvor im Beweis von Proposition 3.6 aus den Zeilen XI und VI des Algorithmus 3.1 und damit j h j+1, j v j+1 Av j h i, jv i i1 Av j j+1 i1 h i, jv i. Betrachten wir nun die j-te Spalte von V m+1 H m, wobei v i, j für die i-te Komponente des Vektors v j steht. (V m+1 H m ) j m+1 i1 v 1,ih i, j m+1 i1 v n,ih i, j m+1. v ih i, j i1 j+1 m+1 v ih i, j + i1 v ih i, j i j+2 } {{ } 0 da, h i, j 0 für i> j+1 Av j (AV m ) j, m (V m H m ) j v ih i, j i1 j+1 v m ih i, j + v ih i, j i1 i j+2 } {{ } 0 da, h i, j 0 für i> j+1 j+1 i1 v ih i, j, für j 1, 2,..., m 1, m+1 i1 v ih i, j h m+1,m v m+1, für j m Av j, für j 1, 2,..., m 1, Av j h m+1,m v m+1, für j m } {{ } w m ( ) AV m w m e T m j. 6

12 Die zweite Behauptung folgt aus der bereits bewiesenen Gleichung AV m V m H m + w m e T m und der Orthonormalität von V m bzw. V m+1. VmAV T m VmV T }{{} m 1 H m. H m + V T mw m e T m } {{ } 0, Def. w m Es stellt sich nun noch die Frage, ob das Verfahren vorzeitig abbricht. Dies geschieht nur, wenn der Grad von v 1 bezüglich A kleiner ist als m. Der Unterraum, der sich aus den gebildeten Vektoren ergibt, ist dann invariant unter A. Somit stellt ein vorzeitiger Abbruch des Verfahrens kein Problem dar. Proposition 3.8. Das Arnoldi-Verfahren bricht im Schritt j ab, genau dann, wenn grade(v 1 ) j gilt. Des Weiteren ist dann K j (A, v 1 ) invariant unter A. Beweis. Sei grade(v 1 ) j und angenommen der Algorithmus bricht nicht im j-ten Schritt vorzeitig ab. Dann kann v j+1 berechnet werden und wir erhalten K j+1 (A, v 1 ) K j (A, v 1 ). Dies ist aber ein Widerspruch zu Proposition 3.5. Breche nun das Verfahren im j-ten Schritt vorzeitig ab, das heißt w j 0. Somit gilt j 0 Av j h i, jv i. i1 Da nach Proposition 3.6 die Vektoren v 1, v 2,..., v j eine Basis des Krylov-Unterraums K j (A, v 1 ) bilden, existieren Polynome p (1), p (2),..., p ( j) mit maximal Grad j 1, sodass für i 1, 2,..., j gilt Damit ergibt sich v i p (i) (A)v 1. j j Av j h i, jv i Ap ( j) (A)v 1 h i, jp (i) (A)v 1 i1 i1 ( j ) Ap ( j) (A) h i, jp (i) (A) v 1 i1 } {{ } p(a) und damit ist p ein nichttrivials Polynom j-ten Grades mit p(a)v

13 Damit ist nach der Definition des Grades grade(v 1 ) j. Angenommen grade(v 1 ) k < j. Wir haben gerade gezeigt, dass dann aber bereits v k 0 gelten muss. Somit hätte das Verfahren schon im k-ten Schritt abbrechen müssen. Damit folgt grade(v 1 ) j. Das der entstehende Krylov-Unterraum invariant unter A ist, folgt aus Proposition 3.5. Damit haben wir nun alle Aussagen über Krylov-Unterräume, die wir benötigen. 4 Vorkonditionierung Bevor wir uns den Verfahren zuwenden, erläutern wir noch kurz die verschiedenen öglichkeiten der Vorkonditionierung um die iterativen Verfahren robuster und effektiver zu gestalten. Dazu betrachten wir anstelle des Problems ein transformiertes Problem Ax b 1 Ax 1 b. (3) Dabei muss das System x b leicht zu lösen sein, da dies später in jeder Iteration des Verfahrens nötig ist. Zusätzlich sollte die atrix Ähnlichkeiten mit A haben. Je nachdem von welcher Seite man das Ausgangsproblem vorkonditioniert, erhält man verschiedene transformierte Systeme. Das obige System wurde von links vorkonditioniert. Wenn man von rechts vorkonditioniert, erhält man folgendes System A 1 u b mit x 1 u. (4) Eine weitere öglichkeit gibt es, falls sich günstig faktorisieren lässt, zum Beispiel in eine obere und untere Dreiecksmatrix L R. Dann ergibt sich folgendes System 1 L A 1 R u 1 L b mit x 1 R u. Des Weiteren unterscheidet man noch zwischen fester und flexibler Vorkonditionierung. Bei der festen Vorkonditionierung wird in jeder Iteration des Verfahrens die gleiche Vorkonditionierungsmatrix benutzt. Dagegen kann bei der flexiblen Variante in jeder Iteration eine andere Vorkonditionierungsmatrix i benutzt werden. Generell werden meist iterative Verfahren selbst als Vorkonditionierer benutzt, zum Beispiel das Jacobi-Verfahren oder SSOR. Für eine ausführlichere Einführung von Vorkonditionierern siehe beispielsweise Kapitel 10 in [1]. 8

14 5 Verfahren Nun widmen wir uns den speziellen Verfahren zur Lösung von linearen Gleichungssystemen. 5.1 GRES Grundalgorithmus Als erstes betrachten wir das Generalized-inimal-Residual-Verfahren, welches 1986 von Saad und Schultz [3] entwickelt wurde. Die Idee ist, dass man die inimierung des Residuums r b Ax auf ein Problem der kleinsten Quadrate zurückführt, indem man eine orthonormale Krylov-Basis konstruiert. Dazu benutzt man das Arnoldi-Verfahren. Als Startvektor v 1 wählt man dabei das normierte Startresiduum v 1 r 0 β b Ax 0, β wobei β die Norm des Startresiduums r 0 ist. Dann minimiert man das Residuum über den von der Basis aufgespannten und um x 0 verschobenen Krylov-Unterraum. Jedes Element x lässt sich schreiben als x x 0 + V m y, wobei V m die orthonormalen Basisvektoren als Spalten hat. Damit ergibt sich für das Residuum r b Ax b A(x 0 + V m y) (2) r 0 AV m y Prop.3.7 βv 1 V m+1 H m y V m+1 (βe 1 H m y). Da V m+1 orthonormal ist, folgt für die Norm r βe 1 H m y. Damit muss man nur noch folgendes Problem der kleinsten Quadrate lösen y argmin{ βe 1 H m y } y R m und die Lösung x lässt sich leicht berechnen aus x x 0 + V m y. 9

15 Daraus ergibt sich Algorithmus 5.1 (s. Algorithmus 6.11 aus [1]), indem zuerst die Krylov-Basis berechnet wird und dann das inimierungsproblem gelöst wird. Da das Residuum über ein pro Iteration wachsenden Unterraum minimiert wird, kann das Residuum in keiner Iteration wachsen. Jedoch haben Greenbaum,Pták und Strakoš [4] gezeigt, dass jeder andere Verlauf möglich ist. Insbesondere kann die Norm des Residuums über mehrere Iterationen konstant bleiben. Algorithm 5.1: GRES I r 0 b Ax 0, β r 0 und v 1 r 0 β II for j 1 to m do III w j Av j IV for i 1 to j do V h i, j w j, v i VI w j w j h i, j v i VII end VIII h j+1, j w j IX if h j+1, j 0 then X m j XI Stop XII end XIII v j+1 w j h j+1, j XIV end XV Definiere V m [v 1,..., v m ], H m {h i, j } 1 i m+1,1 j m XVI y m argmin{ βe 1 H m y } y R m XVII x m x 0 + V m y m XVIII if Lösung nicht gut genug then XIX x 0 x m und starte neu bei I XX end Die einzige öglichkeit eines vorzeitigen Abbruchs von GRES ist, falls das Arnoldi-Verfahren vorzeitig abbricht. In diesem Fall hat man bereits die exakte Lösung. Proposition 5.1. Sei A eine invertierbare atrix. Dann bricht GRES vorzeitig in Iteration j ab, d.h. h j+1, j 0, genau dann, wenn die berechnete Lösung x j bereits die exakte Lösung ist. Beweis. Siehe Kapitel Proposition 6.10 im Buch von Y. Saad [1] Fester Vorkonditionierer Als nächstes betrachten wir nun das von rechts vorkonditionierte Problem (4), da sich aus diesem später eine flexible Variante ableiten lässt. Am ursprünglichen Al- 10

16 gorithmus muss nicht viel verändert werden. Das Startresiduum kann genauso wie vorher berechnet werden, da r 0 b A 1 u b Ax. (5) Bei der Berechnung der Krylov-Basis ersetzt man A durch A 1. Somit berechnet man eine orthonormale Basis des Krylov-Raumes K m (A 1, v 1 ). Die inimumsberechnung verändert sich nicht. Die Lösung x m des ursprünglichen Problems berechnet sich aus der Lösung u m des vorkonditionierten Systems wie folgt u m u 0 + V m y x m 1 u m 1 u V m y x V m y. Somit benötigt man die Lösung des transformierten Systems nicht explizit und es ergibt sich der Algorithmus 5.2 (s. Algorithmus 9.5 aus [1]). Algorithm 5.2: GRES von rechts vorkonditioniert I r 0 b Ax 0, β r 0 und v 1 r 0 β II for j 1 to m do III w A 1 v j IV for i 1 to j do V h i, j w, v i VI w w h i, j v i VII end h j+1, j w IX v j+1 w h j+1, j X end VIII XI Definiere V m [v 1,..., v m ], H m {h i, j } 1 i m+1,1 j m XII y m argmin{ βe 1 H m y } y R m XIII x m x V m y m XIV if Lösung nicht gut genug then XV x 0 x m und starte neu bei I XVI end Flexibler Vorkonditionierer Um eine flexible Variante von GRES zu erhalten, muss die Berechnung der Lösung verändert werden. Da in jeder Iteration verschieden sein kann, ist die Berechnung der Lösung am Ende wie in Algorithmus 5.2 nicht mehr möglich. Die Lösung x m ist eine Linearkombination der i 1 v i. Diese berechnen wir bereits bei 11

17 der Bildung der orthonormalen Basis. Ist in jeder Iteration i, so speichern wir diese nicht explizit ab, da wir sie später aus den v i erzeugen können mit Hilfe von. Bei der flexiblen Variante geht dies nicht mehr. Somit speichert man die i 1 v i in einem Zwischenschritt ab. Damit ergibt sich der Algorithmus 5.3 (s. Algorithmus 9.6 aus [1]). Bei der Basis, die in der flexiblen Variante berechnet wird, handelt es sich dann nicht mehr um eine Krylov-Basis, da durch die mögliche Änderung des Vorkonditionierers in jedem Schritt der entstehende Raum kein Krylov-Unterraum mehr ist. Algorithm 5.3: GRES flexibel vorkonditioniert I r 0 b Ax 0, β r 0 und v 1 r 0 β II for j 1 to m do III z j 1 j v j IV w Az j V for i 1 to j do VI h i, j w, v i w w h i, j v i end IX h j+1, j w X v j+1 w h j+1, j XI end VII VIII XII Definiere Z m [z 1,..., z m ], H m {h i, j } 1 i m+1,1 j m XIII y m argmin{ βe 1 H m y } y R m XIV x m x 0 + Z m y m XV if Lösung nicht gut genug then XVI x 0 x m und starte neu bei I XVII end Damit für die berechnete Lösung x m folgendes gilt b Ax m (XIV) b A(x 0 + Z m y m ) (2) r 0 AZ m y m βv 1 V m+1 H m y m V m+1 βe 1 H m y m βe 1 H m y m, benötigen wir AZ m V m+1 H m. Der Beweis ist ähnlich zum Beweis von Proposition 3.7. Es gilt Az j j+1 h i, jv i i1 12

18 da j h j+1, j v j+1 w Az j h i, jv i. i1 Dann betrachtet man die j-te Spalte der atrix V m+1 H m und es folgt die Behauptung analog wie in Proposition 3.7. Für die exakte Lösung im Falle eines vorzeitigen Abbruchs der flexiblen Variante benötigt man zusätzlich noch die Invertierbarkeit der atrix H, da dies nicht mehr aus der Invertierbarkeit von A folgt. Proposition 5.2. Sei A invertierbar, die Norm des Startresiduums β 0 und die ersten j 1 Iterationen des Algorithmus erfolgreich, d.h. h i+1,i 0 für i < j. Sei zusätzlich H j invertierbar, wobei H j durch Streichung der letzten Zeile von H j entsteht. Dann ist x j exakt, genau dann, wenn h j+1, j 0 gilt. Beweis. Siehe Buch von Y. Saad [1] Kapitel Proposition Abschließende Bemerkungen zu GRES Bei den von uns vorgestellten Varianten von GRES handelt es sich um die restarted Version von GRES, das heißt, wie in den Algorithmen zu sehen, fängt man nach m Schritten neu an. Der Grund dafür ist Speicherplatz zu sparen. Der Nachteil ist, dass der Algorithmus stagnieren kann, falls die atrix A nicht positiv definit ist. Um die Stagnation zu vermeiden wird die Vorkonditionierung benutzt, da diese die Anzahl der benötigten Iterationen reduzieren soll. Als Letztes stellt sich die Frage, wie man das Problem der kleinsten Quadrate löst. Zusätzlich liefern unsere bisher vorgestellten Algorithmen nicht explizit in jedem Schritt eine Approximation an die Lösung. Dafür sei auf das Kapitel Practical Implementation Issues im Buch von Y. Saad [1] verwiesen. Dort wird erklärt, wie man das Problem der kleinsten Quadrate lösen kann. Dazu formt man mittels Rotationsmatrizen die obere Hessenbergmatrix H in eine obere Dreiecksmatrix um. Zusätzlich liefert diese ethode auch das Residuum in jedem Schritt, wodurch es möglich ist den Algorithmus zu beenden, sobald das Residuum klein genug ist. 5.2 CG-Verfahren Grundalgorithmus Nun betrachten wir das Verfahren der konjugierten Gradienten. Es wurde 1952 von Hestenes und Stiefel [5] zur Lösung von linearen Gleichungssystemen, deren atrix A symmetrisch und positiv definit ist, entwickelt. an nutzt diese zusätzlichen Eigenschaften der atrix aus, um ein äquivalentes Problem zu formulieren. Proposition 5.3. Seien A R n n symmetrisch und positiv definit und b R n. Dann sind äquivalent 1. x löst Ax b, 13

19 2. x minimiert f (x) 1 2 Ax, x b, x. Beweis. Als erstes zeigen wir, dass Ax b der Gradient von f ist. f (x) f (x) x j A symm. 1 2 xt Ax b T x 1 n 2 x n k a n k,ix i b kx k k1 i1 k1 1 n 2 a j,ix i + 1 n i1 2 a k, jx k b j k1 n i1 a j,ix i b j (Ax b) j. Damit können wir nun die Äquivalenz zeigen. Sei x ein inimum von f. Dann muss x eine Nullstelle des Gradienten von f sein. Das heißt Ax b 0 und somit ist x eine Lösung des Problems Ax b. Sei nun x eine Lösung von Ax b. Damit hat f im Punkt x ein Extremum und da A positiv definit ist, muss es sich dabei um ein inimum handeln. Die Grundidee von CG ist es f zu minimieren, indem man pro Iteration eine Suchrichtung p i hinzufügt. Die neue Suchrichtung hängt von den vorherigen Suchrichtungen und dem aktuellen Residuum r i ab. Der Algorithmus 5.4 lässt sich herleiten, indem man fordert, dass folgende Gleichungen gelten r i+1, r i 0, (6) p i+1, Ap i 0. (7) Als erste Suchrichtung wählt man das Startresiduum r 0 b Ax 0. Unsere alte Lösung x i korrigieren wir mit Hilfe der Suchrichtung p i x i+1 x i + α i p i. Damit ergibt sich für das neue Residuum r i+1 Als neue Suchrichtung ergibt sich dann r i+1 r i α i Ap i. (8) p i+1 r i+1 + β i p i. (9) Wählt man α i r i, r i r i, Ap i, (10) β i r i+1, Ap i p i, Ap i, (11) 14

20 so sind die Forderungen ((6), (7)) erfüllt. Es gelten r i+1, r i p i+1, Ap i (8) r i α i Ap i, r i r i, r i α i Ap i, r i (10) 0, (9) r i+1 + β i p i, Ap i r i+1, Ap i + β i p i, Ap i (11) 0. Außerdem gilt Ap i, r i (9) Ap i, p i β i 1 p i 1 Ap i, p i β i 1 Ap i, p i 1 (7) Ap i, p i und damit lässt sich α i auch schreiben als Aus (8) folgt Damit vereinfacht sich β i zu α i r i, r i Ap i, p i. (12) Ap i r i+1 r i α i. (13) (11) β i r i+1, Ap i p i, Ap i (13) (6) (12) ri+1, r i+1 r i α i p i, Ap i 1 r i+1, r i+1 r i α i p i, Ap i 1 r i+1, r i+1 α i p i, Ap i r i+1, r i+1 r i, r i 15

21 und es ergibt sich der Algorithmus 5.4. Algorithm 5.4: CG-Verfahren I r 0 b Ax 0, p 0 r 0 II for i 0, 1,... do III α i r i,r i p i,ap i IV x i+1 x i + α i p i V r i+1 r i α i Ap i VI if Residuum r i+1 ist klein genug then VII Stop end IX β i r i+1,r i+1 r i,r i X p i+1 r i+1 + β i p i XI end VIII Proposition 5.4. Für die Residuen r 0, r 1,... und Suchrichtugen p 0, p 1,... des Algorithmus 5.4 gelten 1. die Residuen sind orthogonal, das heißt r i, r j 0, i j, 2. die Suchrichtungen sind A-konjugiert, das heißt p i, Ap j 0, i j, 0, i < j, 3. p i, r j r i, r i, i j. 4. r i, Ap i p i, Ap i 5. r i, Ap j 0, für i j und i j + 1. Beweis. Siehe [5] Theorem 5.1. Der Beweis benötigt die folgende Propositon 5.5. Proposition 5.5. Sei p 0 r 0. Dann gilt für k 0, 1,... p k+1 r k+1 + r k+1 2 genau dann, wenn für k 0, 1,... folgendes gilt: p k r k 2 k r k 2 p k, (14) j0 r j r j 2. (15) 16

22 Beweis. Gelte (15). Dann ist (15) p k+1 r k+1 2 k+1 r j j0 r j 2 r k+1 2 ( rk+1 r k k j0 r k+1 + r k+1 2 r k 2 r k+1 + r k+1 2 r k 2 p k. ) r j r j 2 r k 2 k r j j0 r j } {{ } 2 p k Die Rückrichtung wird per vollständiger Induktion gezeigt. Gelte also (14). Dann ist nach Voraussetzung p 0 r 0 r j0 p 1 (14) r 1 + r 1 2 r 0 2 p 0 r 1 + r 1 2 r 0 2 r 0 r j0 Die Behauptung gelte für p 0, p 1,..., p k. Dann folgt r j r j 2 r j r j 2. (14) p k+1 r k+1 + r k+1 2 r k 2 p k I.V. r k+1 + r k+1 2 r k 2 r k 2 k r k+1 + r k+1 2 k j0 j0 r j r j 2 ( r k+1 2 rk+1 r k k j0 ). r k+1 2 ( k+1 j0 r j r j 2 r j r j 2 r j r j 2 ) Nun wird noch gezeigt, dass die Wahl von α in Algorithmus 5.4 in der Tat f minimiert. 17

23 Proposition 5.6. Für i 0, 1,... seien α i, x i, r i, p i berechnet nach Algorithmus 5.4. Dann nimmt die Funktion h: R R ihr inimum bei an. h(α) f (x i + α i p i ) 1 2 A(x i + α i p i ), x i + α i p i b, x i + α i p i α i r i, r i Ap i, p i Beweis. h(α) A symm. (2) Prop.5.4 Als Ableitungen ergeben sich Da A positiv definit ist, ist und somit liegt ein inimum bei 1 2 A(x i + α i p i ), x i + α i p i b, x i + α i p i 1 ( Axi, x i + α i Ax i, p i + α i Ap i, x i + α 2 i 2 Ap i, p i ) b, x i α i b, p i 1 ( Axi, x i + α 2 i 2 Ap i, p i ) b, x i + α i Ax i, p i α i b, p i 1 ( Axi, x i + α 2 i 2 Ap i, p i ) b, x i α i r i, p i 1 ( Axi, x i + α 2 i 2 Ap i, p i ) b, x i α i r i, r i h (α) α i Ap i, p i r i.r i, h (α) Ap i, p i. Ap i, p i > 0 vor. α i r i.r i Ap i, p i 18

24 5.2.2 Fester Vorkonditionierer Nun betrachten wir das von links vorkonditionierte Problem (3). Zusätzlich fordern wir, dass die Vorkonditionierungsmatrix symmetrisch und positiv definit ist. Damit können wir nun für x, y R n ein neues Skalarprodukt und eine neue Norm x, y x, y x, y (16) x x, x definieren. Bezüglich des neuen Skalarprodukts ist 1 A selbstadjungiert, das heißt 1 Ax, y x, 1 Ay für alle x, y Rn, da 1 Ax, y (16) 1 Ax, y Ax, y x, A T y A symm. x, Ay x, 1 Ay x, 1 Ay. (16) Anstelle des Problems (3) wird wieder ein äquivalentes inimierungsproblem gelöst. Proposition 5.7. Seien A, R n n symmetrisch und positiv definit und b R n. Dann sind äquivalent 1. x löst 1 Ax 1 b, 2. x minimiert f (x) Ax, x 1 b, x. Beweis. Es gelten f (x) 1 1 Ax, x 2 1 b, x (16) 1 1 Ax, x 1 b, x 2 1 Ax, x b, x 2 f (x) und 1 Ax 1 b Ax b. 19

25 Somit folgt x löst 1 Ax 1 b x löst Ax b Prop.5.3 x minimiert f (x) 1 Ax, x b, x 2 x minimiert f (x) 1 1 Ax, x 2 1 b, x. ab Um den Algorithmus zu erhalten, ändert man die Folgerungen (6) und (7) leicht z j+1, z j 0, (17) pi+1, 1 Ap i 0. (18) In jeder Iteration wird wieder die alte Lösung x j durch eine Suchrichtung p j verbessert, also x j+1 x j + α j p j. Dadurch ergibt sich als neues Residuum z j+1 beziehungsweise z j+1 z j α j 1 Ap j (19) z j+1 1 b 1 Ax j+1 1 (b Ax j+1 ) 1 r j+1, (20) wobei r j+1 das Residuum des ursprünglichen Problems (1) ist. Die neue Suchrichtung p j+1 hängt wie zuvor von den alten Suchrichtungen und dem aktuellen Residuum z j+1 ab p j+1 z j+1 + β j p j. (21) Die Bestimmung von α j und β j erfolgt ähnlich wie zuvor z j+1, z j (19) z j α j 1 Ap j, z j p j+1, 1 Ap j z j, z j α j 1 Ap j, z j, (21) z j+1 + β j p j, 1 Ap j z j+1, 1 Ap j + β j p j, 1 Ap j 20

26 und aus (17) und (18) folgt Außerdem gilt 1 Ap j, z j und somit gilt (21) α j β j 1 A selbstadj. z j, z j 1 Ap j, z j z j+1, 1 Ap j p j, 1 Ap j, 1 Ap j, p j β j 1 p j 1. 1 Ap j, p j β j 1 1 Ap j, p j 1 1 Ap j, p j β j 1 p j, 1 Ap j 1 } {{ } (18) 0 1 Ap j, p j (22) Aus (19) folgt α j z j, z j 1 Ap j, p j. (23) und β j vereinfacht sich zu 1 Ap j z j+1 z j α j (24) β j (24) (23),(17) z j+1, 1 Ap j p j, 1 Ap j z j+1, z j+1 z j α j p j, 1 Ap j z j+1, z j+1 z j, z j. Somit muss man nie direkt das neue Skalarprodukt ausrechnen, da α j z j, z j 1 Ap j, p j (16),(20) β j z j+1, z j+1 (16),(20) z j, z j r j, z j Ap j, p j, r j+1, z j+1 r j, z j 21

27 und es ergibt sich der Algorithmus 5.5. Algorithm 5.5: CG-Verfahren von links vorkonditioniert I r 0 b Ax 0, z 0 1 r 0, p 0 z 0 II for i 0, 1,... do III α i r i,z i p i,ap i IV x i+1 x i + α i p i V r i+1 r i α i Ap i VI z i+1 1 r i+1 if Residuum z i+1 ist klein genug then Stop IX end X β i r i+1,z i+1 r i,z i XI p i+1 z i+1 + β i p i VII VIII XII end Ähnlich wie bei Algorithmus 5.4 kann man zeigen, dass die Wahl von α im Algorithmus 5.5 f minimiert. Dazu benötigen wir eine für den vorkonditionierten Fall angepasste Version von Proposition 5.4 und 5.5. Proposition 5.8. Sei p 0 z 0. Dann gilt für k 0, 1,... p k+1 z k+1 + z k+1 2 z k 2 genau dann, wenn für k 0, 1,... folgendes gilt: p k z k 2 k j0 p k, z j z j 2. Beweis. Der Beweis geht analog zum Beweis von Proposion 5.5. Es muss im Beweis nur das euklidische Skalarprodukt. durch das neue Skalarprodukt. und r k durch z k ersetzt werden. Damit lassen sich nun ähnliche Aussagen, zu denen in Proposition 5.4, über die Suchrichtungen und Residuen des Algorithmus 5.5 treffen. Proposition 5.9. Für die Residuen z 0, z 1,... und die Suchrichtungen p 0, p 1,... des Algorithmus 5.5 gelten a) z i, z j 0, i j, b) p i, 1 Ap j 0, i j, 0, i < j, c) p i, z j z i 2, i j, 22

28 d) z i, 1 Ap j 0, i j, i j + 1, e) z i, 1 Ap i p i, 1 Ap i. Beweis. Die Gleichheit in e) wurde bereits bewiesen bei der Herleitung von α (siehe (22)). Die restlichen Aussagen werden per vollständiger Induktion gezeigt. Seien z 0, z 1 und p 0 nach dem Algorithmus 5.5 berechnet. Aus dem Algorithmus folgt p 0, z 1 I z0, z 1 z0, z 0 α 0 1 Ap 0 V,VI I z 0, z 0 α 0 p0, 1 Ap 0 (23) 0, p 0, z 0 I z0, z 0 z 0 2 und damit gelten die Aussagen a) bis d) für z 0, z 1 und p 0. Gelten die Aussagen a) bis d) nun für z 0, z 1,..., z k und p 0, p 1,..., p k 1. Wir zeigen zunächst, dass man p k hinzufügen kann und die Aussagen immer noch gelten. Es muss somit überprüft werden, dass folgende Behauptungen gelten A) p k, z i z k 2, i k, B) p i, 1 Ap k 0, i < k, C) z i, 1 Ap k 0, i < k. Es gilt A), da für i < k folgt Prop.5.8 p k, z i a) z k 2 k z j j0 z j 2 z k 2 z i z i 2, z i, z i z k 2 z i 2 z i, z i z k 2. Aus A) folgt B), da für i < k gilt z k 2 A) z i+1, p k V,VI z i, p k α i 1 1 Ap i, p k A) z k 2 α i 1 1 Ap i, p k, 23

29 da α i 1 0, folgt 1 Ap i, p k 0. Damit folgt mit B) die Aussage C). Sei i < k dann gilt zi, 1 XI Ap k p i, 1 Ap k β i 1 pi 1, 1 Ap k B) 0. Somit gelten die Aussagen a) bis d) für p 0, p 1,..., p k und z 0, z 1,..., z k. Damit man z k+1 hinzufügen kann, muss gezeigt werden, dass I) z k+1, z i 0, i k, II) p i, z k+1 0, i k, III) z k+1, 1 Ap i 0, i < k, gelten. Es ist V,VI z k+1, z i z k, z i α k 1 Ap k, z i 0, für i < k, wegen a) und d), z k, z k α k 1 Ap k, z k Prop.5.8 p i, z k+1 z i 2 i z j j0 z j 2, z k+1 I) 0, i k, V,VI z k+1, z i+1 z k+1, z i α i zk+1, 1 Ap i e),(23) 0, falls i k, und für i < k gilt nach I) z k+1, z i+1 z k+1, z i 0, wonach zk+1, 1 Ap i 0, i < k gelten muss, da α i 0 gilt. Somit kann z k+1 hinzugefügt werden und es folgt die Behauptung. Damit lässt sich zeigen, dass die Wahl von α i die Funktion f minimiert. Proposition Für i 0, 1,... seien α i, x i, z i, p i berechnet nach Algorithmus 5.5. Dann nimmt die Funktion h : R R h (α i ) f (x i + α i p i ) 1 1 A(x i + α i p i ), x i + α i p i 2 1 b, x i + α i p i 24

30 ihr inimum bei an. α i z i, z i 1 Ap i, p i Beweis. h (α i ) 1 A selbstadj. (20) Prop A(x i + α i p i ), x i + α i p i 2 1 b, x i + α i p i 1 ( 1 Ax i, x i 2 + α i 1 Ax i, p i + α i 1 Ap i, x i ) +α 2 i 1 Ap i, p i 1 b, x i α i 1 b, p i 1 ( 1 Ax i, x i 2 + ) α2 i 1 Ap i, p i 1 b, x i + α i 1 Ax i, p i α i 1 b, p i 1 ( 1 Ax i, x i 2 + ) α2 i 1 Ap i, p i 1 b, x i α i z i, p i 1 ( 1 Ax i, x i 2 + ) α2 i 1 Ap i, p i 1 b, x i α i z i, z i. Als Ableitungen ergeben sich h (α) α i 1 Ap i, p i z i.z i, h (α) 1 Ap i, p i Ap i, p i. Da A positiv definit ist, ist Ap i, p i > 0 und somit liegt ein inimum bei vor. α i z i.z i 1 Ap i, p i 25

31 5.2.3 Flexibler Vorkonditionierer Jetzt betrachten wir noch den Fall, dass sich der Vorkonditionierer in jeder Iteration ändern kann, das heißt wir ersetzen im Algorithmus 5.5 durch i. Damit ergibt sich das Residuum in der i-ten Iteration durch beziehungsweise z i 1 i (b Ax i ) 1 z i z i 1 α i 1 1 i Ap i 1. Unsere Forderungen (17) und (18) bleiben gleich, jedoch ändert sich in jeder Iteration das Skalarprodukt i r i z i+1, z i i+1 0, (25) pi+1, i+1 1 Ap i 0. (26) i+1 Aus diesen Forderungen ergibt sich der Algorithmus 5.6. Diese Variante von CG wird auch IPCG (Inexact Preconditioned Conjugate Gradient) genannt. Diese Variante von CG ist besonders stabil bezüglich flexibler Vorkonditionierung. Für eine genauere Analyse des Verfahrens siehe Golub und Ye Inexact preconditioned conjugate gradient method with inner-outer iterations [9]. Algorithm 5.6: flexibles CG-Verfahren von links vorkonditioniert I r 0 b Ax 0, z 0 0 1r 0, p 0 z 0 II for i 0, 1,... do III α i r i,z i p i,ap i IV x i+1 x i + α i p i V r i+1 r i α i Ap i VI z i+1 i+1 1 i+1 VII if Residuum z i+1 ist klein genug then Exit IX end X β i r i+1 r i,z i+1 r i,z i XI p i+1 z i+1 + β i p i VIII XII end Aus (26) ergibt sich 0 p i+1, i+1 1 Ap i i+1 p i+1, Ap i (27) (28) 26

32 und damit folgt, wie zuvor 1 i+1 Ap XI i, z i 1 i+1 i+1 Ap i, p i β i 1 1 i+1 i+1 Ap i, p i 1 i+1 (16) i+1 1 Ap i, p i β i 1 Ap i, p i 1 i+1 (27) 1 i+1 Ap i, p i i+1 (29) Aus Forderung (25) ergibt sich die Formel in Schritt III, denn 0 z i+1, z i i+1 VI 1 i+1 r i+1, z i i+1 Zunächst folgt aus Forderung (26) V 1 i+1 r i, z i i+1 α i 1 i+1 Ap i, z i i+1 (29) 1 i+1 r i, z i i+1 α i 1 i+1 Ap i, p i i+1 r i, z i α i Ap i, p i. 0 p i+1, 1 i+1 Ap i XI z i+1, 1 i+1 Ap i i+1 + β j p j, 1 i+1 i+1 Ap i i+1 (30) und somit Da kann man β i vereinfachen zu β i zi+1, 1 p j, 1 i+1 Ap i i+1 Ap i i+1. i+1 (31) i+1 1 Ap V,VI i 1 i+1 (r i+1 r i ), (32) α i (32) β i (16) III zi+1, i+1 1 (r i+1 r i ) i+1 α i pi, i+1 1 Ap i i+1 z i+1, (r i+1 r i ) α i p i, Ap i z i+1, (r i+1 r i ). z i, r i (33) Um zu zeigen, dass die Wahl von α im Algorithmus 5.6 die Funktion f i minimiert, benötigt man die folgende Proposition. 27

33 Proposition Seien z i, p i berechnet nach Algorithmus 5.6. Dann gilt Beweis. Es gilt Es bleibt somit zu zeigen, dass z i, p i i z i, z i i. z i, p i i XI z i, z i i + β i 1 z i, p i 1 i. z i, p i 1 i 0. Dies gilt nach vollständiger Induktion, da für z 0, z 1, p 0 aus dem Algorithmus 5.6 gilt z 1, p 0 1 z 1, z Gelte also für z 1, z 2,..., z k, p 0, p 1,..., p k 1 Dann folgt z i, p i 1 i 0 für i 1, 2,..., k. z k+1, p k k+1 VI,(16) r k+1, p k V r k, p k α k Ap k, p k III r k, p k r k, z k XI r k, p k r k, p k + β k 1 r k, p k 1 VI,(16) β k 1 z k, p k 1 k I.V. 0. Proposition Für i 0, 1,... seien α i, x i, z i, p i berechnet nach Algorithmus 5.6 und i seien symmetrische, positiv definite atrizen. Dann nimmt die Funktion h i : R R h i (α i ) f i (x i + α i p i ) 1 1 i A(x i + α i p i ), x i + α i p i 1 2 i i b, x i + α i p i i ihr inimum bei an. α i z i, r i Ap i, p i Beweis. Der Beweis ist analog zum Beweis von Proposition an ersetze durch i und anstelle von Proposition 5.9 benutzen wir Proposition

34 5.2.4 Abschließende Bemerkungen zu CG Da CG ein Krylov-Unterraum-Verfahren ist, zeigen wir nun noch, dass die im m-ten Schritt berechnete Lösung x m im um x 0 verschobenen Krylov-Unterraum K m (A, r 0 ) liegt. Es lässt sich zeigen, dass die Suchrichtungen den Krylov-Unterraum aufspannen. Proposition Seien p 0, p 1,..., p k, r 0, r 1,..., r k berechnet nach Algorithmus 5.4. Dann spannen die Suchrichtungen den Krylov-Unterraum auf. Es gilt also für i 0, 1,..., k span { r 0, Ar 0,..., A i r 0 } span {p0, p 1,..., p i }. Zusätzlich stammt das i-te Residuum aus dem Krylov-Unterraum K i+1 (A, r 0 ). Beweis. Wir zeigen die Aussagen per vollständiger Induktion. Der Induktionsanfang folgt direkt aus dem ersten Schritt des Algorithmus, da p 0 auf r 0 gesetzt wird. Gelte die Aussage der Proposition also für i 0, 1,..., j. Zunächst folgt mit Zeile V des Algorithmus Nach der Induktionsvoraussetzung gilt r j span { } r 0, Ar 0,..., A j r 0, p j span { } r 0, Ar 0,..., A j r 0 und damit ist Insgesamt ergibt sich also r j+1 r j α j Ap j. Ap j span { r 0, Ar 0,..., A j+1 r 0 }. r j+1 span { r 0, Ar 0,..., A j+1 r 0 }. Damit ist p j+1 ein Element des Krylov-Unterraums K j+2 (A, r 0 ), da nach Zeile X des Algorithmus p j+1 r j+1 + β j p j gilt, wobei nach Voraussetzung p j aus dem Raum K j+1 (A, r 0 ) und r j+1, wie eben gezeigt, aus K j+2 (A, r 0 ) sind. Als Letztes zeigen wir, dass A j+1 r 0 im Spann der Suchrichtungen p 0, p 1,..., p j+1 ist. Für i < j folgt aus der Voraussetzung span { r 0, Ar 0,..., A i r 0 } span {p0, p 1,..., p i } 29

35 direkt Aus Zeile X und V folgt und somit ist Ap i span {p 0, p 1,..., p i+1 }. p j+1 r j α j Ap j + β j p j Ap j span { p 0, p 1,..., p j+1 }. Damit folgt A j+1 r 0 span{p 0, p 1,..., p j+1 } aus A j+1 r 0 AA j r 0, A j r 0 span{p 0, p 1,..., p j }, Ap i span{p 0, p 1,..., p i+1 } für i 0, 1,..., j. Nach der Definition des Residuums ist und somit folgt r m b Ax m (2) r 0 + Ax 0 Ax m Ax m Ax 0 + r 0 r m. } {{ } K m+1 (A,r 0 ) Also ist x m aus dem um x 0 verschoben Krylov-Unterraum K m (A, r 0 ) Analog kann man für den festvorkonditionierten Fall zeigen, dass die Suchrichtungen p 0, p 1,..., p k den Krylov-Unterraum K k+1 ( 1 A, r 0 ) aufspannen. Dazu ersetze man r i durch z i und A durch 1 A. Jetzt betrachten wir noch den Fall, dass es zu einem Abbruch des Algorithmus kommt, dass heißt r i, r i oder p i, Ap i sind Null. Im Fall r i, r i 0 folgt sofort, dass das Residuum der Nullvektor ist und damit ist unsere berechnete Lösung exakt. Betrachten wir also den Fall p i, Ap i 0. Da A symmetrisch und positiv definit ist, muss also p i der Nullvektor sein. Aus dem Algorithmus 5.4 folgt somit nach X 0 r i + β i 1 p i 1. Aus Proposition 5.4 wissen wir, dass r i senktrecht auf p i 1 steht. Somit muss r i 0 und β i 1 p i 1 0 gelten. Damit ist unsere berechnete Lösung exakt. Insgesamt ergibt sich damit, dass der Algorithmus 5.4 nur dann abbricht, wenn er die exakte Lösung berechnet hat. Dasselbe gilt, falls man fest oder flexibel vorkonditioniert. an ersetze r i durch z i und A durch 1 A beziehungsweise i 1 A für den flexiblen Fall. Die Argumentation ist dann analog wie zuvor. an benötigt erneut, dass z i senkrecht auf p i 1 steht. Dies wurde für den festen Fall in Proposition 5.9 und für den flexiblen Fall im Beweis von Proposition 5.11 gezeigt. 30

36 5.3 BiCGStab Grundalgorithmus Als letztes Verfahren betrachten wir BiCG-Stabilized (BiCGStab), welches 1992 von van der Vorst [6] erfunden wurde. Es ist abgeleitet von BiCG [7] und benötigt keine zusätzlichen Anforderungen an A wie dies bei CG der Fall war. Als Grundlage für unsere Herleitung benutzten wir zusätzlich zum Buch von Y. Saad den Artikel [6] von van der Vorst. In BiCG werden zwei Folgen von Residuen und Suchrichtungen berechnet wobei P i, T i Polynome vom Grade i sind. r i P i (A)r 0, (34) ˆr i P i ( A T ) ˆr 0, (35) p i+1 T i (A)r 0, (36) ˆp i+1 T i ( A T ) ˆr 0, (37) Proposition Für die berechneten Residuen und Suchrichtungen gilt für i j die Residuen sind biorthogonal, das heißt r i, ˆr j 0, die Suchrichtungen sind bikonjugiert bezüglich A, das heißt Ap i, ˆp j 0. Beweis. Siehe den Beweis auf Seite 81 von [7]. Daraus lässt sich auch der Name BiCG ableiten, da in CG die Residuen orthogonal und die Suchrichtungen A-konjugiert sind. Die Idee ist nun, dass man das Residuum mit einem weiteren Polynom Q i vom Grad i multipliziert r i Q i (A)P i (A)r 0. (38) Wählt man Q i P i, so erhält man das von Sonneveld 1989 entwickelte CG-S Verfahren [8]. CG-S hat den Nachteil, dass es zu einem schlechtem Konvergenzverhalten kommen kann, wenn die Startlösung x 0 nahe an der exakten Lösung liegt. Bei BiCGStab wählt man Q i (x) (1 ω i x)(1 ω i 1 x)... (1 ω 1 x), (39) um eine möglichst einfache Rekursionsformel zu erhalten. Außerdem wählt man ω i so, dass die euklidische Norm von r i minimiert wird. Zunächst leiten wir die Rekursionsformeln für P i, T i aus dem BiCG Algorithmus (siehe Algorithmus 5.7) her. Proposition Nach Algorithmus 5.7 gelten die folgenden Rekursionsformeln für i 1, 2,... P i (A) P i 1 (A) α i AT i 1 (A), (40) T i (A) P i (A) + β i+1 T i 1 (A). (41) 31

37 Algorithm 5.7: BiCG-Verfahren I r 0 b Ax 0, p 0 0, ρ 0 1 II ˆr 0 r 0, ˆp 0 p 0 III for i 1, 2,... do IV ρ i ˆr i 1, r i 1 V β i ρ i ρ i 1 VI p i r i 1 + β i p i 1 VII ˆp i ˆr i 1 + β i ˆp i 1 VIII α i ρ i ˆp i,ap i IX x i x i 1 + α i p i X r i r i 1 α i Ap i XI if Residuum r i ist klein genug then XII Stop end ˆr i ˆr i 1 α i A T ˆp i XV end XIII XIV Beweis. P i (A)r 0 (34) r i X r i 1 α i Ap i (34),(36) P i 1 (A)r 0 α i AT i 1 (A)r 0 (P i 1 (A) α i AT i 1 (A))r 0, T i (A)r 0 (36) p i+1 VI r i + β i+1 p i (34),(36) P i (A)r 0 + β i+1 T i 1 (A)r 0 (P i (A) + β i+1 T i 1 (A))r 0. Später benötigt man noch den Term mit der höchsten Potenz von A von P i (A) und Q i (A). Für Q i (A) sieht man direkt aus (39), dass dies ( 1) i ω 1... ω i A i (42) ist. Für P i (A) folgt aus den eben bewiesenen Rekusionsformeln (40) und (41) P i (A) 40 Pi 1 (A) α i AT i 1 (A) 41 Pi 1 (A) α i AP i 1 (A) β i α i AT i 2 (A). 32

38 Somit enthält der Term α i AP i 1 (A) die höchste Potenz. Durch mehrmaliges Anweden der Rekursionsformeln (40) und (41), erhält man als höchste Potenz ( 1) i α 1... α i A i. (43) Zusätzlich benötigen wir für den Algorithmus noch Rekursionsformeln für Q i (A)P i (A) und Q i (A)T i (A). Dazu wird die folgende Proposition benötigt. Proposition Für alle atrizen A R n n und Polynome S i (x) i k0 s k x k, i N, gilt AS i (A) S i (A)A. Beweis. Es ist i AS i (A) A s ka k k0 i s ka k+1 k0 ( i ) s ka k A k0 S i (A)A. Damit folgt nun Q i (A)P i (A)r 0 (40) Q i (A)(P i 1 (A) α i AT i 1 (A))r 0 (39) (1 ω i A)Q i 1 (A)(P i 1 (A) α i AT i 1 (A))r 0 [Q i 1 (A)(P i 1 (A) α i AT i 1 (A)) ω i AQ i 1 (A)(P i 1 (A) α i AT i 1 (A))]r 0 Prop.5.16 [Q i 1 (A)P i 1 (A) α i AQ i 1 (A)T i 1 (A)) ω i A(Q i 1 (A)P i 1 (A) α i AQ i 1 (A)T i 1 (A))]r 0, Q i (A)T i (A)r 0 (41) Q i (A)(P i (A) + β i+1 T i 1 (A))r 0 (39) [Q i (A)P i (A) + β i+1 (1 ω i A)Q i 1 T i 1 (A)]r 0 [Q i (A)P i (A) + β i+1 (Q i 1 T i 1 (A) ω i AQ i 1 T i 1 (A))]r 0 Um die Parameter α i, β i, ω i, ρ i zu bestimmen, benötigen wir noch die folgende Proposition. Proposition Seien r 0, ˆr 0 R n beliebig und r i P i (A)r 0 und p i T i 1 (A)r 0 berechnet nach dem BiCG-Verfahren. Dann gilt P i (A)r 0 K i ( A T, ˆr 0 ), (44) AT i (A)r 0 K i ( A T, ˆr 0 ). (45) 33

39 Beweis. Seien P i (x) i k0 b k x k, T i (x) i k0 c k x k. Aus Proposition 5.14 wissen wir, dass für j < i gilt 0 Ap i, ˆp j, 0 r i, ˆr j und damit 0 r i, ˆr j ( Pi (A)r 0, P ) j A T ˆr 0 (34),(35) P i (A)r 0, j j k0 b k ( A T ) k ˆr0 b kp i (A)r 0, ( A ) T k ˆr0. k0 Da dies für alle j < i gilt, folgt damit P i (A)r 0, ( A ) T j ˆr0 0 für alle j < i und somit die Behauptung (44). Die Aussage (45) folgt analog aus 0 Ap i+1, ˆp j+1 ( ATi (A)r 0, T ) j A T ˆr 0 (36),(37) Als Erstes betrachten wir die Parameter β i und ρ i. In BiCG ist ρ i+1,bicg IV ˆri, r i ( ) Pi A T ˆr 0, P i (A)r 0 (34),(35) und da nach Proposition 5.17 P i (A)r 0 senkrecht auf K i ( A T, ˆr 0 ) steht, benötigt man ( für die Berechnung nur die höchste Potenz von P ) i A T ˆr 0. Somit ist nach (43) ( ρ i+1,bicg ( 1) i α 1... α ) i A T i ˆr0, P i (A)r 0. Da man bei BiCGStab, wie in CG-S nur eine Folge von Residuen berechnen will, wählt man ρ i+1,bicgs tab ˆr 0, r i (38) ˆr 0, Q i (A)P i (A)r 0 Q i ( A T ) ˆr 0, P i (A)r 0. 34

40 Wie zuvor kann man die Orthogonalität aus Proposition 5.17 ausnutzen, so dass man nur die höchste Potenz von Q i ( A T ) benötigt. Somit ist mit (42) ρ i+1,bicgs tab ( 1) i ω 1... ω i ( A T ) i ˆr0, P i (A)r 0. Damit gilt die folgende Relation zwischen ρ i+1,bicg und ρ i+1,bicgs tab Also ergibt sich ρ i+1,bicg α 1... α i ω 1... ω i ρ i+1,bicgs tab. (46) β i ρ i+1,bicg ρ i,bicg Als nächstes betrachten wir α i. In BiCG ist ρ i+1,bicgs tab ρ i,bicgs tab α i ω i. α i+1 (34) (37) r i, ˆr i Ap i+1, ˆp i+1 ( Pi (A)r 0, P ) i A T ˆr 0 ( ATi (A)r 0, T i A T ). ˆr 0 it Proposition 5.17 folgt, dass nur die höchsten Potenz bedeutend ist. Diese stimmen wegen T i (A) P i (A) + β i+1 T i 1 (A) für P i und T i überein und somit ist ( Pi (A)r 0, P ) i A T ˆr 0 α i+1 ( ATi (A)r 0, P i A T ) ˆr 0 Wie zuvor bei ρ i kann man mit der Orthogonalität aus Proposition 5.17 folgendes folgern ( ATi (A)r 0, P ) i A T Prop.5.17 ( ˆr 0 AT i (A)r 0, ( 1) i α 1... α ) i A T i ˆr0 α 1... α i ( AT i (A)r 0, ( 1) i ω 1... ω ) i A T i ˆr0 ω 1... ω i Prop.5.17 α 1... α i ( ATi (A)r 0, Q ) i A T ˆr 0. (47) ω 1... ω i Damit folgt insgesamt (46),(47) α i+1 Pi (A)r 0, Q i ( A T ) ˆr 0 ATi (A)r 0, Q i ( A T ) ˆr 0 Prop.5.16 Q i (A)P i (A)r 0, ˆr 0 AQ i (A)T i (A)r 0, ˆr 0. 35

41 Als Letztes minmieren wir noch die euklidische Norm des Residuums bezüglich ω i+1. Dazu definieren wir Dann ist s Q i (A)P i (A) α i+1 AQ i (A)T i (A)r 0, h(ω i+1 ) r i+1 2 Damit liegt das Extremum bei (38) Q i+1 (A)P i+1 (A)r 0, Q i+1 (A)P i+1 (A)r 0 (39),(40) (1 ω i+1 A)Q i (A)(P i (A) α i+1 AT i (A))r 0, (1 ω i+1 A)Q i (A)(P i (A) α i+1 AT i (A))r 0 s ω i+1 As, s ω i+1 As s, s 2ω i+1 As, s + ω 2 i+1 As, As. h (ω i+1 ) 2As, s + 2ω i+1 As, As, h (ω i+1 ) 2As, As 2 As 2 > 0. ω i+1 As, s As, As. Da h (ω i+1 ) > 0 gilt, ist das Extremum ein inimum. Ersetz man Q i (A)T i (A)r 0 durch p i und Q i (A)P i (A)r 0 durch r i, so erhält man Algorithmus Fester Vorkonditionierer Wie schon bei GRES, betrachten wir das von rechts vorkonditionierte System (4). Wie bereits bei GRES gezeigt (siehe (5)), kann das Startresiduum des vorkonditionierten Systems genauso wie beim nicht vorkonditionierten System berechnet werden. Ersetzen wir nun im Rest des Algorithmus 5.8 A durch A 1, so ist die Lösung x i, die Lösung des vorkonditionierten Problems. Die Lösung x i des ursprünglichen Problems erhalten wir, indem wir von links mit 1 multiplizieren x i 1 x i XII 1 x i 1 + α i 1 p i + ω i 1 s x i 1 + α i 1 p i + ω i 1 s. Da man meist nur an der Lösung des ursprünglichen Systems interessiert ist, speichern wir die Vektoren 1 p i, 1 s zwischen, damit wir sie nicht doppelt berechnen müssen. Daraus ergibt sich insgesamt der Algorithmus 5.9, wobei x i die Lösung des ursprünglichen Problems ist. Bis auf die Bestimmung der Lösung entspricht damit Algorithmus 5.9 dem Algorithmus 5.8 angewendet auf das explizit vorkonditionierte Problem (4). 36

42 Algorithm 5.8: BiCGStab I r 0 b Ax 0, v 0 p 0 0, ˆr 0 r 0 II ρ 0 α ω 0 1 III for i 1, 2,... do IV ρ i ˆr 0, r i 1 α ω i 1 V β i ρ i ρ i 1 VI p i r i 1 + β i (p i 1 ω i 1 v i 1 ) VII v i Ap i VIII α i ρ i ˆr 0,v i IX s r i 1 α i v i X t As XI ω i t,s t,t XII x i x i 1 + α i p i + ω i s XIII XIV XV XVI XVII end r i s ω i t if Residuum r i ist klein genug then Stop end Algorithm 5.9: BiCGStab von rechts vorkonditioniert I r 0 b Ax 0, v 0 p 0 0, ˆr 0 r 0 II ρ 0 α ω 0 1 III for i 1, 2,... do IV ρ i ˆr 0, r i 1 α ω i 1 V β i ρ i ρ i 1 VI p i r i 1 + β i (p i 1 ω i 1 v i 1 ) VII y 1 p i VIII v i Ay IX α i ρ i ˆr 0,v i X s r i 1 α i v i XI z 1 s XII t Az XIII ω i t,s t,t XIV x i x i 1 + α i y + ω i z XV XVI XVII XVIII XIX end r i s ω i t if Residuum r i ist klein genug then Stop end 37

43 5.3.3 Flexibler Vorkonditionierer Um eine flexible Variante von BiCGStab zu erhalten, muss man die feste atrix nur durch eine flexible atrix i ersetzen. Dies liefert uns bereits den flexiblen Algorithmus, siehe Algorithmus 4.1 in [10] Abschließende Bemerkungen zu BiCGStab Van der Vorst weißt darauf hin, dass es bei BiCGStab, wie bei BiCG, zu einem vorzeitigen Abbruch kommen kann. Das Problem ist, dass die Bilinearform B(x, y) P ( A T ) x, P(A)y kein Skalarprodukt definiert. Somit kann bei einer unglücklichen Wahl von ˆr 0 der Parameter ρ i oder ˆr 0, v i Null oder zumindest sehr klein werden, obwohl keine Konvergenz stattgefunden hat. Falls dieser Fall eintreten sollte, kann man entweder mit einem anderen ˆr 0 neustarten oder auf eine andere ethode, beispielsweise GRES, wechseln. Ein anderer Vorschlag von van der Vorst ist, den Algorithmus leicht abzuändern. Sein Vorschlag (siehe Seite 637 [6]) ist in exakter Arithmetik äquivalent. Dieser muss jedoch noch genauer untersucht werden um die beste Variante zu finden. Wie zuvor bei CG zeigen wir nun noch, dass die im m-ten Schritt berechnete Lösung x m im um x 0 verschobenen Krylov-Unterraum K m (A, r o ) liegt. Dazu zeigen wir zunächst, dass das Residuum und die Suchrichtungen aus dem Krylov- Unterraum sind. Proposition Seien p 1, p 2,..., p k, r 0, r 1,..., r k berechnet nach Algorithmus 5.8. Dann liegen die Suchrichtungen im Krylov-Unterraum. Es gilt also für i 1, 2,..., k p 1, p 2,..., p i span { r 0, Ar 0,..., A i 1 r 0 }. Zusätzlich stammt das i-te Residuum aus dem Krylov-Unterraum K i+1 (A, r 0 ). Beweis. Wir zeigen die Aussagen per vollständiger Induktion. Der Induktionsanfang folgt direkt aus dem ersten Schritt des Algorithmus, da p 1 auf r 0 gesetzt wird. Gelte die Aussage der Proposition also für i 0, 1,..., j. Zunächst folgt aus den Zeilen XIII, X und IX des Algorithmus 5.8 r j+1 r j α j Ap j ω j A ( r j α j Ap j ) Nach der Induktionsvoraussetzung gilt r j span { r 0, Ar 0,..., A j r 0 }, p j span { r 0, Ar 0,..., A j 1 r 0 } ( 1 ω j A ) ( r j α j Ap j ). 38

44 und damit ist r j α j Ap j span { r 0, Ar 0,..., A j r 0 }, also Insgesamt ergibt sich also A ( r j α j Ap j ) span { r0, Ar 0,..., A j+1 r 0 }. r j+1 span { r 0, Ar 0,..., A j+1 r 0 }. Damit ist p j+1 ein Element des Krylov-Unterraums K j+1 (A, r 0 ), da nach Zeile VI und VII des Algorithmus p j+1 r j + β j+1 ( p j ω j Ap j ) gilt, denn nach Voraussetzung ist p j aus dem Raum K j (A, r 0 ) und r j aus K j+1 (A, r 0 ). Damit folgt nun, wie zuvor bei CG, aus der Defintion des Residuums, dass x m aus dem um x 0 verschobenen Krylov-Unterraum K m (A, r 0 ) stammt. 5.4 Vergleich der drei Verfahren Bevor wir nun zu unseren Testbeispielen kommen, vergleichen wir noch die Vorund Nachteile unserer drei Verfahren. Die wichtigen Vorteile von CG und GRES gegenüber BiCGStab sind in BiCGStab kann es zu einem Abbruch des Verfahrens kommen, ohne dass eine gute Approximation an die Lösung berechnet wurde, BiCGStab hat einen hohen Rechenaufwand, da pro Iteration zweimal ein atrix-vektor-produkt gebildet werden muss. Der große Nachteil von CG gegenüber den beiden anderen Verfahren ist, dass die atrix A symmetrisch und positiv definit sein muss. Der große Nachteil von G- RES ist der hohe Speicherbedarf, dadurch das eine atrix und eine Basis eines Krylov-Unterraums gespeichert werden müssen und im flexiblen Fall sogar zwei Basen. 6 Numerische Beispiele Als Testbeipiele dienen uns in 2D und 3D jeweils ein symmetrisches und ein nicht symmetrisches Problem. Bei den symmetrischen Problemen handelt es sich um 39

45 Laplace-Probleme. Die nicht symmetrischen Probleme sind Konvektions-Diffusionsprobleme (CD-Gleichungen). Für alle vier Probleme betrachten wir Dirichlet- Randbedingungen, das heißt für gegebenes u B (x) gilt u(x) u B (x) für alle x Ω. Dabei bezeichne Ω den Rand des betrachteten Gebiets Ω. In unserem Fall ist Ω das Einheitsquadrat bzw. der Einheitswürfel, das heißt Ω 2 [0, 1] 2 bzw. Ω 3 [0, 1] 3. Die Galerkin Finite-Elemente-ethode erzeugt uns aus der Laplace-Gleichung ein lineares Gleichungssystem, wobei die atrix A symmterisch und positiv definit ist. Für die CD-Gleichung benutzen wir die Streamline Upwind Petrov-Galerkin Finite-Elemente-ethode, kurz SUPG-FE, welche uns ein lineares Gleichungssystem mit nicht symmetrischer atrix liefert. Für eine Erläuterung von SUPG- FE, auch Streamline Diffusion Finite-Elemente-ethode genannt, siehe Abschnitt III in [11]. Als Finite-Element-Raum wählen wir den Raum Q 1. Dies ist in 2D beziehungsweise 3D der Raum der stetigen, stückweise bi- beziehungsweise trilinearen Funktionen. 6.1 Laplace-Gleichung in 2D Es ist die Lösung der Differentialgleichung mit u(x, y) 2π 2 sin(πx) sin(πy) für (x, y) Ω 2 u(x, y) 0 für alle (x, y) Ω 2 gesucht. Die exakte Lösung u e ist u e (x, y) sin(πx) sin(πy), denn 2 u e (x, y) x 2 2 u e (x, y) y 2 π 2 sin(πx) sin(πy) und damit gilt u e (x, y) 2 u e (x, y) x 2 2 u e (x, y) y 2 2π 2 sin(πx) sin(πy). In Abbildung 1 ist eine berechnete Lösung abgebildet. 40

46 Abbildung 1: 2D Laplace-Problem: berechnete Lösung 6.2 Laplace-Gleichung in 3D Das Problem ist ähnlich zum zweidimensional Fall. Gesucht ist die Lösung der Differentialgleichung mit der Randbedingung u(x, y, z) 3π 2 sin(πx) sin(πy) sin(πz) für (x, y, z) Ω 3 u(x, y, z) 0 für alle (x, y, z) Ω 3. Als exakte Lösung u e ergibt sich u e (x, y, z) sin(πx) sin(πy) sin(πz), da 2 u e (x, y) x 2 2 u e (x, y) y 2 2 u e (x, y) z 2 π 2 sin(πx) sin(πy) sin(πz) 41

47 Abbildung 2: 3D Laplace-Problem: berechnete Lösung für die Schnittebene x 0.5 und somit u e (x, y, z) 2 u e (x, y) x 2 2 u e (x, y) y 2 2 u e (x, y) z 2 3π 2 sin(πx) sin(πy) sin(πz). In Abbildung 2 ist eine berechnete Lösung für einen Schnitt durch das Gebiet Ω 3 dargestellt. 6.3 CD-Gleichung in 2D Wir betrachten die Konvektions-Diffusions-Gleichung ɛ u(x, y) + b u(x, y) 0, (x, y) Ω 2, wobei ɛ 10 8 die Diffusionskonstante ist und b ( cos ( ) ( )) π 3, sin π 3 ein konstantes Konvektionsfeld. Damit ist in diesem Fall der Konvektionsanteil dominant. Als Randbedingung wählen wir für (x, y) Ω 2 0, falls x 1 oder y < 0.7 u(x, y). 1, sonst Damit ergibt sich für die Lösung (siehe Abbildung 3 und 4) eine innere Grenzschicht, die im Punkt (0, 0.7) beginnt, sich in Richtung b (0.5, 0.87) fortsetzt und in etwa im Punkt (0.4, 0) endet. 42

48 Abbildung 3: 2D CD-Problem: Grenzschicht Abbildung 4: 2D CD-Problem: Randbedingungen sind erfüllt 6.4 CD-Gleichung in 3D Als letztes Beispiel betrachten wir ɛ u(x, y, z) + b u(x, y, z) + u(x, y, z) f (x, y, z), (x, y, z) Ω 3 2 mit ɛ 10 6, b 3 und f ist so gewählt, dass 4 ( ( )) ( ( )) ( ( )) 2 (x 1) 3 (y 1) 4 (z 1) u e (x, y, z) x exp y 2 exp z 3 exp ɛ ɛ ɛ Lösung ist. Als Randbedingung muss damit u(x, y, z) u e (x, y, z) für alle (x, y, z) Ω 3 gewählt werden. In den Abbildungen 5 und 6 sind zwei Schnitte durch Ω 3 für eine berechnete Lösung dargestellt. 7 Auswertung Zur Untersuchung der Algorithmen wurde jeweils die feste und flexibel vorkonditionierte Variante der 3 Verfahren in oond (athematics and object oriented Numerics in agdeburg) implementiert. Die flexible Variante von GRES wurde 43

49 Abbildung 5: 3D CD-Problem: berechnete Lösung für die Schnittebene x 0.5 Abbildung 6: 3D CD-Problem: berechnete Lösung für die Schnittebene x 0.8 bereits von Prof. John implementiert und diente mir als Vorlage für die anderen Verfahren. Da für BiCGStab der Algorithmus für flexible Vorkonditionierung mit dem für die feste Vorkonditionierung übereinstimmt, benötigt man für BiCGStab nur eine Variante. Als feste Vorkonditionierer wurde das Jacobi und das SSOR Verfahren mit ω 1, auch symmetrisches Gauß-Seidel Verfahren genannt, benutzt. Als flexibler Vorkonditionierer diente das ehrgitter-verfahren, welches ausführlich in Kapitel 13 im Buch von Y. Saad [1] erklärt wird. Wie erwartet stimmen für Jacobi und SSOR als Vorkonditionierer die flexible Variante mit der festen Variante von CG beziehungsweise GRES überein. Für das ehrgitter-verfahren als Vorkonditionierer ist zu erwarten, dass die flexible Variante ein besseres Ergebnis als die feste Variante liefert. Jedoch stimmen auch dort beide Varianten von CG und GRES überein. Der Grund hierfür ist, dass das ehrgitter-verfahren sehr exakt gelöst wird. Dadurch verhält sich das ehrgitter- Verfahren fast wie ein fester Vorkonditionierer. Dies erkennt man beispielsweise beim CG Verfahren. Die flexible Implementation von CG unterscheidet sich von der festen Implementation von CG nur in der Berechnung von β. Bei dem Vergleich der Werte für β stellten wir fest, dass sie sich erst in der fünften, meist sogar erst in der zehnten, signifikanten Stelle unterscheiden. Da sich die Ergebnisse der festen Variante der Algorithmen nicht von denen der flexiblen Variante unterscheiden, sind in den Abbildungen 7 bis 13 nur die Ergebnisse der flexiblen Variante dargestellt. Die Level geben dabei den Grad der Verfeinerung des Gitters an, wobei ein höheres Level ein feineres Gitter bedeutet. GRES wurde bei uns alle 20 Iterationen neu gestartet. In den Abbildungen 7 bis 9 vergleichen wir die Vorkonditionierer für unsere 3 Verfahren für das dreidimensionale Laplace-Problem. Die benötigten Iterationen hängen stark vom Vorkonditionierer ab. Jacobi ist der einfachste Vorkonditionierer und benötigt deswegen auch deutlich mehr Iterationen als die anderen beiden. it dem ehrgitter-verfahren benötigen wir nie mehr als 10 Iterationen, selbst für das 44