Kapitel 5 Iterative Verfahren für LGS

Transkript

1 Kapitel 5 Iterative Verfahren für LGS Einführung Matrixnormen Splitting Verfahren Mehrgitter (Multigrid) Verfahren Gradientenverfahren Vorkonditionierung CG-Verfahren Abbruch von iterativen Verfahren Zusammenfassung Numerische Mathematik II Herbsttrimester 212 1

2 Problemstellung: In den Ingenieurwissenschaften, der angewandten Mathematik und dem wissenschaftlichen Rechnen trifft man häufig auf sehr große dünn besetzte lineare Gleichungssysteme, z.b. bei der Diskretisierung partieller Differentialgleichungen. Direkte Verfahren (siehe Numerik I) sind für solche Problemstellungen nicht immer geeignet weil Sie mitunter zu langsam sind, zu rundungsfehleranfällig oder weil Sie die Struktur der dünn besetzten Matrix zerstören. Für Spezialfälle gibt es zwar sehr gute und schnelle direkte Verfahren z.b. die Methode der zyklischen Reduktion oder der Fouriertransformation. Diese sind aber auf bestimmte Randbedingungen beschränkt oder z.b. auf eine äquidistante Gitterweite. Wir wollen daher im Folgenden verschiedene iterative Verfahren kennen lernen, mit deren Hilfe wir eine Näherungslösung für das LGS berechnen können. Numerische Mathematik II Herbsttrimester 212 2

3 Zunächst Wiederholung lineare Algebra Die Matrix A heißt regulär, invertierbar, nicht singulär wenn die Inverse existiert normal falls A A = AA. Dabei ist A T die transponierte, A die konjugiert komplexe und A A T die zu A adjungierte. Normale Matrizen sind diagonalisierbar. symmetrisch wenn gilt A T = A, hermitesch wenn A = A Statt hermitesch sagt man auch selbstadjungiert. Hermitesche und symmetrische Matrizen sind normal und daher diagonalisierbar. Die Eigenwerte sind alle reell. Bsp. Ax = λx x Ax = λx x. Also ist λ reell, denn x x ist reell und x Ax = x A x = x Ax und daher reell. orthogonal falls A T A = I, unitär falls A A = I Orthogonale & unitäre Abbildungen sind längen- und winkeltreu. Bsp. Ax, Ax = Ax T Ax = x T A T Ax = x T x = x, x positiv definit falls x Ax > x, x Eine symmetrische (hermitesche) Matrix ist genau dann positiv definit wenn alle Eigenwerte > sind. Numerische Mathematik II Herbsttrimester 212 3

4 Um die Konvergenz von iterativen Verfahren zu untersuchen benötigen wir zunächst geeignete Matrixnormen. Def. 5.1 Eine Abbildung : V R heißt Norm wenn gilt x = x = αx = α x x + y x + y Sie heißt submultiplikativ falls zusätzlich gilt x y x y Sei eine Norm auf R n. Eine Matrix Norm M heißt verträglich mit falls gilt A x A M x Da man eine möglichst scharfe Fehlerabschätzung haben möchte definiert man die folgende Operatornorm: A lub max x Ax x = max x =1 Ax Sie heißt auch zugeordnete, natürliche oder induzierte Matrix Norm. Die Bezeichnung lub steht für least upper bound. Numerische Mathematik II Herbsttrimester 212 4

5 Bemerkungen: Man kann zeigen, dass A lub submultiplikativ ist, verträglich und dass für jede verträgliche Matrix Norm gilt A lub A M Sei hierzu Ax x mit A lub max dann folgt: x x A lub x Ax A M x und daher A lub A M. Den Betrag des größten Eigenwertes einer Matrix, den sogenannten Spektralradius, bezeichnen wir mit ρ A. Für jede verträgliche Norm gilt: ρ A A Sei hierzu λ = ρ(a) Eigenwert und x zugehöriger Eigenvektor mit x = 1 (normieren!). Dann gilt: ρ A = λ = λ x = λx = Ax A x = A Satz 5.2 Es gilt: lim A n = ρ A < 1. n Hin-Richtung: Sei : lim A n = angenommen ρ A 1. Sei λ ein Eigenwert mit λ 1 und x dazugehöriger Eigenvektor vom Betrag 1. Dann n gilt A n = A n x A n x = λ n x = λ n 1. Das ist ein Widerspruch. Rückrichtung z.b. mit Hilfe der Jordanschen Normalform. Numerische Mathematik II Herbsttrimester 212 5

6 Bemerkung: (aus Skript Matthias Richter) Numerische Mathematik II Herbsttrimester 212 6

7 Def. 5.3 Die Größe κ A = max Ax x =1 = A min Ax A 1 heißt x =1 Konditionszahl. Mit Hilfe der Konditionszahl kann man messen wir stark die Einheitskugel verzerrt wird. Es gilt stets κ A 1. Satz 5.4 Die wichtigsten natürlichen (zugeordneten) Normen lauten 1 A 1 = max j i a ij (Spaltensummennorm) A = max i j a ij (Zeilensummennorm) 2 A 2 = ρ(a A) (Spektralnorm) Insbesondere gilt für hermitesche (symmetrische) Matrizen A 2 = ρ(a) und κ A = λ max /λ min Beweis: Wir betrachten nur die Spektralnorm. Die Matrix A A ist normal, d.h. A A A A = A A A A. Nach einem Satz der linearen Algebra ist sie unitär diagonalisierbar, d.h. es gibt unitäre Matrizen U und eine Diagonalmatrix D welche die Eigenwerte enthält mit U A AU = D. Numerische Mathematik II Herbsttrimester 212 7

8 Daher folgt A 2 2 = max x 2 =1 Ax 2 2 = max AUx 2 2 = max Ux 2 =1 x 2 =1 x U A AUx = max x 2 =1 x Dx = ρ(d). Dabei wurde ausgenutzt, dass unitäre Matrizen längenerhaltend sind, d.h. Ux 2 = x 2. Mit Hilfe der oben eingeführten Matrix Normen können wir folgendes erstaunliches Theorem beweisen: Satz 5.5 Sei A eine quadratische Matrix die Neumannsche Reihe (s.u.) k= A k = I A 1 konvergiert genau dann gegen I A 1 wenn ρ A < 1. Möchte man die Matrix A näherungsweise invertieren benutze man die Identität A = I I A k= (I A) k = A 1. Beweis: Wir bemerken zunächst: λ EW von A 1 λ EW von I A. Falls ρ A < 1 ist demnach kein EW von I A und I A daher invertierbar. Es gilt die Identität I A I + A + + A n = I A n+1. Durch Grenzübergang folgt die Behauptung. Numerische Mathematik II Herbsttrimester 212 8

9 Bsp. 5.1 Kehren wir zurück zu unserem Ausgangsproblem. Als einführendes Beispiel wollen wir die zweidimensionale Laplace Gleichung betrachten: Sei Ω =,1,1 und f Ω R. Sei p Ω R die Lösung des Randwertproblems: p = 2 p x p = f x, y x, y Ω, y2 p x, y = x, y Ω Zur numerischen Lösung des Problems führen wir ein Berechnungsgitter ein mit h = 1 n, x i, y j = ih, jh, i, j =,, n. Wir suchen eine diskret definierte Funktion p i,j = p(x i, y j ) die die obige Differentialgleichung erfüllt. Auf dem Rand des Berechnungsgebietes Ω soll die Randbedingung gelten: p,j = p n,j = p j, = p j,n =. Wir approximieren die zweite Ableitung wie folgt: 2 p p x 2 x i, y j x (x i+1/2, y j ) p x (x p i+1,j p i,j i 1/2, y j ) h h = 1 h 2 (p i+1,j 2 p i,j + p i 1,j ) p i,j p i 1,j h h Numerische Mathematik II Herbsttrimester 212 9

10 Die Abbildungen unten zeigen den Differenzenstern der zweiten Ableitung. Man findet auch die Bezeichnungen N,S,W,E,C für die Himmelsrichtungen. p i,j+1 p N p i 1,j p i,j p i+1,j p W p C p E p i,j 1 p S Wir erhalten also das Gleichungssystem mit den n 2 Gleichungen: 1 h 2 (p i+1,j 2 p i,j + p i 1,j )+ 1 h 2 p i,j+1 2 p i,j + p i,j 1 = f i,j oder p i+1,j + p i 1,j + p i,j+1 + p i,j 1 4 p i,j = h 2 f i,j Numerische Mathematik II Herbsttrimester 212 1

11 Um diese Gleichungen in Matrixform zu überführen müssen wir einen eindimensionalen Laufindex einführen: z.b. p i,j = p l mit l = i + (n 1) j. Dies führt auf ein dünn besetztes Gleichungssystem der Form: W S C E N n Spalten Abstand Würde man das GLS mit direkten Verfahren lösen würde die Bandstruktur zerstört werden. Man sieht außerdem das schnelle Ansteigen der Matrixgröße: für zweidimensionale Probleme n 2 für dreidimensionale Probleme n 3. Für ein moderates n = 1 erhalten wir für ein 3D Problem bereits eine Matrix!. p 1 p n 2 = f 1 f n 2 Numerische Mathematik II Herbsttrimester

12 Wir wollen nun im Folgenden Iterationsverfahren konstruieren die eine Folge von Vektoren x (k) erzeugen die gegen die gesuchte Lösung x = A 1 b konvergieren. Man könnte z.b. naiv vorgehen und folgende Iterationsvorschrift definieren: p i+1,j + p i 1,j + p i,j+1 + p i,j 1 4 p i,j = h 2 f i,j p i,j = 1 4 h2 f i,j [p i+1,j + p i 1,j + p i,j+1 + p i,j 1 ] In der Tat stellt dies ein, unter bestimmten Voraussetzungen, konvergierendes Iterationsverfahren dar. Wir wollen jedoch etwas formaler Vorgehen um auch Aussagen über Konvergenz ableiten zu können. Wir formen dazu das LGS Ax = b in ein äquivalentes Fixpunktproblem um: x (n+1) B x n + d =: F(x (n) ) mit einer noch zu definierenden Matrix B und einem Vektor d. Analog dem Banach schen Fixpunktsatz (Numerik I) sieht man, dass die Folge x (n) gegen einen Fixpunkt x konvergiert falls B < 1 gilt ( ist dabei eine beliebige Operatornorm), denn es folgt F x F y = Bx By B x y. In anderen Worten die Abbildung ist kontrahierend. Es gilt der Satz Numerische Mathematik II Herbsttrimester

13 Satz 5.6 Gegeben sei eine Fixpunktiteration der Form x (n+1) B x n + d und ein anziehender Fixpunkt x, d.h. B < 1. Dann konvergiert die Fixpunktiteration für alle Startvektoren x () und es gelten die Abschätzungen: x (n) x B 1 B x n x (n 1) a posteriori B n x (n) x x 1 x () a priori 1 B Die Fixpunktiteration heiß konsistent mit dem LGS Ax = b wenn B, d so gewählt wurden, dass gilt x = Bx + d. Es gilt dann x = x. Beweis: analog Banachscher Fixpunktsatz Numerik I Bemerkung: Man kann präziser zeigen, dass die Folge genau dann gegen die Lösung des LGS konvergiert wenn für den Spektralradius ρ B < 1 gilt. Die Konsistenz des Verfahrens sei dabei vorausgesetzt. In Bsp. 5.2 gilt für die Iterationsmatrix ρ B < 1 aber z.b. B = 1. Numerische Mathematik II Herbsttrimester

14 Wir müssen uns nun mit der Konstruktion geeigneter Iterationsmatrizen befassen. Dazu zerlegen (splitten) wir die Matrix A in drei Bestandteile A = L + D + R wie folgt: A = a 2,1 a n,1 a n,n 1 + a 11 a n,n + a 1,2 a 1,n a n 1,n Es folgt offensichtlich: Ax = b L + D + R x = b Definition 5.7 Das Verfahren Dx (n+1) = L + R x n + b x (n+1) = D 1 L + R x n + D 1 b heißt Gesamtschritt- oder Jacobi-Verfahren. Die Fixpunktiteration (D + L)x (n+1) = Rx n + b x (n+1) = (D + L) 1 Rx n + (D + L) 1 b heißt Einzelschritt- oder Gauß-Seidel-Verfahren. Man schreibt es auch in der Form: x (n+1) = D 1 Lx (n+1) D 1 Rx n + D 1 b Beide Verfahren sind offensichtlich konsistent mit dem LGS Ax = b. Numerische Mathematik II Herbsttrimester

15 Bsp. 5.2 Wir wenden das Gesamtschrittverfahren an auf das LGS Es ergibt sich x (n+1) x 1 x 2 x 3 = mit Lösung und Startvektor x n 2 1 oder x (n+1) Es folgt: x =, x 1 = , x 2 = x n , x 3 = 1.25, Numerische Mathematik II Herbsttrimester

16 Bemerkung: Das Iterationsverfahren aus Bsp. 5.2 lautet komponentenweise: x 1 (n+1) = x1 n +.5 x 2 n + x 3 n + 1 x 2 (n+1) =.5 x1 n + x 2 n +.5 x 3 n.5 x 3 (n+1) = x1 n +.5 x 2 n + x 3 n + Man könnte auf die Idee kommen schnellere Konvergenz zu erhalten wenn man bereits berechnete Zwischenergebnisse benutzt: x 1 (n+1) = x1 n +.5 x 2 n + x 3 n + 1 x 2 (n+1) =.5 x1 n+1 + x 2 n +.5 x 3 n.5 x 3 (n+1) = x1 n x 2 n+1 + x 3 n + Das so entstehende Verfahren ist in der Tat das Einzelschrittverfahren. Man schreibt es auch in der Form: x (n+1) = D 1 Lx (n+1) D 1 Rx n + D 1 b Eigentlich bräuchte man zur Berechnung von x (n+1) auch x (n+1) auf der rechten Seite. Verfährt man in Einzelschritten, so benötigt man allerdings zur Berechnung der j.-ten Komponente nur die ersten j-1 Komponenten. Numerische Mathematik II Herbsttrimester

17 Bsp. 5.3 Wir wenden das Einzelschrittverfahren an auf das LGS aus Bsp. 5.2: Es ergibt sich x =, x 1 = x 1 x 2 x 3 = 2 1 mit Lösung 1 und Startvektor x 1 (n+1) = x1 n +.5 x 2 n + x 3 n + 1 x 2 (n+1) =.5 x1 n+1 + x 2 n +.5 x 3 n.5 x 3 (n+1) = x1 n x 2 n+1 + x 3 n + 1, x 2 = x 3 = = Bemerkung: Das Einzelschrittverfahren konvergiert hier also in einem Schritt was natürlich im Allgemeinen nicht der Fall ist. Es gibt keine allgemeinen Resultate die bestätigten, dass das Gauß-Seidel Verfahren stets schneller konvergiert als das Jacobi Verfahren. Ein Spezialfall sind nichtsinguläre, tridiagonale Matrizen mit a ii. 1 Numerische Mathematik II Herbsttrimester

18 Definition 5.8 Die Matrix A R n,n erfüllt das starke Zeilensummenkriterium wenn für n alle j gilt: a jj > i=1,i j a ji. Sie erfüllt das starke Spaltensummenkriterium wenn für alle j gilt: a jj > a ij n i=1,i j. Die Matrix A heißt (strikt) diagonaldominant wenn Sie das starke Zeilensummenkriterium erfüllt. Satz 5.9 Die Matrix A erfülle das starke Zeilensummenkriterium, oder das starke Spaltensummenkriterium. Dann gilt für die Matrizen D 1 L + R < 1, (D + L) 1 R < 1. Insbesondere konvergieren sowohl das Einschritt- als auch das Gesamtschrittverfahren. Beweis: Wir betrachten nur das Gesamtschrittverfahren dort haben wir die Iterationsmatrix B D 1 L + R. Es folgt: B D 1 L + R = max n B < 1 j=1,j i a ij < B 1. i n a ij j=1,j i a ii a ii. Man erhält den analogen Beweis für Numerische Mathematik II Herbsttrimester

19 Wir wollen nun die Verfahren aus Def. 5.7 erweitern indem wir einen Relaxationsparameter τ einführen: x (n+1) : = τ x (n+1) + 1 τ x (n). Definition 5.1 Die Gesamtrelaxation lautet dann x (n+1) = τ D 1 L + R x n + D 1 b + 1 τ x (n) = = 1 τ I τd 1 L + R x (n) + τd 1 b Das relaxierte Einzelschrittverfahren ergibt sich zu x (n+1) = τ D 1 Lx (n+1) D 1 Rx n + D 1 b + 1 τ x (n) = = τd 1 Lx (n+1) + 1 τ I τd 1 R x (n) + τd 1 b Es wird auch SOR Verfahren genannt (successive overrelaxation). Bemerkungen: Wir hatten bereits angemerkt, dass das Iterationsverfahren genau dann konvergiert wenn ρ B < 1. Die Konvergenz ist umso schneller je kleiner ρ B. Man versucht ρ B mittels τ zu minimieren. Mit τ > 1 versucht man die Konvergenz zu beschleunigen (Überrelaxation). Unterrelaxation wählt man um die Berechnung zu stabilisieren: τ < 1 Numerische Mathematik II Herbsttrimester

20 Zur Übersicht noch einmal alle Verfahren in Komponentendarstellung (i = 1,, n): n (k+1) 1 (k) Jacobi: x i = b a i a ij x j ii j=1,j i i 1 (k+1) 1 (k+1) Gauß Seidel: x i = b a i a ij x j ii j=1 n (k+1) τ (k) Gesamtrelaxation: x i = b a i a ij x j ii i 1 (k+1) τ (k+1) SOR: x i = b a i a ij x j ii j=1 j=1,j i n j=i+1 a ij x j (k) n j=i+1 a ij x j (k) + 1 τ x i (k) + 1 τ x i (k) Numerische Mathematik II Herbsttrimester 212 2

21 Bsp. 5.4 Kehren wir zurück zu Bsp 5.1. Dort hatten wir das LGS mit den n 2 Gleichungen p i+1,j + p i 1,j + p i,j+1 + p i,j 1 4 p i,j = h 2 f i,j hergeleitet. Statt einen eindimensionalen Index einzuführen können wir auch direkt das iterative Verfahren auf die obige Gleichung anwenden. (k+1) 1 Für das Jacobi Verfahren x i = n (k) b a i j=1,j i a ij x ii j gilt dann (k+1) 1 p i,j = 4 h2 k f i,j [p i+1,j k + p i 1,j k + p i,j+1 k + p i,j 1 ] In der Tat entspricht dies unserer geratenen Formel in Bsp. 5.1 Bemerkungen: Es ist entscheidend zu verstehen, dass man auf keinen Fall die ganze Matrix speichert, sondern nur die Einträge ungleich Null. Erstellt man keine Kopie der Lösung in Iteration k erhält man bei Programmierung der obigen Formel automatisch das Einzelschrittverfahren. Die Lösung p i,j setzt sich während der Iteration dann zusammen aus Lösungen der Iteration k und k+1. Wo verfügbar werden automatisch Updates aus Iteration k + 1 verwendet. Numerische Mathematik II Herbsttrimester

22 Aussagen über die optimalen Relaxations-Parameter können nur für Ausnahmefälle getroffen werden. Es gilt (ohne Beweis): Satz 5.11 Die EW der Iterationsmatrix des Gesamtschrittverfahrens seien reell und es gelte 1 < λ 1 λ n < 1. Dann lautet der optimale Parameter für die Gesamtrelaxation: τ = 2 2 λ 1 λ n = 1 λ 1+λ n 2 1 Satz 5.12 Das SOR Verfahren sei für jeden Startvektor konvergent, dann gilt < τ < 2. Wenn die Matrix symmetrisch und positiv definit ist gilt auch die Umkehrung. Bemerkung: In beiden Fällen ist im Allgemeinen der optimale Parameter nicht bekannt. Um die Konvergenz zu beschleunigen wählt man oftmals heuristische Werte mit τ (1.5,2). Numerische Mathematik II Herbsttrimester

23 Bsp 5.5 (Skript Matthias Richter) Wir wenden das Gauß Seidel Verfahren an auf die spezielle 1D Laplace Gleichung. Wir verwenden n = 64, h = 1: sin kπ/n sin kπ/n sin (n 1)kπ/n x k () Die exakte Lösung des Problems ist der Nullvektor. Wir beobachten experimentell wie schnell der Fehler für unterschiedliche Startvektoren x k (), k =,, 63 gegen Null strebt. Das Verfahren wird abgebrochen wenn der Fehler um einen Faktor 1 reduziert wurde: x k (n) <.1 xk. Die Analyse von numerischen Verfahren an Hand von harmonischen Schwingungen unterschiedlicher Frequenz liefert häufig nützliche Aussagen. = Numerische Mathematik II Herbsttrimester

24 Anzahl Iterationen Die Abbildung rechts zeigt die benötigte Anzahl der Iterationen für verschiedene Startvektoren. Offenbar dämpft das Gauß-Seidel Verfahren hochfrequente Fehleranteile sehr schnell, während langwellige Fehler fast nicht gedämpft werden. Es sei angemerkt, dass in Frequenz k unserem Beispiel die Lösung x k (n) im k.-ten Schritt auch gleichzeitig den Fehler repräsentiert Die Abbildungen auf der nächsten Folie zeigen das gleiche Phänomen. Allerdings wurde hier eine Mischung aller Frequenzen vorgegeben. Zu sehen ist der Fehler nach 3,6,9,12 Iterationen. Man beachte dass der Fehler anfänglich schnell sinkt aber dann bei den langwelligen Fehleranteilen die Konvergenzrate abnimmt. Numerische Mathematik II Herbsttrimester

25 Dies führt zur Idee der Mehrgitterverfahren, bei denen man Gitter verschiedener Diskretisierungsweiten einführt. Während hochfrequente Fehleranteile auf dem ursprünglichen Gitter schnell gedämpft werden reduziert man langwellige Fehleranteile auf einem gröberen Gitter. Auf dem groben Gitter ist natürlich die Rechenzeit deutlich kürzer. Numerische Mathematik II Herbsttrimester

26 Einführung Mehrgitterverfahren Zur Erläuterung betrachten wir zunächst ein Zweigitterverfahren. Die Abbildung rechts zeigt ein Beispiel für die Unterteilung des Rechengebiets mit zwei Gitterebenen. Es spielt dabei keine Rolle ob die Variablen in den Ecken der Zellen gespeichert werden oder zellmittig. Sei A h p h = f h die diskretisierte Form der DGL auf dem feinen Gitter Ω h sowie A 2h p 2h = f 2h die Entsprechung auf dem groben Gitter Ω 2h. Wir bezeichnen ein einfaches Iterationsverfahren z.b: Gauß-Seidel als Glätter (smoothing). Des Weiteren benötigen wir noch zwei Operatoren die Vektoren vom feinen auf das grobe Gitter übertragen (Restriktion R) und umgekehrt vom groben auf das feine Gitter interpolieren (prolongation P). Numerische Mathematik II Herbsttrimester

27 Die Idee der Mehrgitterverfahren ist wie folgt: Sei p h eine Näherungslösung von A h p h = f h Sei p h corr p h p h die benötigte Korrektur. Sei weiterhin r h f h A h p h das Residuum. Wegen der Linearität gilt A h p h corr = A h p h A h p h = f h A h p h. Man erhält also für die Korrektur die Gleichung A h p h corr = r h Wir übertragen nun das Residuum r h auf das grobe Gitter. Die Grobgitterlösung soll nun die Gleichung A 2h p 2h = f 2h =: R(r h ) erfüllen. Geht man davon aus, dass die Lösung auf dem groben Gitter korrekt ist, kann man die Feingitterlösung mit der interpolierten (prolongierten) Grobgitterlösung korrigieren: p h p h + P p 2h ( ). Es folgt: A h p h + P p 2h = A h p h + A h P p 2h f h r h + r h f h Numerische Mathematik II Herbsttrimester

28 Der prinzipielle Ablauf des Zweigitterverfahrens zusammengefasst: Die Erweiterung auf ein Mehrgitterverfahren folgt in trivialerweise wobei die Abarbeitung der einzelnen Gitterebenen z.b. dem rechts gezeigten V-cycle Muster folgen kann. Numerische Mathematik II Herbsttrimester

29 Bemerkungen: Es gibt eine Vielzahl verschiedener Glätter, Prolongations- und Restriktionsoperatoren. Man konsultiere hierzu die Fachliteratur. Es gibt auch verschiedene Möglichkeiten den Operator A h festzulegen. Eine typische Anzahl von Glättungsoperationen ist 3-5. Statt V-cycles werden auch sogenannte W-cycles verwendet. Möchte man N Gitterebenen verwenden muss die Gitterzahl in jede Richtung durch 2 N 1 teilbar sein. Statt beim feinsten Gitter zu beginnen kann man auch zuerst eine Lösung auf dem gröbsten Gitter suchen und sich dann zu immer feineren Gittern vorarbeiten. Man spricht dann vom full multigrid (FMG) Verfahren. Der große Vorteil von Mehrgitter Verfahren ist Ihre algorithmische Komplexität von O(n) und Ihre generelle Anwendbarkeit. Numerische Mathematik II Herbsttrimester

30 Wir befassen uns nun mit Gradientenverfahren. Diese können für Optimierungsaufgaben eingesetzt werden oder aber zur Lösung von LGS. Lemma 5.13 Die Lösung des LGS Ax = b für symmetrische und positiv definite Matrizen ist äquivalent zur Minimierung der quadratischen Form Φ x = 1 2 xt Ax x T b Der Gradient ist gegeben durch Φ x = Ax b Sei x n eine Näherungslösung im n.-ten Schritt. Wir suchen nach einer besseren Lösung in einer vorgegebenen Richtung d(= d n ). Es ergibt sich x n+1 x n + αd n. Um den optimalen Parameter α zu bestimmen wollen wir Φ x n+1 minimieren. Es gilt: Φ x n+1 = 1 2 (xn + αd) T A(x n + αd) (x n + αd) T b Der optimale Parameter ergibt sich zu: α d T (b Ax n )/d T Ad. Numerische Mathematik II Herbsttrimester 212 3

31 Beweis: Aus Φ x = 1 2 Φ x = 1 x x l x l 2 i i j j a lj x j a ij x j x l x i + x i i i a il x i i x i j a ij x j j x j b j folgt: a ij x j x x j b j = l j x l x j b l = 1 2 j b l = 1 2 a lj x j Und somit die Darstellung für Φ x. j i j a ij a li x i Φ x n+1 = 1 2 xn + αd T A x n + αd x n + αd T b = 1 2 Φ i j α = 1 2 a ij x i n + αd i i j a ij x j n + αd j x i n d j + x j n d i + 2αd i d j x j n + αd j b j j i d j b j x j δ il + x i δ jl b l = i a li x i b l Die Behauptung ergibt sich durch zu Null setzen und Auflösen nach α. j b l Numerische Mathematik II Herbsttrimester

32 Nun zur Äquivalenz der beiden Problem. Wenn x eine Lösung des Minimierungsproblems ist, muss der Gradient verschwinden und es folgt Ax = b. Sei umgekehrt x eine Lösung von Ax = b dann folgt für alle y φ y = φ y + (x y) = φ x y x T A y x > φ x. Beim Gradientenverfahren entspricht die neue Suchrichtung der Richtung des steilsten Abstiegs, nach Lemma 5.13 also dem Residuum. Es lässt sich wie folgt zusammenfassen: Def Gradientenverfahren Sei x () R n gegeben. Berechne bis zur Konvergenz: r (k) = b Ax k = r k 1 α k Ar k 1 α k = r k T r k r k T A r k x k+1 = x k + α k r (k) Wir geben ohne Beweis eine Fehlerabschätzung: Numerische Mathematik II Herbsttrimester

33 Satz 5.15 Sei A eine symmetrische und positiv definite Matrix dann ist das Gradientenverfahren für jede Wahl das Startvektors konvergent gegen die Lösung x und es gilt die Fehlerabschätzung: κ A 1 x k x A κ A + 1 x k 1 x A mit x A x T Ax Das Gradientenverfahren konvergiert mitunter recht langsam. Eine Möglichkeit der Verbesserung besteht darin das Gleichungssystem vorzukonditionieren. Man erhält dann (Beweis später): Def Vorkonditioniertes Gradientenverfahren Sei x () R n gegeben. Sei neben A auch der Vorkonditionierer P symmetrisch und positiv definit. Dann iteriere bis zur Konvergenz: Pz (k) = r (k) = b Ax k ( z k = P 1 (b Ax k )) α k = z k T r k z k T A z k x k+1 = x k + α k z (k) r k+1 = r k α k Az k Die Fehlerabschätzung bleibt gültig wenn wir A durch P 1 A ersetzen. Numerische Mathematik II Herbsttrimester

34 Bsp. 5.6 Betrachten wir das LGS 1 2 x =. Die zugehörige 2 Optimierungsfunktion lautet: φ x 1, x 2 = 1 (x x 2 2 ). Als Startvektor wählen wir 1 T. Es ergibt sich das Residuum 2 T die Schrittweite α =.5 und die neue Näherungslösung T. Dies entspricht der exakten Lösung und das Verfahren konvergiert in einem Schritt. Betrachten wir den Startvektor T so ergibt sich das erste Residuum (=Suchrichtung) zu T und α zu α =.556. Wir machen also den Schritt T. Der weitere Verlauf der Suche ist in der Abbildung zu sehen. Die Abbildung rechts zeigt die assoziierte Optimierungsfunktion φ. 2 x Numerische Mathematik II Herbsttrimester

35 Vorkonditionierung Wir haben in Satz 5.15 gesehen, dass die Konvergenz der Gradientenverfahren von der Kondition der Matrix A abhängt. Die Idee der Vorkonditionierung ist das LGS Ax = b in ein äquivalentes LGS umzuformulieren wobei das neue System eine kleineres κ hat. Man unterscheidet: Links Vorkonditionierung: P 1 Ax = P 1 b Rechts Vorkonditionierung: AP 1 Px = AP 1 y = b; y Px Symmetrische Vorkonditionierung K T AKy = K T b; y: = K 1 x Dabei soll P 1 = KK T regulär sein. Offensichtlich sind alle LGS äquivalent. In allen Fällen gilt, dass P 1 = A 1 die optimale Wahl wäre denn dann wäre κ(p 1 A)=1. Natürlich müsste man bei dieser Wahl kein iteratives Verfahren mehr anwenden. Um dieselbe Tatsache bei der symmetrischen Variante zu sehen muss man die Tatsache benutzen, dass ähnliche Matrizen die gleichen EW haben (KK T = A 1 I = K T (K T AK)K T ). Numerische Mathematik II Herbsttrimester

36 Mit Hilfe des Trägheitssatzes von Sylvester zeigt man, dass K T AK positiv definit ist (Symmetrie ist klar). Damit kann man symmetrische Vorkonditionierung für Verfahren verwenden bei denen die Eingangsmatrix symmetrisch und positiv definit sein muss. Die Wahl der Vorkonditionierungsmatrix ist nicht trivial und von Problem zu Problem unterschiedlich. Sie sollte einfach zu beschaffen sein, einfach auszuwerten und die Konditionszahl minimieren. Wir wollen drei Basisvarianten kurz besprechen: Diagonale Vorkonditionierer: P = diag A (vergleiche Jacobi Verfahren) Polynomiale Vorkonditionierer beruhen auf der Idee A 1 approximativ zu bestimmen mittels der Neumannschen Reihe. In 5.16 muss man dann Pz (k) = r (k) ersetzen durch z (k) = P 1 r (k). Unvollständige LR Zerlegung (ILU) entspricht der LR Zerlegung aus Numerik I mit der Einschränkung, dass die Einträge der Matrizen l ij, r ij nur berechnet werden wenn entsprechend a ij. Damit sind L und R auch dünn besetzt. Man setzt dann P = LR. Numerische Mathematik II Herbsttrimester

37 Bemerkungen: Die Einschränkung an die Konvergenz der Neumannschen Reihe ρ I A < 1 umgeht man wie folgt. Es gilt für c R λ EW von A (1 cλ) ist EW von I ca. Wenn A symmetrisch und positiv definit ist sind alle EW reell und positiv. Für die Konvergenz von I ca k muss also für alle EW gelten 1 cλ > 1 c 2/λ. Dann konvergiert die Reihe gegen B ca 1 und man erhält A 1 = cb. Die Existenz einer ILU Zerlegung ist nicht für jede Matrix garantiert. Falls a ij dann gilt LU ij = a ij. Allerdings kann a ij = sein während LU ij. Sonst wäre die Zerlegung ja vollständig. Die Genauigkeit der ILU Zerlegung kann durch die Gestattung von etwas Fill-In verbessert werden. Dies führt z.b. zu ILU(p) Verfahren. Numerische Mathematik II Herbsttrimester

38 Residuum Bsp. 5.7 Wir betrachten Jacobi, Gauß-Seidel, Gradientenverfahren und vorkonditioniertes Gradientenverfahren (ILU) angewandt auf eine Matrix der unten gezeigten Form (aber n=256). Die rechte Seite ist so gewählt, dass der Vektor 1,, 1 das LGS löst. Die Abbildung rechts zeigt das Konvergenzverhalten der unterschiedlichen Methoden Iterationen Jacobi Vorkond. GV Gauß Seidel GV Numerische Mathematik II Herbsttrimester

39 Wir wollen das Verfahren in Satz 5.16 herleiten. Dazu wenden wir das Gradientenverfahren (Satz 5.14) auf das vorkonditionierte LGS K T AKy = K T AK(K 1 x) = K T b. Es gilt also x = Ky. Sei weiterhin KK T = P 1. Zur Unterscheidung von r (k) = b Ax (k) führen wir r (k) ein und erhalten: r (k) = K T b K T AKy k = K T r (k) r k T r k α k = r k T K T AK r k y k+1 = y k + α k r (k) Die Zerlegung von P 1 in KK T kann sehr aufwendig sein. Wir umgehen sie durch ersetzen der entsprechenden Ausdrücke im Originalschema oben mit den Identitäten rechts und erhalten das Verfahren z (k) Kr (k) = KK T r (k) = P 1 r k r (k) = Pz (k) r k T r k = r k T K T r k = = Kr k T r k = z (k)t r k r k T K T AK r k = Kr k T AK r k =z (k)t Az k Ky k+1 = Ky k + α k Kr (k) x k+1 = x k + α k z (k) Numerische Mathematik II Herbsttrimester

40 Wir haben Vorkonditionierung kennengelernt als eine Möglichkeit das Gradientenverfahren zu beschleunigen. Eine zweite Möglichkeit besteht darin die Suchrichtungen zu optimieren. Bsp. 5.6 zeigt, dass das Verfahren mitunter mehrfach nacheinander ähnliche Suchrichtungen einschlägt und einem Zick-Zack-Verlauf folgend gegen die Lösung konvergiert. Die Idee des CG Verfahrens (konjugierte Gradienten) ist nun anstelle in Richtung des Residuums in andere Suchrichtungen p k zu optimieren die, wie wir sehen werden, jeweils paarweise senkrecht (bzw. konjugiert) zueinander sind (in einem noch zu definierenden Sinn). Die Vektoren p k sind dann linear unabhängig und spannen einen Vektorraum K k span p 1,, p k auf. In jedem Schritt bestimmt man nun die optimale Lösung x k K k im Sinne von Lemma Dann ist erstens klar, dass jede Iteration eine Verbesserung der Lösung darstellt (denn K 1 K 2 K 3 ) und zweitens, dass das Verfahren nach endlich vielen Schritten die exakte Lösung findet (wenn man exakte Arithmetik voraussetzt), nämlich spätestens dann wenn die Dimension von K k der Dimension des gesuchten Lösungsvektors entspricht. Numerische Mathematik II Herbsttrimester 212 4

41 Bevor wir das CG Verfahren herleiten wollen wir einige Eigenschaften vorab feststellen (im Folgenden sei die Matrix A reell): Wenn A eine symmetrische, positiv definite Matrix ist dann definiert x, y A x T A y ein Skalarprodukt und x A x, x A eine Norm. Sei x Lösung des LGS mit Ax = b. Im Beweis von Lemma 5.13 haben wir gesehen, dass φ x = φ x + (x x ) = = φ x x x T A x x = φ x + x x A. Daher gilt x k min φ x, x K k x k x A u x A x K k Man kann zeigen x k x A = min u x A u K k genau dann wenn x k x, u A = u K k. Das heißt x k ist die orthogonale Projektion von x auf K k bzgl. dem Skalarprodukt, A. Die Aussage kann man umformulieren zu x x k, u A = Ax Ax k, u = b Ax k, u = r k, u = u K k ( ) Sei x k+1 x k + α k+1 p k+1 optimal bzgl. K k+1. Dann gilt Ax Ax k+1, u = Ax Ax k α k+1 Ap k+1, u = r k, u α k+1 p k+1, u A =. Speziell gilt p k K k p k+1, p k A = wegen ( ). D.h. in der Tat müssen alle Suchrichtungen paarweise senkrecht bzw., A sein oder A-konjugiert. Numerische Mathematik II Herbsttrimester

42 Wir haben also gesehen, dass die beste Lösung des LGS bzgl. einem Vektorraum eng verknüpft ist mit dem Skalarprodukt x, y A bzw. der induzierten Norm und dass alle Suchrichtungen paarweise A-konjugiert sein müssen. Nehmen wir an wir hätten paarweise konjugierte Suchrichtungen p 1,, p k. Dann erhalten wir zwei wichtige Schlussfolgerungen: (i) Aus γ 1 p γ k p k = folgt für jedes beliebige j = p j, γ i p i A = γ i p i, p j A = γ j p j A 2 γj = d.h. die p i sind linear unabhängig. (ii) Sei nun x k die Lösung des Minimierungsproblems im Unterraum K k. Dann gilt x k = α 1 p α k p k. Es folgt x x k, u A = j b Ax k, p j = b, p j α i p i, p j A = α j = b, p j p j, p j. Mit anderen Worten wir haben eine Darstellung A für die Koeffizienten der gesuchten Lösung x k gefunden. Offensichtlich gelten die Formeln x k x k 1 + α k p k und r k = b Ax k = b A x k 1 + α k p k also r k = r k 1 α k Ap k. Numerische Mathematik II Herbsttrimester

43 Die verbleibende Aufgabe besteht darin die konjugierten Richtungen zu bestimmen. Hierzu benötigen wir folgendes Lemma: Lemma 5.17 Sei K k span b, Ab,, A k 1 b der von b und A generierte Krylov Unterraum und sei p 1,, p k eine konjugierte Basis von K k. Sei weiterhin x : = und r : = b. Sofern alle Residuen r j ungleich Null sind für j =,, k 1 gilt K k = span r,, r k 1 sowie r i, r j = i j. Beweis durch vollständige Induktion: Für k = 1 ist die Behauptung klar, denn K 1 = b = r = p 1. Die Behauptung sein nun richtig für k 1. Es gilt r k 1 = r k 2 α k 1 Ap k 1. Nach Induktionsvoraussetzung gilt: K k 1 b, Ab,, A k 2 b = span r,, r k 2 und daher r k 1 K k. Wir haben außerdem gesehen r k 1, u = u K k 1 also insbesondere r k, r i = für i =,, k 2. Damit ist entweder r k 1 = (uns somit die Lsg. gefunden) oder r,, r k 1 sind linear unabhängig. Aus Dimensionsgründen folgt dann K k = span r,, r k 1. Damit lassen sich nun die konjugierten Richtungen angeben: Numerische Mathematik II Herbsttrimester

44 Offenbar ist p 1 = b. Angenommen wir hätten p 1,, p k 1 bereits bestimmt. Falls r k 1 = ist x k 1 die gesuchte Lösung. Andernfalls gilt r k 1, u = u K k 1 = span p 1,, p k 1. Daher sind die Vektoren p 1,, p k 1, r k 1 linear unabhängig und bilden wegen Lemma 5.17 eine Basis von K k. Allerdings ist r k 1 noch nicht paarweise konjugiert zu p 1,, p k 1. Dieses Problem lösen wir durch das Orthogonalisierungsverfahren von Gram-Schmidt (Numerik I): k 1 r k 1, p j p k = r k 1 A p j p j, p j A j=1 Es folgt p k = r k 1 + β k 1 p k 1 mit β k 1 = r k 1,p k 1 A p k 1,p k 1 A. Hierbei wurde ausgenutzt Ap j K k 1 für j =,, k 2 und daher r k 1, p j A = r k 1, Ap j = für j =,, k 2. Damit ist das CG Verfahren beschrieben wie folgt: Numerische Mathematik II Herbsttrimester

45 Def Methode der konjugierten Gradienten Sei x () =, r () b Ax () und p () = r (). Berechne bis zur Konvergenz: α k = p k T r k 1 p k T A p k = p k T b p k T A p k x k = x k 1 + α k p (k) r (k) = r (k 1) α k Ap k Ap k T r k β k = Ap k T p k p (k+1) = r (k) β k p k Bemerkungen: Man vergleiche das CG Verfahren mit dem Gradientenverfahren und Lemma Wie die Fehlerabschätzung 5.19 (nächste Folie) nahelegt kommen auch beim CG Verfahren Vorkonditionierer zum Einsatz. Numerische Mathematik II Herbsttrimester

46 Satz 5.19 Sei A eine symmetrische und positiv definite Matrix dann konvergiert das CG Verfahren in endlich vielen Schritten gegen die Lösung x und es gilt die Fehlerabschätzung (ohne Beweis): κ A 1 x k x A 2 κ A + 1 x k 1 x A Def. 5.2 Vorkonditioniertes CG Verfahren. Sei x () =, r () b Ax () und p () = r (). Sei weiterhin P ein symmetrischer und positiv definiter Vorkonditionierer. Dann berechne α k = p k T r k 1 p k T A p k x k = x k 1 + α k p (k) r (k) = r (k 1) α k Ap k Pz (k) = r (k) β k = Ap k T z k Ap k T p k p (k+1) = z (k) β k p k Numerische Mathematik II Herbsttrimester

47 Bemerkungen Es gibt zahlreiche Varianten des CG Verfahrens. Beispielsweise muss der Startvektor nicht identisch Null sein Ist die Systemmatrix A unsymmetrisch aber regulär kann das CG Verfahren (mit quadrierter Kondition) angewendet werden auf A T Ax = A T b oder AA T y = b, x = A T y Zur Vermeidung von Rundungsfehlern gibt es stabilisierte CG Verfahren. Da das Verfahren nach endlich vielen Schritten mit der exakten Lösung konvergiert ist das CG Verfahren eigentlich ein direktes Verfahren. In der Praxis verwendet man es allerdings, insbesondere für Matrizen großer Dimension, häufig als iteratives Verfahren. Numerische Mathematik II Herbsttrimester

48 Bsp. 5.8 Betrachten wir das LGS 1 2 x = mit Lösung 1.5. Als Startvektor wählen wir T. Die zugehörige Optimierungsaufgabe lautet: φ x 1, x 2 = 1 (x x 2 2 ) x 1 x 2. Das CG Verfahren terminiert nach 2 Schritten. Die Suchrichtungen sind 1 1 T (= b) im ersten Schritt und 1 4, 2 T im zweiten Schritt. Die beiden Suchrichtungen sind 9 offenbar A konjugiert denn es gilt: T = x 1 Die grüne Linie in der Abbildung rechts zeigt das Gradientenverfahren welches nach 11 Iterationen mit einer Genauigkeit von 1 5 konvergiert. Die rote Linie zeigt den Suchverlauf der CG- Methode Numerische Mathematik II Herbsttrimester

49 Abbruchkriterien für iterative Verfahren: Für Fixpunktiterationen haben wir in Satz 5.6 Fehlerabschätzungen kennengelernt. Für allgemeine iterative Verfahren gilt: Lemma 5.21: Falls A x = b eine Näherungslösung ist von Ax = b, also A(x x) = b b oder x x = A 1 (b b) dann gilt (man beachte auch die Identität (b b) = b A x r): x x A 1 (b b) beziehungsweise x x x A A 1 b b b Die Norm der Inversen ist also der maximale Verstärkungsfaktor des absoluten Fehlers der rechten Seite, die Konditionszahl die maximale Verstärkung des relativen Fehlers. Man kann also aus einem kleinen Residuum nicht unbedingt auf einen kleinen Fehler schließen. Numerische Mathematik II Herbsttrimester

50 Da die Norm der Inversen bzw. die Konditionszahl im Regelfall nicht bekannt sind behilft man sich in der Praxis häufig wie folgt: Die Iteration wird abgebrochen wenn x n x n 1 ε oder x n x n 1 ε b. Das Verfahren ist aber im Allgemeinen nicht zu empfehlen. Wenn die Konvergenz sehr langsam ist kann der Ausdruck x n x n 1 sehr klein sein obwohl man noch sehr weit von der Lösung entfernt ist. Ein häufig verwendetes Kriterium ist die Reduktion des Residuums um 3-5 Größenordnungen. Sei r n b Ax n dann wird die Iteration gestoppt sobald r n < ε r. Auf Grund von Lemma 5.21 kann man hoffen, dass der Fehler sich ebenfalls um mehrere Größenordnungen verkleinert hat (speziell wenn die Startlösung nicht allzu schlecht war) Alternativ kann man auch das folgende Residuum basierte Abbruchkriterium wählen (vgl Lemma 5.21): r n b < ε Numerische Mathematik II Herbsttrimester 212 5

51 Zusammenfassung Wir haben eine Vielzahl verschiedener iterativer Lösungsmethoden für lineare Gleichungssysteme kennengelernt. Die sogenannten Splitting Verfahren stellen die einfachsten und grundlegendsten iterativen Verfahren dar. Leider werden im Allgemeinen langwellige Fehler zu langsam reduziert, so dass Sie für große Probleme nicht effizient genug sind. Für allgemeine Problemstellungen stellen die Multigrid Verfahren und die CG Verfahren moderne effiziente Löser dar, die durch geeignete Vorkonditionierung oder Glättung weiter beschleunigt werden können. Wir haben verschiedene Abbruchmethoden von iterativen Verfahren kennengelernt die entweder auf dem Residuum basieren oder aber auf der Differenz zweier aufeinanderfolgender Lösungen. Numerische Mathematik II Herbsttrimester