Kapitel 6. Iterationsverfahren für lineare Gleichungssysteme

Transkript

1 Kapitel 6 Iterationsverfahren für lineare Gleichungssysteme Falls n sehr groß ist und falls die Matrix A dünn besetzt ist (sparse), dann wählt man zur Lösung von Ax = b im Allgemeinen iterative Verfahren. Definition 6. Seien A, B, C n n Matrizen. Das Paar (B,C) heißt Zerlegung (engl. splitting) von A, falls B ist invertierbar ist und A = B C gilt. Mittels einer Zerlegung definiert man ein Iterationsverfahren zur Lösung von Ax = b, nämlich mittels Bx (k+) = Cx (k) +b. (6.) Falls x (k) x für k, dann ist x offenbar eine Lösung von Ax = b. Man möchte B so bestimmen, dass (i) die Iteration (6.) möglichst schnell konvergiert; (ii) das Gleichungssystem (6.) einfach lösbar ist. Beispiel 6. Sei A = [a ij ] gegeben. Wir definieren a a 3... a n a a 3... a n L = a 3 a 3., U = an,n a n a n... a n,n und D = diag(a ii ). Dann gilt offenbar A = L+D+U. (i) Verfahren von Jacobi (Gesamtschrittverfahren): B := D und C := L U (notwendige Voraussetzung: a ii ) (ii) Verfahren von Richardson: B := I und C := I A (immer definiert, billig, selten konvergent) (iii) Verfahren von Gauß-Seidel (Einzelschrittverfahren): B := D+L und C := U (notwendige Voraussetzung: a ii ) 95

2 Iterationsverfahren für lineare Gleichungssysteme 96 Bei allen drei Verfahren ist die Iteration (6.) leicht lösbar. Das Jacobi-Verfahren lautet: Berechne für i =,...,n ( ) x (k+) i = i n b i a ij x (k) j a ij x (k) j. a ii j=i+ Das Gauß-Seidel-Verfahren lautet: Berechne für i =,...,n ( ) x (k+) i = i n b i a ij x (k+) j a ij x (k) j. a ii j=i+ Dabei stehen die neuen und alten Komponenten von x stets im selben Vektor, z.b. im i-ten Schritt der (k + )-ten Iteration x = [x (k+),...,x (k+) i,,x (k) i+,...,x(k) n ]T. Das Verfahren von Jacobi ist parallelisierbar, jenes von Gauß-Seidel nicht. Wann konvergieren diese Verfahren? Wegen Bx (k+) = Cx (k) +b, A = B C und der geforderten Invertierbarkeit von B gilt x (k+) = Hx (k) +d mit H = B C und d = B b. Das ist gerade eine Fixpunktaufgabe. Satz 6.3 Die Iteration x (k+) = Hx (k) +d konvergiert (d.h. x (k) x ), falls der Spektralradius von H kleiner als ist, d.h. Offensichtlich gilt dann Ax = b. Beweis: Wegen x (k) = H k x () + (H) := max{ λ ; λ ist Eigenwert von H} <. (6.) ( ) H k +...+H+I d = H k x () +(I H) (I H k )d kommt es auf die Potenzen von H an. Falls (6.) gilt, gehen die Potenzen gegen Null (Jordan sche Normalform). Auch für die Konvergenzgeschwindigkeit ist der Spektralradius von H ausschlaggebend. Subtrahiert man die beiden Gleichungen voneinander, so erhält man x (k+) = Hx (k) +d und x = Hx +d x (k+) x = H(x (k) x ) =... = H k+ (x () x ).

3 Iterationsverfahren für lineare Gleichungssysteme 97 Somit gilt x (k) x x () x Hk. Bemerkung: Für beliebige (quadratische) Matrizen K gilt Insbesondere ist (K) K. (K) = lim k K k /k. Satz 6.4 Sei A eine n n Matrix. Falls A diagonaldominant ist, d.h. n a ii > a ij, i =,...,n, j i dann konvergieren Jacobi- und Gauß-Seidel-Verfahren. Beweis: Wie führen den Beweis für das Jacobi-Verfahren aus. Wegen B C = D (L+U) gilt a ij i j, (B C) ij = a ii i = j. Somit ist B C = max i n (B C) ij <, und das Resultat folgt wegen (B C) B C. Eine Matrix heißt schwach diagonaldominant, falls n a ii a ij, i =,...,n, j i und für mindestens ein i die strenge Ungleichung gilt. Beispiel 6.5 Die Matrix A = ist schwach diagonaldominant.

4 Iterationsverfahren für lineare Gleichungssysteme 98 Falls die Matrix A nur schwach diagonaldominant ist, braucht man zusätzliche strukturelle Eigenschaften von A, um die Konvergenz des Einzel- und Gesamtschrittverfahrens zu garantieren. Definition 6.6 Eine n n Matrix A heißt zerfallend, wenn es eine echte Teilmenge J {,,...,n} gibt mit a ij = für i J, j J. Eine zerfallende Matrix hat nach Umnummerierung der Gleichungen und Variablen die Blockstruktur [ ] A A A mit A und A quadratisch. Damit kann die Lösung des Gleichungssystems auf die Lösung von zwei kleineren Systemen zurückgeführt werden. Für nicht-zerfallende Matrizen gilt folgender Satz (ohne Beweis): Satz 6.7 Sei A eine n n Matrix. Falls A nicht zerfallend und schwach diagonaldominant ist, dann konvergieren Jacobi- und Gauß-Seidel-Verfahren. Gedämpfte Iteration. Es handelt sich dabei um eine Methode, den Spektralradius der Iterationsmatrix H zu verkleinern. Wir definieren x (k+) = ω(h x (k) +d)+( ω) x (k), ω R, ω mit einem Dämpfungsparameter ω. Setzt man H ω := ωh+( ω)i, so erhält man x (k+) = H ω x (k) +ωd, mit derselben Lösung wie das ursprüngliche Problem x = H ω x+ωd x = ωhx+x ωx+ωd x = Hx+d. Definition 6.8 Gegeben sei ein Iterationsverfahren x (k+) = Hx (k) + d. Dann heißt x (k+) = H ω x (k) + ωd (zugehöriges) Relaxationsverfahren. Die Zahl ω heißt Relaxationsparameter. Man nennt den Fall ω > Überrelaxation und ω < Unterrelaxation. Bei Einzelschrittverfahren (z.b. Gauß-Seidel) verwendet man die bereits berechneten Werte x (k+),...,x (k+) i anstelle von x (k),...,x (k) i zur Relaxation. Man spricht dann von sukzessiver Relaxation. Das SOR-Verfahren. Aus der Gauß-Seidel-Iteration erhält man (D+L)x (k+) = Ux (k) +b (D+L) x (k+) = ω( U x (k) +b)+( ω)d x (k) +( ω)l x (k+) ( ) (D+ωL) x (k+) = ( ω)d ωu x (k) +ωb Definition 6.9 Sei A = L+D+U wie vorher. Das Iterationsverfahren x (k+) = H ω x (k) +d ) mit H ω = (D+ωL) (( ω)d ωu und d = ω(d+ωl) b heißt SOR-Verfahren (sukzessive Überrelaxation).

5 Iterationsverfahren für lineare Gleichungssysteme 99 Satz 6. Sei A eine symmetrische, positiv definite Matrix und ω (,). Dann konvergiert das SOR-Verfahren zur Lösung von Ax = b. Beweis: Wir zeigen (H ω ) <. Sei λ ein Eigenwert von H ω und v ein zugehöriger Eigenvektor, H ω v = λv. Dann ist ( ) ( ω)d ωu } {{ } D ωa+ωl v = λ ( D+ωL ) v (6.3) und weiters ωav = (λ ) ( D+ωL ) v. Wir setzen α = v ( D+ωL ) v. Da A positiv definit vorausgesetzt wurde, ist ( λ)α = ωv Av =: β >, insbesondere λ. Weiters ist (wegen der Symmetrie von A) L T = U und somit Somit ist wegen (6.3) α = v ( D+ωL ) v = v ( D+ωU ) v. λα+α = v ( λ(d+ωl)+d+ωu ) v = v ( D+ωL ωa+d+ωu ) v = ( ω)v Dv >. In der letzten Ungleichung wurde die Identität d ii = e T i Ae i > verwendet. Also ergibt sich < λα+α = β ( λ λ + ) = β λ λλ+ λ λ λ = β λ λ. Somit ist λ > und damit λ <. Wie lautet der optimale Relaxationsparameter, welcher einen minimalen Spektralradius von H ω ergibt? Diese Frage kann nur in Spezialfällen beantwortet werden (vgl. Literatur; Dissertation von Young). SSOR-Verfahren. Falls die Matrix A symmetrisch ist (U = L T ), dann ist die Iterationsmatrix H = (D+L) L T des Gauß-Seidel-Verfahrens nicht notwendig symmetrisch. Um Symmetrie zu erhalten, definiert man das Gauß-Seidel-Verfahren in Rückwärtsrichtung durch (D+U)x (k+) = Lx (k) +b. Man tauscht also U mit L aus und löst von unten nach oben auf. Das SSOR-Verfahren ist die Kombination aus einem SOR-Schritt in Vorwärtsrichtung mit einem in Rückwärtsrichtung. Es besitzt eine symmetrische Iterationsmatrix und wird vor allem als Vorkonditionierer verwendet.

6 Iterationsverfahren für lineare Gleichungssysteme Blockweise Iterationen. Eine Verallgemeinerung der bisher vorgestellten Iterationen sind Blockiterationen. Die Matrix A sei in Blöcke zerlegt A A... A n A A... A n A = A n A n... A nn Wir definieren wieder eine Zerlegung (in Blöcke) A A 3... A n A A 3... A n L = A 3 A 3., U = An,n A n A n... A n,n und D = blockdiag[a,...,a nn ]. Mit dieser Zerlegung lassen sich wie vorher Jacobi-, Gauß-Seidel und SOR-Verfahren definieren. Einziger Unterschied ist, dass nun alle Operationen blockweise definiert sind. Beispiel 6. Das Block-Jacobi-Verfahren für das Gleichungssystem [ ][ ] [ ] A A x b = A A x b lautet 6. Mehrgitterverfahren A x (k+) = A x (k) +b, A x (k+) = A x (k) +b. Mehrgitterverfahren (multigrid methods) wurden in den späten 7er Jahren des. Jahrhunderts entdeckt. Es handelt sich um iterative Verfahren, die strukturierte Gleichungssysteme in N Unbekannten mit O(N) Operationen lösen. Die bis dahin bekannten iterativen Löser benötigten typischerweise O(N 3/ ) Operationen. Das Beschleunigungspotential der neuen Verfahren ist N; bei N = 8 bedeutet das z.b. Minuten Rechenzeit anstatt 66 Stunden D Modellproblem Wir betrachten das -D elliptische Randwertproblem u (x) = f(x), x (,); u() = u() =. Zur numerischen Lösung zerlegen wir das Intervall [,] in N + äquidistante Teile mit der Gitterweite h = /(N +) und den Stützstellen x j = jh und approximieren u (x j ) = u(x j+)+u(x j ) u(x j ) h +O(h ).

7 Iterationsverfahren für lineare Gleichungssysteme Damit ergibt sich für die Unbekannten w j u(x j ) das lineare Gleichungssystem Aw = b mit b j = f(x j ). Die Systemmatrix A hat Bandstruktur A = h (In Raumdimension lautet diese Matrix A I+I A. In Raumdimension 3 hat sie eine entsprechende Gestalt.) 6.. Analyse der Jacobi-Iteration Wir schreiben A = D C, wobei D die Diagonale von A bezeichnet. Die Jacobi-Iteration lautet Dw (k+) = Cw (k) +b, beziehungsweise w (k+) = w (k) D ( Aw (k) b ) }{{}. Defekt von w (k) Wir betrachten im Folgenden eine gedämpfte Jacobi-Iteration w (k+) = w (k) ϑd ( Aw (k) b ), < ϑ. (6.4) Im Beispiel ist D = h I. Mit ω = ϑ/ lautet die Iteration (6.4) somit w (k+) = w (k) ωh ( Aw (k) b ), < ω /. Wir analysieren die Eigenschaften dieser Iteration mittels diskrete Fourieranalyse. Die Eigenwerte µ j und die dazugehörigen Eigenvektoren v j von A lauten sin(jπh) µ j = 4 h sin (jhπ/), v j = sin(jπh)., sin(njπh) wobei j =,...,N. Die Überprüfung erfolgt durch Nachrechnen mittels Summensätze der Winkelfunktionen (Av j ) n = [ ] sin ( (n )jπh ) sin ( njπh ) h sin ( (n+)jπh ) ( = sin(njπh) ( cos(jπh) )) h = h sin(njπh) ( cos (jπh/) ) = 4 h sin (jπh/) sin(njπh) = (µ j v j ) n.

8 Iterationsverfahren für lineare Gleichungssysteme Hier wurde insbesondere die Relation cosϕ = cos ϕ sin ϕ = cos ϕ = sin ϕ verwendet. Die Iterationsmatrix H der gedämpften Jacobi-Iteration lautet H = I ωh A. Diese Matrix hat dieselben Eigenvektoren wie A, ihre Eigenwerte lauten jedoch l j = l j (ω) = ωh µ j = 4ωsin (jπh/), j =,...,N. Abbildung 6. zeigt links die ersten vier (niederfrequenten) Eigenvektoren und rechts die letzten vier (hochfrequenten) Eigenvektoren von H im Fall N =. Abbildung 6.: Eigenvektoren von H für den Fall N =. Das linke Bild zeigt die niederfrequenten Vektoren v (blau; Kreise), v (rot; Sterne), v 3 (cyan; Quadrate) und v 4 (magenta; Rauten). Das rechte Bild zeigt die hochfrequenten Vektoren v (blau; Kreise) und v (rot; Sterne). Wir betrachten nun die Fehler der Jacobi-Iteration, dargestellt in der Basis der Eigenvektoren. Sei N w () w = α j v j. Wegen w (k+) = Hw (k) +b und w = Hw+b gilt N w () w = H(w () w) = H α j v j = N α j Hv j = N α j l j v j und allgemein w (k) w = N α j l k j v j = N β j v j, k. Diese Formel zusammen mit Abb. 6. zeigt für ω = /4 folgendes: Für niedrige Frequenzen (d.h. kleines j) gilt β j α j ; für hohe Frequenzen gilt hingegen: β j α j. Die hochfrequenten Fehler werden bei ω = /4 somit ausgezeichnet gedämpft. Man sagt, das Verfahren besitzt eine sehr gute Glättungseigenschaft (smooting property).

9 Iterationsverfahren für lineare Gleichungssysteme 3 ω=/4 ω=/ Abbildung 6.: Eigenwerte 4ωsin (jhπ/) des ungedämpften Jacobi-Verfahrens (ω = /) und des mit ω = /4 gedämpften Verfahrens als Funktion von x = jh, < x <. Bemerkung 6. Die Analyse in -D und 3-D erfolgt ähnlich. In -D lauten die Eigenwerte und Eigenvektoren der Systemmatrix µ j +µ k und v j v k für j,k N mit µ j und v j aus dem -D Fall Zweigitterverfahren Gesucht ist eine Lösung w des linearen Gleichungssystems Aw = b (zur Gitterweite h). Ausgehend von einem Startwert w () führen wir einige gedämpfte Jacobi-Iterationen aus und erhalten w, dessen Fehler v = w w glatt ist (d.h. keine hochfrequenten Anteile besitzt). Offensichtlich ist v gerade die gesuchte Korrektur zur exakten Lösung. Man beachte, dass v i.a. sehr groß ist. Für den Defekt d der Näherung w gilt d = Aw b = Aw Aw = Av. Somit erfüllt die gesuchte Korrektur eine Gleichung vom selben Typ wie die ursprüngliche Gleichung. Die entscheidende Idee ist: eine glatte Funktion v kann auch auf einem gröberen Gitter gut approximiert werden. Sei ĥ = h und  die zugehörige Systemmatrix für das gröbere Gitter. Das gröbere Gitter hat um den Faktor d weniger Gitterpunkte, wobei d =,,3 die Raumdimension bezeichnet. Man löst  v = d, wobei d die Restriktion (Einschränkung) von d auf das gröbere Gitter ist d = Rd. Beispiel 6.3 (i) Die triviale Restriktion lautet Rd(x) = d(x) für x = jh (auf dem groben Gitter). Hier wurde die intuitive Kurzschreibweise d(kh) = d k für Gitterfunktionen verwendet. Die obige Bedingung lautet daher d j = d j. (ii) Eine bessere Restriktion erhält man mit Rd(x) = ( ) d(x h)+d(x)+d(x+h) 4 für x = jh auf dem groben Gitter.

10 Iterationsverfahren für lineare Gleichungssysteme 4 Denken wir uns für den Moment die Gleichung auf dem groben Gitter exakt gelöst, also v = Â d. Die gesuchte Korrektur ist offenbar nur auf dem groben Gitter definiert. Um eine Näherung an v zu erhalten, muss man sie auf das feine Gitter fortsetzen. Diesen Prozess nennt man Prolongation v = P v. Im Folgenden verwenden wir lineare Interpolation als Prolongation v(x) für x = jĥ P v(x) = = jh, ( ) v(x+h)+ v(x h) für x = (j +)h, vgl. auch Abb (j )h jh (j+)h Abbildung 6.3: Prolongation durch lineare Interpolation. Mit Hilfe der Prolongation der Grobgitterkorrektur ergibt sich die verbesserte Näherungslösung zu w neu = w v. Algorithmus (Zweigitterverfahren). Gegeben sei w (k). (i) Glättungsschritt: Man berechnet w mittels einiger gedämpfter Jacobi-Iterationen. (ii) Grobgitterkorrektur: Berechne Defekt am feinen Gitter d = Aw b Restriktion des Defekts auf das grobe Gitter d = Rd Löse Gleichung auf grobem Gitter v = Â d Prolongation auf das feine Gitter v = P v Korrektur am feinen Gitter w (k+) = w v Konvergenz des Zweigitterverfahrens Wir untersuchen obiges Zweigitterverfahren für ω = /4. Die Zwei-Gitter-Iteration lautet mit der Iterationsmatrix w (k+) = Mw (k) +Nb M = (I PÂ RA)H ν bei ν gedämpften Jacobi-Iterationen. Man hat Konvergenz, falls (M) <.

11 Iterationsverfahren für lineare Gleichungssysteme 5 Satz 6.4 (a) Der Spektralradius der Iterationsmatrix M = M(ν) erfüllt (M) max { x( x) ν +x ν ( x); x / } =: ν <. (b) Für die Spektralnorm M = (MT M) gilt } M max{ x ( x) ν +x ν ( x) ; x / =: ζ ν <. Eine einfache Rechnung ergibt die nachstehende Tabelle: Man zeigt weiters, dass für ν gilt: ν 3 4 ν / /4 /8.83 ζ ν / /4.5.6 ν eν, ζ ν ν. Beweis: Einfache (aber langwierige) Rechnung. Man verwendet dazu die angepasste Basis v j von Eigenvektoren. Wahl von ν. Der Aufwand für ν Glättungen ist in etwa doppelt so hoch wie für ν Glättungen. Somit sind zwei Iterationen mit ν Glättungsschritten besser als eine Iteration mit ν Glättungsschritten, falls ζ ν ζ ν ζ ν, d.h. ζ ν. In der Praxis heißt das: Man verwendet gedämpfte Jacobi-Iterationen Mehrgitterverfahren Man wählt Gitterweiten h = H, h = H, h = H 4,..., h l = H l und sucht für die feinste Gitterweite die Lösung des linearen Gleichungssystems A l w l = b l. (Der Index l deutet hier an, dass dieses Gleichungssystem zur Gitterweite h l gehört.) Abbildung 6.4: Drei ineinander geschachtelte Gitter mit, 9 und 49 Punkten.

12 Iterationsverfahren für lineare Gleichungssysteme S R S R S R S R E P P P P 4 3 Abbildung 6.5: V-Zyklus (oben) und W-Zyklus (unten) einer Mehrgitteriteration. Hierbei bedeutet S Glättung, R Restriktion, E Auswertung und P Prolongation (nach Hackbusch, 985). Wendet man ein Zweigitterverfahren an, so benötigt man die Lösung von A l w l = d l (Defektkorrektur am Grobgitter). Diese Gleichung löst man wieder iterativ mit dem Zweigitterverfahren und erhält ein neues Gleichungssystem A l w l = d l auf einem noch gröberen Gitter, usw. Auf dem gröbsten Gitter löst man das System direkt (im Extremfall eine einzige Gleichung!). Je nachdem, ob man jeweils eine oder zwei Zwei- Gitter-Iterationen pro Niveau ausführt, spricht man von einem V-Zyklus bzw. von einem W-Zyklus, vgl. Abb Algorithmus. MGM(l, w, b) Falls l =, setze w = A b. Sonst: w = Ergebnis von ν Jacobi-Iterationen zum Startwert w d = R(A l w b) v = für j =,...,γ: MGM(l,v,d) w = w Pv Beim V-Zyklus ist γ =, beim W-Zyklus ist γ =.

13 Iterationsverfahren für lineare Gleichungssysteme 7 Aufwand des Verfahrens. Sei N die Anzahl der Gleichungen am feinsten Gitter. Glättung, Restriktion und Prolongation sind O(N) Operationen mit kleiner O(...)-Konstante, falls man mit sparse matrix Techniken arbeitet. Die Anzahl der Gleichungen nimmt pro Niveau etwa um den Faktor d ab, wobei d die Raumdimension bezeichnet. Weiters wird am Niveau l das Niveau k gerade γ l k ( k l) aufgerufen. Somit ist der Gesamtaufwand der Iteration ( C N +γ N N N ) d +γ +...+γl +C d (l )d = O(N). Die neue Konstante lautet abhängig von d und γ: γ = γ = d = C lc d = 4 3 C C d = C 4 3 C Das Multigridverfahren ist somit in beliebigen Raumdimensionen ein O(N)-Prozess. Varianten verwenden andere Glättungsiterationen (meist Gauß-Seidel) oder Nachglätten (d.h. weitere Glättungsschritte nach der Grobgitterkorrektur) sowie andere Restriktionen und Prolongantionen. 6. Das Verfahren der konjugierten Gradienten Das Verfahren der konjugierten Gradienten geht auf Hestenes und Stiefel (95) zurück. Es wird auch als cg-verfahren bezeichnet (vom Englischen conjugate gradients methods). Im ganzen Abschnitt sei A eine reelle, symmetrische, positiv definite n n Matrix (eine sg. spd-matrix) und b R n ein Vektor. (Typischerweise ist hier n sehr groß und A dünn besetzt.) Die Aufgabe löse Ax = b ist somit äquivalent zur Aufgabe minimiere xt Ax b T x. Wir bezeichnen im Folgenden mit, das Standardskalarprodukt im R n. Diespd-Matrix A definiert ein (dazu äquivalentes) Skalarprodukt, A mittels und eine Norm die sg. Energienorm (bezüglich A). y,z A = y,az = Ay,z y A = y,y A, Definition 6.5 Sei A eine reelle, symmetrische, positiv definite n n Matrix und u,v zwei Vektoren im R n. Man nennt u A-orthogonal zu v (in Zeichen: u A v) wenn gilt: u,v A =. In der älteren Literatur spricht man auch von A-konjugiert.