5.1 Iterative Lösung linearer Gleichungssysteme

Transkript

1 5.1 Iterative Lösung linearer Gleichungssysteme à Gegeben: A Œ Ñ n,n regulär, b Œ Ñ n Gesucht: x èè Œ Ñ n : Ax èè = b bzw. Iterationsverfahren: x H0L Œ Ñ n, x Hm+1L := GHx HmL L, m=0,1,..., mit x HmL ô x èè für mô. Ansatz: (5.1) G(x) := Tx + r mit T Œ Ñ n,n und r Œ Ñ n G affin linear, da das Problem auch linear ist. Lemma 5.1 Voraussetzung: (T) < 1 Behauptungen: Die sukzessive Substitution mit G gemäß (5.1) konvergiert für jeden Startwert x H0L Œ Ñ n gegen den eindeutig bestimmten Fixpunkt von G und es gelten die Fehlerabschätzungen aus dem Banachschen Fixpunktsatz mit q := (T). Beweis: (T) < 1 ï (Lemma 4.3) $ Norm auf dem Ñ n : T < 1. G (x) = T ï (Lemma 4.1) G ist bezüglich dieser Norm Kontraktion auf ganz Ñ n. Satz 4.2 liefert dann die Behauptungen mit M := Ñ n.

2 2 numerik5.nb Folgerung: T < 1 mit irgendeiner Norm ï globale Konvergenz der sukzessiven Substitution mit G aus (5.1). Andererseits: T 1 in einer Norm aber (T) < 1 ï globale Konvergenz der sukzessiven Substitution mit G aus (5.1), obwohl G bezüglich dieser Norm keine Kontraktion ist. Bemerkungen: (i) Globale Konvergenz der sukzessiven Substitution mit G aus (5.1) impliziert umgekehrt auch, dass (T) < 1 gilt. ( x H0L := êê x - Eigenvektor ï êê x - x HmL = T m Hx êê - x H0L L = l m Hx êê - x H0L L. Wegen der globalen Konvergenz gilt êê x - x HmL ö 0. Deshalb muss l <1 sein ). (ii) Nach Satz 2.2 (Störungssatz) folgt aus (T) < 1 auch die Regularität von I - T. Daher ist der Fixpunkt êê x = HI - TL -1 r. Ziel daher: T = T(A, b) und r = r(a, b) so festlegen, dass HTL < 1 und êê x = A -1 b = HI - TL -1 r. 1. Möglichkeit: T = 0 ï (T) = 0 à und r = x êê = A -1 b Œ 2. Möglichkeit: Statt A -1 eine Näherungsinverse B -1 verwenden: r := B -1 b ï êê x = A -1 b = HI - TL -1 B -1 b ï ( b beliebig ) T = I - B -1 A = B -1 H B - AL ï x H0L Œ Ñ n, (5.2) x Hm+1L = HI - B -1 A L x HmL + B -1 b, m=0,1,2,... Bemerkungen: (i) Dieses Verfahren konvergiert für jeden Startwert x H0L œ Ñ n, wenn ( I - B -1 A ) < 1. (ii) (5.2) kann man auch so schreiben: x Hm+1L = x HmL - B Ax HmL - bd : Newton-Verfahren für F(x) := Ax - b mit Näherungsinverser B -1. (Mit A -1 wäre natürlich schon x H1L = x êê ). Wie soll man B wählen? aber (i) B -1 soll möglichst einfach zu berechnen sein (ii) ( I - B -1 A ) soll möglichst klein sein, auf jeden Fall kleiner als 1, d.h. B soll A möglichst gut approximieren.

3 numerik5.nb 3 I.a. widersprechen sich die Ziele (i) und (ii), so dass man beide nur bei einigen Klassen speziell strukturierter Matrizen erreichen kann: (5.3) A = D - E - F mit D := diag ( A ) = i j k a y 0. 0 z regulär, d.h. a ii π a nn { ( A regulär î $ P : HPAL ii π 0 ), i y a E := j k a n1.. a n,n 1 z 0{ i 0 a 12.. a 1 n y. 0..., F := a n 1,n j k z {, L := D -1 E, U := D -1 F. B := D î Gesamtschrittverfahren ( Jacobi-Verfahren 1845 ) x H0L Œ Ñ n, (5.4a) x Hm+1L = HI - D -1 A L x HmL + D -1 b = D -1 ( E + F ) x HmL + D -1 b = ( L + U ) x HmL + D -1 b, m=0,1,2,... Iterationsmatrix J := L + U. 0, falls k = l HJL kl = 9 -a kl ê a kk sonst, J»» 1 = max { n k = k 1 i»a ki» ÅÅÅÅÅÅÅÅÅÅÅ : i=1(1)n },»a kk»

4 4 numerik5.nb J»» = max { n k = k 1 i»a ik» ÅÅÅÅÅÅÅÅÅ : i=1(1)n } und daher gelten»a ii» J»» 1 < 1 ó A T strikt diagonal dominant und J»» < 1 ó A strikt diagonal dominant.. Gesamtschrittverfahren komponentenweise: x H0L Œ Ñ n, (5. 4b) x j Hm+1L = n 1 ÄÄÄÄÄÄÄ { b j - a jj k = 1 k π j a jk x k HmL }, j=1(1)n, m=0,1,2,... Hier sieht man, dass lediglich die j-te Gleichung von Ax = b nach x j aufgelöst wurde und damit iteriert wird. Hm+1L Wenn das Jacobi-Verfahren konvergiert, so ist sicherlich x j eine bessere Näherung für êêê x j als x HmL HmL j. Ersetzt man daher in der rechten Seite von (5.4b) x k überall dort durch x k Hm+1L, wo man diese neue Näherung schon kennt, so kommt man zum Einzelschrittverfahren komponentenweise ( Gauß-Seidel-Verfahren 1823/1871 ): x H0L Œ Ñ n, (5.5b) x j Hm+1L = j ÄÄÄÄÄÄÄ { b j - a jj k=1 n a jk x k Hm+1L - k= j + 1 a jk x k HmL }, j=1(1)n, m=0,1,2,... Gauß schrieb zu diesem Verfahren: Ich empfehle Ihnen diesen Modus zur Nachahmung. Schwerlich werden Sie je wieder direct eliminiren, wenigstens nicht, wenn Sie mehr als 2 Unbekannte haben. Das indirecte Verfahren

5 numerik5.nb 5 lässt sich halb im Schlafe ausführen oder man kann während desselben an andere Dinge denken. Wie sehen B und die Iterationsmatrix I - B -1 A zu (5.5b) aus? (5.5b) ï ( D - E )x Hm+1L = Fx HmL + b ï Einzelschrittverfahren ( Gauß-Seidel-Verfahren ) x H0L Œ Ñ n, (5.5a) x Hm+1L = HD - EL -1 F x HmL + HD - EL -1 b = HI - B -1 A L x HmL + B -1 b ( vgl. (5.2) ), m=0,1,2,... î B = D - E = A + F = DH I - LL î Iterationsmatrix H := I - B -1 A = H D - EL -1 F = H I - LL -1 U = i j k i=0 n-1 L iy z U { Reihe Neumannsche B = i j k a a n1.. a nn y ist eine reguläre Dreiecksmatrix z { (eventuell muss allerdings vorher A durch PA ersetzt werden). Satz 5.1 ( Konvergenzsatz für Einzel- und Gesamtschrittverfahren ) Voraussetzung: A strikt diagonal dominant. Behauptung: H»» J»» < 1, d.h. globale Konvergenz beider Verfahren. Beweis:...

6 6 numerik5.nb... Bemerkung: H»» J»» < 1 impliziert nicht, dass das Gauß-Seidel-Verfahren schneller konvergiert als das Jacobi-Verfahren. Dies würde erst aus (H) < (J) folgen, da der Spektralradius die Konvergenzrate ist. Satz 5.2 ( Konvergenzsatz für das Einzelschrittverfahren ) Voraussetzung: A positiv definit. Behauptung: (H) < 1, d.h. globale Konvergenz des Gauß-Seidel-Verfahrens. Beweis: Hinweis: Das Jacobi-Verfahren konvergiert nicht notwendig bei positiv definitem A, wenn n>2 ist. Z.B. A = 882, 2, 3<, 82, 4, 2<, 83, 2, 8<<;

7 numerik5.nb 7 MatrixForm@AD i 2 2 3y j z k 3 2 8{ Modifikationen und Erweiterungen: Relaxationsverfahren ( G(x) ö G w HxL := wghxl +H1 - wl x, w œ [0,1] ), Mehrgitter-Verfahren,... à Eine ganz andere Idee zur 'iterativen' Lösung von A x = b bei positiv definitem A kommt aus der Optimierung: Betrachte die Aufgabe min xœñ n fhxl mit fhxl := 1 ÄÄÄÄ 2 xt A x - b T x : fhxl = A x - b = Residuum der zu lösenden Gleichung ( f := J ÄÄÄÄÄÄÄÄ x 1 f,, ÄÄÄÄÄÄÄÄ x n fn T ) und 2 fhxl = A ist positiv definit î x opt = A -1 b. Minimiere also f! Wie? Idee: Ausgehend von einem Iterationspunkt x HmL und einer Richtung p HmL 0, in der f kleiner wird, bestimme eine Schrittweite t m, so dass j m HtL := fhx HmL + t p HmL L minimal wird bezüglich t œñ (1-dimensionales Minimierungsproblemproblem!!). Damit erhält man einen neuen Iterationspunkt x Hm+1L := x HmL + t m p HmL und benötigt nun eine neue Richtung p Hm+1L, die unabhängig von den alten Richtungen sein sollte, damit man vorwärts (hier: abwärts) kommt. Schrittweitenbestimmung: j mhtl = f Hx HmL + t p HmL L p HmL = HA x HmL L T p HmL + tha p HmL L T p HmL - b T p HmL = thp HmL L T A p HmL + Hp HmL L T fhx HmL L ï t m = -Hp HmL L T fhx HmL LêHp HmL L T A p HmL ist das globale Minimum der konvexen quadratischen Parabel j m. Offenbar darf die Richtung p HmL nicht orthogonal zum Residuum fhx HmL L gewählt sein, da man sonst mit t m = 0 in x HmL stehen bleibt. Aber dann steht die Richtung p HmL senkrecht auf dem neuen Residuum fhx Hm+1L L : Nachrechnen.

8 8 numerik5.nb Richtungsbestimmung: Erste Richtung p H0L := - fhx 0 L, denn in dieser Richtung geht es fast immer bergab bei hinreichend kleiner Schrittweite (siehe Taylor). (Ausnahme: p H0L = 0. Dann ist man aber fertig, x H0L ist Optimalpunkt.) Nächste Richtungen? Unter allen Vektoren der Länge 1 (gemessen in der 2-Norm) führt der Vektor p Hm+1L := - fhx Hm+1L Lê»» fhx Hm+1L L»» 2 zum steilsten Abstieg und zum Gradientenverfahren. Der steilste Abstieg ist jedoch (wie auch im wahren Leben) nicht unbedingt zu empfehlen, da er manchmal nur mit sehr, sehr kleinen Schrittweiten möglich ist. Außerdem könnte er eine Richtung liefern, die von bereits vorher verwendeten abhängig ist. Idee daher: Bestimme die neue Richtung in der durch p HmL und r Hm+1L := f Hx Hm+1L L (diese Vektoren sind orthogonal) aufgespannten Ebene. Dabei soll allerdings p Hm+1L nicht senkrecht auf r Hm+1L stehen (s.o.). Daher kommt man zu dem Ansatz p Hm+1L := -r Hm+1L + b m p HmL, wobei b m œñ die quadratische Parabel c m minimiert : c m HbL := fh x Hm+1L + th-r Hm+1L + b p HmL LL = fhx Hm+1L L + t f Hx Hm+1L L H-r Hm+1L + b p HmL L + t2 ÄÄÄÄÄ 2 H-rHm+1L + b p HmL L T 2 fhx Hm+1L L H-r Hm+1L + b p HmL L = fhx Hm+1L L + thr Hm+1L L T H-r Hm+1L + b p HmL L + t2 ÄÄÄÄÄ 2 H-rHm+1L + b p HmL L T AH-r Hm+1L + b p HmL L = const. + b thr Hm+1L L T p HmL - b t 2 p HmL T A r Hm+1L + b 2 t2 ÄÄÄÄÄ 2 phml T A p HmL. Da r Hm+1LT p HmL = 0, ist folglich c m H bl = -t2 p HmL T A r Hm+1L + b t 2 p HmL T A p HmL und b m := p HmL T A r Hm+1L ê p HmL T A p HmL der optimale Parameter. Mit ihm gilt zudem p HmL T A p Hm+1L = p HmL T AH-r Hm+1L + b m p HmL L = 0, d.h. die neue Richtung ist A-orthogonal ("A-konjugiert") zur alten. ( H f, gl A := f T A g ist ein Skalarprodukt,»» f»» A := è!!!!!!!!!!!!!!! f T A f eine Norm!) Definition 5.1 Ist A Œ Ñ n,n positiv definit, so heißen Vektoren p H0L,, p HkL Œ Ñ n A-konjugiert, wenn sie vom Nullvektor verschieden sind und Hp HiL L T A p H jl = 0 für 0 i<j k gilt.

9 numerik5.nb 9 Satz 5.3 ( cg-verfahren von Hestenes und Stiefel, 1952 ) Voraussetzung: A positiv definit. Zur Lösung der Aufgabe min xœñ n fhxl mit fhxl := 1 ÄÄÄÄ 2 xt A x - b T x betrachte folgendes Verfahren: à Wähle x H0L Œ Ñ n, berechne r H0L := A x H0L - b und setze p H0L := -r H0L. àfür m=0,1,... : Falls r H0L = 0, dann setze k:=m, STOP, x HkL löst die Aufgabe. Berechne t m := -Hr HmL L T p HmL êhp HmL L T A p HmL, x Hm+1L := x HmL + t m p HmL, r Hm+1L := r HmL + t m A p HmL, b m :=»» r Hm+1L»» 2 2 ê»» r HmL»» 2 2, p Hm+1L := -r Hm+1L + b m p HmL. Behauptungen: (1) Das Verfahren bricht nach k n Schritten ab. (2) Es ist Hp HiL L T r HmL = 0 für 0 i<m k. (3) Es ist Hp HmL L T r HmL = -»» r HmL»» 2 2 für 0 m k. (4) Es ist Hr HiL L T r HmL = 0 für 0 i<m k. Die Residuen (=Gradienten) sind also orthogonal oder I-konjugiert oder konjugiert. Daher der Name des Verfahrens: cg = conjugate gradients (5) Die Richtungen p H0L,, p Hk-1L sind A-konjugiert.

10 10 numerik5.nb (6) Es ist span 8p H0L,, p HmL < = span 8r H0L,, r HmL < für 0 m<k. Beweis:... Bemerkungen:... (1) Die optimale Schrittweite t m kann im Verfahren auch durch t m :=»» r HmL»» 2 2 êhp HmL L T A p HmL berechnet werden ( siehe Behauptung (3) im Satz 5.3 ). (2) Im Unterschied zu Eliminationsverfahren wird die Matrix A nicht verändert, lediglich ihre Wirkung auf die aktuelle Richtung p HmL ist zu bestimmen : A p HmL. Bei schwach und unregelmäßig besetztem A ist dies schnell zu berechnen. (Bei vollbesetzten Matrizen oder Bandmatrizen bringt das Verfahren keinen Vorteil). (3) Da die Residuenvektoren ein Orthogonalsystem bilden, wird das Minimum nach höchstens n Schritten erreicht - in der Theorie. Beim Rechnen mit Gleitkommaarithmetik kann es allerdings passieren, dass auch noch r HnL 0 gilt. Daher setzt man das Verfahren solange fort, bis das Residuum hinreichend klein ist oder bis sich die Iterierten nicht mehr ändern, so dass man auf dem Computer tatsächlich ein Iterationsverfahren durchführt. Da»» x HmL - x opt»» A í»» x H0L - x opt»» A JJ "####################### cond 2 HAL - 1NíJ "####################### cond 2 HAL + 1NN m, m = 0, 1,... gilt, konvergiert das Verfahren umso besser, je kleiner die Kondition von A ist. Daher ist es sinnvoll, das System A x = b zu ersetzen durch das äquivalente System B -1 A x = B -1 b mit einem positiv definiten B, so dass cond 2 IB -1 AM << cond 2 HAL # Vorkonditionierung, preconditioning....