5.3.5 Abstiegs & Gradientenverfahren

Transkript

1 5.3 Iterative Lösungsverfahren für lineare Gleichungssysteme Abstiegs & Gradientenverfahren Die bisher kennengelernten Iterationsverfahren zur Approximation von linearen Gleichungssystemen haben alle den Nachteil, dass die Konstruktion nicht durch einen fundierten Zugang erfolgt, sondern auf Kontraktionsprinzipien beruht, die von Fall zu Fall untersucht werden müssen. In diesem abschließenden Abschnitt werden wir zur Vorbereitung von leistungsfähigeren Verfahren einige Grundlagen entwickeln. Alle bisherigen Fixpunktiterationen lassen sich allgemeiner in folgender Form schreiben x k+1 = x k + d k, k = 1, 2,..., wobei d k in jedem Schritt die Richtung angibt, in der die Lösung verbessert wird. Beim Jacobi-Verfahren bestimmt sich diese Richtung z.b. als d k = D 1 (b Ax k ), beim Gauß- Seidel Verfahren als d k = (D+L) 1 (b Ax k ). Um diese allgemeine Iteration zu verbessern setzen wir an zwei Punkten an: zunächst fügen wir in jedem Schritt der Iteration einen Relaxationsparameter ω k ein x k+1 = x k + ω k d k, k = 1, 2,..., welchen wir Schritt für Schritt optimal bestimmen werden. Anschließen versuchen wir neue Suchrichtungen d k auf eine systematische Art und Weise zu entwickeln. D.h., wir suchen eine Richtung d k, in der die größte Fehlerreduktion zu erwarten ist. In diesem Abschnitt beschränken wir uns auf symmetrisch positiv definite Matrizen A R n n. Zentral für das gesamte Kapitel ist die folgende Charakterisierung zur Lösung eines linearen Gleichungssystems mit symmetrisch, positiv definiter Matrix: Satz 5.36 (Lineares Gleichungssystem und Minimierung). Es sei A R n n eine symmetrische positiv definite Matrix. Das lineare Gleichungssystem Ax = b ist äquivalent zur Minimierungsaufgabe: Q(x) Q(y) y R n, Q(y) = 1 2 (Ay, y) 2 (b, y) 2. Beweis: (i) Zunächst sei x Lösung des linearen Gleichungssystems Ax = b. Dann gilt mit beliebigem y R n : d.h. Q(y) Q(x). 2Q(y) 2Q(x) = (Ay, y) 2 2(b, y) 2 (Ax, x) 2 + 2(b, x) = (Ay, y) 2 2(Ax, y) 2 + (Ax, x) 2 = (A(y x), y x) 2 0, (ii) Umgekehrt sei Q(x) nun Minimum. D.h. x R n ist stationärer Punkt der quadratischen Form Q(x), also: 0! = x i Q(x) = x i { 1 2 (Ax, x) 2 (b, x) 2 } = 2(Ax) i 2b i, i = 1,..., n. 217

2 5 Numerische Iterationsverfahren D.h., x ist Lösung des linearen Gleichungssystems. Anstelle ein lineares Gleichungssystem Ax = b zu lösen betrachten wir die Minimierung des Energiefunktionals Q(x). Dieser Zugang ist Grundlage der im Folgenden diskutieren Verfahren und auch Basis der allgemeinen Klasse von Krylow-Raum-Verfahren. Wir betrachten zunächst nur symmetrisch positiv definite Matrizen, daher ist durch x A := (Ax, x)2 eine Norm, die sogenannte Energienorm gegeben. Die Minimierung des Energiefunktionals Q( ) ist auch äquivalent zur Minimierung des Fehlers x k x in der zugehörigen. Denn, angenommen x R n sei die Lösung und x k R n eine Approximation, dann gilt: x k x 2 A = (A(x k x), x k x) 2 = (Ax k, x k ) 2(Ax k, x) }{{} +(Ax, x) = 2Q(x k )+(Ax, x). =2(Ax,x k )=2(b,x k ) Abstiegsverfahren Wir gehen zunächst davon aus, dass die Suchrichtungen d k durch ein gegebenes Verfahren (etwa Jacobi oder Gauß-Seidel) bestimmt sind und stellen uns der Frage, den nächsten Schritt optimal zu gestalten, also in der Iteration k k + 1 mit x k+1 = x k + ω k d k, den skalaren Faktor ω k möglichst optimal zu bestimmen, so dass die neue Approximation x k+1 eine möglichst geringe Energie Q(x k+1 ) aufweist: ω k = arg min ω R Q(xk + ωd k ). Das gesuchte Minimum ω können wir wieder als Extrempunkt des quadratischen Funktionals bestimmen: 0 =! { 1 } Q(x + ωd) = ω ω 2 (A(x + ωd), x + ωd) 2 (b, x + ωd) 2 = ω(ad, d) 2 + (Ax b, d) 2 Hieraus bestimmt sich ω zu: Wir fassen zusammen: ω = (b Ax, d) 2 (Ad, d) 2. Algorithmus 5.37 (Abstiegsverfahren). Es sei A R n n symmetrisch positiv definit, x 0, b R n sowie für k = 1, 2,... durch d k R n Abstiegsrichtungen gegeben. Iteriere: 1. Bestimme ω k als 2. Berechne ω k = (b Axk, d k ) 2 (Ad k, d k ) 2, x k+1 = x k + ω k d k. 218

3 5.3 Iterative Lösungsverfahren für lineare Gleichungssysteme Jacobi Gauss-Seidel Abstiegs-Jacobi Abstiegs-Gauss-Seidel Jacobi Abstiegsverfahren e Abbildung 5.2: Links: Konvergenz von Jacobi-, Gauß-Seidel- sowie den entsprechenden Abstiegsverfahren. Rechts: Vergleich der Annäherung bei Jacobi- und Jacobi-Abstiegs-Verfahren an die Lösung x = (1, 0, 2) T. Ein konkretes Verfahren entsteht durch Wahl der Abstiegsrichtungen d k. Es zeigt sich, dass die Kombination des Abstiegsverfahrens mit den bisher eingeführten Methoden wie Jacobi und Gauß-Seidel nicht zu wesentlichen Verbesserungen in der Konvergenzgeschwindigkeit führt. Wir betrachten hierzu ein Beispiel: Beispiel 5.38 (Abstiegsverfahren, Jacobi & Gauß-Seidel). Es sei Ax = b mit A = 1 2 1, b = 3, x = Mit dem Startvektor x 0 = 0 führen wir jeweils 10 Schritte mit Jacobi-, Gauß-Seidel- Verfahren sowie jeweils mit den entsprechenden Kombinationen unter Verwendung des optimalen Abstiegs-Schritts ω k. In Abbildung 5.2 links fassen wir für alle Verfahren die Fehler zusammen. Auf der rechten Seite der Abbildung stellen wir den Approximationsverlauf x k R 3 für Jacobi- sowie Jacobi-Abstiegsverfahren graphisch dar. Obwohl der Verlauf des Jacobi-Abstiegsverfahrens wesentlich gradliniger scheint, konvergiert dieses Verfahren ebenso langsam wie das Jacobi-Verfahren selbst. Nur im Falle des Gauß-Seidel- Verfahrens wird die Konvergenz durch Wahl optimaler Schrittweite ω k wesentlich beschleunigt. Gradientenverfahren Abschließend werden wir ein erstes Verfahren entwickeln, welches die neue Suchrichtung d k R n systematisch so bestimmt, dass das quadratische Funktional Q(x) möglichst stark minimiert werden kann. Wir suchen also die Richtung des stärksten Abfalls. Zu einem Punkt x R n ist dies gerade die Richtung d R n, die normal auf den Niveaumenge N(x) steht: N(x) := {y R n : Q(y) = Q(x)} 219

4 5 Numerische Iterationsverfahren In einem Punkt x ist die Niveaumenge aufgespannt durch alle Richtungen δx R n mit: 0! = Q (x) δx = ( Q(x), δx) = (b Ax, δx). Die Vektoren δx, welche die Niveaumenge aufspannen stehen orthogonal auf dem Defekt b Ax, dieser zeigt daher in Richtung der stärksten Änderung von Q( ). Wir wählen d k := b Ax k. Die so gefundene Suchrichtung wird dann mit dem Abstiegsverfahren kombiniert, d.h. wir iterieren: d k := b Ax k, ω k := dk 2 2 (Ad k, d k ) 2, x k+1 := x k + ω k d k. Wir definieren das Gradientenverfahren: Algorithmus 5.39 (Gradientenverfahren). Es sei A R n n symmetrisch positiv definit, b R n. Es sei x 0 R n beliebig und d 0 := b Ax 0. Iteriere für k = 0, 1, 2, r k := Ad k 2. ω k = d k 2 2 (r k,d k ) 2 3. x k+1 = x k + ω k d k. 4. d k+1 = d k ω k r k. Durch Einführen eines zweiten Hilfsvektors r k R n kann in jeder Iteration ein Matrix- Vektor-Produkt gespart werden. Für Matrizen mit Diagonalanteil D = αi ist das Gradientenverfahren gerade das Jacobi-Verfahren in Verbindung mit dem Abstiegsverfahren. Daher kann für dieses Verfahren im Allgemeinen auch keine verbesserte Konvergenzaussage erreicht werden. Es stellt jedoch den Einstieg in eine ganze Klasse von fortgeschrittenen Verfahren, die Krylow-Unterraum-Verfahren dar. Wir zeigen: Satz 5.40 (Gradientenverfahren). Es sei A R n n symmetrisch positiv definit. Dann konvergiert das Gradientenverfahren für jeden Startvektor x 0 R n gegen die Lösung des Gleichungssystems Ax = b. Beweis: Es sei x k R n eine gegebene Approximation. Weiter sei d := b Ax k. Dann berechnet sich ein Schritt des Gradientenverfahrens als: x k+1 = x k + (d, d) (Ad, d) d. 220

5 5.3 Iterative Lösungsverfahren für lineare Gleichungssysteme Für das Energiefunktional gilt: Q(x k+1 ) = 1 2 (Axk+1, x k+1 ) (b, x k+1 ) Also folgt: = 1 2 (Axk, x k ) + 1 (d, d) 2 (d, d) (Ad, d) + 2 (Ad, d) 2 (Ad, d) (Axk, d) (b, x k (d, d) ) (b, d) (Ad, d) { = Q(x k (d, d) 1 ) + (Ad, d) 2 (d, d) + (Axk, d) (b, d)} = Q(x k (d, d) 1 ) + (Ad, d) 2 (d, d) + (Axk b, d) }{{} = d Q(x k+1 ) = Q(x k ) (d, d)2 2(Ad, d). Wegen der positiven Definitheit von A gilt λ min (A)(d, d) (Ad, d) λ max (A)(d, d) und schließlich ist mit Q(x k+1 ) Q(x k (d, d) ), 2λ }{{ max } 0 die Folge Q(x k ) monoton fallend. Weiter ist Q(x k ) nach unten durch Q(x) beschränkt. Also konvergiert die Folge Q(x k ) c R n. Im Grenzwert muss gelten 0 = (d, d) = b Ax 2, also Ax = b. Schließlich zitieren wir noch zur Abschätzung der Konvergenzgeschwindigkeit die folgende Fehlerabschätzung: Satz 5.41 (Konvergenz des Gradientenverfahrens). Es sei A R n n eine symmetrisch positiv definite Matrix. Dann gilt für das Gradientenverfahren zur Lösung von Ax = b die Fehlerabschätzung Beweis: Siehe [9] x k x A ( ) 1 1/κ k, κ := cond 2 (A) = λ max(a) 1 + 1/κ λ min (A). Die asymptotische Konvergenzrate des Gradientenverfahrens wir durch die Kondition der Matrix bestimmt. Für die Modellmatrix gilt κ = O(n 2 ), siehe Beispiel Also gilt: ρ = 1 1 n = 1 2 ( ) 1 n n 2 + O n 4. 2 Die Konvergenz ist demnach ebenso langsam wie die des Jacobi-Verfahrens (wir haben bereits diskutiert, dass es für die Modellmatrix mit dem Jacobi-Abstiegsverfahren übereinstimmt). Für das Gradientenverfahren gilt jedoch der folgende Zusammenhang, der Basis des CG-Verfahrens ist: 221

6 5 Numerische Iterationsverfahren Satz 5.42 (Abstiegsrichtungen im Gradientenverfahren). Es sei A R n n symmetrisch positiv definit. Dann stehen je zwei aufeinanderfolgende Abstiegsrichtungen d k und d k+1 des Gradientenverfahren orthogonal aufeinander. Beweis: Zum Beweis, siehe Algorithmus Es gilt: Also gilt: d k+1 = d k ω k r k = d k (dk, d k ) (Ad k, d k ) Adk. (d k+1, d k ) = (d k, d k ) (dk, d k ) (Ad k, d k ) (Adk, d k ) = (d k, d k ) (d k, d k ) =