8 Iterationsverfahren zur Lösung von Gleichungen

Transkript

1 Numerik Iterationsverfahren zur Lösung von Gleichungen Nichtlineare Gleichungssysteme (sogar eine nichtlineare Gleichung in einer Unbekannten) müssen fast immer iterativ gelöst werden (vgl. Kapitel 2.2). Große dünn besetzte lineare Gleichungssysteme müssen iterativ gelöst werden, weil direkte Verfahren wie die Gauß-Elimination sowohl bez. Rechenaufwand (Komplexität n 3 ) als auch bez. Speicherbedarf ( fill-in ) in der Regel zu kostspielig sind. Wir betrachten nichtlineare Gleichungen stets in einer der beiden (nichteindeutigen) Standardformen: f(x) = 0, x = g(x), Nullstellenform, Fixpunktform. 8 Iterationsverfahren zur Lösung von Gleichungen TU Chemnitz, Sommersemester 2013

2 Numerik Fixpunktiteration 8.2 Konvergenzordnung 8.3 Nullstellen reellwertiger Funktionen 8.4 Das Newton-Verfahren im R n 8.5 Modifikationen des Newton-Verfahrens 8.6 Nichtlineare Ausgleichsprobleme 8.7 Klassische Iterationsverfahren für lineare Systeme 8.8 Gradientenverfahren für lineare Systeme 8 Iterationsverfahren zur Lösung von Gleichungen TU Chemnitz, Sommersemester 2013

3 Numerik Fixpunktiteration Satz 8.1. Es sei eine beliebige Norm im R n und D R n abgeschlossen. Die Selbstabbildung f : D D sei stark kontrahierend, d.h. es existiere eine Konstante L < 1 mit Dann folgt: f (x ) f (y) L x y x, y D. (8.1) (a) f besitzt genau einen Fixpunkt x in D (f (x ) = x ), (b) für jeden Startvektor x 0 D konvergiert die durch x m+1 := f (x m ) (Fixpunktiteration) definierte Folge {x m } m 0 gegen x, (c) x m x Lm 1 L x 0 x 1 (d) x m x L 1 L x m x m 1 (a-priori-abschätzung), (a-posteriori-abschätzung). 8.1 Fixpunktiteration TU Chemnitz, Sommersemester 2013

4 Numerik 399 Der Spezialfall n = 1: Korollar 8.2. I R sei ein abgeschlossenes Intervall, f : I I sei stark kontrahierend, d.h. L < 1 mit f(x) f(y) L x y x, y I. Dann besitzt f genau einen Fixpunkt x in I. Die Iterationsfolge {x m } m 0, x m+1 := f(x m ) (m = 0, 1, 2,...), konvergiert für beliebiges x 0 I gegen x. Es gelten die Abschätzungen x x m Lm 1 L x 0 x 1 sowie x x m L 1 L x m x m Fixpunktiteration TU Chemnitz, Sommersemester 2013

5 Numerik 400 Ein Kriterium für starke Kontraktion: Ist f : D D aus C 1 (D), d.h. für die Komponentenabbildungen f i : D R sind alle partiellen Ableitungen f i x j : D R stetig (1 i, j n), und gibt es eine Matrixnorm M, so dass für die Funktionalmatrix von f, f (x ) = f 1 x 1 (x ). f n x 1 (x ) f 1 x n (x ). f n x n (x ) L := max x D f (x ) M < 1 gilt, dann folgt Rn n (eigentlich f : D R n n ), f (x ) f (y) L x y x, y D, d.h. f ist stark kontrahierend bez. jeder Vektornorm, die mit M verträglich ist. 8.1 Fixpunktiteration TU Chemnitz, Sommersemester 2013

6 Numerik 401 Für den Spezialfall n = 1 bedeutet das: L := max x I f (x) < 1, dann folgt Ist f : I I aus C 1 (I) mit f(x) f(y) = f (ξ) x y L x y x, y I, d.h. f ist stark kontrahierend. Beispiel 1. Gesucht ist eine Lösung x = [ξ, η] des Gleichungssystems x 1 = 0.7 sin x cos x 2, x 2 = 0.7 cos x sin x 2. Äquivalent: Gesucht ist ein Fixpunkt x der Abbildung [ ] [ f : R 2 R 2 x1 0.7 sin x cos x 2, x cos x sin x 2 ]. 8.1 Fixpunktiteration TU Chemnitz, Sommersemester 2013

7 Numerik 402 Die Frobenius-Norm der Funktionalmatrix von f, ([ ]) [ f (x ) = f x1 0.7 cos x sin x 2 = x sin x cos x 2 ] ist (für alle x R 2 ) durch f (x ) F = (0.49 cos 2 x sin 2 x sin 2 x cos 2 x 2 ) 1/2 = ( ) 1/2 =: L gegeben. Also ist f auf ganz R 2 stark kontrahierend (mit der Kontraktionskonstanten L). f besitzt deshalb in R 2 genau einen Fixpunkt x und die Fixpunktiteration [ x (m+1) 1 x (m+1) 2 ] := f ([ x (m) 1 x (m) 2 ]) = [ (m) 0.7 sin x cos x (m) cos x (m) sin x (m) 2 konvergiert für jeden Startvektor (x (0) 1, x(0) 1 ) R 2 gegen x. ] 8.1 Fixpunktiteration TU Chemnitz, Sommersemester 2013

8 Numerik 403 Wir wählen x 0 = [x (0) 1, x(0) 2 ] = [0, 0]. Frage: Wieviele Iterationsschritte m sind erforderlich, um garantieren zu können, dass x x m ? Die a-priori-abschätzung liefert was auf x x m 2 Lm 1 L x 0 x 1 2 = 0.53m/ / /2! 10 4, m + 1 ( 4 + log 10 ( /2 ))/ log 10 (0.53 1/2 ) = führt. Nach 33 Iterationsschritten ist also x x m garantiert. Die numerische Rechnung zeigt, dass dieser Fehler schon nach 21 Schritten erreicht wird. Man wird die Fixpunktiteration in der Praxis dann abbrechen, wenn die a-posteriori-schranke unter 10 4 liegt, was hier nach 22 Schritten der Fall ist. 8.1 Fixpunktiteration TU Chemnitz, Sommersemester 2013

9 Numerik 404 m x (m) 1 x (m) 2 a-priori a-posteriori tats. Fehler e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e Fixpunktiteration TU Chemnitz, Sommersemester 2013

10 Numerik 405 Definition 8.3. f : D R n, D R n, sei eine Abbildung mit dem Fixpunkt x D (f (x ) = x ). Der Fixpunkt x heißt anziehend (attraktiv), wenn es eine Kugel K ε (x ) := {x R n : x x < ε} mit ε > 0 gibt, so dass die Fixpunktiteration für jeden Startvektor aus K ε (x ) D gegen x strebt (die Fixpunktiteration ist lokal konvergent). Kriterium: (Satz von Ostrowski) x D ist ein anziehender Fixpunkt der stetig differenzierbaren Abbildung f C 1 (D), wenn (a) f (x ) = x und (b) ρ(f (x )) := max{ λ : λ ist Eigenwert von f (x )} < 1 gelten. Hinreichend für (b): Existenz einer Matrixnorm M mit f (x ) M < Fixpunktiteration TU Chemnitz, Sommersemester 2013

11 Numerik 406 Im Spezialfall n = 1 ist x ein anziehender Fixpunkt der stetig differenzierbaren Funktion f : I R, wenn f(x ) = x und f (x ) < 1 erfüllt sind <f (x)< <f (x)< f (x) >1 0 < f (x ) < 1 1 < f (x ) < 0 f (x ) > Fixpunktiteration TU Chemnitz, Sommersemester 2013

12 Numerik Konvergenzordnung Es sei {a m } m 0 eine Nullfolge positiver reeller Zahlen. Die Folge {a m } m 0 besitzt (mindestens) die Konvergenzordnung p 1, wenn es ein C > 0 gibt mit a m+1 Ca p m für alle m m 0. Für p = 1 (lineare Konvergenz) wird zusätzlich C < 1 gefordert. Die konvergente Vektorfolge {x m } m 0 R n (x = lim m x m ) besitzt (mindestens) die Konvergenzordnung p, wenn dies für die Fehlerfolge { x x m } m 0 gilt. (Dabei ist es irrelevant, in welcher Norm die Fehler gemessen werden.) Eine Folge wie a m = 1/(m+1) konvergiert sublinear (langsamer als linear). Gilt lim m a m+1 /a m = 0, so spricht man von superlinearer Konvergenz (schneller als linear). Jede Folge mit Konvergenzordnung p > 1 konvergiert superlinear. 8.2 Konvergenzordnung TU Chemnitz, Sommersemester 2013

13 Numerik 408 Faustregel: Eine Folge konvergiert umso schneller, je größer ihre Konvergenzordnung ist sublineare Konv lineare Konv quadratische Konv Konvergenzordnung TU Chemnitz, Sommersemester 2013

14 Numerik 409 Kriterium (für n = 1): f : [a, b] R sei aus C p [a, b] (p-mal stetig differenzierbar). Es sei f(x ) = x für ein x [a, b]. Gilt 0 = f (x ) = f (x ) =... = f (p 1) (x ), so konvergiert die Fixpunktiteration x m+1 = f(x m ) (m = 0, 1, 2,...) lokal mit (mindestens) der Ordnung p. 8.2 Konvergenzordnung TU Chemnitz, Sommersemester 2013

15 Numerik 410 Beispiel. Die Iterationsvorschrift des Newton-Verfahrens zur Bestimmung einer Nullstelle einer Funktion g C 2 [a, b] lautet: mit der Iterationsfunktion x m+1 = x m g(x m) g (x m ) =: f(x m) f(x) := x g(x) g (x). Sei g (x ) 0: Dann ist x Nullstelle von g x ist Fixpunkt von f. f (x) = 1 g (x)g (x) g(x)g (x) g (x) 2 = g(x)g (x) g (x) 2 f (x ) = 0. Für einfache Nullstellen konvergiert das Newton-Verfahren lokal (mindestens) quadratisch, d.h. mit der Ordnung p = Konvergenzordnung TU Chemnitz, Sommersemester 2013

16 Numerik Nullstellen reellwertiger Funktionen Gesucht sind Nullstellen einer (zumindest) stetigen Funktion g : [a, b] R. Gilt g(a)g(b) < 0, dann besitzt g in (a, b) (mindestens) eine Nullstelle (Zwischenwertsatz). Wir beschreiben und vergleichen drei Verfahren zur näherungsweisen Berechnung einer Nullstelle von g: das Intervallhalbierungsverfahren, das Newton-Verfahren, das Sekantenverfahren. 8.3 Nullstellen reellwertiger Funktionen TU Chemnitz, Sommersemester 2013

17 Numerik 412 Intervallhalbierungsverfahren: Setze a_0 = a und b_0 = b m = 0 while b_m-a_m > tol x =.5*(a_m+b_m) m = m+1 if g(x)*g(a_{m-1}) < 0 a_m = a_{m-1} b_m = x else a_m = x b_m = b_{m-1} end if end while 8.3 Nullstellen reellwertiger Funktionen TU Chemnitz, Sommersemester 2013

18 Numerik 413 Das Intervallhalbierungsverfahren konvergiert linear mit dem Konvergenzfaktor 1/2. Pro Iterationsschritt ist eine Funktionsauswertung erforderlich. Ist g differenzierbar, so können wir das Newton-Verfahren einsetzen (vgl. Kapitel 1.2): x m+1 = x m g(x m) g (x m ) (m = 0, 1, 2,...). Wir wissen bereits, dass es bei einfachen Nullstellen lokal quadratisch konvergiert. Der Rechenaufwand beträgt i.w. zwei Funktionsauswertungen pro Schritt (insbesondere die Auswertung der Ableitung ist in der Praxis problematisch, da g nur in Ausnahmefällen explizit bekannt ist). 8.3 Nullstellen reellwertiger Funktionen TU Chemnitz, Sommersemester 2013

19 Numerik 414 Ersetzt man im Newton-Verfahren die Tangentensteigung g (x m ) durch die Sekantensteigung g(x m) g(x m 1 ) x m x m 1, so erhält man das Sekantenverfahren x m+1 = x m x m x m 1 g(x m ) g(x m 1 ) g(x m) = x m 1g(x m ) x m g(x m 1 ) g(x m ) g(x m 1 ) (m = 0, 1, 2,...). Hier sind zwei Startwerte erforderlich. Ist g C 2 [a, b] und besitzt g eine einfache Nullstelle ζ [a, b], so konvergiert das Sekantenverfahren lokal gegen ζ mit der Konvergenzordnung p = (1 + 5)/2 = Jeder Iterationsschritt erfordert eine Funktionsauswertung. Beispiel. g(x) = x exp( x/2) besitzt wegen g(0.6) = und g(0.8) = eine Nullstelle in [0.6, 0.8]. 8.3 Nullstellen reellwertiger Funktionen TU Chemnitz, Sommersemester 2013

20 Numerik 415 Intervallhalbierungsverfahren: m a m b m e e e e e e e e e e e e Nullstellen reellwertiger Funktionen TU Chemnitz, Sommersemester 2013

21 Numerik 416 Erwartungsgemäß konvergieren Sekantenverfahren (Startwerte x 0 = 0.6, x 1 = 0.8) und Newton-Verfahren (Startwert x 0 = 0.6) wesentlich schneller. Wir tabellieren die resultierenden Fehler: m Sekantenverfahren Newton-Verfahren e e e e e e e-006 < eps = e e < eps = e Nullstellen reellwertiger Funktionen TU Chemnitz, Sommersemester 2013

22 Numerik Das Newton-Verfahren im R n Gesucht: Nullstelle x einer stetig differenzierbaren Funktion f : R n D R n, d.h. f (x ) = 0. Iterationsvorschrift: x m+1 = x m [f (x m )] 1 f (x m ) (m = 0, 1, 2,...) mit der Funktionalmatrix f (x ) = [ f i / (x j )(x )] 1 i,j n. Praxis: Die Inverse von f (x m ) wird nicht berechnet, sondern: (a) Löse das n n lineare Gleichungssystem (nach h) f (x m )h = f (x m ), (b) Setze x m+1 = x m + h. 8.4 Das Newton-Verfahren im R n TU Chemnitz, Sommersemester 2013

23 Numerik 418 Beispiel 2 (vgl. Beispiel 1). Um die Lösung x R n von [ ] ([ ]) [ x1 x1 0.7 sin x cos x 2 = f := x 2 x cos x sin x 2 ] mit dem Newton-Verfahren berechnen zu können, müssen wir das Problem zuerst in Nullstellenform formulieren. x ist Nullstelle von etwa g(x ) = x f (x ), [ ] [ ] g : R 2 R 2 x1 x1 0.7 sin x cos x 2,. x 2 x cos x sin x 2 Es gilt: g (x ) = g ([ x1 x 2 ]) = [ cos x1 0.2 sin x sin x cos x 2 ]. 8.4 Das Newton-Verfahren im R n TU Chemnitz, Sommersemester 2013

24 Numerik 419 Folglich [g (x )] 1 = [ g ([ x1 x 2 ])] 1 = 1 D [ cos x2 0.2 sin x sin x cos x 1 ] mit der Funktionaldeterminanten D = det g (x ) = (1 0.7 cos x 1 )( cos x 2 ) 0.14 sin x 1 sin x 2 (beachte D = 0.1 > 0 x R 2, so dass g (x ) für jedes x R 2 invertierbar ist). 8.4 Das Newton-Verfahren im R n TU Chemnitz, Sommersemester 2013

25 Numerik 420 Iterationsvorschrift in unserem Beispiel: [ ] [ ] (m+1) (m) x 1 x 1 x (m+1) = 2 x (m) 2 1 D [ (m) cos x sin x (m) sin x (m) cos x (m) 1 ][ (m) x sin x (m) cos x (m) 2 x (m) cos x (m) sin x (m) 2 ] (wir weisen noch einmal darauf hin, dass die Invertierung von g (x m ) nur im Ein- oder Zweidimensionalen durchgeführt werden kann i.a. wird man, wie oben beschrieben, ein lineares Gleichungssystem mit der Matrix g (x m ) lösen). 8.4 Das Newton-Verfahren im R n TU Chemnitz, Sommersemester 2013

26 Numerik 421 Die numerische Rechnung liefert: m x (m) 1 x (m) 2 x x m e e e e e < eps = e-16 (vgl. die Konvergenzgeschwindigkeit der gewöhnlichen Fixpunktiteration). 8.4 Das Newton-Verfahren im R n TU Chemnitz, Sommersemester 2013

27 Numerik Konvergenz des Newton-Verfahrens Lemma 8.4. Die Funktion f : D R n R n sei stetig differenzierbar und genüge in der konvexen Menge D der Bedingung f (u) f (v) γ u v für beliebige u, v D, d.h. f sei Lipschitz-stetig in D. Dann gilt für x, y D f (y) f (x ) f (x )(y x ) γ 2 x y 2. Lemma 8.5. Die Funktion f : D R n R n sei differenzierbar an der Stelle x D mit f (x ) = 0. Sei ferner die matrixwertige Funktion A : D R n n stetig in x und die Matrix A(x ) invertierbar. Dann ist die Funktion g : D R n, x x A(x ) 1 f (x ) in einer Umgebung von x wohldefiniert und differenzierbar in x mit g (x ) = I A(x ) 1 f (x ). 8.5 Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

28 Numerik 423 Satz 8.6 (Lokale Konvergenz des Newton-Verfahrens). Die Funktion f : D R n R n besitze die Nullstelle x, sei stetig differenzierbar an der Stelle x und f (x ) sei invertierbar. Dann ist x anziehender Fixpunkt der Newton-Iteration x m+1 = x m f (x m ) 1 f (x m ) m = 0, 1,..., und es gilt lim m x m+1 x x m x Falls in einer Umgebung U(x ) von x gilt = 0. (8.2) f (x ) f (x ) α x x x U(x ), (8.3) dann existieren C > 0 und m 0 N mit x m+1 x C x m x 2 für m m Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

29 Numerik 424 Satz 8.7 (Newton-Kantorovich). Es sei f : D R n R n differenzierbar in D R n, D konvex; f r x, y D gelte Es gebe ein x 0 D mit f (x ) f (y) γ x y. β := f (x 0 ) 1, η := f (x 0 ) 1 f (x 0 ) sodass α := βγη < 1 2 ist. Ferner sei S := {x Rn : x x 0 t } D mit t = (1 1 2α)/(βγ). Dann gilt: mit dem in den Voraussetzungen genannten x 0 sind die Iterierten des Newton-Verfahrens x m+1 = x m f (x m ) 1 f (x m ), m = 1, 2,..., wohldefiniert und konvergieren gegen eine Lösung x D von f (x ) = 0. Es gilt die Fehlerabschätzung x x 1 2βγ x 1 x Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

30 Numerik 425 Bemerkungen: 1. Der Satz von Newton-Kantorovich liefert eine quantitative Charakterisierung der lokal quadratischen Konvergenz des Newton-Verfahrens im R n. 2. Neben der lokal quadratischen Konvergenz sichert er auch die Existenz einer Nullstelle in einer t -Kugel um x. 3. Die (recht starken) Voraussetzungen sind in der Praxis selten zu verifizieren. Es kommt letztlich immer darauf an, einen hinreichend guten Startwert x 0 zu wählen. 8.5 Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

31 Numerik 426 Einfache (eindimensionale) Beispiele zeigen, dass das Newton-Verfahren nur in Ausnahmefällen global konvergiert. Unter speziellen Voraussetzungen kann globale Konvergenz gesichert werden. Definition 8.8. Eine Menge D R n heißt konvex, wenn sie mit zwei Punkten x, y auch deren Verbindungsstrecke enthält: x, y D αx + (1 α)y D α [0, 1]. Die Abbildung f : R n D R n, D konvex, heißt konvex in D, wenn f(αx + (1 α)y) αf(x ) + (1 α)f(y) für alle x, y D und alle α [0, 1] gilt. Die Relation ist hier komponentenweise zu verstehen. Interpretation im Eindimensionalen: Der Graph von f liegt unterhalb aller Sekanten. 8.5 Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

32 Numerik 427 Lemma 8.9. Ist f stetig differenzierbar in der konvexen Menge D, so ist f genau dann konvex, wenn für alle x, y D gilt. f (y) f (x ) f (x )(y x ) (8.4) Interpretation im Eindimensionalen: Der Graph von f liegt oberhalb aller Tangenten Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

33 Numerik 428 Satz 8.10 (Newton-Baluev). Es sei f : R n R n stetig differenzierbar und konvex. f (x ) sei invertierbar mit [f (x )] 1 O (komponentenweise) für alle x R n. Außerdem besitze f (x ) = 0 eine Lösung x. Dann gilt: (a) x ist die einzige Lösung von f (x ) = 0. (b) Die Newton-Folge x m+1 = x m f (x m ) 1 f (x m ), m = 0, 1,... konvergiert für beliebiges x 0 R n gegen x (globale Konvergenz!), (c) Es gilt (komponentenweise monotone Konvergenz) x x m+1 x m f r m = 1, 2, Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

34 Numerik D: x x 0 x x 1 x 1 0 x 8.5 Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

35 Numerik 430 Bemerkung. Genügt f zusätzlich der Monotoniebedingung f (x ) f (y) falls x y, so lässt sich eine Einschliessung von x konstruieren: Neben der Newton-Folge wird noch die Folge ˆx m+1 := ˆx m f (x m ) 1 f (ˆx m ) (m = 1, 2,... ) (Funktionalmatrix an der Stelle x m, nicht an der Stelle ˆx m!) berechnet. Ist ˆx 1 D so gewählt, dass f (ˆx 1 ) 0 gilt, so folgt ˆx m ˆx m+1 x x m+1 x m (m = 1, 2,...) und lim ˆx m = lim x m = x. m m 8.5 Konvergenz des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

36 Numerik Modifikationen des Newton-Verfahrens Problem beim Newton-Verfahren: Nur lokale Konvergenz. Idee des gedämpften Newton-Verfahrens: Iteriere gemäß x m+1 = x m α m f (x m ) 1 f (x m ) (m = 0, 1, 2,...), dabei ist α m (0, 1] ein Dämpfungsfaktor, der so gewählt wird, dass f (x 0 ) f (x 1 ) f (x 2 ) erfüllt ist. 8.6 Modifikationen des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

37 Numerik 432 Programmentwurf: m = 0 while norm(f(x_m)) > tol Loese f (x_m)* h = -f(x_m) alpha = 1 x = x_m + alpha*h while norm(f(x)) > (1-0.25*alpha)*norm(f(x_m)) alpha = 0.5*alpha if alpha < 2^(-10), break, end if x = x + alpha*h end while m = m+1 x_m = x end while 8.6 Modifikationen des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

38 Numerik 433 Problem beim Newton-Verfahren: Berechnung von f (x m ) teuer. Idee der Quasi-Newton-Verfahren: Iteriere gemäß x m+1 = x m A 1 m f (x m ) (m = 0, 1, 2,...), (8.5) dabei ist A m eine Näherung an f (x m ), die der Quasi-Newton-Bedingung genügt. Populär ist der Ansatz A m (x m x m 1 ) = f (x m ) f (x m 1 ) (8.6) A m = A m 1 + u m v m (Rang-Eins-Verfahren), weil sich A 1 m lässt: dann leicht aus A 1 m 1 berechnen 8.6 Modifikationen des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

39 Numerik 434 Beim Broyden-Verfahren wird neben (A m A m 1 )(x m x m 1 ) = f (x m ) f (x m 1 ) A m 1 (x m x m 1 ) (folgt aus der Quasi-Newton-Bedingung) noch (A m A m 1 )h = 0 für alle h x m x m 1 gefordert. Damit ist A m eindeutig bestimmt. Es ergibt sich mit A m = A m 1 + u m v m v m := x m x m 1, u m := (f (x m) f (x m 1 ) Av m )v m v mv m. Die Berechnung der nächsten Iterierten x m+1 nach (8.5) erfordert zunächst O(n 3 ) Operationen. Durch Aufdatieren der Inversen kann man den Aufwand auf O(n 2 ) reduzieren: 8.6 Modifikationen des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

40 Numerik 435 Satz 8.11 (Sherman-Morrison-Formel). Sind u, v R n und A R n n invertierbar. Dann ist A+uv genau dann invertierbar, wenn 1+v A 1 u 0 gilt. In diesem Fall ist ( A + uv ) 1 = A 1 A 1 uv A v A 1 u. Satz Die Abbildung f : R n D R n besitze eine Nullstelle x D. f sei differenzierbar in einer Umgebung U von x und f sei in U Lipschitzstetig. Außerdem sei f (x ) invertierbar. Dann gibt es positive Konstanten δ und ρ mit den folgenden Eigenschaften: Für alle Startwerte x 0 mit x 0 x δ und alle Näherungen A 0 (für f (x 0 )) mit A 0 f (x 0 ) ρ konvergiert das Broyden-Verfahren superlinear gegen x. 8.6 Modifikationen des Newton-Verfahrens TU Chemnitz, Sommersemester 2013

41 Numerik Nichtlineare Ausgleichsprobleme Gegeben sind f : R n D R m (m n) mit den Komponenten f 1,..., f m : D R und y R m. Gesucht ist ein Vektor x R n mit y f (x ) 2 = min x D y f (x ) 2 (8.7) In Kapitel 5 wurde der lineare Spezialfall dieses Problems behandelt, in dem f (x ) = Ax, A R m n. 8.7 Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

42 Numerik 437 Beispiel. n Parameter einer Modellfunktion ϕ sollen an m Messwerte angepasst werden. Etwa: ϕ(t) = ϕ(t; x 1, x 2, x 3 ) = x 1 exp( x 2 t) + x 3. Als Daten seien folgende fünf Messungen gegeben: j t j y j Hier ist also: f = f 1. f 5 : R3 R 5, f j (x 1, x 2, x 3 ) = x 1 exp( x 2 t j )+x 3, j = 1,..., Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

43 Numerik 438 Setzt man F : R n D R, x f (x ) y 2 2, so ist 1 2 F (x ) = f (x ) [f (x ) y] = 0 eine notwendige Bedingung für die Lösung x von (8.7) (falls f C 1 (D)). Man könnte dieses Gleichungssystem mit dem Newton-Verfahren attackieren. Dies ist i.a. zu kompliziert (um F zu bestimmen, benötigt man f ) und man linearisiert (8.7) direkt. Ausgangspunkt ist die Taylorreihe von f (f C 2 (D)) f (x ) = f (x 0 ) + f (x 0 )[x x 0 ] + o( x x 0 ). 8.7 Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

44 Numerik 439 Ist x 0 eine gute Näherung von x, so erwartet man, dass die Lösung x 1 von ( ) min y f (x 0) f (x 0 )[x x 0 ] 2 min y f (x ) x R n x R n 2 (8.8) eine bessere Approximation an x ist. (8.8) ist ein lineares Ausgleichsproblem, kann also mit den Methoden aus Kapitel 5 gelöst werden. Gauß-Newton-Verfahren: Waehle x_0. for k = 0,1,2,...: Berechne A = f (x_k) und b = y - f(x_k), bestimme die Loesung h_k des linearen Ausgleichsproblems \ b - A h_k \ _2 = min, setze x_{k+1} = x_k + h_k. end for 8.7 Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

45 Numerik 440 In der Praxis muss dieses Verfahren gedämpft werden (x k+1 = x k + αh k, vgl. Abschnitt 8.6). Die folgende Tabelle zeigt für unser Beispiel das Residuum y f (x k ) 2 der Iterierten x k des Gauß-Newton-Verfahrens mit und ohne Dämpfung (x 0 = 0, in Klammern: Dämpfungsfaktoren): k ohne Dämpfung mit Dämpfung [1.0] [1.0] [0.5] [1.0] [1.0] !! [1.0] 8.7 Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

46 Numerik 441 Satz Sei h = x x 0 die Lösung des linearen Ausgleichsproblems (8.8), f (x 0 ) besitze vollen Rang und y f (x 0 ) 0. Dann existiert ˆα > 0 so dass die Funktion ϕ(α) = y f (x 0 + αh) 2 2 für alle α [0, ˆα] streng monoton fällt. Insbesondere gilt ϕ(α) = y f (x 0 + αh) 2 2 < ϕ(0) = y f (x 0 ) 2 2. Die Gauß-Newton-Korrektur h ist also eine Abstiegsrichtung. Ein geeignet gedämpftes Gauß-Newton-Verfahren führt somit immer zu einer monoton abnehmenden Residualnorm der Iterierten. 8.7 Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

47 Numerik 442 Das Levenberg-Marquardt-Verfahren wählt bei gegebenem λ k Korrekturrichtung h k für x k als die Lösung von > 0 die [y f (x k )] f (x k )h k λ 2 k h k 2 2 min h k R n. (8.9) Die Idee ist, λ k klein zu wählen, wenn x k weit von einer Lösung entfernt ist und λ k groß zu wählen, wenn x k eine gute Näherung für die Lösung ist. Eine äquivalente Formulierung von (8.9) ist [ ] [ ] y f (xk ) f (x k ) 2 h k 0 λ k I n 2 min h k R n. Es handelt sich also um ein lineares Ausgleichsproblem der Dimension (m + n) n, dessen Koeffizientenmatrix stets vollen Rang n besitzt. Die sehr spezielle Struktur dieses Kleinsten-Quadrate-Problems muss bei der Rechnung ausgenutzt werden. Auch die Korrektur h k des Marquardt-Verfahrens ist eine Abstiegsrichtung. 8.7 Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

48 Numerik 443 Marquardt-Verfahren: Waehle x_0 und lambda_0 > 0. for k = 0,1,2,...: Berechne A = f (x_k) und b = y - f(x_k), bestimme die Loesung h_k des linearen Ausgleichsproblems \ b - A h_k \ ^2 + lambda_k^2 \ h_k \ ^2 = min, setze x_{test} = x_k + h_k. while \ y - f(x_{test}) \ >= \ y - f(x_k) \ Setze lambda_k = 2 lambda_k und loese \ b - A h_k \ ^2 + lambda_k^2 \ h_k \ ^2 = min, setze x_{test} = x_k + h_k. end while Setze x_{k+1} = x_{test} und lambda_{k+1} = 0.5 lambda_k. end for 8.7 Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

49 Numerik 444 In unserem Beispiel ist das Marquardt-Verfahren etwa so schnell wie das gedämpfte Gauß-Newton-Verfahren (r k := y f(x k ), x 0 = 0, λ 0 = 1): k r k λ k 1 1/2 1/4 1/8 1/16 1/32 1/ x 1 = x 2 = x 3 = Nichtlineare Ausgleichsprobleme TU Chemnitz, Sommersemester 2013

50 Numerik Klassische Iterationsverfahren für lineare Systeme Zu lösen: Ax = b, A R n n invertierbar, aber n so groß, dass Gauß- Elimination nicht durchführbar ist. Mit einer Zerlegung von A, A = M N (M, N R n n, M invertierbar), lässt sich das LGS äquivalent als Fixpunktaufgabe schreiben: Mx = Nx + b oder x = M 1 Nx + M 1 b. Zugehörige Fixpunktiteration Mx m+1 = Nx m + b oder x m+1 = M 1 Nx m + M 1 b (m = 0, 1, 2...). 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

51 Numerik 446 Bezeichnungen: e m = A 1 b x m (Fehler), r m = b Ax m (Residuum), r m = M 1 (b Ax m ) (Pseudo-Residuum). Mit T = M 1 N (Iterationsmatrix) folgt e m = T e m 1 = = T m e 0 und r m = T r m 1 = = T m r Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

52 Numerik 447 Satz Das Iterationsverfahren x m+1 = M 1 Nx m + M 1 b (m = 0, 1, 2,...) (8.10) konvergiert genau dann für jeden Startvektor x 0 R n gegen A 1 b, wenn es eine Matrixnorm M gibt mit T M = M 1 N M < 1. Korollar Das Iterationsverfahren (8.10) konvergiert genau dann für jeden Startvektor x 0 R n, wenn ρ(t ) < 1. Eine Matrix T mit ρ(t ) < 1 heißt konvergente Matrix. 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

53 Numerik 448 Es gilt: M wird i.a. nicht invertiert: x m+1 = M 1 Nx m + M 1 b = x m + M 1 r m m = 0 r_0 = b - A*x_0 while norm(r_m) > tol*norm(b) m = m+1 Loese M*h = r_{m-1} x_m = x_{m-1}+h r_m = b-a*x_m end while Lineare Gleichungssysteme mit Koeffizientenmatrix M müssen sehr viel kostengünstiger zu lösen sein als solche mit A! 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

54 Numerik 449 Die Wahl M = diag(a) führt zum Jacobi- oder Gesamtschrittverfahren: x (m) j = 1 b j a j,k x (m 1) k (1 j n, m > 0). a j,j k j Die Wahl M = tril(a) führt zum Gauß-Seidel- oder Einzelschrittverfahren: x (m) j = 1 b j a j,k x (m) k a j,k x (m 1) k (1 j n, m > 0). a j,j k<j k>j Unterschied: Beim Jacobi-Verfahren wird x m ausschließlich aus Komponenten von x m 1 berechnet. Beim Gauß-Seidel-Verfahren werden zur Berechnung von x (m) j alle verfügbaren Komponenten von x m, d.h. x (m) k für k < j, verwendet. 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

55 Numerik 450 Definition Eine Matrix A R n n heißt streng diagonaldominant, falls a j,k < a j,j j = 1, 2,..., n. k j Satz Ist A streng diagonaldominant, so konvergieren sowohl das Jacobi-Verfahren als auch das Gauß-Seidel Verfahren für jeden Startvektor. Dieses Kriterium nennt man auch starkes Zeilensummenkriterium. Analog kann man ein starkes Saltensummenkriterium herleiten. 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

56 Numerik 451 Definition A = M N, A, M, N R n n heißt reguläre Zerlegung von A falls M 1 O und N O. (Die Ungleichungen sind wieder komponentenweise zu verstehen.) Insbesondere gilt für reguläre Zerlegungen T = M 1 N O. Satz Ist A R n n nichtsingulär, gilt A 1 O und ist A = M N eine reguläre Zerlegung, so gilt ρ(m 1 N) < 1. Definition Eine Matrix A = [a i,j ] R n n heißt M-Matrix, falls A 1 O und a i,j 0 falls i j. Korollar Ist A eine M-Matrix, so konvergieren Jacobi- und Gauß- Seidel Verfahren für jeden Startvektor. 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

57 Numerik 452 Zur Illustration lösen wir das lineare Gleichungssysteme Ax = b, das bei der Diskretisierung der Wärmeleitungsgleichung (implizites Euler- Verfahren, vgl. Kapitel 1.3) entsteht, durch Gesamt- und Einzelschrittverfahren. Bis auf einen skalaren Vorfaktor ist A = R.... n n Hier muss allerdings bemerkt werden, dass man dieses System in der Praxis durch Gauß-Elimination (Cholesky-Zerlegung) sehr viel effizienter lösen würde. 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

58 Numerik Jacobi 10 1 Gauss Seidel Hier: n = 20. Die Konvergenz ist in beiden Fällen linear mit den Konvergenzfaktoren (Jacobi) bzw (Gauß-Seidel). Vergrößert man n, so konvergieren beide Verfahren (noch) langsamer. 8.8 Klassische Iterationsverfahren für lineare Systeme TU Chemnitz, Sommersemester 2013

59 Numerik Gradientenverfahren In diesem Abschnitt sei A R n n stets symmetrisch und positiv definit, b R n beliebig und (, ) das Euklidsche Innenprodukt in R n. Grundlegendes Resultat: Unter dieser Voraussetzung löst x R n das lineare Gleichungssystem Ax = b genau dann, wenn x die Funktion φ : R n R, x φ(x ) := 1 2 (Ax, x ) (b, x ) minimiert, d.h. wenn gilt. φ(x ) = min x R n φ(x ) 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

60 Numerik 455 Dies folgt unmittelbar aus den Identitäten φ(x ) = 1 2 x x 2 A + φ(x ) = 1 2( b Ax 2 A 1 b 2 A 1 ). Hierbei sind A bzw. A 1 die zu den Innenprodukten (x, y) A := y Ax bzw. (x, y) A 1 := y A 1 x, x, y R n, gehörenden Normen auf R n. ( A-Norm und A 1 -Norm ). Fazit: Das Lösen des linearen Gleichungssystems Ax = b mit symmetrisch positiv definiter Koeffizientenmatrix A ist äquivalent mit der Minimierung des quadratischen Funktionals φ(x ) = 1 2 (Ax, x ) (b, x ). Daher können auch Minimierungsverfahren zur Lösung eingesetzt werden. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

61 Numerik 456 Graph und Niveaulinien der Funktion φ (für n = 2): 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

62 Numerik 457 Eindimensionale Minimierung Gegeben: x : Näherung an x, zugehöriges Residuum r = b Ax, p : Suchrichtung, Gesucht: min{φ(x + αp) : α R} Es ist φ(x + αp) = 1 2( A(x + αp), x + αp ) (b, x + αp) Da A spd wird das Minimum erzielt für = φ(x ) α(b Ax, p) + α2 2 (Ap, p) α = (b Ax, p) (Ap, p) = (r, p) (Ap, p), was auf φ(x + αp) = φ(x ) 1 2 (r, p) 2 (Ap, p) führt. Notwendig ist somit p r. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

63 Numerik 458 Stategie: Ist x m 1 eine Näherung für x, so bestimmt man eine Suchrichtung p m R n \ {0} und minimiert φ entlang der Geraden {x m 1 + αp m : α R}. Dies führt auf die nächste Approximation x m = x m 1 + (r m 1, p m ) (Ap m, p m ) p m (ersetze die n-dimensionale Minimierungsaufgabe φ(x ) = min x R n eine Folge eindimensionaler Probleme φ(x m 1 + αp m ) = min α R ). durch Wahl der Suchrichtung: Naheliegend ist die (lokal optimale) Richtung des steilsten Abstiegs von φ, also die des (negativen) Gradienten φ(x ) = ( 1 2 (Ax, x ) (b, x )) = b Ax = r. Dies führt auf α m = (r m 1, r m 1 )/(Ar m 1, r m 1 ) und zum Verfahren des steilsten Abstiegs. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

64 Numerik 459 Verfahren des steilsten Abstiegs m := 0, x 0 gegeben, r 0 := b Ax 0 while r k 0 m := m + 1 α m := (r m 1, r m 1 )/(Ar m 1, r m 1 ) x m := x m 1 + α m r m 1 r m := b Ax m Beachte: Wegen b Ax m = b A(x m 1 + α m r m 1 ) = r m 1 α m Ar m 1 ist nur ein Matrix-Vektorprodukt zu berechnen. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

65 Numerik 460 Satz Das Verfahren des steilsten Abstiegs zur Lösung von Ax = b ist global linear konvergent. Bemerkung: Eine schärfere Abschätzung als im Beweis von Satz 8.22 liefert die Kantorovich-Ungleichung (x, x ) 2 (Ax, x )(A 1 x, x ) 4λ max(a)λ min (A) (λ max (A) + λ min (A)) 2, x Rn, was zur linearen Konvergenzrate κ 1 κ + 1 < 1 1 κ, κ = cond 2(A) des Verfahrens des steilsten Abstiegs führt. Es zeigt sich allerdings, dass diese (lokal optimale) Wahl der Suchrichtung i.a. zu einem sehr langsam konvergenten Verfahren führt. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

66 Numerik 461 Konvergenz beim Verfahren des steilsten Abstiegs: Beispiel: A = [ 1 0 ] 0 ε, b = [ 1 ] 1, κ = 1 ε, 1 1 κ = 1 ε. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

67 Numerik 462 Allgemeinere Suchrichtungen Idee: Wähle m linear unabhängige Suchrichtungen p 1,..., p m so, dass die m-te Iterierte die Funktion φ minimiert über { x = x0 + p : p span{p 1,..., p m } }. Folge: Minimum nach spätestens n Schritten gefunden, da dann span{p 1,..., p n } = R n. Frage: Ist es möglich, eine globale Minimierung durch eine Folge lokaler Minimierungen zu realisieren? 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

68 Numerik 463 A-konjugierte Suchrichtungen Ist P m = [p 1,..., p m ] R n m die Matrix der ersten m Suchrichtungen, so ist x x 0 + span{p 1,..., p m } äquivalent mit Dann gilt x = x 0 + P m 1 y + αp m, y R m 1, α R. φ(x ) = φ(x 0 + P m 1 y) + α (Ap m, P m 1 y) + α2 }{{} 2 (Ap m, p m ) α(r 0, p m ) ( ) Ohne den gemischten Term ( ) würde die globale Minimierung zerfallen in (i) Minimierung über x 0 + span{p 1,..., p m 1 } und (ii) Minimierung längs der Geraden {x m 1 + αp m : α R}. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

69 Numerik 464 Wir fordern also (Ap m, P m 1 y) = 0 y R m 1, (Ap m, p) = 0 p span{p 1,..., p m 1 } d.h. p m ist A-orthogonal ( A-konjugiert ) zu span{p 1,..., p m 1 }. Gilt dann (i) φ(x m 1 ) = min{φ(x 0 + P m 1 y) : y R m 1 } und (ii) α m = (r 0, p m )/(Ap m, p m ), so ist die Lösung von min y R m 1 α R φ(x 0 + P m 1 y + αp m ) ( ) α 2 = min φ(x 0 + P m 1 y) + min y R m 1 α R 2 (Ap m, p m ) α(r 0, p m ) 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

70 Numerik 465 gegeben durch P m 1 y = x m 1, α = α m. Beachte: Wegen x m 1 x 0 + span{p 1,..., p m 1 } ist r m 1 = b Ax m 1 r 0 + A span{p 1,..., p m 1 } und damit (r 0, p m ) = (r m 1, p m ). Demzufolge gilt auch α m = (r m 1, p m )/(Ap m, p m ). Bisherige Forderungen an p m : (i) p m A-konjugiert zu span{p 1,..., p m 1 }, (ii) p m r m 1. Noch offen: Existenz eines solchen p m in jedem Schritt. Man kann zeigen: ein solches p m liegt in span{r m 1, p m 1 }. 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

71 Numerik 466 Das Verfahren der konjugierten Gradienten [Hestenes & Stiefel, 1952]: m := 0 r 0 := b Ax 0 while r m > tol b m := m + 1 if m = 1 then p 1 := r 0 else β m := (r m 1, r m 1 )/(r m 2, r m 2 ) p m := r m 1 + β m p m 1 α m := (r m 1, r m 1 )/(Ap m, p m ) x m := x m 1 + α m p m r m := r m 1 α m Ap m Aufwand pro Schritt: 1 Matrix-Vektor-Multiplikation, 2 Innenprodukte, 3 Vektor-Aufdatierungen (saxpys). 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

72 Numerik 467 Satz Für die Iterierten des cg Verfahrens gilt die Fehlerabschätzung x ( ) m x m A κ 1 x 2. x 0 A κ + 1 Dabei ist κ = cond 2 (A) = λ max (A)/λ min (A) die Konditionszahl von A bez. der Euklid-Norm. In der Praxis wird das cg-verfahren häufig auf das vorkonditionierte Gleichungssystem L 1 AL y = L 1 b mit y = L x angewandt. Dabei ist L eine invertierbare untere Dreiecksmatrix mit (im Idealfall) cond 2 (L 1 AL ) = cond 2 ((LL ) 1 A) cond 2 (A). 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013

73 Numerik 468 Abschließend illustrieren wir beide Gradientenverfahren am Testbeispiel Ax = b mit A = tridiag( 1, 2, 1) R : steilster Abstieg konjugierte Gradienten (Bei exakter Rechnung liefert das cg-verfahren nach n = dim(a) Schritten immer die exakte Lösung.) 8.9 Gradientenverfahren TU Chemnitz, Sommersemester 2013