8 Iterationsverfahren zur Lösung von Gleichungssystemen

Transkript

1 Numerische Mathematik Iterationsverfahren zur Lösung von Gleichungssystemen Nichtlineare Gleichungssysteme (sogar eine nichtlineare Gleichung in einer Unbekannten) müssen fast immer iterativ gelöst werden (vgl. Kapitel 1.2). Große dünnbesetzte lineare Gleichungssysteme müssen iterativ gelöst werden, weil direkte Verfahren wie die Gauß-Elimination sowohl bez. Rechenaufwand (Komplexität = O(n 3 ), n = Anzahl der Unbekannten) als auch bez. Speicherbedarf ( fill-in ) in der Regel zu kostspielig sind. 8 Iterationsverfahren zur Lösung von Gleichungssystemen Technische Universität Bergakademie Freiberg

2 Numerische Mathematik Der Banachsche Fixpunktsatz Satz 8.1 Es sei eine beliebige Norm im R n und D R n abgeschlossen. Die Selbstabbildung f : D D sei stark kontrahierend, d.h. es existiere eine Konstante L < 1 mit Dann folgt: f(x ) f(y) L x y x, y D. (8.1) (a) f besitzt genau einen Fixpunkt x in D (f(x ) = x ), (b) für jeden Startvektor x 0 D konvergiert die durch x m+1 := f(x m ) definierte Folge {x m } m 0 gegen x (Fixpunktiteration), (c) x m x Lm 1 L x 0 x 1 (d) x m x L 1 L x m x m 1 (a-priori-abschätzung), (a-posteriori-abschätzung). 8.1 Der Banachsche Fixpunktsatz Technische Universität Bergakademie Freiberg

3 Numerische Mathematik 380 Der Spezialfall n = 1: Korollar 8.2 I R sei ein abgeschlossenes Intervall, f : I I sei stark kontrahierend, d.h. L < 1 mit f(x) f(y) L x y x, y I. Dann besitzt f genau einen Fixpunkt x in I. Die Iterationsfolge {x m } m 0, x m+1 := f(x m ) (m = 0, 1, 2,...), konvergiert für beliebiges x 0 I gegen x. Es gelten die Abschätzungen x x m Lm 1 L x 0 x 1 sowie x x m L 1 L x m x m Der Banachsche Fixpunktsatz Technische Universität Bergakademie Freiberg

4 Numerische Mathematik 381 Ein Kriterium für starke Kontraktion: Ist f : D D aus C 1 (D), d.h. für die Komponentenabbildungen f i : D R sind alle partiellen Ableitungen f i x j : D R stetig (1 i, j n), und gibt es eine Matrixnorm M, so dass für die Funktionalmatrix von f, f 1 f x 1 (x ) 1 x n (x ) f (x ) =. f n x 1 (x ). f n x n (x ) L := max x D f (x ) M < 1 gilt, dann folgt Rn n (eigentlich f : D R n n ), f(x ) f(y) L x y x, y D, d.h. f ist stark kontrahierend bez. jeder Vektornorm, die mit M verträglich ist. 8.1 Der Banachsche Fixpunktsatz Technische Universität Bergakademie Freiberg

5 Numerische Mathematik 382 Für den Spezialfall n = 1 bedeutet das: L := max x I f (x) < 1, dann folgt Ist f : I I aus C 1 (I) mit f(x) f(y) = f (ξ) x y L x y x, y I, d.h. f ist stark kontrahierend. Beispiel 1. Gesucht ist eine Lösung x = [ξ, η] des Gleichungssystems x 1 = 0.7 sin x cos x 2, x 2 = 0.7 cos x sin x 2. Äquivalent: Gesucht ist ein Fixpunkt x der Abbildung [ ] [ f : R 2 R 2 x1 0.7 sin x cos x 2, x cos x sin x 2 ]. 8.1 Der Banachsche Fixpunktsatz Technische Universität Bergakademie Freiberg

6 Numerische Mathematik 383 Die Frobenius-Norm der Funktionalmatrix von f, ([ ]) [ f (x ) = f x1 0.7 cos x sin x 2 = x sin x cos x 2 ] ist (für alle x R 2 ) durch f (x ) F = (0.49 cos 2 x sin 2 x sin 2 x cos 2 x 2 ) 1/2 = ( ) 1/2 =: L gegeben. Also ist f auf ganz R 2 stark kontrahierend (mit der Kontraktionskonstanten L). f besitzt deshalb in R 2 genau einen Fixpunkt x und die Fixpunktiteration [ x (m+1) 1 x (m+1) 2 ] := f ([ x (m) 1 x (m) 2 ]) = [ (m) 0.7 sin x cos x (m) cos x (m) sin x (m) 2 konvergiert für jeden Startvektor (x (0) 1, x(0) 1 ) R 2 gegen x. ] 8.1 Der Banachsche Fixpunktsatz Technische Universität Bergakademie Freiberg

7 Numerische Mathematik 384 Wir wählen x 0 = [x (0) 1, x(0) 2 ] = [0, 0]. Frage: Wieviele Iterationsschritte m sind erforderlich, um garantieren zu können, dass x x m ? Die a-priori-abschätzung liefert was auf x x m 2 Lm 1 L x 0 x 1 2 = 0.53m/ / /2! 10 4, m + 1 ( 4 + log 10 ( /2 ))/ log 10 (0.53 1/2 ) = führt. Nach 33 Iterationsschritten ist also x x m garantiert. Die numerische Rechnung zeigt, dass dieser Fehler schon nach 21 Schritten erreicht wird. Man wird die Fixpunktiteration in der Praxis dann abbrechen, wenn die a-posteriori-schranke unter 10 4 liegt, was hier nach 22 Schritten der Fall ist. 8.1 Der Banachsche Fixpunktsatz Technische Universität Bergakademie Freiberg

8 Numerische Mathematik 385 m x (m) 1 x (m) 2 a-priori a-posteriori tats. Fehler e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e Der Banachsche Fixpunktsatz Technische Universität Bergakademie Freiberg

9 Numerische Mathematik Konvergenzordnung Definition. f : D R n, D R n, sei eine Abbildung mit dem Fixpunkt x D (f(x ) = x ). Der Fixpunkt x heißt anziehend (attraktiv), wenn es eine Kugel K ε (x ) := {x R n : x x < ε} mit ε > 0 gibt, so dass die Fixpunktiteration für jeden Startvektor aus K ε (x ) D gegen x strebt (die Fixpunktiteration ist lokal konvergent). Kriterium: (Satz von Ostrowski) x D ist ein anziehender Fixpunkt der stetig differenzierbaren Abbildung f C 1 (D), wenn (a) f(x ) = x und (b) ρ(f (x )) := max{ λ : λ ist Eigenwert von f (x )} < 1 gelten. Hinreichend für (b) ist die Existenz einer Matrixnorm M mit f (x ) M < Konvergenzordnung Technische Universität Bergakademie Freiberg

10 Numerische Mathematik 387 Im Spezialfall n = 1 ist x ein anziehender Fixpunkt der stetig differenzierbaren Funktion f : I R, wenn f(x ) = x und f (x ) < 1 erfüllt sind <f (x)< <f (x)< f (x) >1 8.2 Konvergenzordnung Technische Universität Bergakademie Freiberg

11 Numerische Mathematik 388 Es sei {a m } m 0 eine Nullfolge positiver reeller Zahlen. Die Folge {a m } m 0 besitzt (mindestens) die Konvergenzordnung p 1, wenn es ein C > 0 gibt mit a m+1 Ca p m für alle m m 0. Für p = 1 (lineare Konvergenz) wird zusätzlich C < 1 gefordert. Die konvergente Vektorfolge {x m } m 0 R n (x = lim m x m ) besitzt (mindestens) die Konvergenzordnung p, wenn dies für die Fehlerfolge { x x m } m 0 gilt. (Dabei ist es irrelevant, in welcher Norm die Fehler gemessen werden.) Eine Folge wie a m = 1/(m + 1) konvergiert sublinear (langsamer als linear). Gilt lim m a m+1 /a m = 0, so spricht man von superlinearer Konvergenz (schneller als linear). Jede Folge mit Konvergenzordnung p > 1 konvergiert superlinear. 8.2 Konvergenzordnung Technische Universität Bergakademie Freiberg

12 Numerische Mathematik 389 Faustregel: Eine Folge konvergiert umso schneller, je größer ihre Konvergenzordnung ist sublineare Konv lineare Konv quadratische Konv Konvergenzordnung Technische Universität Bergakademie Freiberg

13 Numerische Mathematik 390 Kriterium (für n = 1): f : [a, b] R sei aus C p [a, b] (p-mal stetig differenzierbar). Es sei f(x ) = x für ein x [a, b]. Gilt 0 = f (x ) = f (x ) =... = f (p 1) (x ), so konvergiert die Fixpunktiteration x m+1 = f(x m ) (m = 0, 1, 2,...) lokal mit (mindestens) der Ordnung p. 8.2 Konvergenzordnung Technische Universität Bergakademie Freiberg

14 Numerische Mathematik 391 Beispiel. Die Iterationsvorschrift des Newton-Verfahrens zur Bestimmung einer Nullstelle von g C 2 [a, b] lautet: x m+1 = x m g(x m) g (x m ) =: f(x m) mit der Iterationsfunktion f(x) := x g(x)/g (x). Sei g (x ) 0: Dann ist x Nullstelle von g x ist Fixpunkt von f. f (x) = 1 g (x)g (x) g(x)g (x) g (x) 2 = g(x)g (x) g (x) 2 f (x ) = 0. Für einfache Nullstellen konvergiert das Newton-Verfahren lokal (mindestens) quadratisch, d.h. mit der Ordnung p = Konvergenzordnung Technische Universität Bergakademie Freiberg

15 Numerische Mathematik Nullstellen reellwertiger Funktionen Gesucht sind Nullstellen einer (zumindest) stetigen Funktion g : [a, b] R. Gilt g(a)g(b) < 0, dann besitzt g in (a, b) (mindestens) eine Nullstelle (Zwischenwertsatz). Wir beschreiben und vergleichen drei Verfahren zur näherungsweisen Berechnung einer Nullstelle von g: das Intervallhalbierungsverfahren, das Newton-Verfahren, das Sekantenverfahren. 8.3 Nullstellen reellwertiger Funktionen Technische Universität Bergakademie Freiberg

16 Numerische Mathematik 393 Intervallhalbierungsverfahren: Setze a_0 = a und b_0 = b m = 0 while b_m-a_m > tol x =.5*(a_m+b_m) m = m+1 if g(x)*g(a_{m-1}) < 0 a_m = a_{m-1} b_m = x else a_m = x b_m = b_{m-1} end if end while 8.3 Nullstellen reellwertiger Funktionen Technische Universität Bergakademie Freiberg

17 Numerische Mathematik 394 Das Intervallhalbierungsverfahren konvergiert linear mit dem Konvergenzfaktor 1/2. Pro Iterationsschritt ist eine Funktionsauswertung erforderlich. Ist g differenzierbar, so können wir das Newton-Verfahren einsetzen (vgl. Kapitel 1.2): x m+1 = x m g(x m) g (x m ) (m = 0, 1, 2,...). Wir wissen bereits, dass es bei einfachen Nullstellen lokal quadratisch konvergiert. Der Rechenaufwand beträgt i.w. zwei Funktionsauswertungen pro Schritt (insbesondere die Auswertung der Ableitung ist in der Praxis problematisch, da g nur in Ausnahmefällen explizit bekannt ist). 8.3 Nullstellen reellwertiger Funktionen Technische Universität Bergakademie Freiberg

18 Numerische Mathematik 395 Ersetzt man im Newton-Verfahren die Tangentensteigung g (x m ) durch die Sekantensteigung g(x m) g(x m 1 ) x m x m 1, so erhält man das Sekantenverfahren x m+1 = x m x m x m 1 g(x m ) g(x m 1 ) g(x m) = x m 1g(x m ) x m g(x m 1 ) g(x m ) g(x m 1 ) (m = 0, 1, 2,...). Hier sind zwei Startwerte erforderlich. Ist g C 2 [a, b] und besitzt g eine einfache Nullstelle ζ [a, b], so konvergiert das Sekantenverfahren lokal gegen ζ mit der Konvergenzordnung (1 + 5)/2 = Jeder Iterationsschritt erfordert eine Funktionsauswertung. Beispiel. g(x) = x exp( x/2) besitzt wegen g(0.6) = und g(0.8) = eine Nullstelle in [0.6, 0.8]. 8.3 Nullstellen reellwertiger Funktionen Technische Universität Bergakademie Freiberg

19 Numerische Mathematik 396 Intervallhalbierungsverfahren: m a m b m e e e e e e e e e e e e Nullstellen reellwertiger Funktionen Technische Universität Bergakademie Freiberg

20 Numerische Mathematik 397 Erwartungsgemäß konvergieren Sekantenverfahren (Startwerte x 0 = 0.6, x 1 = 0.8) und Newton-Verfahren (Startwert x 0 = 0.6) wesentlich schneller. Wir tabellieren die resultierenden Fehler: m Sekantenverfahren Newton-Verfahren e e e e e e e-006 < eps = e e < eps = e Nullstellen reellwertiger Funktionen Technische Universität Bergakademie Freiberg

21 Numerische Mathematik Das Newton-Verfahren im R n Gesucht: Nullstelle x einer stetig differenzierbaren Funktion f : R n D R n, d.h. f(x ) = 0. Iterationsvorschrift: x m+1 = x m [f (x m )] 1 f(x m ) (m = 0, 1, 2,...) mit der Funktionalmatrix f (x ) = [ f i / (x j )(x )] 1 i,j n. Praxis. Die Inverse von f (x m ) wird nicht berechnet, sondern: a. löse das n n lineare Gleichungssystem f (x m )h = f(x m ), b. setze x m+1 = x m + h. 8.4 Das Newton-Verfahren im R n Technische Universität Bergakademie Freiberg

22 Numerische Mathematik 399 Beispiel 2 (vgl. Beispiel 1). Um die Lösung x R n von [ ] ([ ]) [ x1 x1 0.7 sin x cos x 2 = f := x 2 x cos x sin x 2 ] mit dem Newton-Verfahren berechnen zu können, müssen wir das Problem zuerst in Nullstellenform formulieren. x ist Nullstelle von etwa g(x ) = x f(x ), [ ] [ ] g : R 2 R 2 x1 x1 0.7 sin x cos x 2,. x 2 x cos x sin x 2 Es gilt: g (x ) = g ([ x1 x 2 ]) = [ cos x1 0.2 sin x sin x cos x 2 ]. 8.4 Das Newton-Verfahren im R n Technische Universität Bergakademie Freiberg

23 Numerische Mathematik 400 Folglich [g (x )] 1 = [ g ([ x1 x 2 ])] 1 = 1 D [ cos x2 0.2 sin x sin x cos x 1 ] mit der Funktionaldeterminanten D = det g (x ) = (1 0.7 cos x 1 )( cos x 2 ) 0.14 sin x 1 sin x 2 (beachte D = 0.1 > 0 x R 2, so dass g (x ) für jedes x R 2 invertierbar ist). 8.4 Das Newton-Verfahren im R n Technische Universität Bergakademie Freiberg

24 Numerische Mathematik 401 Iterationsvorschrift in unserem Beispiel: [ ] [ ] (m+1) (m) x 1 x 1 x (m+1) = 2 x (m) 2 1 D [ (m) cos x sin x (m) sin x (m) cos x (m) 1 ][ (m) x sin x (m) cos x (m) 2 x (m) cos x (m) sin x (m) 2 ] (wir weisen noch einmal darauf hin, dass die Invertierung von g (x m ) nur im Ein- oder Zweidimensionalen durchgeführt werden kann i.a. wird man, wie oben beschrieben, ein lineares Gleichungssystem mit der Matrix g (x m ) lösen). 8.4 Das Newton-Verfahren im R n Technische Universität Bergakademie Freiberg

25 Numerische Mathematik 402 Die numerische Rechnung liefert: m x (m) 1 x (m) 2 x x m e e e e e < eps = e-16 (vgl. die Konvergenzgeschwindigkeit der gewöhnlichen Fixpunktiteration). 8.4 Das Newton-Verfahren im R n Technische Universität Bergakademie Freiberg

26 Numerische Mathematik Konvergenz des Newton-Verfahrens Lemma 8.3 Die Funktion f : D R n R n sei stetig differenzierbar und genüge in der konvexen Menge D der Bedingung f (u) f (v) γ u v für beliebige u, v D, d.h. f sei Lipschitz-stetig in D. Dann gilt für x, y D f(y) f(x ) f (x )(y x ) 1 2 γ x y 2. Lemma 8.4 Die Funktion f : D R n R n sei differenzierbar an der Stelle x D mit f(x ) = 0. Sei ferner die matrixwertige Funktion A : D R n n stetig in x und die Matrix A(x ) invertierbar. Dann ist die Funktion g : D R n, x x A(x ) 1 f(x ) in einer Umgebung von x wohldefiniert und differenzierbar in x mit g (x ) = I A(x ) 1 f (x ). 8.5 Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

27 Numerische Mathematik 404 Satz 8.5 (Lokale Konvergenz des Newton-Verfahrens) Die Funktion f : D R n R n besitze die Nullstelle x, sei stetig differenzierbar an der Stelle x und f (x ) sei invertierbar. Dann ist x anziehender Fixpunkt der Newton-Iteration x m+1 = x m f (x m ) 1 f(x m ) m = 0, 1,..., und es gilt lim m x m+1 x x m x Falls in einer Umgebung U(x ) von x gilt = 0. (8.2) f (x ) f (x ) α x x x U(x ), (8.3) dann existieren C > 0 und m 0 N mit x m+1 x C x m x 2 für m m Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

28 Numerische Mathematik 405 Satz 8.6 (Newton-Kantorovich) Es sei f : D R n R n differenzierbar in D R n, D konvex; für x, y D gelte Es gebe ein x 0 D mit f (x ) f (y) γ x y. β := f (x 0 ) 1, η := f (x 0 ) 1 f(x 0 ) sodass α := βγη < 1 2 ist. Ferner sei S := {x Rn : x x 0 t } D mit t = (1 1 2α)/(βγ). Dann gilt: mit dem in den Voraussetzungen genannten x 0 sind die Iterierten des Newton-Verfahrens x m+1 = x m f (x m ) 1 f(x m ), m = 1, 2,..., wohldefiniert und konvergieren gegen eine Lösung x D von f(x ) = 0. Es gilt die Fehlerabschätzung x x 1 2βγ x 1 x Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

29 Numerische Mathematik 406 Bemerkungen: 1. Der Satz von Newton-Kantorovich liefert eine quantitative Charakterisierung der lokal quadratischen Konvergenz des Newton-Verfahrens im R n. 2. Neben der lokal quadratischen Konvergenz sichert er auch die Existenz einer Nullstelle in einer t -Kugel um x. 3. Die (recht starken) Voraussetzungen sind in der Praxis selten zu verifizieren. Es kommt letztlich immer darauf an, einen hinreichend guten Startwert x 0 zu wählen. 8.5 Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

30 Numerische Mathematik 407 Einfache (eindimensionale) Beispiele zeigen, dass das Newton-Verfahren nur in Ausnahmefällen global konvergiert. Unter speziellen Voraussetzungen kann globale Konvergenz gesichert werden. Definition. Eine Menge D R n heißt konvex, wenn sie mit zwei Punkten x, y auch deren Verbindungsstrecke enthält: x, y D αx + (1 α)y D α [0, 1]. Die Abbildung f : R n D R n, D konvex, heißt konvex in D, wenn f(αx + (1 α)y) αf(x ) + (1 α)f(y) für alle x, y D und alle α [0, 1] gilt. Die Relation ist hier komponentenweise zu verstehen. Interpretation im Eindimensionalen: Der Graph von f liegt unterhalb aller Sekanten. 8.5 Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

31 Numerische Mathematik 408 Lemma 8.7 Ist f stetig differenzierbar in der konvexen Menge D, so ist f genau dann konvex, wenn für alle x, y D gilt. f(y) f(x ) f (x )(y x ) (8.4) Interpretation im Eindimensionalen: Der Graph von f liegt oberhalb aller Tangenten Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

32 Numerische Mathematik 409 Satz 8.8 (Newton-Baluev) Es sei f : R n R n stetig differenzierbar und konvex. f (x ) sei invertierbar mit [f (x )] 1 O (komponentenweise) für alle x R n. Außerdem besitze f(x ) = 0 eine Lösung x. Dann gilt: (a) x ist die einzige Lösung von f(x ) = 0. (b) Die Newton-Folge x m+1 = x m f (x m ) 1 f(x m ), m = 0, 1,... konvergiert für beliebiges x 0 R n gegen x (globale Konvergenz!), (c) Es gilt (komponentenweise monotone Konvergenz) x x m+1 x m für m = 1, 2, Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

33 Numerische Mathematik D: x x 0 x x 1 x 1 0 x 8.5 Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

34 Numerische Mathematik 411 Bemerkung. Genügt f zusätzlich der Monotoniebedingung f (x ) f (y) falls x y, so lässt sich eine Einschließung von x konstruieren: Neben der Newton-Folge wird noch die Folge x m+1 := x m f (x m ) 1 f( x m ) (m = 1, 2,... ) (Funktionalmatrix an der Stelle x m, nicht an der Stelle x m!) berechnet. Ist x 1 D so gewählt, dass f( x 1 ) 0 gilt, so folgt x m x m+1 x x m+1 x m (m = 1, 2,...) und lim x m = lim x m = x. m m 8.5 Konvergenz des Newton-Verfahrens Technische Universität Bergakademie Freiberg

35 Numerische Mathematik Modifikationen des Newton-Verfahrens Problem beim Newton-Verfahren: Nur lokale Konvergenz. Idee des gedämpften Newton-Verfahrens: Iteriere gemäß x m+1 = x m α m f (x m ) 1 f(x m ) (m = 0, 1, 2,...), dabei ist α m (0, 1] ein Dämpfungsfaktor, der so gewählt wird, dass f(x 0 ) f(x 1 ) f(x 2 ) erfüllt ist. 8.6 Modifikationen des Newton-Verfahrens Technische Universität Bergakademie Freiberg

36 Numerische Mathematik 413 Programmentwurf: m = 0 while norm(f(x_m)) > tol Loese f (x_m)* h = -f(x_m) alpha = 1 x = x_m + alpha*h while norm(f(x)) > (1-0.25*alpha)*norm(f(x_m)) alpha = 0.5*alpha if alpha < 2^(-10), break, end if x = x + alpha*h end while m = m+1 x_m = x end while 8.6 Modifikationen des Newton-Verfahrens Technische Universität Bergakademie Freiberg

37 Numerische Mathematik 414 Problem beim Newton-Verfahren: Berechnung von f (x m ) teuer. Idee der Quasi-Newton-Verfahren: Iteriere gemäß x m+1 = x m A 1 m f(x m ) (m = 0, 1, 2,...), (8.5) dabei ist A m eine Näherung an f (x m ), die der Quasi-Newton-Bedingung genügt. Populär ist der Ansatz A m (x m x m 1 ) = f(x m ) f(x m 1 ) (8.6) A m = A m 1 + u m v T m (Rang-Eins-Verfahren), weil sich A 1 m dann leicht aus A 1 m 1 berechnen lässt: 8.6 Modifikationen des Newton-Verfahrens Technische Universität Bergakademie Freiberg

38 Numerische Mathematik 415 Beim Broyden-Verfahren wird neben (A m A m 1 )(x m x m 1 ) = f(x m ) f(x m 1 ) A m 1 (x m x m 1 ) (folgt aus der Quasi-Newton-Bedingung) noch (A m A m 1 )h = 0 für alle h x m x m 1 gefordert. Damit ist A m eindeutig bestimmt. Es ergibt sich mit A m = A m 1 + u m v T m v m := x m x m 1, u m := (f(x m) f(x m 1 ) Av m )v T m v T mv m. Die Berechnung der nächsten Iterierten x m+1 nach (8.5) erfordert zunächst O(n 3 ) Operationen. Durch Aufdatieren der Inversen kann man den Aufwand auf O(n 2 ) reduzieren: 8.6 Modifikationen des Newton-Verfahrens Technische Universität Bergakademie Freiberg

39 Numerische Mathematik 416 Satz 8.9 (Sherman-Morrison-Formel) Sind u, v R n und A R n n invertierbar. Dann ist A + uv T genau dann invertierbar, wenn 1 + v T A 1 u 0 gilt. In diesem Fall ist ( A + uv T ) 1 = A 1 A 1 uv T A v T A 1 u. Satz 8.10 Die Abbildung f : R n D R n besitze eine Nullstelle x D. f sei differenzierbar in einer Umgebung U von x und f sei in U Lipschitz-stetig. Außerdem sei f (x ) invertierbar. Dann gibt es positive Konstanten δ und ρ mit den folgenden Eigenschaften: Für alle Startwerte x 0 mit x 0 x δ und alle Näherungen A 0 (für f (x 0 )) mit A 0 f (x 0 ) ρ konvergiert das Broyden-Verfahren superlinear gegen x. 8.6 Modifikationen des Newton-Verfahrens Technische Universität Bergakademie Freiberg

40 Numerische Mathematik Nichtlineare Ausgleichsprobleme Gegeben sind f : R n D R m (m n) mit den Komponenten f 1,..., f m : D R und y R m. Gesucht ist ein Vektor x R n mit y f(x ) 2 = min x D y f(x ) 2 (8.7) In Kapitel 5 wurde der lineare Spezialfall dieses Problems behandelt, in dem f(x ) = Ax, A R m n. 8.7 Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

41 Numerische Mathematik 418 Beispiel. n Parameter einer Modellfunktion ϕ sollen an m Messwerte angepasst werden. Etwa: ϕ(t) = ϕ(t; x 1, x 2, x 3 ) = x 1 exp( x 2 t) + x 3. Als Daten seien folgende fünf Messungen gegeben: j t j y j Hier ist also: f = f 1. f 5 : R3 R 5, f j (x 1, x 2, x 3 ) = x 1 exp( x 2 t j )+x 3, j = 1,..., Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

42 Numerische Mathematik 419 Setzt man F : R n D R, x f(x ) y 2 2, so ist 1 2 F (x ) = f (x ) T [f(x ) y] = 0 eine notwendige Bedingung für die Lösung x von (8.7) (falls f C 1 (D)). Man könnte dieses Gleichungssystem mit dem Newton-Verfahren attackieren. Dies ist i.a. zu kompliziert (um F zu bestimmen, benötigt man f ) und man linearisiert (8.7) direkt. Ausgangspunkt ist die Taylorreihe von f (f C 2 (D)) f(x ) = f(x 0 ) + f (x 0 )[x x 0 ] + o( x x 0 ). 8.7 Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

43 Numerische Mathematik 420 Ist x 0 eine gute Näherung von x, so erwartet man, dass die Lösung x 1 von ( ) min y f(x 0) f (x 0 )[x x 0 ] 2 min y f(x ) x R n x R n 2 (8.8) eine bessere Approximation an x ist. (8.8) ist ein lineares Ausgleichsproblem, kann also mit den Methoden aus Kapitel 5 gelöst werden. Gauß-Newton-Verfahren: Waehle x_0. for k = 0,1,2,...: Berechne A = f (x_k) und b = y - f(x_k), bestimme die Loesung h_k des linearen Ausgleichsproblems \ b - A h_k \ _2 = min, setze x_{k+1} = x_k + h_k. end for 8.7 Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

44 Numerische Mathematik 421 In der Praxis muss dieses Verfahren gedämpft werden (x k+1 = x k + αh k, vgl. Abschnitt 8.6). Die folgende Tabelle zeigt für unser Beispiel das Residuum y f(x k ) 2 der Iterierten x k des Gauß-Newton-Verfahrens mit und ohne Dämpfung (x 0 = 0, in Klammern: Dämpfungsfaktoren): k ohne Dämpfung mit Dämpfung [1.0] [1.0] [0.5] [1.0] [1.0] !! [1.0] 8.7 Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

45 Numerische Mathematik 422 Satz 8.11 Sei h = x x 0 die Lösung des linearen Ausgleichsproblems (8.8), f (x 0 ) besitze vollen Rang und y f(x 0 ) 0. Dann existiert α > 0 so dass die Funktion ϕ(α) = y f(x 0 + αh) 2 2 für alle α [0, α] streng monoton fällt. Insbesondere gilt ϕ(α) = y f(x 0 + αh) 2 2 < ϕ(0) = y f(x 0 ) 2 2. Die Gauß-Newton-Korrektur h ist also eine Abstiegsrichtung. Ein geeignet gedämpftes Gauß-Newton-Verfahren führt somit immer zu einer monoton abnehmenden Residualnorm der Iterierten. 8.7 Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

46 Numerische Mathematik 423 Das Levenberg-Marquardt-Verfahren wählt bei gegebenem λ k > 0 die Korrekturrichtung h k für x k als die Lösung von [y f(x k )] f (x k )h k λ 2 k h k 2 2 min h k R n. (8.9) Die Idee ist, λ k klein zu wählen, wenn x k weit von einer Lösung entfernt ist und λ k groß zu wählen, wenn x k eine gute Näherung für die Lösung ist. Eine äquivalente Formulierung von (8.9) ist [ ] [ ] y f(xk ) f (x k ) 2 h k 0 λ k I n 2 min h k R n. Es handelt sich also um ein lineares Ausgleichsproblem der Dimension (m + n) n, dessen Koeffizientenmatrix stets vollen Rang n besitzt. Die sehr spezielle Struktur dieses Kleinsten-Quadrate-Problems muss bei der Rechnung ausgenutzt werden. Auch die Korrektur h k des Marquardt-Verfahrens ist eine Abstiegsrichtung. 8.7 Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

47 Numerische Mathematik 424 Marquardt-Verfahren: Waehle x_0 und lambda_0 > 0. for k = 0,1,2,...: Berechne A = f (x_k) und b = y - f(x_k), bestimme die Loesung h_k des linearen Ausgleichsproblems \ b - A h_k \ ^2 + lambda_k^2 \ h_k \ ^2 = min, setze x_{test} = x_k + h_k. while \ y - f(x_{test}) \ >= \ y - f(x_k) \ Setze lambda_k = 2 lambda_k und loese \ b - A h_k \ ^2 + lambda_k^2 \ h_k \ ^2 = min, setze x_{test} = x_k + h_k. end while Setze x_{k+1} = x_{test} und lambda_{k+1} = 0.5 lambda_k. end for 8.7 Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

48 Numerische Mathematik 425 In unserem Beispiel ist das Marquardt-Verfahren etwa so schnell wie das gedämpfte Gauß-Newton-Verfahren (r k := y f(x k ), x 0 = 0, λ 0 = 1): k r k λ k 1 1/2 1/4 1/8 1/16 1/32 1/ x 1 = x 2 = x 3 = Nichtlineare Ausgleichsprobleme Technische Universität Bergakademie Freiberg

49 Numerische Mathematik Klassische Iterationsverfahren für lineare Systeme Zu lösen: Ax = b, A R n n invertierbar, aber n so groß, dass Gauß-Elimination nicht durchführbar ist. Mit einer Zerlegung von A, A = M N (M, N R n n, M invertierbar), lässt sich das LGS äquivalent als Fixpunktaufgabe schreiben: Mx = Nx + b oder x = M 1 Nx + M 1 b. Zugehörige Fixpunktiteration Mx m+1 = Nx m + b oder x m+1 = M 1 Nx m + M 1 b (m = 0, 1, 2...). 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

50 Numerische Mathematik 427 Bezeichnungen: e m = A 1 b x m (Fehler), r m = b Ax m (Residuum), r m = M 1 (b Ax m ) (Pseudo-Residuum). Mit T = M 1 N (Iterationsmatrix) folgt e m = T e m 1 = = T m e 0 und r m = T r m 1 = = T m r Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

51 Numerische Mathematik 428 Satz 8.12 Das Iterationsverfahren x m+1 = M 1 Nx m + M 1 b (m = 0, 1, 2,...) (8.10) konvergiert genau dann für jeden Startvektor x 0 R n gegen A 1 b, wenn es eine Matrixnorm M gibt mit T M = M 1 N M < 1. Korollar 8.13 Das Iterationsverfahren (8.10) konvergiert genau dann für jeden Startvektor x 0 R n, wenn ρ(t ) < 1. Eine Matrix T mit ρ(t ) < 1 heißt konvergente Matrix. 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

52 Numerische Mathematik 429 Es gilt: M wird i.a. nicht invertiert: x m+1 = M 1 Nx m + M 1 b = x m + M 1 r m m = 0 r_0 = b - A*x_0 while norm(r_m) > tol*norm(b) m = m+1 Loese M*h = r_{m-1} x_m = x_{m-1}+h r_m = b-a*x_m end while Lineare Gleichungssysteme mit Koeffizientenmatrix M müssen sehr viel kostengünstiger zu lösen sein als solche mit A! 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

53 Numerische Mathematik 430 Die Wahl M = diag(a) führt zum Jacobi- oder Gesamtschrittverfahren: x (m) j = 1 b j a j,k x (m 1) k (1 j n, m > 0). a j,j k j Die Wahl M = tril(a) führt zum Gauß-Seidel- oder Einzelschrittverfahren: x (m) j = 1 b j a j,k x (m) k a j,k x (m 1) k (1 j n, m > 0). a j,j k<j k>j Unterschied: Beim Jacobi-Verfahren wird x m ausschließlich aus Komponenten von x m 1 berechnet. Beim Gauß-Seidel-Verfahren werden zur Berechnung von x (m) j alle verfügbaren Komponenten von x m, d.h. x (m) k für k < j, verwendet. 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

54 Numerische Mathematik 431 Definition. Eine Matrix A R n n heißt streng diagonaldominant, falls a j,k < a j,j j = 1, 2,..., n. k j Satz 8.14 Ist A streng diagonaldominant, so konvergieren sowohl das Jacobi-Verfahren als auch das Gauß-Seidel Verfahren für jeden Startvektor. Dieses Kriterium nennt man auch starkes Zeilensummenkriterium. Analog kann man ein starkes Saltensummenkriterium herleiten. 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

55 Numerische Mathematik 432 Definition. A = M N, A, M, N R n n heißt reguläre Zerlegung von A falls M 1 O und N O. (Die Ungleichungen sind wieder komponentenweise zu verstehen.) Insbesondere gilt für reguläre Zerlegungen T = M 1 N O. Satz 8.15 Ist A R n n nichtsingulär, gilt A 1 O und ist A = M N eine reguläre Zerlegung, so gilt ρ(m 1 N) < 1. Definition. Eine Matrix A = [a i,j ] R n n heißt M-Matrix, falls A 1 O und a i,j 0 falls i j. Korollar 8.16 Ist A eine M-Matrix, so konvergieren Jacobi- und Gauß-Seidel Verfahren für jeden Startvektor. 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

56 Numerische Mathematik 433 Zur Illustration lösen wir das lineare Gleichungssysteme Ax = b, das bei der Diskretisierung der Wärmeleitungsgleichung (implizites Euler-Verfahren, vgl. Kapitel 1.3) entsteht, durch Gesamt- und Einzelschrittverfahren. Bis auf einen skalaren Vorfaktor ist A =.... R n n Hier muss allerdings bemerkt werden, dass man dieses System in der Praxis durch Gauß-Elimination (Cholesky-Zerlegung) sehr viel effizienter lösen würde. 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

57 Numerische Mathematik Jacobi 10 1 Gauss Seidel Hier: n = 20. Die Konvergenz ist in beiden Fällen linear mit den Konvergenzfaktoren (Jacobi) bzw (Gauß-Seidel). Vergrößert man n, so konvergieren beide Verfahren (noch) langsamer. 8.8 Klassische Iterationsverfahren für lineare Systeme Technische Universität Bergakademie Freiberg

58 Numerische Mathematik Gradientenverfahren In diesem Abschnitt sei A R n n stets symmetrisch und positiv definit, b R n beliebig und (, ) das Euklidsche Innenprodukt in R n. Grundlegendes Resultat: Unter dieser Voraussetzung löst x R n das lineare Gleichungssystem Ax = b genau dann, wenn x die Funktion φ : R n R, x φ(x ) := 1 2 (Ax, x ) (b, x ) minimiert, d.h. wenn gilt. φ(x ) = min x R n φ(x ) 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

59 Numerische Mathematik 436 Dies folgt unmittelbar aus den Identitäten φ(x ) = 1 2 x x 2 A + φ(x ) = 1 2( b Ax 2 A 1 b 2 A 1 ). Hierbei sind A bzw. A 1 die zu den Innenprodukten (x, y) A := y T Ax bzw. (x, y) A 1 := y T A 1 x, x, y R n, gehörenden Normen auf R n. ( A-Norm und A 1 -Norm ). Fazit: Das Lösen des linearen Gleichungssystems Ax = b mit symmetrisch positiv definiter Koeffizientenmatrix A ist äquivalent mit der Minimierung des quadratischen Funktionals φ(x ) = 1 2 (Ax, x ) (b, x ). Daher können auch Minimierungsverfahren zur Lösung eingesetzt werden. 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

60 Numerische Mathematik 437 Graph und Niveaulinien der Funktion φ (für n = 2): 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

61 Numerische Mathematik 438 Eindimensionale Minimierung Gegeben: x : Näherung an x, zugehöriges Residuum r = b Ax, p : Suchrichtung, Gesucht: min{φ(x + αp) : α R} Es ist φ(x + αp) = 1 2( A(x + αp), x + αp ) (b, x + αp) Da A spd wird das Minimum erzielt für α = (b Ax, p) (Ap, p) = führt. Notwendig ist somit p r. = φ(x ) α(b Ax, p) + α2 2 (Ap, p) (r, p) (Ap, p), was auf φ(x + αp) = φ(x ) 1 2 (r, p) 2 (Ap, p) 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

62 Numerische Mathematik 439 Stategie: Ist x m 1 eine Näherung für x, so bestimmt man eine Suchrichtung p m R n \ {0 } und minimiert φ entlang der Geraden {x m 1 + αp m : α R}. Dies führt auf die nächste Approximation x m = x m 1 + (r m 1, p m ) (Ap m, p m ) p m (ersetze die n-dimensionale Minimierungsaufgabe φ(x ) = min x R n Folge eindimensionaler Probleme φ(x m 1 + αp m ) = min α R ). durch eine Wahl der Suchrichtung: Naheliegend ist die (lokal optimale) Richtung des steilsten Abstiegs von φ, also die des (negativen) Gradienten φ(x ) = ( 1 2 (Ax, x ) (b, x )) = b Ax = r. Dies führt auf α m = (r m 1, r m 1 )/(Ar m 1, r m 1 ) und zum Verfahren des steilsten Abstiegs. 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

63 Numerische Mathematik 440 Verfahren des steilsten Abstiegs m := 0, x 0 gegeben, r 0 := b Ax 0 while r k 0 do m := m + 1 α m := (r m 1, r m 1 )/(Ar m 1, r m 1 ) x m := x m 1 + α m r m 1 r m := b Ax m Beachte: Wegen b Ax m = b A(x m 1 + α m r m 1 ) = r m 1 α m Ar m 1 ist nur ein Matrix-Vektorprodukt zu berechnen. 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

64 Numerische Mathematik 441 Satz 8.17 Das Verfahren des steilsten Abstiegs zur Lösung von Ax = b ist global linear konvergent. Bemerkung: Eine schärfere Abschätzung als im Beweis von Satz 8.17 liefert die Kantorovich-Ungleichung (x, x ) 2 (Ax, x )(A 1 x, x ) was zur linearen Konvergenzrate κ 1 κ + 1 < 1 1 κ, des Verfahrens des steilsten Abstiegs führt. 4λ max(a)λ min (A) (λ max (A) + λ min (A)) 2, x Rn, κ = cond 2(A) Es zeigt sich allerdings, dass diese (lokal optimale) Wahl der Suchrichtung i.a. zu einem sehr langsam konvergenten Verfahren führt. 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

65 Numerische Mathematik 442 Konvergenz beim Verfahren des steilsten Abstiegs: Beispiel: A = [ 1 0 ] 0 ε, b = [ 1 ] 1, κ = 1 ε, 1 1 κ = 1 ε. 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

66 Numerische Mathematik 443 Allgemeinere Suchrichtungen Idee: Wähle m linear unabhängige Suchrichtungen p 1,..., p m so, dass die m-te Iterierte die Funktion φ minimiert über { x = x0 + p : p span{p 1,..., p m } }. Folge: Minimum nach spätestens n Schritten gefunden, da dann span{p 1,..., p n } = R n. Frage: Ist es möglich, eine globale Minimierung durch eine Folge lokaler Minimierungen zu realisieren? 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

67 Numerische Mathematik 444 A-konjugierte Suchrichtungen Ist P m = [p 1,..., p m ] R n m die Matrix der ersten m Suchrichtungen, so ist x x 0 + span{p 1,..., p m } äquivalent mit Dann gilt x = x 0 + P m 1 y + αp m, y R m 1, α R. φ(x ) = φ(x 0 + P m 1 y) + α (Ap m, P m 1 y) + α2 }{{} 2 (Ap m, p m ) α(r 0, p m ) ( ) Ohne den gemischten Term ( ) würde die globale Minimierung zerfallen in (i) Minimierung über x 0 + span{p 1,..., p m 1 } und (ii) Minimierung längs der Geraden {x m 1 + αp m : α R}. 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

68 Numerische Mathematik 445 Wir fordern also (Ap m, P m 1 y) = 0 y R m 1, (Ap m, p) = 0 p span{p 1,..., p m 1 } d.h. p m ist A-orthogonal ( A-konjugiert ) zu span{p 1,..., p m 1 }. Gilt dann (i) φ(x m 1 ) = min{φ(x 0 + P m 1 y) : y R m 1 } und (ii) α m = (r 0, p m )/(Ap m, p m ), so ist die Lösung von min y R m 1 α R φ(x 0 + P m 1 y + αp m ) ( ) α 2 = min φ(x 0 + P m 1 y) + min y R m 1 α R 2 (Ap m, p m ) α(r 0, p m ) 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

69 Numerische Mathematik 446 gegeben durch P m 1 y = x m 1, α = α m. Beachte: Wegen x m 1 x 0 + span{p 1,..., p m 1 } ist r m 1 = b Ax m 1 r 0 + Aspan{p 1,..., p m 1 } und damit (r 0, p m ) = (r m 1, p m ). Demzufolge gilt auch α m = (r m 1, p m )/(Ap m, p m ). Bisherige Forderungen an p m : (i) p m A-konjugiert zu span{p 1,..., p m 1 }, (ii) p m r m 1. Noch offen: Existenz eines solchen p m in jedem Schritt. Man kann zeigen: ein solches p m liegt in span{r m 1, p m 1 }. 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

70 Numerische Mathematik 447 Das Verfahren der konjugierten Gradienten [Hestenes & Stiefel, 1952]: m := 0 r 0 := b Ax 0 while r m > tol b do m := m + 1 if m = 1 then p 1 := r 0 else β m := (r m 1, r m 1 )/(r m 2, r m 2 ) p m := r m 1 + β m p m 1 α m := (r m 1, r m 1 )/(Ap m, p m ) x m := x m 1 + α m p m r m := r m 1 α m Ap m Aufwand pro Schritt: 1 Matrix-Vektor-Multiplikation, 2 Innenprodukte, 3 Vektor-Aufdatierungen (saxpys). 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

71 Numerische Mathematik 448 Satz 8.18 Für die Iterierten des cg Verfahrens gilt die Fehlerabschätzung x ( ) m x m A κ 1 x 2. x 0 A κ + 1 Dabei ist κ = cond 2 (A) = λ max (A)/λ min (A) die Konditionszahl von A bez. der Euklid-Norm. In der Praxis wird das cg-verfahren häufig auf das vorkonditionierte Gleichungssystem L 1 AL T y = L 1 b mit y = L T x angewandt. Dabei ist L eine invertierbare untere Dreiecksmatrix mit (im Idealfall) cond 2 (L 1 AL T ) = cond 2 ((LL T ) 1 A) cond 2 (A). 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg

72 Numerische Mathematik 449 Abschließend illustrieren wir beide Gradientenverfahren am Testbeispiel Ax = b mit A = tridiag( 1, 2, 1) R : steilster Abstieg konjugierte Gradienten (Bei exakter Rechnung liefert das cg-verfahren nach n = dim(a) Schritten immer die exakte Lösung.) 8.9 Gradientenverfahren Technische Universität Bergakademie Freiberg