5 Numerische Iterationsverfahren

In diesem Kapitel besprechen wir numerische Iterationsverfahren (insbesondere Fixpunktverfahren) als eine weitere Lösungsmethode zur Lösung von linearen Gleichungssystemen (Kapitel 4) sowie zur Lösung von nicht-linearen Gleichungen (siehe Kapitel 2). Das zentrale Hilfsmittel ist der Banachsche Fixpunktsatz, der als Voraussetzung eine Fixpunktformulierung der Aufgabenstellung verlangt. Alle Resultate dieses Kapitels werden direkt für den höherdimensionalen Fall hergeleitet. 5.1 Der Banachsche Fixpunktsatz In dem ganzen Kapitel betrachten wir Iterationen der Art x R n, x k+1 = g(x k ), k =, 1, 2,..., mit einer Abbildung g( ) : R n R n. Ein Punkt x R n heißt Fixpunkt, falls g(x) = x. Beispiel 5.1 (Newton-Verfahren als Fixpunktiteration). Zur Lösung eines nicht-linearen Gleichungssystems im R n sei oder in kurzer Schreibweise: f i (x 1,..., x n ) =, i = 1,..., n, f(x) = mit f = (f 1,..., f n ) T und (x 1,..., x n ) T. Dann lässt sich das vereinfachte Newton-Verfahren schreiben als x k+1 = x k + C 1 f(x k ), k =, 1, 2,... mit einer Matrix C R n n. Das Standard Verfahren von Newton verlangt die erste Ableitung, so dass C := f (x k ) R n n. Die Berechnung der höherdimensionalen Ableitung zeigen wir später. Im Folgenden sei eine beliebige Vektornorm aufr n und die entsprechende natürliche Matrizennorm. Die ausführliche Diskussion der entsprechenden Eigenschaften findet der aufmerksame Leser in Kapitel 4. Zunächst rekapitulieren wir die bereits aus der Analysis bekannte Lipschitz-Stetigkeit einer Funktion: 187

Definition 5.2 (Lipschitz-Stetigkeit, Kontraktion). Es sei G R n eine nichtleere abgeschlossene Menge. Eine Abbildung g : G R n wird Lipschitz-stetig genannt, falls g(x) g(y) q x y, x, y G, mit q >. Falls < q < 1, so nennt man g eine Kontraktion auf G. Zur Rekapitulation: Bemerkung 5.3. Differenzierbarkeit absolute Stetigkeit Lipschitz-Stetigkeit gleichmäßige Stetigkeit Stetigkeit. Zum Beispiel ist die Wurzelfunktion f(x) = x auf [, 1] zwar gleichmäßig stetig aber nicht Lipschitz-stetig. Der Banachsche Fixpunktsatz besagt nun, dass jede Selbstabbildung g : G G, welche eine Kontraktion ist, einen Fixpunkt besitzt: Satz 5.4 (Banach scher Fixpunktsatz). Es sei G R n eine nichtleere und abgeschlossene Punktmenge und g : G G eine Lipschitz-stetige Selbstabbildung, mit Lipschitz-Konstante q < 1 (also eine Kontraktion). Dann existiert genau ein Fixpunkt z G von g und die Iterationsfolge (x k ) k konvergiert für jeden Startpunkt x G, so dass x k z für k. Es gilt die a priori Abschätzung: x k z Es gilt die a posteriori Abschätzung: x k z qk 1 q x1 x. q 1 q xk x k 1. Beweis: (i) Existenz eines Grenzwertes. Da g eine Selbstabbildung in G ist, sind alle Iterierten x k = g(x k 1 ) =... = g k (x ) bei Wahl eines beliebigen Startpunkts x G definiert. Aufgrund der Kontraktionseigenschaft gilt: x k+1 x k = g(x k ) g(x k 1 ) q x k x k 1... q k x 1 x. 188

5.1 Der Banachsche Fixpunktsatz Wir zeigen, dass (x k ) k eine Cauchy-Folge ist. Für jedes l m erhalten wir: x l x m x l x l 1 +... + x m+1 x m (q l 1 + q l 2 +... + q m ) x 1 x = q m 1 ql m x 1 x 1 q q m 1 1 q x1 x (l m ). (5.1) D.h., (x l ) l N ist eine Cauchy-Folge. Da alle Folgenglieder in G liegen und G als abgeschlossene Teilmenge des R n vollständig ist, existiert der Grenzwert x l z G. (ii) Fixpunkteigenschaft. Als zweites weisen wir nach, dass z tatsächlich ein Fixpunkt von g ist. Aus der Stetigkeit von g folgt mit x k z auch g(x k ) g(z). Dann gilt für die Iteration x k+1 := g(x k ) bei Grenzübergang z x k+1 = g(x k ) g(z) (k ). (iii) Eindeutigkeit. Die Eindeutigkeit folgt aus der Kontraktionseigenschaft. Es seien z und ẑ zwei Fixpunkte von g. Dann ist z ẑ = g(z) g(ẑ) q z ẑ. Dies kann wegen q < 1 nur dann gültig sein, wenn z ẑ =, d.h. z = ẑ ist. Damit ist der Fixpunkt eindeutig. (iv) A priori Fehlerabschätzung. Es gilt mit (5.1) z x m l xl x m q m 1 1 q x1 x. (v) A posteriori Fehlerabschätzung. Es gilt wieder mit (5.1): x m 1 z q 1 q xm x m 1. Zur Anwendung des Banachschen Fixpunktsatzes auf eine Abbildung g : G R n R n müssen die beiden Voraussetzungen Selbstabbildung sowie Kontraktionseigenschaft nachgewiesen werden. Angenommen, g sei eine Kontraktion. Dann müssen wir die Existenz einer abgeschlossenen und nichtleeren Teilmenge von G nachweisen, welche von der Abbildung g auf sich selbst abgebildet wird. Angenommen, auf der Kugel K ρ (c) := {x R n x c ρ}, ρ >, c R n, sei g eine Kontraktion mit Lipschitz-Konstante q < 1. Dann gilt für x K ρ (c): g(x) c g(x) g(c) + g(c) c, 189

wobei g(x) g(c) qρ. Falls zusätzlich gilt: dann ist und g bildet in sich selbst ab. g(c) c (1 q)ρ, g(x) c qρ + (1 q)ρ = ρ Als nächstes rekapitulieren wir den Schrankensatz, der die erste Ableitung (partielle Ableitung) mit der Lipschitz-Stetigkeit verknüpft: Satz 5.5 (Schrankensatz). Die Abbildung g : G R n sei stetig differenzierbar auf der konvexen Menge G. Dann gilt g(x) g(y) sup g (ξ) x y, x, y G, ξ G mit der partiellen Ableitung (Jacobi-Matrix, weiter unten ausführlicher) g (x) = ( ) gi x j i,j=1,...,n R n n. Falls sup ξ G g (ξ) < 1, dann ist g eine Kontraktion auf G. Insbesondere gilt in 1D auf dem Intervall G := [a, b]: q := max ξ [a,b] g (ξ). Beweis: Der 1D-Fall ist ein Spezialfall des höher-dimensionalen Falles. Aufgrund seiner Einfachheit beweisen wir in separat. (i) Der eindimensionale Fall. Es seien x, y [a, b]. Nach dem reellen Mittelwertsatz gibt es ein ξ [a, b], so dass g(x) g(y) = g (ξ)(x y) = g (ξ) x y q x y. (ii) Der n-dimensionale Fall. Es seien x, y G. Wir setzen aus Normierungsgründen für i = 1,..., n: φ i (s) := g i (x + s(y x)), s 1. Dann gilt Für die Ableitung gilt g i (x) g i (y) = φ i (1) φ i () = φ (s) ds. φ i(s) = n j=1 g i x j (x + s(y x))(y x) j. 19

5.1 Der Banachsche Fixpunktsatz Hiermit und den Stetigkeitseigenschaften der Vektornorm (eine Norm ist immer eine stetige Abbildung!) folgt g(y) g(x) = g (x + s(y x)) (y x) ds g (x + s(y x)) ds y x sup g (ξ) y x. ξ G Zusammenfassen der Ergebnisse liefert das wichtige: Korollar 5.6. Zu jedem Fixpunkt z G der Abbildung g mit g (z) < 1 gibt es eine Umgebung K ρ = {x R n x z ρ} G, so das g eine Kontraktion von K ρ (z) in sich selbst ist. Beispiel 5.7 (Konvergenz zur Lösung nicht-linearer Gleichungen). Zu f : R n R n suchen wir eine Nullstelle x R n mit f(x) =. Mit einer Matrix C R n n definieren wir die Iteration: x R n, x k+1 = x k + C 1 f(x k ), k =, 1, 2,... Dieses Verfahren konvergiert, falls f auf einer Kugel K ρ (c) R n stetig differenzierbar ist und sup ζ K ρ(c) I + C 1 f (ζ) =: q < 1, C 1 f(c) (1 q)ρ. Beispiel 5.8 (Lösung linearer Gleichungssysteme). Es seien A R n n und b R n gegeben. Das lineare Gleichungssystem ist äquivalent zur Nullstellenaufgabe f(x) := b Ax =. Die iterative Lösung (im Gegensatz zur direkten Lösung) kann mit einer regulären Matrix C R n n als Fixpunktaufgabe hergeleitet werden: x = g(x) := x + C 1 f(x) = x + C 1 (b Ax) = (I C 1 A)x + C 1 b. Die Matrix B := I C 1 A nennen wir die Iterationsmatrix der zugehörigen Fixpunktiteration (auch sukzessive Approximation genannt): Die Abbildung g ist wegen x k+1 = Bx k + C 1 b, k = 1, 2,.... g(x) g(y) = B(x y) B x y für B < 1 mit B := I C 1 A eine Kontraktion auf ganz R n. Dann konvergiert die Iterationsfolge gegen einen Fixpunkt von g und somit zur Lösung von Ax = b. 191

Bemerkung 5.9. Später werden wir mit Hilfe des Banachschen Fixpunktsatzes verschiedene Verfahren zur iterativen Lösung von linearen Gleichungssystemen herleiten. Bemerkung 5.1. Die Konvergenzanalyse der Fixpunktverfahren kann mit Hilfe der bereits diskutieren Techniken in Kapitel 2.6 durchgeführt werden. 5.2 Fixpunkt-Iterationen zum Lösen von nichtlinearen Gleichungen Wir rekapitulieren aus Kapitel 2, dass das klassische Newton-Verfahren in einer Dimension als Fixpunktiteration aufgefasst werden kann. Die Newton-Iteration gehört zur Klasse der Fixpunktiterationen mit der Iterationsfunktion Jeder Fixpunkt z = F(z) ist offenbar eine Nullstelle f(z) =. F(x) := x f(x) f (x). (5.2) 5.2.1 Newton-Verfahren im R n Aufgrund seiner herausragenden Bedeutung widmen wir dem Newton-Verfahren für höhere Dimensionen einen eigenen Abschnitt. Die prinzipiellen Aussagen (Existenz, quadratische Konvergenz, gedämpftes Newton-Verfahren, vereinfachtes Newton-Verfahren) sind mit dem 1D-Fall vergleichbar. Es sei f : D R n R n. Zur Lösung von f(x) = (f 1 (x),..., f n (x)) = lautet die Newton-Iteration formal: x R n, x k+1 = x k f (x k ) 1 f(x k ), k =, 1, 2,... (5.3) Die Ableitung f (x) : R n R n n ist die Jacobi-Matrix von f: f (x) ij = f i x j, i, j = 1,..., n. Die Tatsache, dass die Ableitung von f im mehrdimensionalen Fall eine Matrix ist, stellt den wesentlichen Unterschied zum eindimensionalen Newton-Verfahren dar. Anstelle einer Ableitung sind nun n 2 Ableitungen zu berechnen. Und anstelle einer Division durch f (x k ) ist in jedem Schritt der Newton-Iteration ein lineares Gleichungssystem mit Koeffizientenmatrix f (x k ) R n n zu lösen. Wir multiplizieren in (5.3) mit f (x k ) und erhalten x R n, f (x k )x k+1 = f (x k )x k f(x k ), k =, 1, 2,... Das Newton-Verfahren wird als Defektkorrektur-Verfahren durchgeführt. So kann in jedem Schritt der Aufwand einer Matrix-Vektor Multiplikation gespart werden: 192

5.2 Fixpunkt-Iterationen zum Lösen von nichtlinearen Gleichungen Definition 5.11 (Newton-Verfahren als Defektkorrektur). Wähle Startwert x R n und iteriere: f (x k )δx = d k, d k := f(x k ), x k+1 = x k + δx, k =, 1, 2,.... Im Folgenden diskutieren wir kurz das Aufstellen der Jacobi-Matrix. Die Funktion f besitzt n Komponentenfunktionen f i und n unterschiedliche Variablen x 1,..., x n. Jede Änderung in einer Komponentenfunktion f i bezüglich der Variablen x j wird durch die partielle Ableitung (Analysis 2) beschrieben: f i x j. Letztendlich erhalten wir somit eine n n Matrix: f 1 f 1 f x 1 x 2... n x 1 f 2 f 2 f f x (x) = 1 x 2... 2 x n...... f n f n f x 1 x 2... n x n. 5.2.2 Newton-Kantorovich Die zentrale Konvergenzaussage des Newton-Verfahrens wird im Satz von Newton-Kantorovich zusammengefasst. Hierzu sei f : G R n R n eine differenzierbare Abbildung. Mit bezeichnen wir stets die euklidische Vektornorm und induzierte Matrixnorm, also die Spektralnorm. Wir suchen eine Nullstelle z R n so dass f(z) =. 193

Satz 5.12 (Newton-Kantorovich). Es sei D R n eine offene und konvexe Menge. Weiterhin sei f : D R n R n stetig-differenzierbar. (i) Die Jacobi-Matrix f sei gleichmäßig Lipschitz-stetig für alle x, y D: f (x) f (y) γ x y, x, y D. (5.4) (ii) Weiter habe die Jacobi-Matrix auf D eine gleichmäßig beschränkte Inverse (iii) Es gelte für den Startpunkt x D: (iv) Für r := 2α ist die abgeschlossene Kugel f (x) 1 β, x D. (5.5) q := αβγ < 1 2, α := f (x ) 1 f(x ). (5.6) B r (x ) := {x R n : x x r} in der Menge D enthalten. Dann besitzt die Funktion f eine Nullstelle z B r (x ) und die Newton-Iteration f (x k )δx = d k, d k := f(x k ), x k+1 = x k + δx, k =, 1, 2,.... konvergiert quadratisch gegen diese Nullstelle z. Darüber hinaus gilt die a priori Fehlerabschätzung x k z 2αq 2k 1, k =, 1,.... Beweis: Der Beweis zum Satz ist weitaus aufwändiger als im eindimensionalen Fall, daher geben wir zunächst eine Skizze an: (i) Herleitung von Hilfsabschätzungen. (ii) Alle Iterierten liegen in der Kugel B r (x ) und es gilt die a priori Fehlerabschätzung für x k x (Beweis über vollständige Induktion). (iii) Zeige (x k ) k N ist Cauchy-Folge und hat damit in R n einen eindeutigen Grenzwert z. (iv) Existenz einer Nullstelle: Zeige, dass z eine Nullstelle der Funktion f ist. (v) Eindeutigkeit: Zeige, dass die Nullstelle z eindeutig ist. Nun zum ausführlichen Beweis: (i) Herleitung von Hilfsabschätzungen: Es seien x, y, z D. Da D konvex ist, gilt für alle x, y D: f j (x) f j (y) = d ds f j(sx + (1 s)y) ds, j = 1,..., n. 194

5.2 Fixpunkt-Iterationen zum Lösen von nichtlinearen Gleichungen Mit der Kettenregel erhalten wir und damit d ds f j(sx + (1 s)y) = f j (x) f j (y) = n k=1 In kompakter Schreibweise bedeutet dies: f(x) f(y) = n k=1 f j x k ( sx + (1 s) ) (xk y k ) f j x k ( sx + (1 s)y ) (xk y k ) ds. f (sx + (1 s)y)(x y) ds. Unter Hinzunahme von f (z)(y x) folgern wir nun, dass f(x) f(y) f (z)(y x) = ( f (sx + (1 s)y) f (z) ) (x y) ds. Mit Hilfe der Lipschitz-Stetigkeit von f, Bedingung (5.4), folgern wir f(y) f(x) f (z)(y x) γ y x s(x z) + (1 s)(y z) ds Für die Wahl z = x schließen wir damit auf γ 2 y x ( x z + y z ). f(y) f(x) f (x)(y x) γ 2 y x 2, x, y D. (5.7) Und für die die Wahl z = x erhalten wir: f(y) f(x) f (x )(y x) rγ y x, x, y B r (x ). (5.8) (ii) Wir zeigen: alle Iterierten liegen in B r (x ) und es gilt die a priori Fehlerabschätzung für x k x. Wir führen den Beweis über vollständige Induktion und zeigen: x k x r, x k x k 1 αq 2k 1, k = 1, 2,.... (5.9) Wir starten mit k = 1. Es gilt mit Hilfe der Bedingungen (5.5) und (5.6): Die Aussage ist also wahr. x 1 x = f (x ) 1 f(x ) = α = r 2 < r. Induktionsschritt k k + 1. Nach Induktionsvoraussetzung seien die beiden Gleichungen (5.9) wahr für k 1. Das ist aufgrund der Bedingung (5.5) und x k B r (x ) D, die Iterierte x k+1 wohl-definiert. Dann gilt unter Ausnutzung von Bedingung (5.5), der 195

Newton-Iteration für x k und Abschätzung (5.7), der Induktionsvoraussetzung (5.9) und der Definition von q folgende Abschätzungskette: Weiter erhalten wir x k+1 x k = f (x k ) 1 f(x k ) β f(x k ) = β f(x k ) f(x k 1 ) f (x k 1 )(x k x k 1 ) βγ 2 xk x k 1 2 βγ [αq ] 2 2k 1 1 2 = α 1 2 q2k < αq 2k 1. x k+1 x x k+1 x k +... + x 1 x α ( 1 + q + q 3 + q 7 +... + q 2k 1 ) α 1 q 2α = r. Damit ist der Induktionsschritt von k k + 1 gezeigt, d.h., die beiden Ungleichungen (5.9) sind gültig für k + 1. (iii) Existenz eines Grenzwertes x k z durch Nachweis der Cauchy-Eigenschaft: Es sei m >. Unter Ausnutzung von q < 1 2 (Voraussetzung!) gilt x k x k+m x k x k+1 +... + x k+m 1 x k+m α ( q 2k 1 + q 2k+1 1 +... + q 2m+k 1 1 ) = αq 2k 1 ( 1 + q 2k +... + (q 2k ) 2m 1 1 ) 2αq 2k 1 (5.1) Damit ist gezeigt, dass (x k ) D eine Cauchy-Folge ist, da q < 1 2. Da D endlichdimensional (hier ist jeder Raum ein Banachraum - also vollständig!), existiert der Limes z = lim k xk Im Grenzübergang k erhalten wir dann in der ersten Ungleichung in (5.9): z x r, so dass z B r (x ). Im Grenzübergang m in (5.1), verifizieren wir die Fehlerabschätzung des Satzes: x k z 2αq 2k 1, k =, 1,.... 196

5.2 Fixpunkt-Iterationen zum Lösen von nichtlinearen Gleichungen (iv) Zeige, dass z B r (x ) eine Nullstelle von f ist: Die Newton-Iterationsvorschrift sowie Bedingung (5.4) liefern Daher gilt f(x k ) = f (x k )(x k x k 1 ) f (x k ) f (x ) + f (x ) x k+1 x k ( γ x k x + f (x ) ) x k+1 x k, k. f(x k ), k. Die Stetigkeit von f impliziert dann f(z) =. (v) Eindeutigkeit der Nullstelle z B r (x ): Die Eindeutigkeit wird mit Hilfe der Kontraktionseigenschaft und der Formulierung der Newton-Iteration als Fixpunktiteration gezeigt. Die gefundene Nullstelle x k z von f(x) ist auch Fixpunkt der vereinfachten Iteration: ḡ(x) := x f (x ) 1 f(x). Diese Iteration ist eine Kontraktion, denn aus ḡ(x) ḡ(y) = x y f (x ) 1 f(x)+f (x ) 1 f(y) = f (x ) 1 (f(y) f(x) f (x )(y x)), folgt mit den Bedingungen (5.5) und (5.6) sowie (5.8) die Abschätzung: ḡ(x) ḡ(y) ββγr y x 2q y x, x, y B r (x ). Da q < 1 2 ist ḡ eine Kontraktion. Eine Kontraktionsabbildung kann höchstens einen Fixpunkt haben. Da dieser Fixpunkt die Nullstelle von f ist, haben wir die Nullstelle z B r (x ) eindeutig bestimmt. Damit ist alles gezeigt. Bemerkung 5.13. Der Satz von Newton-Kantorovich unterscheidet sich in einigen Punkten wesentlich von Satz 2.1 über das eindimensionale Newton-Verfahren. Der wesentliche Unterschied ist die Regularität von f, welches beim Newton-Kantorovich nur über eine Lipschitz-stetige Jacobi-Matrix anstelle von zweimal stetiger Differenzierbarkeit verfügen muss. Ferner muss die Existenz einer Nullstelle nicht vorausgesetzt werden, sie folgt beim Newton-Kantorovich als Ergebnis des Satzes. Daher nun eine der Hauptanwendungen des vorherigen Satzes 5.12: das folgende lokale Konvergenzresultat: Korollar 5.14. Es sei D R n offen und f : D R n R n zweimal stetig-differenzierbar. Wir nehmen an, dass z D eine Nullstelle mit regulärer Jacobi-Matrix f (z) ist. Dann ist das Newton-Verfahren lokal konvergent, d.h. es existiert eine Umgebung B um z, so dass das Newton-Verfahren für alle Startwerte x B konvergiert. 197

Beweis: Den Beweis stellen wir als Übungsaufgabe. Korollar 5.15. Korollar 5.14 stellt den Zusammenhang zu dem ein-dimensionalen Resultat her: Dazu sei z G eine Nullstelle von f und die Maximumsnorm. Damit können die Konstanten m = 1 β, M = γ bestimmt werden. Dann kann gilt zusätzlich zur a priori Fehlerabschätzung, die a posteriori Schranke: x k z 1 m f(xk ) M 2m xk x k 1 2, k = 1, 2,.... Beispiel 5.16. Newton im R n Wir suchen die Nullstelle der Funktion ( ) 1 x f(x 1, x 2 ) = 2 y 2, (x 2y)/(1/2 + y) mit der Jacobi-Matrix f (x) = Die Nullstellen von f ist gegeben durch: ( 2x 2y 2 1+2y 4+4x (1+2y) 2 ) x ±(.894427,.447214). Wir starten die Iteration mit x = (1, 1) T und erhalten die Iterierten: x 1 ( ) ( ) 1.14286, x 2.92659, x 3.357143.44263 Nach nur vier Iterationen sind die ersten sechs Stellen exakt.. ( ).894935, x 4.447349 ( ).894427..447214 198