Wir untersuchen in diesem Abschnitt das (lokale) Newton Verfahren zur Lösung eines nichtlinearen Gleichungssystems

Transkript

1 Kapitel 2 Newton Verfahren 2.1 Das lokale Newton Verfahren Wir untersuchen in diesem Abschnitt das (lokale) Newton Verfahren zur Lösung eines nichtlinearen Gleichungssystems F (x) = 0 (2.1) mit einer zumindest stetig differenzierbaren Funktion F : R n R n. Zur Herleitung des Newton Verfahrens gehen wir davon aus, dass x k eine aktuelle Näherung für eine Nullstelle x von (2.1) bezeichnet. Wir approximieren die nichtlineare Funktion lokal dann durch die Linearisierung F k (x) := F (x k ) + F (x k )(x x k ) um den Punkt x k und bestimmen die neue Näherung x k+١ für x dann als Nullstelle der linearisierten Funktion F k. Dies führt auf die Vorschrift x k+١ = x k F (x k ) ١ F (x k ). (2.2) Hierbei wird man die inverse Matrix F (x k ) ١ im Allgemeinen natürlich nicht explizit bilden. Vielmehr bestimmt man in der Praxis zunächst einen Korrekturvektor d k als Lösung der so genannten Newton Gleichung F (x k )d = F (x k ) und setzt anschließend x k+١ = x k + d k. Die so bestimmte Iterierte x k+١ stimmt offenbar mit jener aus (2.2) überein. Setzt man dies iterativ fort, so gelangt man zu dem nachstehenden Verfahren. Algorithmus 2.1 (Lokales Newton Verfahren) (S.0) Wähle x ٠ R n, ε 0, und setze k := 0. (S.1) Ist F (x k ) ε: STOP. 23

2 24 KAPITEL 2. NEWTON VERFAHREN (S.2) Bestimme d k R n durch Lösen des linearen Gleichungssystems F (x k )d = F (x k ). (S.3) Setze x k+١ := x k + d k, k k + 1, und gehe zu (S.1). Wir wollen in diesem Abschnitt die lokalen Konvergenzeigenschaften des Algorithmus 2.1 untersuchen. Zu diesem Zweck erweisen sich die nachstehenden Begriffe als sehr hilfreich. Definition 2.2 Sei {x k } R n eine gegen ein x R n konvergente Folge. Dann konvergiert {x k } (mindestens) (i) linear gegen x, falls ein c (0, 1) existiert mit für alle k N hinreichend groß. (ii) superlinear gegen x, falls gilt. x k+١ x c x k x (2.3) x k+١ x / x k x 0 für k (iii) quadratisch gegen x, falls ein C 0 existiert mit für alle k N. x k+١ x C x k x ٢ (2.4) Man beachte, dass wir in der Definition 2.2 explizit die Konvergenz der Folge {x k } gegen x voraussetzen. Dies wäre zum Teil gar nicht nötig, da beispielsweise aus der definierenden Eigenschaft (2.3) der linearen Konvergenz wegen c (0, 1) automatisch die Konvergenz der Folge {x k } gegen x folgt. Dies gilt jedoch nicht im Falle der quadratischen Konvergenz, denn aus (2.4) alleine folgt nicht notwendig die Konvergenz von {x k } gegen x. Beim Nachweis der quadratischen Konvergenz einer Folge hat man also zunächst zu zeigen, dass überhaupt Konvergenz vorliegt. Wir kommen nun zur Konvergenzuntersuchung des lokalen Newton Verfahrens aus dem Algorithmus 2.1. Das Ziel besteht darin, unter geeigneten Voraussetzungen die lokal superlineare bzw. sogar quadratische Konvergenz zu beweisen. Hierzu bedarf es jedoch noch einiger Vorbereitungen. Dazu beginnen wir mit dem folgenden Resultat. Lemma 2.3 Seien A, B R n n mit I BA < 1. Dann sind A und B regulär, und es gilt die Abschätzung A ١ B 1 I BA (eine analoge Ungleichung ist auch für B ١ erfüllt).

3 2.1. DAS LOKALE NEWTON VERFAHREN 25 Beweis: Sei M R n n zunächst eine beliebige Matrix mit M < 1. Für jedes x R n ist dann (I M)x = x Mx x Mx ( 1 M ) x. (2.5) Aus (I M)x = 0 folgt daher x = 0, denn nach Voraussetzung ist 1 M > 0. Also ist I M regulär. Speziell für x := (I M) ١ y mit einem beliebigen y R n folgt aus (2.5) dann y ( 1 M ) (I M) ١ y y R n. Die Definition einer Matrixnorm impliziert daher (I M) ١ = max y ٠ (I M) ١ y y 1 1 M. (2.6) Damit haben wir gezeigt, dass die Ungleichung (2.6) für jede Matrix M R n n mit M < 1 erfüllt ist. Wir wenden dieses Ergebnis nun auf die Matrix M := I BA an, für die M < 1 nach Voraussetzung erfüllt ist. Aufgrund des gerade bewiesenen Zwischenresultates ist I M dann regulär und genügt der Ungleichung (I M) ١ 1 1 M = 1 1 I BA. (2.7) Wegen I M = BA sind dann sowohl A als auch B regulär. Aus A ١ = (I M) ١ B folgt mit (2.7) dann A ١ (I M) ١ B B 1 I BA, was gerade die Behauptung ist. Als Konsequenz des obigen Lemmas zeigen wir nun, dass aus der Regularität der Jacobi Matrix F (x ) in einem Punkt x R n bereits die Regularität der Jacobi Matrix F (x ) für alle x R n aus einer (hinreichend kleinen) Umgebung von x folgt. Ferner ergibt sich, dass die entsprechenden Inversen gleichmäßig beschränkt sind. Lemma 2.4 Seien F : R n R n stetig differenzierbar, x R n und F (x ) regulär. Dann existiert ein ε > 0, so dass auch F (x) für alle x K ε (x ) regulär ist. Außerdem existiert eine Konstante c > 0 mit für alle x K ε (x ). F (x) ١ c

4 26 KAPITEL 2. NEWTON VERFAHREN Beweis: Aus Stetigkeitsgründen existiert ein ε > 0 mit für alle x K ε (x ). Also ist F (x ) F (x) 1 2 F (x ) ١ I F (x ) ١ F (x) F (x ) ١ F (x ) F (x) 1 2 für alle x K ε (x ). Das Lemma 2.3 (mit A := F (x), B := F (x ) ١ ) impliziert daher, dass auch alle Jacobi Matrizen F (x) mit x K ε (x ) regulär sind, und dass diese der Ungleichung F (x) ١ F (x ) ١ 1 I F (x ) ١ F (x) 2 F (x ) ١ genügen. Die Behauptung folgt daher mit c := 2 F (x ) ١. Als weitere Vorbereitung benötigen wir noch das nachstehende Resultat, bei dem wir von den üblichen Landau Symbolen Gebrauch machen. Zur Erinnerung hieran seien {α k } und {β k } zwei positive Nullfolgen. Dann schreibt man α k = o(β k ), falls α k /β k 0. Die Folge {α k } geht also deutlich schneller gegen Null als die Folge {β k }. Entsprechend schreibt man falls α k = O(β k ), lim sup k α k β k < + gilt. Dies ist äquivalent dazu, dass eine Konstante c 0 existiert mit α k β k c k N. Nach diesen Wiederholungen kommen wir nun zu unserem letzten Hilfsresultat. Lemma 2.5 Seien F : R n R n und {x k } R n eine gegen ein x R n konvergente Folge. Dann gelten die folgenden Aussagen: (a) Ist F stetig differenzierbar, so ist F (x k ) F (x ) F (x k )(x k x ) = o( x k x ). (b) Ist F stetig differenzierbar und F lokal Lipschitz stetig, so ist F (x k ) F (x ) F (x k )(x k x ) = O( x k x ٢ ).

5 2.1. DAS LOKALE NEWTON VERFAHREN 27 Beweis: (a) Aus der Dreiecksungleichung ergibt sich F (x k ) F (x ) F (x k )(x k x ) F (x k ) F (x ) F (x )(x k x ) + F (x ) F (x k ) x k x. Da F nach Voraussetzung differenzierbar in x ist, gilt F (x k ) F (x ) F (x )(x k x ) = o( x k x ). Die Stetigkeit von F in x liefert außerdem F (x ) F (x k ) 0. Zusammen ergibt sich gerade die Behauptung. (b) Sei L > 0 die lokale Lipschitz Konstante von F in einer Umgebung von x. Aus dem Mittelwertsatz in der Integralform ergibt sich dann F (x k ) F (x ) F (x k )(x k x ) = = ١ ٠ ١ ٠ ١ ٠ F (x + t(x k x ))(x k x )dt F (x k )(x k x ) [F (x + t(x k x )) F (x k )]dt(x k x ) F (x + t(x k x )) F (x k ) dt x k x L x k x = L 2 xk x ٢ ١ ٠ (t 1)(x k x ) dt für alle hinreichend großen k N. Nach diesen Vorbereitungen kommen wir nun zu dem Hauptresultat dieses Abschnitts. Satz 2.6 Seien F : R n R n stetig differenzierbar, x R n eine Nullstelle von F und F (x ) regulär. Dann existiert ein ε > 0, so dass für jeden Startwert x ٠ K ε (x ) gelten: (a) Das lokale Newton Verfahren aus dem Algorithmus 2.1 ist wohldefiniert und erzeugt eine gegen x konvergente Folge {x k }. (b) Die Konvergenzrate ist superlinear. (c) Die Konvergenzrate ist quadratisch, sofern F zusätzlich lokal Lipschitz stetig ist.

6 28 KAPITEL 2. NEWTON VERFAHREN Beweis: Wegen Lemma 2.4 existiert ein ε ١ > 0, so dass die Jacobi Matrizen F (x) für alle x K ε1 (x ) regulär sind und der Ungleichung F (x) ١ c mit einer Konstanten c > 0 genügen. Ferner existiert wegen Lemma 2.5 (a) offenbar ein ε ٢ > 0 mit F (x) F (x ) F (x)(x x ) 1 2c x x für alle x K ε2 (x ). Setze nun ε := min{ε ١, ε ٢ }, und wähle x ٠ K ε (x ). Dann ist x ١ wohldefiniert, und es gilt x ١ x = x ٠ x F (x ٠ ) ١ F (x ٠ ) F (x ٠ ) ١ F (x ٠ ) F (x ) F (x ٠ )(x ٠ x ) = c ١ ٢c x٠ x ٢ x٠ x. (2.8) Also ist auch x ١ K ε (x ), und per Induktion folgt x k x ( ) k 1 x ٠ x 2 für alle k N. Daher ist die Folge {x k } wohldefiniert und konvergiert gegen x, was die Aussage (a) beweist. Zum Nachweis der Aussagen (b) und (c) bemerken wir zunächst, dass man analog zu (2.8) die Ungleichung x k+١ x = x k x F (x k ) ١ F (x k ) F (x k ) ١ F (x k ) F (x ) F (x k )(x k x ) c F (x k ) F (x ) F (x k )(x k x ) erhält, woraus sich wegen Lemma 2.5 und dem schon bewiesenen Teil (a) unmittelbar die superlineare bzw. quadratische Konvergenz der Folge {x k } gegen x ergibt. 2.2 Ein globalisiertes Newton Verfahren Gesucht sei weiterhin eine Lösung des nichtlinearen Gleichungssystems F (x) = 0 mit einer stetig differenzierbaren Funktion F : R n R n. Das Newton Verfahren aus dem vorigen Abschnitt ist lediglich ein lokal konvergentes Verfahren, d.h., startet man die Iteration in der Nähe einer Nullstelle, so konvergiert das Verfahren unter

7 2.2. EIN GLOBALISIERTES NEWTON VERFAHREN 29 gewissen Voraussetzungen gegen diese Nullstelle (sogar sehr schnell). Hingegen wird man im Allgemeinen keine Konvergenz mehr erwarten können, wenn man etwas weiter weg von der Nullstelle startet. Man kann sich dies sehr einfach am Beispiel der arctan Funktion veranschaulichen. Damit stellt sich natürlich die Frage, wie man den Konvergenzbereich des Newton Verfahrens (oder auch anderer lokal konvergenter Methoden) vergrößern kann, da man normalerweise nicht weiß, ob man tatsächlich in der Nähe einer Nullstelle startet, so dass der lokale Konvergenzsatz 2.6 greift. Prinzipiell gibt es zur Globalisierung des Newton Verfahrens (oder eben anderer lokaler Methoden) die folgenden Strategien: Globalisierung durch eine Schrittweitenstrategie Globalisierung durch einen Trust Region Ansatz Globalisierung mittels eines Homotopie Verfahrens. In diesem Abschnitt diskutieren wir kurz die erste Idee, während die beiden anderen Ansätze zu einem späteren Zeitpunkt besprochen werden. Zunächst formulieren wir das nichtlineare Gleichungssystem um als ein unrestringiertes Minimierungsproblem der Gestalt min f(x), x R n, mit der Zielfunktion f : R n R, die durch f(x) := 1 2 F F (x) = 1 F (x)t (x) ٢ 2 gegeben ist. Offenbar ist jede Nullstelle von F dann ein globales Minimum von f. Umgekehrt ist jedes Minimum x von f mit f(x ) = 0 auch eine Nullstelle von F. Allerdings kann f auch lokale Minima x besitzen, für die f(x ) > 0 gilt. Diese haben für das eigentliche Nullstellenproblem dann keine weitere Bedeutung und sind leider der Grund dafür, dass die globalisierten Verfahren manchmal ebenfalls scheitern. Trotzdem sind diese globalisierten Verfahren oft erfolgreich, wenn das lokale Verfahren versagt, so dass sie hier beschrieben werden sollen. Die wesentliche Idee zur Durchführung einer Globalisierung mittels einer Schrittweitenstrategie besteht darin, in jeder Iteration k die beiden folgenden Ideen durchzuführen: Bestimme eine Abstiegsrichtung d k von f in x k, also einen Vektor d k R n mit f(x k ) T d k < 0. Bestimme eine Schrittweite t k > 0 mit (mindestens) f(x k +t k d k ) < f(x k ), und setze x k+١ := x k + t k d k.

8 30 KAPITEL 2. NEWTON VERFAHREN Die Bestimmung einer Abstiegsrichtung ist ziemlich einfach, sofern f(x k ) 0 ist. Beispielsweise kann man d k := f(x k ) wählen. Hierfür gilt dann f(x) T d k = f(x k ) T f(x k ) = f(x k ) ٢ < 0. Diese Wahl von d k führt auf das Gradientenverfahren (Verfahren des steilsten Abstiegs) und ist in der numerischen Praxis meist sehr unbefriedigend, vergleiche [4]. Das folgende Resultat liefert eine weitaus bessere Wahl. Lemma 2.7 Seien F : R n R n stetig differenzierbar, f(x) := ١ ٢ F (x)t F (x) und x k R n ein gegebener Punkt mit F (x k ) 0 und F (x k ) regulär. Dann ist die Newton Richtung d k := F (x k ) ١ F (x k ) eine Abstiegsrichtung von f in x k. Beweis: Aus f(x k ) T d k = F (x k ) T F (x k )F (x k ) ١ F (x k ) = F (x k ) ٢ < 0 folgt sofort die Behauptung. Hat man eine Abstiegsrichtung gefunden, so sucht man als Nächstes eine geeignete Schrittweite t k > 0, so dass zumindest f(x k + t k d k ) < f(x k ) gilt. Um auch theoretische Eigenschaften beweisen zu können, wird man etwas mehr fordern müssen als die bloße Verminderung des Zielfunktionswertes von f. Beliebt ist beispielsweise die so genannte Armijo Bedingung f(x k + t k d k ) f(x k ) + t k σ f(x k ) T d k, (2.9) wobei σ (0, 1) eine vorgegebene Konstante ist. Eine numerische Realisierung kann recht einfach geschehen, indem man t k als die größte Zahl in {1, β, β ٢, β ٣,..., } wählt, so dass die Armijo Bedingung erfüllt ist, wobei β (0, 1) ebenfalls ein fest gegebener Parameter sei. Aufgrund des nachstehenden Resultates handelt es sich hierbei um einen endlichen (und somit durchführbaren) Prozess. Lemma 2.8 Seien β, σ (0, 1) gegeben, x k R n und d k R n eine Abstiegsrichtung von f in x k. Dann existiert ein endlicher Index l k N derart, dass die Armijo Bedingung (2.9) mit t k = β l k erfüllt ist. Beweis: Angenommen, es gibt keinen solchen endlichen Index. Dann ist f(x k + β l d k ) > f(x k ) + β l σ f(x k ) T d k und somit f(x k + β l d k ) f(x k ) β l für alle l N. Mit l folgt hieraus > σ f(x k ) T d k f(x k ) T d k σ f(x k ) T d k,

9 2.2. EIN GLOBALISIERTES NEWTON VERFAHREN 31 da f stetig differenzierbar und somit richtungsdifferenzierbar ist. Wegen σ (0, 1) impliziert dies jedoch f(x k ) T d k 0, was der vorausgesetzten Abstiegseigenschaft von d k widerspricht. Insgesamt können wir nach diesen Vorbereitungen das nachfolgende globalisierte Newton Verfahren formulieren. Algorithmus 2.9 (Globalisiertes Newton Verfahren) (S.0) Wähle x ٠ R n, ρ > 0, p > 2, β (0, 1), σ (0, ١ ), ε 0, setze k := 0. ٢ (S.1) Ist f(x k ) ε: STOP. (S.2) Finde eine Lösung d k R n der Newton Gleichung F (x k )d = F (x k ). Ist dieses System nicht lösbar oder ist die Bedingung nicht erfüllt, so setze d k := f(x k ). f(x k ) T d k ρ d k p (S.3) Bestimme t k := max { β l l = 0, 1, 2,... } mit f(x k + t k d k ) f(x k ) + t k σ f(x k ) T d k. (S.4) Setze x k+١ := x k + t k d k, k k + 1, und gehe zu (S.1). Der Algorithmus 2.9 benutzt als Abstiegsrichtung stets die Newton Richtung, sofern diese existiert und einer hinreichenden Abstiegsbedingung genügt; anderenfalls wird der negative Gradient als Abstiegsrichtung gewählt. Man kann zeigen, dass jeder Häufungspunkt x einer durch den Algorithmus 2.9 (mit der theoretischen Wahl ε = 0) konstruierten Folge zumindest ein stationärer Punkt von f ist, also f(x ) = 0 gilt. Wegen f(x ) = F (x ) T F (x ) impliziert dies bereits F (x ) = 0, sofern die Jacobi Matrix F (x ) regulär ist, so dass wir in diesem Fall eine Lösung des nichtlinearen Gleichungssystems erhalten. Ferner lässt sich zeigen, dass der Algorithmus 2.9 in der Nähe einer Nullstelle x von F unter den Voraussetzungen des Satzes 2.6 die lokalen Konvergenzeigenschaften des Newton Verfahrens aus dem Algorithmus 2.1 erbt. Insbesondere wird lokal also stets die volle Schrittweite t k = 1 akzeptiert. Eine beliebte Wahl der Parameter im Algorithmus 2.9 ist gegeben durch ρ = 10 ٨, β = 0.5, σ = 10 ٤, p = 2.1, ε = 10 ٦.

10 32 KAPITEL 2. NEWTON VERFAHREN 2.3 Anwendung auf nichtlineare Randwertaufgaben Als Anwendung des Newton Verfahrens betrachten wir in diesem Abschnitt die nichtlineare Randwertaufgabe y = f(t, y, y ), y(a) = y a, y(b) = y b, wobei [a, b] R ein kompaktes Intervall sei, y a, y b R die vorgeschriebenen Randwerte sind und f : [a, b] R R R eine zumindest stetige Funktion bezeichnet. Gesucht ist also eine zweimal stetig differenzierbare Funktion y : [a, b] R mit y(a) = y a, y(b) = y b und y (t) = f ( t, y(t), y (t) ) t [a, b]. (2.10) Zur numerischen Lösung dieses Problems wählen wir eine Zahl N N und führen die diskreten Punkte mit der konstanten Schrittweite t i := a + ih i = 0, 1,..., N + 1 h := b a N + 1 ein. Insbesondere sind dann t ٠ = a und t N+١ = b. Statt der kontinuierlichen Randwertaufgabe (2.10) betrachten wir dann das zugehörige diskretisierte Problem y (t i ) = f ( t i, y(t i ), y (t i ) ) i = 1,..., N, y(t ٠ ) = y a, y(t N+١ ) = y b. (2.11) Wir approximieren die hierin auftretenden Ableitungen nun mittels finiter Differenzen, etwa durch y (t i ) y(t i+١) 2y(t i ) + y(t i ١ ) h ٢ i = 1,..., N, y (t i ) y(t i+١) y(t i ١ ) i = 1,..., N. 2h Ersetzen wir die Ableitungen jetzt durch diese Differenzenquotienten in dem diskreten System (2.11), so erhalten wir y(t i+١ ) 2y(t i ) + y(t i ١ ) ( f t h ٢ i, y(t i ), y(t i+١) y(t i ١ ) ) i = 1,..., N. (2.12) 2h Bezeichnen wir mit v i diejenigen Näherungen an die nicht bekannten Werte y(t i ), für welche in dem System (2.12) Gleichheit gilt, so gelangen wir zu dem nichtlinearen Gleichungssystem ( v i+١ 2v i + v i ١ = h ٢ f t i, v i, v ) i+١ v i ١ i = 1,..., N, (2.13) 2h wobei noch v ٠ = y a, v N+١ = y b aufgrund der vorgegebenen Randwerte gilt. Dies ist ein aus N Gleichungen bestehendes System in den ebenfalls N Unbekannten v = ( v ١,..., v N ) T R N.

11 2.4. DAS VEREINFACHTE NEWTON VERFAHREN 33 Beispiel 2.10 Als konkretes Beispiel betrachten wir die nichtlineare Randwertaufgabe y = f(t, y, y ), y( 3) = 0, y(3) = 0.2 auf dem Intervall [a, b] = [ 3, +3] mit der Funktion f(t, y, y ) := 1.5y 0.5y ٢ 2(y ) ٢ t. Mit h := 6/(N + 1) und t i := 3 + ih für i = 0, 1,..., N + 1 lautet das System (2.13) dann F (v) = 0 mit ( F ١ (v) := v ٢ 2v ١ h ( 1.5v ٢ ١ 0.5v١ ٢ v٢ ) ) ٢ t١, 2h ( ) ) ٢ F i (v) := v i+١ 2v i + v i ١ h ( 1.5v ٢ i 0.5vi ٢ vi+١ v i ١ t i 2h i = 2,..., N 1, ( ) ) ٢ 0.2 F N (v) := 0.2 2v N + v N ١ h ( 1.5v ٢ N 0.5vN ٢ vn ١ t N. 2h Starten wir das Newton Verfahren mit dem Vektor v := (0,..., 0) T R N für N = 47, so ergibt sich der Iterationsverlauf aus der Tabelle 2.1. Die zugehörigen Näherungswerte v i y(t i ) finden sich in einigen ausgesuchten Punkten t i in der Tabelle 2.2. Eine graphische Darstellung der Näherungslösung findet sich in der Abbildung 2.1. k F (x k ) f(x k ) Tabelle 2.1: Newton Verfahren für nichtlineare Randwertaufgabe (f(x) := ١ ٢ F (x)t F (x)) 2.4 Das vereinfachte Newton Verfahren Sei F : R n R n weiterhin stetig differenzierbar. Zur Lösung des nichtlinearen Gleichungssystems F (x) = 0

12 34 KAPITEL 2. NEWTON VERFAHREN t i v i Tabelle 2.2: Numerische Lösung der Randwertaufgabe in einigen Punkten t i benutzt das Newton Verfahren die Iterationsvorschrift x k+١ = x k + d k, k = 0, 1,..., wobei x ٠ R n ein geeigneter Startvektor ist und d k eine Lösung des Newton Gleichung F (x k )d = F (x k ) darstellt. Zur Bestimmung von d k hat man daher in jeder Iteration ein lineares Gleichungssystem mit der Koeffizientenmatrix F (x k ) zu lösen. Manchmal ist die Berechnung von F (x k ) aber zu teuer bzw. die Lösung dieses linearen Gleichungssystems zu aufwendig. Beim so genannten vereinfachten Newton Verfahren bestimmt man den Korrekturvektor d k R n stattdessen als Lösung des linearen Gleichungssystems F (x ٠ )d = F (x k ), (2.14) welches sich von der Newton Gleichung darin unterscheidet, dass in jedem Iterationsschritt k stets dieselbe Matrix F (x ٠ ) auftritt. Beim vereinfachten Newton Verfahren hat man diese Matrix daher nur einmal zu bestimmen. Außerdem braucht man die Matrix nur einmal zu faktorisieren (mit einem Aufwand von im Allgemeinen O(n ٣ ) Rechenoperationen), um anschließend das lineare Gleichungssystem (2.14) mit einem Aufwand von lediglich O(n ٢ ) Flops lösen zu können (im Wesentlichen treten hierbei eine Vorwärts und eine Rückwärtssubstitution auf). Der Rechenaufwand beim vereinfachten Newton Verfahren ist pro Iteration daher meist weitaus geringer als beim eigentlichen Newton Verfahren. Der nachstehende Algorithmus enthält eine formale Beschreibung des vereinfachten Newton Verfahrens. Algorithmus 2.11 (Vereinfachtes Newton Verfahren) (S.0) Wähle x ٠ R n, ε 0 und setze k := 0.

13 2.4. DAS VEREINFACHTE NEWTON VERFAHREN Abbildung 2.1: Graphische Darstellung der Näherungslösung der Randwertaufgabe (S.1) Ist F (x k ) ε: STOP. (S.2) Bestimme d k R n durch lösen des linearen Gleichungssystems F (x ٠ )d = F (x k ). (S.3) Setze x k+١ := x k + d k, k k + 1, und gehe zu (S.1). Neben den erwähnten Vorteilen hat das vereinfachte Newton Verfahren aus dem Algorithmus 2.11 natürlich auch einen gravierenden Nachteil: Man wird nicht mehr mit der lokal schnellen (superlinearen oder quadratischen) Konvergenz des Newton Verfahrens rechnen können. Allerdings kann man immer noch lokal lineare Konvergenz beweisen, was wir in dem folgenden Resultat tun wollen. Satz 2.12 Seien F : R n R n stetig differenzierbar, x R n eine Nullstelle von F und F (x ) regulär. Dann existiert ein ε > 0, so dass für jeden Startwert x ٠ K ε (x ) gelten: (a) Das vereinfachte Newton Verfahren aus dem Algorithmus 2.11 ist wohldefiniert und erzeugt eine gegen x konvergente Folge {x k }. (b) Die Konvergenzrate ist linear. Beweis: Der Beweis erfolgt weitgehend analog zu dem des Satzes 2.6: Wegen Lemma 2.4 existiert ein ε ١ > 0, so dass die Matrizen F (x) für alle x K ε1 (x ) regulär sind mit F (x) ١ c

14 36 KAPITEL 2. NEWTON VERFAHREN für eine geeignete Konstante c > 0. Weiterhin gibt es wegen Lemma 2.5 (a) offenbar ein ε ٢ > 0 mit F (x) F (x ) F (x)(x x ) 1 4c x x für alle x K ε2 (x ). Schließlich existiert aus Stetigkeitsgründen ein ε ٣ > 0 mit F (x) F (y) 1 4c für alle x, y K ε3 (x ). Setze nun ε := min{ε ١, ε ٢, ε ٣ }, und wähle x ٠ K ε (x ). Für beliebiges x k K ε (x ) ergibt sich dann x k+١ x = x k x F (x ٠ ) ١ F (x k ) F (x ٠ ) ١ F (x k ) F (x ) F (x ٠ )(x k x ) c F (x k ) F (x ) F (x ٠ )(x k x ) c F (x k ) F (x ) F (x k )(x k x ) +c F (x k ) F (x ٠ ) x k x }{{} k=٠ غ ن =٠ c 1 4c xk x + c 1 4c xk x = 1 2 xk x. Induktiv ergibt sich hieraus, dass mit x ٠ auch alle Iterierten x k in der Kugel K ε (x ) liegen und damit insbesondere wohldefiniert sind. Ferner zeigt die obige Ungleichung x k+١ x 1 2 xk x k N sofort, dass die Folge {x k } mindestens linear gegen x konvergiert. Damit sind die Aussagen (a) und (b) vollständig bewiesen. Wenden wir das vereinfachte Newton Verfahren wieder auf das nichtlineare Randwertproblem aus dem Beispiel 2.10 an, so ergibt sich der Iterationsverlauf aus der Tabelle 2.3. Das Verfahren benötigt also deutlich mehr Iterationsschritte als das Newton Verfahren selbst, dafür ist jede Iteration allerdings erheblich günstiger, da nur zu Beginn eine Matrix Faktorisierung von F (x ٠ ) anfällt. 2.5 Die inverse Iteration als halb vereinfachtes Newton Verfahren Wir wollen in diesem Abschnitt zeigen, wie man mittels der Idee des vereinfachten Newton Verfahrens auf ein bekanntes Verfahren zur Bestimmung eines Eigenwertes und zugehörigen Eigenvektors einer gegebenen Matrix A R n n gelangt.

15 2.5. DIE INVERSE ITERATION ALS NEWTON VERFAHREN 37 k F (x k ) Tabelle 2.3: Vereinfachtes Newton Verfahren für nichtlineare Randwertaufgabe Bekanntlich ist λ genau dann ein Eigenwert von A, wenn Av = λv für ein v 0 gilt. Jedes solche v ist ein Eigenvektor von A zum Eigenwert λ. Da mit v dann auch jedes nichttriviale Vielfache von v ein Eigenvektor ist, können wir für einen solchen Eigenvektor beispielsweise noch die Bedingung v T v = 1 hinzufügen. Dabei gehen wir davon aus, dass die Matrix A symmetrisch ist, so dass alle Eigenwerte reell sind und die Eigenvektoren ebenfalls reell gewählt werden können. Insgesamt erhalten wir aus den obigen Ausführungen das Ergebnis, dass (v, λ) genau dann ein Eigenvektor /Eigenwert Paar von A ist, wenn (v, λ) eine Nullstelle des nichtlinearen Gleichungssystems F (v, λ) = 0 mit F (v, λ) := ( ) Av λv v T v 1 darstellt. Das Newton Verfahren zur Bestimmung einer solchen Nullstelle benutzt die Iterationsvorschrift ( ) ( ) ( ) v k+١ v k v k := +, (2.15) λ k+١ λ k λ k

16 38 KAPITEL 2. NEWTON VERFAHREN wobei ( ) vى k λى k eine Lösung der zugehörigen Newton Gleichung ( ) v F (v k, λ k ) = F (v k, λ k ) (2.16) λ darstellt. Wegen ( ) A F (v k λk I v k, λ k ) = 2(v k ) T 0 lässt sich die Newton Gleichung (2.16) blockweise schreiben als (A λ k I) v k λ k v k = (A λ k I)v k, (2.17) 2(v k ) T v k = (v k ) T v k + 1. (2.18) Setzen wir die Matrix A λ k I einmal als regulär voraus (sonst wäre λ k bereits ein Eigenwert von A) und multiplizieren wir (2.17) von links mit (A λ k I) ١, so ergibt sich v k = v k + λ k (A λ k I) ١ v k. (2.19) Multiplizieren wir diese Gleichung von links mit 2(v k ) T und beachten hierbei (2.18), so folgt (v k ) T v k + 1 = 2(v k ) T v k + 2 λ k (v k ) T (A λ k I) ١ v k. Hieraus ergibt sich λ k = 1 + (v k ) T v k 2(v k ) T (A λ k I) ١ v k, sofern der Nenner von Null verschieden ist. Einsetzen dieses Ausdrucks in (2.19) liefert die Formel v k = v k (v k ) T v k 2(v k ) T (A λ k I) ١ v k (A λ ki) ١ v k. Mit (2.15) ergeben sich somit die Aufdatierungsvorschriften v k+١ = λ k+١ = λ k (v k ) T v k 2(v k ) T (A λ k I) ١ v k (A λ ki) ١ v k und (2.20) 1 + (v k ) T v k 2(v k ) T (A λ k I) ١ v k (2.21) Zur Durchführung dieses Verfahrens hat man in jeder Iteration insbesondere ein lineares Gleichungssystem der Gestalt (A λ k I)d = v k zu lösen, was einen erheblichen Aufwand darstellt, da sich die Koeffizientenmatrix in jeder Iteration ändert. Ersetzt man die Newton Vorschrift (2.16) hingegen durch die partiell vereinfachte Vorschrift ( ) v F (v k, λ ٠ ) = F (v k, λ k ), λ

17 2.5. DIE INVERSE ITERATION ALS NEWTON VERFAHREN 39 die als Mittelweg zwischen dem Newton Verfahren (mit F (v k, λ k )) und dem vereinfachten Newton Verfahren (mit F (v ٠, λ ٠ )) angesehen werden kann, so erhält man auf analoge Weise die Iterationsvorschriften v k+١ = λ k+١ = λ k (v k ) T v k 2(v k ) T (A λ ٠ I) ١ v k (A λ ٠I) ١ v k und (2.22) 1 + (v k ) T v k 2(v k ) T (A λ ٠ I) ١ v k. (2.23) Hierbei hat man in jeder Iteration also ein lineares Gleichungssystem der Form (A λ ٠ I)d = v k zu lösen, bei der sich die Koeffizientenmatrix nicht ändert. Daher braucht man die Matrix A λ ٠ I nur einmal zu faktorisieren, so dass sich die Vorschrift (2.22), (2.23) wesentlich effizienter implementieren lässt als die Vorschrift (2.22), (2.23). Das Verfahren (2.22) hat eine starke Ähnlichkeit zu der aus der numerischen Mathematik bekannten inversen Iteration von Wielandt, bei der die Aufdatierungsvorschrift v k+١ = (A λ ٠I) ١ v k (A λ ٠ I) ١ v k benutzt wird, die sich von (2.22) lediglich in der (sowieso etwas willkürlichen) Normierung des Vektors (A λ ٠ I) ١ v k unterscheidet, um bei möglichst guter Näherung λ ٠ an einen Eigenwert λ von A eine Approximation an einen zugehörigen Eigenvektor zu finden. Insbesondere wird durch diesen Zugang motiviert, warum es sich bei der inversen Iteration von Wielandt um ein lokal relativ schnell konvergentes Verfahren handelt.