Kapitel 5. Lösung nichtlinearer Gleichungen

Transkript

1 Kapitel 5. Lösung nichtlinearer Gleichungen 5.1 Nullstellen reeller Funktionen, Newton-Verfahren 5.2 Das Konvergenzverhalten iterativer Verfahren 5.3 Methode der sukzessiven Approximation 5.4 Das Newton-Verfahren im R n Numerische Mathematik I 197

2 Nullstellen reeller Funktionen, Newton-Verfahren 5.1 Nullstellen reeller Funktionen, Newton-Verfahren Aufgabe: Bestimmung einer Nullstelle der stetigen Funktion f[a, b] R Numerische Verfahren: Typ 1: Einschließungsverfahren (z.b. Bisektion, Regula falsi): berechne eine Folge von Intervallen [x k,y k ] [a,b], k 0, mit f(x k )f(y k ) 0, lim x k = z Nullstelle von f. k Nach dem Zwischenwertsatz enthält jedes Intervall [x k,y k ] eine Nullstelle von f. Typ 2: Iterationsverfahren (z.b. Sekantenverfahren, Newton-Verfahren): berechne eine Iterationsfolge (x k ) k N0 mit lim k x k = z Nullstelle von f Numerische Mathematik I 198

3 Nullstellen reeller Funktionen, Newton-Verfahren Einschließungsverfahren: Bisektion und Regula falsi Einschließungsverfahren: Bisektion und Regula falsi Es sei f C[a,b]. 1. Wähle zwei Startwerte x 0,y 0 [a,b] mit f(x 0 )f(y 0 ) < 0. Dann besitzt f eine Nullstelle im Intervall I 0 = [x 0,y 0 ] bzw. I 0 = [y 0,x 0 ]. 2. Berechne für k = 1,2,... x k+1 x k+1 = x k +y k 2 x k y k = x k f(x k ) f(y k ) f(x k) und setze y k+1 = beim Bisektionsverfahren, oder bei der Regula Falsi, { x k, falls f(x k+1 )f(x k ) 0, y k, falls f(x k+1 )f(y k ) < 0. Dann besitzt f eine Nullstelle im Intervall I k+1 = [x k+1,y k+1 ] bzw. I k+1 = [y k+1,x k+1 ]. 3. Beende das Verfahren, wenn f(x k+1 ) 0 oder y k+1 x k+1 die geforderte Genauigkeit ǫ unterschreitet. Numerische Mathematik I 199

4 Nullstellen reeller Funktionen, Newton-Verfahren Konvergenzbetrachtung Konvergenzbetrachtung a) Bisektionsverfahren: es gilt x k y k = 2 k x 0 y 0, k 0. Also gilt für eine Nullstelle z von f die a priori Abschätzung x k z 2 k x 0 y 0, k 0. b) Regula falsi: die Folge (x k ) k 0 (der neu berechneten Werte) konvergiert gegen eine Nullstelle z von f. Beachte: In den meisten Fällen gilt für das Intervallende y k bei der Regula falsi y k = y 1 für alle k 1; deshalb konvergiert die Intervall-Länge y k x k oft nicht gegen Null. Numerische Mathematik I 200

5 Nullstellen reeller Funktionen, Newton-Verfahren Iterationsverfahren: Sekanten- und Newton-Verfahren Iterationsverfahren: Sekanten- und Newton-Verfahren Es sei f C 1 [a,b] und es gelte f (x) 0 für alle x (a,b); f besitze eine Nullstelle z [a,b]. Sekantenverfahren: Wähle zwei Startwerte x 0 x 1 in [a,b] und berechne für k = 1,2,... x k x k 1 x k+1 = x k f(x k ) f(x k 1 ) f(x k). Newton-Verfahren: Wähle einen Startwert x 0 in [a,b] und berechne für k = 1,2,... x k+1 = x k f(x k) f (x k ). Beende das Verfahren, wenn f(x k+1 ) 0 oder durch eine Fehlerabschätzung x k+1 z ǫ garantiert ist (siehe weitere Aussagen). Numerische Mathematik I 201

6 Nullstellen reeller Funktionen, Newton-Verfahren Iterationsverfahren: Sekanten- und Newton-Verfahren Satz: Lokale Konvergenz des Newton-Verfahrens im skalaren Fall Die Funktion f : [a,b] R sei zweimal stetig differenzierbar und besitze eine Nullstelle z (a,b) mit f (z) 0. Weiter gelte m := min x [a,b] f (x) > 0. M := max x [a,b] f (x) <. Wir wählen 0 < r < r 0 = 2m M so, dass K r(z) = [z r,z +r] [a,b] gilt. Dann konvergiert die Folge (x k ) des Newton-Verfahrens für jeden Startwert x 0 K r (z) gegen z. Numerische Mathematik I 202

7 Nullstellen reeller Funktionen, Newton-Verfahren Iterationsverfahren: Sekanten- und Newton-Verfahren Es gelten die a-priori Fehlerabschätzung und die a-posteriori Fehlerabschätzungen x k z M 2m x k 1 z 2 2m M L(2k ) x k z 1 m f(x k) M 2m x k x k 1 2. Die Folge (x k ) konvergiert also lokal quadratisch. Hierbei ist L = Mr 2m < 1. Numerische Mathematik I 203

8 Nullstellen reeller Funktionen, Newton-Verfahren Iterationsverfahren: Sekanten- und Newton-Verfahren Wesentliche Beweisschritte: 1. Wegen m > 0 gibt es keine weitere Nullstelle in [a,b] (Satz von Rolle). 2. Für beliebige x,y [a,b], x y, folgt aus dem Mittelwertsatz x y 1 m f(x) f(y). Damit ist die erste a-posteriori Fehlerabschätzung gezeigt. 3. Die Taylorentwicklung um die Stelle x [a,b] ergibt z 0 = f(z) = f(x)+(z x)f (x)+ f (ξ)(z ξ)dξ. x Daraus erhalten wir f(x) (x z)f (x) M (x z)2 2 und weiter mit der Iterationsfunktion φ(x) = x f(x) f (x) φ(x) z = f(x) (x z) f (x) M 2m (x z)2. 4. Wegen r < 2m M folgt für alle x Kr(z) φ(x) z M 2m (x z)2 Mr x z < r, 2m }{{} <1 also bildet φ das Intervall K r(z) in sich ab: Alle Folgenglieder x k (bei beliebigem x 0 K r(z)) liegen in K r(z). Numerische Mathematik I 204

9 Nullstellen reeller Funktionen, Newton-Verfahren Iterationsverfahren: Sekanten- und Newton-Verfahren 5. Wir führen die Bezeichnung ǫ k = M 2m x k z ein. Aus 3. folgt auch Wegen ǫ k ǫ 2 k 1 ǫ(2k ) 0. ǫ 0 = M 2m x 0 z Mr 2m = L < 1 folgen die Konvergenz ǫ k 0, also x k z und die a-priori Fehlerabschätzung. 6. Zum Beweis der zweiten a-posteriori Abschätzung erhalten wir wie in 3. (Taylorentwicklung um die Stelle x k 1 ) f(x k ) f(x k 1 ) (x k x k 1 )f (x k 1 ) M 2 (x k x k 1 ) 2. Als Nullstelle der Tangente erfüllt x k die Beziehung f(x k 1 )+(x k x k 1 )f (x k 1 ) = 0, also haben wir f(x k ) M 2 (x k x k 1 ) 2. Damit ergibt sich die zweite a-posteriori Abschätzung. Numerische Mathematik I 205

10 Nullstellen reeller Funktionen, Newton-Verfahren Bemerkung: Bemerkung: Die gewählte Umgebung K r(z) der einfachen Nullstelle z der Funktion f ist ein Einzugsbereich dieser Nullstelle: für einen Startwert x 0 in dieser Umgebung erfolgt sehr rasche Konvergenz. Z.B. für L = 1/2 erzielt man mit 5 bzw. 10 Iterationsschritten bereits x 5 z 2m M m M 10 10, x 10 z 2m M m M Die wirkliche Schwierigkeit besteht häufig darin, mit dem Startwert überhaupt eine solche Umgebung zu treffen, da der Radius r sehr klein sein kann. Oft kann man zunächst eine langsame (lineare) Annäherung der Zahlen x 0,x 1,...,x n an die Nullstelle beobachten, bevor die schnelle quadratische Konvergenz einsetzt. Dies liegt daran, dass erst das Folgenglied x n im Einzugsbereich K r(z) liegt. Oft wird man gar keine Konvergenz erzielen, wenn der Startwert x 0 nicht nahe genug bei z gewählt wird. In bestimmten Situationen (siehe Übung) ist das Verfahren aber robust, d.h. Konvergenz wird auch bei weit entferntem Startwert erzielt. Numerische Mathematik I 206

11 Nullstellen reeller Funktionen, Newton-Verfahren Bemerkung: Newton-Verfahren für Polynome Bemerkung: Newton-Verfahren für Polynome Für Polynome erfolgt die Auswertung von f und f mit Hilfe des Hornerschemas: zum Beispiel für f(x) = x 3 x 2 x 1 (Achtung: f (1) = 0 vermeiden!) Koeffizienten von f x 0 = x Zahl links unterhalb Summe = f(2) x 0 = x Zahl links unterhalb Summe = f (2) Also: zu x 0 = 2 liefert das Newton-Verfahren x 1 = Numerische Mathematik I 207

12 Nullstellen reeller Funktionen, Newton-Verfahren Satz: hinreichende Voraussetzungen für Konvergenz des Newton-Verfahrens Satz: hinreichende Voraussetzungen für Konvergenz des Newton-Verfahrens f : [a,b] R sei zweimal stetig differenzierbar und es gelte f(a)f(b) < 0, f (x) 0 und f (x) 0 für alle x [a,b]. Weiterhin gelte für der Startwert x 0 [a,b] des Newton-Verfahrens f(x 0 )f (x 0 ) > 0. Dann hat f genau eine Nullstelle z (a,b), die Iterierten x k des Newton-Verfahrens zum Startwert x 0 liegen in [a,b], und die Folge (x k ) k 0 konvergiert monoton gegen die Nullstelle z. Beweis: Spezialfall f > 0 und f > 0 als Übungsaufgabe. Numerische Mathematik I 208

13 Nullstellen reeller Funktionen, Newton-Verfahren Ergänzung: modifiziertes Newton-Verfahren bei mehrfacher Nullstelle Ergänzung: modifiziertes Newton-Verfahren bei mehrfacher Nullstelle Es sei p N, p 2. Die Funktion f C p+1 [a,b] besitze eine p-fache Nullstelle z (a,b), d.h. f(z) = f (z) = = f (p 1) (z) = 0, f (p) (z) 0. Dann liefert modifizierte Newtonverfahren x k+1 = x k p f(x k) f (x k ), k = 0,1,2,... lokal quadratische Konvergenz bei geeigneter Wahl des Startwerts x 0, d.h. x k+1 z C( x k z 2 ), k 0. Numerische Mathematik I 209

14 Nullstellen reeller Funktionen, Newton-Verfahren Ergänzung: modifiziertes Newton-Verfahren bei mehrfacher Nullstelle Begründung für p = 2: Es sei f C 3 [a,b] mit doppelter Nullstelle z. Für x [a,b] mit f (x) 0 benutzen wir die Taylor-Entwicklung von f und von f um z und erhalten f(x) f (x) = x f (z) (x z)2 + f (ξ) (x ξ)2 dξ 2 2 z x f (z)(x z)+ f (ξ)(x ξ)dξ z In einer Umgebung von z gilt x f (x ξ)2 (ξ) dξ = O( x z 3 ), z 2 x f (ξ)(x ξ)dξ = O( x z 2 ). z Also erhalten wir x z f(x) f (x) = +O( x z 2 ) 2 1+O( x z ) = x z 2 +O( x z 2 ). Numerische Mathematik I 210

15 Nullstellen reeller Funktionen, Newton-Verfahren Satz: Lokale Konvergenz des Sekanten-Verfahrens Satz: Lokale Konvergenz des Sekanten-Verfahrens Die Funktion f : [a,b] R sei zweimal stetig differenzierbar und besitze eine Nullstelle z (a,b) mit f (z) 0. Weiter gelte m := min x [a,b] f (x) > 0. M := max x [a,b] f (x) <. Wir wählen 0 < r < r 0 = 2m M so, dass K r(z) = [z r,z +r] [a,b] gilt. Dann konvergiert die Folge (x k ) des Sekanten-Verfahrens für jede Wahl der Startwerte x 0,x 1 K r (z) (mit x 0 x 1 ) gegen z. Numerische Mathematik I 211

16 Nullstellen reeller Funktionen, Newton-Verfahren Satz: Lokale Konvergenz des Sekanten-Verfahrens Es gelten die a-priori Fehlerabschätzung x k z 2m M LF k mit L = Mr 2m < 1, wobei F 0 = F 1 = 1, F k +1 = F k +F k 1 die Folge der Fibonacci-Zahlen bezeichnet, und die a-posteriori Fehlerabschätzungen x k z 1 m f(x k) M 2m x k x k 1 x k x k 2. Numerische Mathematik I 212

17 Nullstellen reeller Funktionen, Newton-Verfahren Beispiel: Beispiel: Die Funktion f : R R mit f(x) = e x x 2 3x hat eine Nullstelle z = Wir wählen x 0 = 0 für das Newton-Verfahren, x 0 = 0 und x 1 = 1 für das Sekantenverfahren und Regula falsi. Newton: k x k f(x k ) f (x k ) Sekantenverfahren: k x k f(x k ) f(x k ) f(x k 1 ) x k x k Regula falsi: mit a k = min{x k,y k } und b k = max{x k,y k } für das Intervall I k : k a k x k+1 b k f(x k+1 ) f(b k ) f(a k ) b k a k Numerische Mathematik I 213

18 Das Konvergenzverhalten iterativer Verfahren 5.2 Das Konvergenzverhalten iterativer Verfahren Fragestellung: Lässt sich die Qualität bzw. Geschwindigkeit der Konvergenz einer Folge lim k x k = x beschreiben? Numerische Mathematik I 214

19 Das Konvergenzverhalten iterativer Verfahren Definition: Konvergenzordnung Definition: Konvergenzordnung Es sei V ein normierter Raum. Eine konvergente Folge (x k ) k 0 mit Gliedern x k V und Grenzwert lim k x k = x V in einem normierten Raum R n ) mit Grenzwert hat die Konvergenzordnung p R, p 1, falls es k 0 N und c > 0 (mit c < 1 im Fall p = 1) gibt, so dass x k+1 x c x k x p für alle k k 0. p = 1: Man spricht von linearer Konvergenz. Für k k 0 gelten die a-priori und a-posteriori Fehlerabschätzungen des Banachschen Fixpunktsatzes in Abschnitt 5.3: x k x ck k0 1 c x k 0+1 x k0, x k x c 1 c x k x k 1. Numerische Mathematik I 215

20 Das Konvergenzverhalten iterativer Verfahren Definition: Konvergenzordnung p = 2: Man spricht von quadratischer Konvergenz, wie z.b. beim Newton-Verfahren. Dann gilt für die reelle Nullfolge ǫ k = c x k x ǫ k ǫ 2k k 0 k 0 für alle k k 0, also sehr schnelle Konvergenz gegen Null, falls einmal ǫ k0 < 1 erreicht ist. Gilt im Fall p = 1 die Beziehung x k+1 x lim k x k x = 0, so spricht man von superlinearer Konvergenz. Einige Quasi-Newton -Verfahren sind superlinear, haben aber keine Konvergenzordnung p > 1. Das Sekantenverfahren hat die Konvergenzordnung p = Ein konvergentes Verfahren mit x k+1 x c x k x x k 1 x x k 2 x hat die Konvergenzordnung p 1.84, siehe Übungsblatt 10. Numerische Mathematik I 216

21 Das Konvergenzverhalten iterativer Verfahren Definition: Fixpunktverfahren Definition: Fixpunktverfahren Es sei V ein normierter Vektorraum, M V und φ : M M eine Abbildung. Ein Iterationsverfahren der Form x k+1 = φ(x k ), k = 0,1,2,... mit Startwert x 0 M heißt Fixpunktverfahren oder Verfahren der sukzessiven Approximation, φ heißt Iterationsfunktion des Verfahrens. Beachte: φ ist eine Selbstabbildung der Teilmenge M in sich, damit das Verfahren durchführbar ist. Numerische Mathematik I 217

22 Das Konvergenzverhalten iterativer Verfahren Satz: Konvergenzordnung der Fixpunkt-Iteration in R Satz: Konvergenzordnung der Fixpunkt-Iteration in R Es sei p N, p 2. Die Funktion φ : [a,b] [a,b] sei p-mal stetig differenzierbar, die Folge (x k ) k 0 des Fixpunktverfahrens x k+1 = φ(x k ) besitze einen Grenzwert x, und es gelte φ (x ) = = φ (p 1) (x ) = 0. Dann ist x Fixpunkt von φ, und die Folge (x k ) hat mindestens die Konvergenzordnung p. Beweisidee: Man zeigt mit der Taylorformel x φ(x) x = φ (p) (x ξ)p 1 (ξ) dξ x (p 1)! M p p! x x p mit M p = sup x [a,b] φ (p) (x). Numerische Mathematik I 218

23 Methode der sukzessiven Approximation Beispiel: 5.3 Methode der sukzessiven Approximation In vielen Anwendungen sind Gleichungssysteme zu lösen, in denen die Unbekannten nichtlinear auftreten Beispiel: Der Betrag der Gravitationskraft zwischen zwei Punktmassen m 1 und m 2 (in kg) mit dem Abstand r = ( x 1 x 2 y 1 y 2 ) (in Meter) ist nach dem Newtonschen Gesetz F = G m 1m 2 r 2 mit G = Nm 2 /kg, der Kraftvektor F hat die Koordinatenform F = ±G m ( ) 1m 2 x1 x 2. r y 1 y 2 Wir betrachten ein ebenes Gravitationsfeld mit drei festen Punktmassen m k in den Punkten P 1 = (x 1,0), P 2 = (x 2,0), P 3 = (0,y 3 ). Auf eine weitere Punktmasse m im Punkt P = (x,y) R 2 wirken die drei Kräfte F k (x,y) = G mm ( ) k xk x, k = 1,2,3. r k y k y Das Gleichgewicht wird durch die Gleichung F 1 (x,y)+f 2 (x,y)+f 3 (x,y) = 0 (5.3.1) beschrieben. Dies ist ein nichtlineares Gleichungssystem mit zwei Unbekannten x und y (die Masse m wird herausgekürzt). Numerische Mathematik I 219

24 Methode der sukzessiven Approximation Definition: Fixpunkt, Fixpunktverfahren im R n Definition: Fixpunkt, Fixpunktverfahren im R n Es sei D R n nichtleer und φ : D R n eine stetige Funktion. a) Ein Element x D mit x = φ(x ) heißt Fixpunkt von φ. b) Falls φ(x) D für alle x D gilt, so nennt man φ eine Selbstabbildung der Menge D. c) Für eine Selbstabbildung φ : D D kann zu einem Startwert x (0) D die Folge x (k+1) = φ(x (k) ), k = 0,1,2,... gebildet werden. Diese Iterationsvorschrift nennt man Fixpunktverfahren oder Methode der sukzessiven Approximation. Numerische Mathematik I 220

25 Methode der sukzessiven Approximation Satz Satz Es sei φ : D D eine stetige Selbstabbildung und (x (k) ) k 0 die zum Startwert x (0) D gebildete Folge des Fixpunktverfahrens. Falls diese Folge einen Grenzwert x D besitzt, so ist x Fixpunkt von φ. Beweis: Stetigkeit ausnutzen in x = lim k x(k+1) = lim k φ(x(k) ) = φ ( lim x(k)) = φ(x ). k Numerische Mathematik I 221

26 Methode der sukzessiven Approximation Definition: kontrahierende Abbildung Auf R n legen wir eine Norm fest, z.b. die euklidische Norm Definition: kontrahierende Abbildung Es sei D R n und φ : D R n eine Funktion. a) φ heißt Lipschitz-stetig mit der Lipschitzkonstanten L 0, falls φ(x) φ(y) L x y für alle x,y D. b) φ heißt kontrahierend (bzgl. der gegebenen Norm), falls φ Lipschitz-stetig mit einer Lipschitzkonstanten L < 1 ist. In diesem Fall nennt man L auch Kontraktionszahl von φ. Bemerkung: Die Lipschitz-Stetigkeit von φ ist unabhängig von der gegebenen Norm; sie impliziert die Stetigkeit von φ. Jedoch hängt die Konstante L von der gegebenen Norm ab: die Kontraktionseigenschaft kann bzgl. einer Norm erfüllt sein und bezüglich einer anderen Norm verletzt sein. Numerische Mathematik I 222

27 Methode der sukzessiven Approximation Satz: Lipschitz-Konstanten differenzierbarer Funktionen Satz: Lipschitz-Konstanten differenzierbarer Funktionen Die Menge D R n sei konvex und φ : D R n sei stetig differenzierbar. Wir bezeichnen mit φ j die Komponenten von φ, mit Dφ(x) = φ 1(x) x 1. φ n(x) x 1 φ 1(x) x n. φ n(x) x n die Jacobimatrix von φ und verwenden die natürliche Matrixnorm Dφ(x) zur gegebenen Norm auf R n. Falls gilt, ist L eine Lipschitzkonstante von φ. L := sup Dφ(x) < x D Numerische Mathematik I 223

28 Methode der sukzessiven Approximation Banachscher Fixpunktsatz In der Analysis wurde bereits der folgende Satz bewiesen Banachscher Fixpunktsatz Sei D R n eine nichtleere abgeschlossene Menge und φ : D D eine kontrahierende Selbstabbildung mit der Kontraktionskonstante 0 L < 1. Dann hat φ genau einen Fixpunkt x D. Für jeden Startwert x (0) D konvergiert die Folge (x (k) ) k 0 der Methode der sukzessiven Approximation gegen den Fixpunkt x von φ. Für k 1 gilt: x (k) x L x (k 1) x (mindestens lineare Konvergenz) x (k) x x (k) x L k 1 L x(1) x (0) L 1 L x(k) x (k 1) (a priori Fehlerabschätzung) (a posteriori Fehlerabschätzung) Numerische Mathematik I 224

29 Methode der sukzessiven Approximation Bemerkung: Prüfung des Wertebereichs Bemerkung: Prüfung des Wertebereichs Auf die Voraussetzung an den Wertebereich von φ, also φ(d) D, darf nicht verzichtet werden! Diese Voraussetzung ermöglicht, dass die Iterationsfolge gebildet werden kann. a) Für eine Funktion φ : [a,b] R prüft man mit den üblichen Methoden der Kurvendiskussion (Monotoniebereiche), ob φ eine Selbstabbildung des Intervalls [a, b] ist. Falls ja, erkennt man auch ohne die Kontraktionseigenschaft, dass φ einen Fixpunkt hat: denn die stetige Funktion g : [a,b] R mit g(x) = x φ(x) hat mindestens eine Nullstelle, weil g(a) = a φ(a) 0 b φ(b) = g(b). b) Jede stetige Funktion φ : D D mit konvexer kompakter Menge D R n besitzt mindestens einen Fixpunkt! (Brouwersche Fixpunktsatz, ) c) Für φ : D R n erhält man die Kontraktions- und die Selbstabbildungs-Eigenschaft oft erst durch geschickte Einschränkung des Definitionsbereichs auf eine Teilmenge D D. Eine allgemeine Methode wird im folgenden Punkt beschrieben. Numerische Mathematik I 225

30 Methode der sukzessiven Approximation Methode: Kugelbedingung Methode: Kugelbedingung Es sei φ : D R n stetig. Weiter seien ξ 0 D, r > 0 sowie 0 L < 1 mit den folgenden Eigenschaften gegeben: (1) K r (ξ 0 ) = {x R n x ξ 0 r} D. (2) Es gilt die Kontraktionsbedingung φ(x) φ(y) L x y für alle x,y K r (ξ 0 ). (3) Es gilt die Kugelbedingung φ(ξ 0 ) ξ 0 r(1 L). Dann bildet φ die Menge K r (ξ 0 ) in sich ab, d.h. die Einschränkung φ Kr(ξ 0) ist eine kontrahierende Selbstabbildung. Beweis: Mit der Dreiecksungleichung, Kontraktions- und Kugelbedingung folgt φ(x) ξ 0 φ(x) φ(ξ 0 ) + φ(ξ 0 ) ξ 0 L x ξ 0 +(1 L)r r. Numerische Mathematik I 226

31 Methode der sukzessiven Approximation Bemerkung: Fixpunktverfahren in R Bemerkung: Fixpunktverfahren in R x sei Fixpunkt der stetig differenzierbaren Funktion φ : [a,b] [a,b]. Mögliche Szenarien für die Iterationsfolge (x (k) ) werden durch das matlab-file fixpointplot.m dargestellt. Dabei werden die Bedingungen (i) φ (x ) > 1: abstoßender Fixpunkt von g(x) = cosh(x)/2 bei x 2.1 (ii) 0 < φ (x ) < 1: anziehender Fixpunkt von g(x) = cosh(x)/2 bei x 0.6 mit Monotonie der Folge (iii) 1 < φ (x ) < 0: anziehender Fixpunkt von g(x) = cosx bei x 0.7 mit Alternierung der Folge unterschieden. Numerische Mathematik I 227

32 Methode der sukzessiven Approximation Bemerkung: Fixpunktverfahren in R (i) abstossender Fixpunkt mit g (x * )> (ii) anziehender Fixpunkt mit 0<g (x * )<1 2 (iii) anziehender Fixpunkt mit 1<g (x * )< Numerische Mathematik I 228

33 Methode der sukzessiven Approximation Bemerkung: Nullstelle vs. Fixpunkt Bemerkung: Nullstelle vs. Fixpunkt Ein Gleichungssystem f(x) = 0 zu gegebener Funktion f : R n R n lässt sich in vielfältiger Weise umwandeln in die Fixpunkt-Form φ(x) = x, wobei φ : R n R n mit f zusammenhängt über f(x) = 0 x = φ(x). Beispeilsweise wählt man φ(x) = x +Cf(x) mit einer invertierbaren Matrix C R n n. Numerische Mathematik I 229

34 Methode der sukzessiven Approximation Beispiel in R: Beispiel in R: Die Gleichung f(x) = x 6 x 1 = 0 besitzt eine positive Lösung im Intervall [0,2], und zwar x Die Fixpunktiteration φ 1 (x) = (1 +x) 1/6 mit Startwert x 0 = 2 konvergiert linear, 2. die Fixpunktiteration φ 2 (x) = x x6 x 1 6x 5 (Newton-Verfahren) mit Startwert x 1 0 = 2 beginnt mit linearer Konvergenz (bis x 4 ), ist dann im Einzugsbereich und schaltet um auf quadratische Konvergenz (Verdopplung genauer Stellen pro Schritt). Die unterschiedliche Konvergenzordnung erkennt man anhand von φ 1 (x ) = 1 6(x ) 5 0 und φ 2 (x ) = 0. φ 1 φ Numerische Mathematik I 230

35 Das Newton-Verfahren im R n Newton-Verfahren im R n 5.4 Das Newton-Verfahren im R n (und zwei Varianten) Ziel: Löse das (nichtlineare) Gleichungssystem f(x) = 0, wobei f : D R n mindestens einmal stetig differenzierbar ist in D R n Newton-Verfahren im R n Es sei D R n, f : D R n sei stetig differenzierbar. Zur Lösung des Gleichungssystems f(x) = 0 wählt man einen Startwert x 0 D und berechnet x (k+1) = x (k) [Df(x (k) )] 1 f(x (k) ), k 0. Falls die Jacobi-Matrix Df(x (k) ) nicht invertierbar ist, bricht das Verfahren mit einer Fehlermeldung ab. Numerische Mathematik I 231

36 Das Newton-Verfahren im R n Algorithmus: Newton-Verfahren im R n Algorithmus: Newton-Verfahren im R n Das Newton-Verfahren im R n wird meist so programmiert: Gegeben: Startwert x (0) D. Für k = 0,1,2,...: 1. Berechne f(x (k) ), A (k) := Df(x (k) ), (z.b. durch Aufruf von Funktionen f und Df) 2. löse das lineare Gleichungssystem A (k) s (k) = f(x (k) ), (z.b. mittels LR-Zerlegung von A (k) ) 3. Setze x (k+1) := x (k) +s (k), bis k k max oder (A (k) ) 1 f(x (k+1) ) tol. In jedem Schritt ist also ein lineares Gleichungssystem zu lösen, in dem die Newton-Korrektur s (k) berechnet wird. Die Abbruchbedingung ist in Anlehnung an die erste a-posteriori Fehlerabschätzung im skalaren Fall gewählt. Numerische Mathematik I 232

37 Das Newton-Verfahren im R n Satz: Lokale Konvergenz des Newton-Verfahrens (mehrdimensionaler Fall) Voraussetzungen: f : Ω R n ist stetig differenzierbar, Ω R n ist konvex und offen. f besitzt eine Nullstelle z Ω und die Jacobimatrix Df(z) ist invertierbar. Df ist auf Ω Lipschitz-stetig mit einer Konstanten M > 0, d.h. Df(x) Df(y) M x y, x,y Ω. Für jedes x Ω ist Df(x) invertierbar und 1 m := sup [Df(x)] 1 <. x Ω Satz: Lokale Konvergenz des Newton-Verfahrens (mehrdimensionaler Fall) Unter den obigen Voraussetzungen wählen wir 0 < r < r 0 = 2m M so, dass K r (z) Ω gilt. Dann ist die Iterationsfunktion φ(x) = x [Df(x)] 1 f(x) des Newtonverfahrens eine kontrahierende Selbstabbildung von K r (z) mit der Kontraktionskonstante L = Mr 2m < 1. Numerische Mathematik I 233

38 Das Newton-Verfahren im R n Satz: Lokale Konvergenz des Newton-Verfahrens (mehrdimensionaler Fall) Also konvergiert die Folge (x (k) ) k 0 des Newton-Verfahrens für jeden Startwert x (0) K r (z) gegen z. Es gilt die a-priori Fehlerabschätzung x (k) z 2m M L(2k). Die Folge (x (k) ) k 0 konvergiert also lokal quadratisch. Numerische Mathematik I 234

39 Das Newton-Verfahren im R n Beispiele: Beispiele: a) Einzugsgebiet: Flugbahn der US-Raumsonde Voyager 2 ( ), siehe www-aix.gsi.de/~giese/swr b) Einführungsbeispiel: (s. auch Dahmen, Reusken, S ) Numerische Mathematik I 235

40 Das Newton-Verfahren im R n Variante: Vereinfachtes Newton-Verfahren Variante: Vereinfachtes Newton-Verfahren Beim Newton-Verfahren im R n kostet in jedem Schritt sowohl das Aufstellen der Jacobi-Matrix A (k) = Df(x (k) ) als auch das Lösen des linearen Gleichungssystems A (k) s (k) = f(x (k) ) die meiste Zeit. Beim vereinfachten Newton-Verfahren hält man die Matrix dieses Gleichungssystems für l Schritte fest. D.h., man rechnet A (0) s (k) = f(x (k) ), x (k+1) = x (k) +s (k) mit A (0) = Df(x (0) ) für k = 0,1,2,...,l 1, und stellt dazu nur die LR-Zerlegung A (0) her. Erst dann wird A (0) durch A (l) = Df(x (l) ) ersetzt und für die nächsten l Schritte verwendet, A (l) s (k) = f(x (k) ), x (k+1) = x (k) +s (k) mit A (l) = Df(x (l) ) für k = l,l+1,...,2l 1, usw. Gegenüber dem herkömmlichen Verfahren wird also nur A (0), A (l), A (2l) etc. benötigt. Numerische Mathematik I 236

41 Das Newton-Verfahren im R n Variante: Gedämpftes Newton-Verfahren Variante: Gedämpftes Newton-Verfahren Zur Globalisierung der Konvergenz (d.h. auch bei grob gewähltem Startwert x (0) ) verwendet man die Newton-Korrektur s (k) = [Df(x (k) )] 1 f(x (k) ) nur als Suchrichtung, variiert aber ihre Länge so, dass f(x (k) ) tatsächlich verkleinert wird. Der folgende Algorithmus erzielt mindestens lineare Konvergenz mit Konstante L = 1 λ min /4 < 1 oder bricht ab. Gegeben: Startwert x (0). Für k = 0,1,2,... : 1. Berechne f(x (k) ), A (k) := Df(x (k) ). 2. Löse das lineare Gleichungssystem A (k) s (k) = f(x (k) ), 2.a Setze λ = 1. 2.b Dämpfung: Setze x := x (k) +λs (k) ; C λ := 1 λ/4; Falls (A (k) ) 1 f(x) C λ (A (k) ) 1 f(x (k) ), gehe zu 3. Sonst: Setze λ := λ/2. Falls λ λ min, gehe zu 2.b. Sonst ABBRUCH: keine Konvergenz. 3. Setze x (k+1) := x, bis k k max oder (A (k) ) 1 f(x (k+1) ) tol. Numerische Mathematik I 237

42 Das Newton-Verfahren im R n Variante: Gedämpftes Newton-Verfahren Der Algorithmus hat zwei ineinander geschachtelte Schleifen, die durch die Parameter λ min und k max begrenzt werden. Die Voraussetzungen an den Startwert x (0) für die Konvergenz gegen die Nullstelle x sind wesentlich schwächer als beim Newton-Verfahren. Daher liegt oft Konvergenz vor, auch wenn x (0) eine grobe Näherung an x ist. Die anfängliche lineare Konvergenz führt in den Einzugsbereich der Nullstelle, ab dann wird in 2.b die Bedingung für λ = 1 erfüllt sein und die quadratische Konvergenz setzt ein. Numerische Mathematik I 238