Nichtlineare Gleichungssysteme

Transkript

1 Nichtlineare Gleichungssysteme Jetzt: Numerische Behandlung nichtlinearer GS f 1 (x 1,..., x n ) =0. f n (x 1,..., x n ) =0 oder kurz f(x) = 0 mit f : R n R n Bemerkung: Neben dem direkten Entstehen bei der Modellierung realer Prozesse entstehen nichtlineare GS als Zwischenstufe bei der numerischen Behandlung von gewöhnlichen und partiellen Differentialgleichungen. Grundlagen der Numerik 119

2 Fixpunktiteration Betrachten zuerst skalare nichtlineare Gleichung (n = 1) f(x) = 0 mit f : R R Idee Fixpunktiteration: Gleichung f(x) = 0 in äquivalente Fixpunktgleichung x = Φ(x) umformen. Dann Startwert x 0 vorgeben und iterieren x k+1 = Φ(x k ), k = 0, 1,... Hoffnung: x k x mit x = Φ(x ) und f(x ) = 0. Grundlagen der Numerik 120

3 Fixpunktiteration Fragen: 1. Wie wählt man den Startwert x 0? 2. Wie findet man zu einer gegebenen nichtlinearen Funktion f eine geeignete Funktion Φ, so daß die Folge {x k } gegen x konvergiert? 3. Unter welchen Voraussetzungen konvergiert die Folge? 4. Wie schnell konvergiert die Folge? Grundlagen der Numerik 121

4 Fixpunktiteration Zu 1: verschiedene Möglichkeiten: Skizze, Wertetabelle, Problemkenntnisse,... Zu 2: Betrachten folgendes Beispiel f(x) := 2x tan x = 0 Beispiele für äquivalente Fixpunktgleichungen: (a) x = 1 2 tan x =: Φ 1(x) x k+1 = 1 2 tan x k (b) x = arctan(2x) =: Φ 2 (x) x k+1 = arctan(2x k ) Geometrische Überlegungen gute Startnäherung x 0 = 1.2 Grundlagen der Numerik 122

5 Fixpunktiteration Die Fixpunktiterationen liefern die folgenden Werte k (a) (b) > π/ Offensichtlich divergiert die erste Folge (tan x hat einen Pol bei π/2 und x 2 > π/2) Grundlagen der Numerik 123

6 Fixpunktiteration Zu 3 und 4: Die Variante (b) konvergiert, bei ca. jedem zweiten Iterationsschritt kommt eine gültige Dezimalstelle dazu. Konvergenz ist abhängig von konkreter Funktion Φ Im folgenden wollen wir hinreichende Bedingungen für die Konvergenz angeben. Grundlagen der Numerik 124

7 Fixpunktiteration Betrachten Iterationsfolge x k+1 = Φ(x k ), k = 0, 1,... und Differenz zweier aufeinanderfolgender Iterationswerte x k+1 x k = Φ(x k ) Φ(x k 1 ) Ziel: x k+1 x k 0 für k Idee: Wenn Φ(x k ) Φ(x k 1 ) < x k x k 1 dann x k+1 x k < x k x k 1 Grundlagen der Numerik 125

8 Fixpunktiteration DEF.: Sei I = [a, b] R ein Intervall und Φ : I R. Dann heißt Φ kontrahierend auf I, wenn es ein 0 L < 1 gibt, so daß Φ(x) Φ(y) L x y x, y I. Für stetig differenzierbares Φ ist die Lipschitz-Konstante L leicht zu berechnen. LEMMA: Sei Φ C 1 [I]. Dann gilt sup x,y I, x =y Φ(x) Φ(y) x y = sup ξ I Φ (ξ) <. Grundlagen der Numerik 126

9 Fixpunktiteration Beispiel: Sei f(x) = a x 2 + 2, a > 0 und I = [0, 2]. Grundlagen der Numerik 127

10 Fixpunktiteration SATZ: (Konvergenzsatz) Sei Φ : I = [a, b] I eine kontrahierende Abbildung mit Lipschitz-Konstante L < 1. Dann gilt 1. Die Folge {x k } mit x k+1 = Φ(x k ) konvergiert für jeden Startwert x 0 I gegen ein x I, den einzigen Fixpunkt von Φ in I. 2. A priori Fehlerabschätzung: x k x Lk 1 L x 1 x 0, k = 0, 1, A posteriori Fehlerabschätzung x k x L 1 L x k x k 1, k = 1, 2,... Grundlagen der Numerik 128

11 Fixpunktiteration Jetzt: Φ : R n R n DEF.: Mit Φ (x) R n,n Funktionalmatrix Φ (x) := bezeichnen wir die Jacobi oder ( ) Φi x j i,j=1,...,n SATZ: (lokaler Konvergenzsatz) Die Abbildung Φ : R n R n besitze einen Fixpunkt x. Φ sei stetig partiell differenzierbar in einer Umgebung von x. Für den Spektralradius von Φ (x ) gelte ρ(φ (x )) < 1. Dann existiert eine Umgebung D von x derart, daß die Folge {x k } mit x k+1 = Φ(x k ) für jedes x 0 D gegen x konvergiert. Grundlagen der Numerik 129

12 Fixpunktiteration Frage: Wie schnell konvergiert eine Iterationsfolge? DEF.: Eine Folge {x k }, x k R n, konvergiert mit der Ordnung (mindestens) p 1 gegen x, falls es eine Konstante C 0 gibt, so daß x k+1 x C x k x p für alle genügend großen k gilt, wobei wir im Fall p = 1 zusätzlich C < 1 fordern. Im Fall p = 1 spricht man von linearer, für p = 2 von quadratischer Konvergenz. Weiter heißt {x k } superlinear konvergent, falls lim k x k+1 x x k x = 0. Grundlagen der Numerik 130

13 Fixpunktiteration Bemerkung: 1. Man nennt ein Iterationsverfahren mit der Iterationsfunktion Φ konvergent von der Ordnung p, wenn die Folge {x k } mit x k+1 = Φ(x k ) konvergent von der Ordnung p ist. 2. Wegen der Normäquivalenz im R n gilt für p > 1: Ist {x k } in einer Norm konvergent von der Ordnung p > 1, dann auch in jeder anderen. 3. p und C bestimmen die Konvergenzgeschwindigkeit der Folge, wobei der Wert von p wichtiger ist. Die Konstante C ist wichtig beim Vergleich linear konvergenter Verfahren. Gutes Iterationsverfahren: Superlineare Konvergenz oder lineare Konvergenz mit C 1. Grundlagen der Numerik 131

14 Das eindimensionale Newton-Verfahren Bedeutung: Bekanntestes und wichtigstes Verfahren, weitere gute Verfahren sind lediglich Modifikationen des Newton-Verfahrens. Betrachten: f(x) = 0, f : R R. Voraussetzung: f ist in einer Umgebung einer Nullstelle x stetig differenzierbar. Grundlagen der Numerik 132

15 Das eindimensionale Newton-Verfahren Geometrische Motivation: Sei x 0 eine Startnäherung für x. Legen an die Kurve f(x) eine Tangente im Punkt (x 0, f(x 0 )). Ist diese nicht parallel zur x-achse (f (x 0 ) 0), so erhalten wir einen Schnittpunkt der Tangente mit der x-achse. Dieser Schnittpunkt wird als neue Näherung x 1 genommen und das Verfahren fortgesetzt. Grundlagen der Numerik 133

16 Das eindimensionale Newton-Verfahren Newton-Verfahren: Wiederholte Anwendung liefert x k+1 = x k f(x k), k = 0, 1,... f (x k ) Beobachtung: Newton Verfahren = spezielle Fixpunktiteration 1. x k+1 = Φ(x k ) mit Φ(x) = x f(x) f (x) 2. f(x ) = 0, f (x ) 0 Φ(x ) = x 3. Φ (x) = 1 (f ) 2 f f (f ) 2 = f f (f ) 2 Φ (x ) = 0 Grundlagen der Numerik 134

17 Das eindimensionale Newton-Verfahren SATZ: Sei x einfache Nullstelle von f, d.h. f(x ) = 0 und f (x ) 0, und f dreimal stetig differenzierbar in einer Umgebung von x. Dann konvergiert das Newton Verfahren für jeden hinreichend nahe bei x gelegenen Startwert x 0 mindestens quadratisch mit dem Konvergenzfaktor c = f (x )/(2f (x )). SATZ: Sei x l fache Nullstelle von f mit l 2, d.h. f (p) (x ) = 0 mit 0 p l 1 und f (l) (x ) 0. Sei f 2l mal stetig differenzierbar in einer Umgebung von x. Dann konvergiert das Newton Verfahren für jeden hinreichend nahe bei x gelegenen Startwert x 0 linear mit dem Konvergenzfaktor c = (l 1)/l. Grundlagen der Numerik 135

18 Das eindimensionale Newton-Verfahren Beispiel: Berechnung der m-ten Wurzel einer positiven Zahl a > 0 aus f(x) = x m a = 0. Das Newton-Verfahren lautet mit k = 0, 1,... x k+1 = x k xm k a = 1 ( ) a + (m 1)x k m mx m 1 k x m 1 k Spezialfall: m = 2 (wird im Rechner benutzt) x k+1 = 1 ( ) a + x k Quadratwurzel 2 x k Grundlagen der Numerik 136

19 Das eindimensionale Newton-Verfahren Bemerkungen: 1. Ist der Startwert x 0 für das Newton-Verfahren nicht nahe genug an der gesuchten Nullstelle x, so kann das Newton- Verfahren gegen eine andere Nullstelle konvergieren oder auch divergieren. Das Newton-Verfahren ist nicht global konvergent. 2. Falls Berechnung von f zu aufwendig vereinfachtes Newton-Verfahren x k+1 = x k f(x k) f (x 0 ) Konvergenzordnung: p = 1, d.h. nur linear. Konvergenzfaktor: Φ (x ) = 1 f (x )/f (x 0 ) oft 1. Grundlagen der Numerik 137

20 Das eindimensionale Newton-Verfahren Bemerkungen: 3. Das Verfahren x k+1 = x k l f(x k) f (x k ) konvergiert in der Nähe einer l-fachen Nullstelle quadratisch. 4. Newton-Verfahren ist auch für komplexe Nullstellen geeignet, x 0 muß dann komplex sein. Grundlagen der Numerik 138

21 Ableitungsfreie Verfahren 1. Das Sekantenverfahren Entsteht aus Newton-Verfahren, wenn die Ableitung durch einen Differenzenquotienten ersetzt wird: f (x k ) f k f k 1 x k x k 1, (f k = f(x k )) Damit ergibt sich die Iterationsvorschrift (Sekantenverfahren) x k+1 = x k f k x k x k 1 f k f k 1, k = 1, 2,... Beachte: Man benötigt 2 Startwerte! Grundlagen der Numerik 139

22 Ableitungsfreie Verfahren Bemerkungen: 1. Das Sekantenverfahren hat nicht mehr die Form x k+1 = Φ(x k ), so daß die bisherigen Konvergenzuntersuchungen darauf nicht angewendet werden können. Die Ursache ist, daß zur Bestimmung von x k+1 (x k, f(x k )) und (x k 1, f(x k 1 )) benötigt werden. Man spricht von einem zweistufigen Iterationsverfahren. Bei jedem Schritt ist nur ein neuer Funktionswert zu berechnen (keine Ableitung!). Grundlagen der Numerik 140

23 Ableitungsfreie Verfahren Bemerkungen: 2. Falls f (x ) 0, f (x ) 0, so ist die Konvergenzordnung p = 1 2 (1 + 5) Konvergenz i.allg. nur in hinreichend kleiner Umgebung der Nullstelle, wie beim Newton-Verfahren. Frage: Gibt es global konvergente Verfahren, die für jeden Startwert x 0 gegen den Fixpunkt konvergieren? Grundlagen der Numerik 141

24 Global Konvergente Verfahren 2. Regula falsi: Idee: Sekantenverfahren und Vorzeichenkontrolle 1. Startwerte x 0, x 1 mit f 0 f 1 < 0 (unterschiedl. Vorzeichen) 2. Ein Schritt des Sekantenverfahrens liefert 3. Vorzeichentest x 2 = x 0 f 0 x 1 x 0 f 1 f 0 = f 1x 0 f 0 x 1 f 1 f 0 f 2 f 0 < 0 x 1 := x 2, f 1 := f 2 sonst x 0 := x 2, f 0 := f 2 Auf diese Weise wird die Nullstelle immer eingeschlossen. Grundlagen der Numerik 142

25 Global Konvergente Verfahren 3. Das Bisektionsverfahren. Idee: Regula falsi ohne Sekantenschritt 1. Startwerte x 0, x 1 mit f 0 f 1 < 0 (unterschiedl. Vorzeichen) 2. Berechnung des Funktionswertes im Mittelpunkt 3. Vorzeichentest x m = 1 2 (x 0 + x 1 ) f(x m )f 0 < 0 x 1 := x m, sonst x 0 := x m Das Verfahren ist ebenfalls global konvergent. Grundlagen der Numerik 143

26 Newton-Verfahren für Systeme Wir betrachten jetzt f(x) = 0, f : R n R n bzw. ausführlich f 1 (x 1,..., x n ) = 0 f n (x 1,..., x n ) = 0. Beispiel: f 1 (x 1, x 2 ) = x ex 1 sin x 2 1 = 0 f 2 (x 1, x 2 ) = x 1 x 2 + 4x x3 2 4 = 0. Grundlagen der Numerik 144

27 Newton-Verfahren für Systeme Voraussetzung: f stetig differenzierbar in Umgebung einer Nullstelle x von f. DEF.: Die Jacobi-Matrix f (x) einer Funktion f ist definiert durch f 1 f f x 1 (x)... 1 x n (x) (x) =.. R n,n f n f x 1 (x)... n x n (x) Beispiel: Für obiges Beispiel gilt ( ) 4x f 3 (x) = 1 + e x 1 sin x 2 e x 1 cos x 2 x x 2 1 x 1 + 3x 2 2 Grundlagen der Numerik 145

28 Newton-Verfahren für Systeme Wenn f (x k ) an der Stelle x k invertierbar ist, dann kann der neue Wert x k+1 berechnet werden: x k+1 = x k (f (x k )) 1 f(x k ) Das geschieht praktisch nicht durch die Bildung der Inversen, sondern durch die Lösung eines linearen Gleichungssytems. Newton-Verfahren: f (x k ) x k = f(x k ), x k+1 := x k + x k, k = 0, 1,... Die numerische Lösung des nichtlinearen GS ist damit zurückgeführt auf Lösung einer Folge von linearen GS. Grundlagen der Numerik 146

29 Newton-Verfahren für Systeme Algorithmus: S0: k = 0, Wahl eines Startvektors x 0 S1: Berechnung von f(x k ) Berechnung der Jacobimatrix f (x k ) Bestimmung der Korrektur x k aus f (x k ) x k = f(x k ) Berechne x k+1 = x k + x k S2: Abbruchtest Genauigkeit erreicht x = x k+1, STOP max. Iterationsanzahl erreicht keine Konvergenz, STOP k := k + 1; GOTO S1. Grundlagen der Numerik 147

30 Newton-Verfahren für Systeme Wahl von x 0 : schwierig! aus Problemkenntnissen, Tabelle, probieren,... (siehe auch Kapitel Stetigkeitsmethode) Abbruchtest: Toleranz TOL vorgeben, dann z.b. Test f(x k+1 ) + x k T OL. Berechnung von f (x): Bei kleineren Problemen analytisch, i.allg. Approximation durch Differenzenquotienten. f i f i(x + δ j e j ) f i (x) x j δ j mit e j = (0,..., 0, 1, 0,..., 0) T und δ j = max(1, x j ) ε, ε = Maschinengenauigkeit Grundlagen der Numerik 148

31 Newton-Verfahren für Systeme SATZ: Sei f(x ) = 0. Weiterhin gelte 1. f ist in Umgebung von x stetig partiell differenzierbar, 2. f (x ) ist nichtsingulär. Dann existiert ein δ > 0, so daß für jedes x 0 B[x, δ] := {x R n : x x δ} die durch das Newton-Verfahren x k+1 = x k f (x k ) 1 f(x k ), k = 0, 1,... gewonnene Folge {x k } definiert ist (d.h. f (x k ) ist nichtsingulär) und superlinear gegen x konvergiert. Grundlagen der Numerik 149

32 Newton-Verfahren für Systeme Gilt sogar 3. f ( ) ist auf einer (hinreichend kleinen) Kugel um x Lipschitzstetig in x, d.h., es existieren η > 0 und L > 0 mit f (x) f (x ) L x x, falls x x η, so konvergiert {x k } bei hinreichend kleinem δ > 0 für jedes x 0 B[x, δ] von mindestens zweiter Ordnung gegen x. Bemerkungen: Bei diesem Satz handelt es sich um einen lokalen Konvergenzsatz: Voraussetzungen an f, f + x 0 = hinreichend gute Näherung superlineare bzw. quadratische Konvergenz; Existenz einer Nullstelle wird vorausgesetzt. Grundlagen der Numerik 150

33 Newton-Verfahren für Systeme Beobachtung: Der Hauptaufwand beim Newtonverfahren besteht in der Berechnung der Jacobi-Matrix (n zusätzliche Funktionsaufrufe) und in der LR-Zerlegung dieser Matrix. Idee: f (x k ) durch const. Matrix, z.b. f (x 0 ), ersetzen Vereinfachtes Newton-Verfahren: f (x 0 ) x k = f(x k ), x k+1 = x k + x k, k = 0, 1,... Vorteil: Nur einmal Differenzenapproximation, nur eine LR- Zerlegung. Nachteil: Quadratische Konvergenz geht verloren, nur noch linear konvergent. Trotzdem i.allg. schnell konvergent wesentlich schneller als normales Newton-Verfahren. Grundlagen der Numerik 151

34 Stetigkeitsmethode Ziel: Berechnung einer besseren Startlösung x 0 Sei x 0 unsere beste Lösungsnäherung für f(x) = 0, aber das Newton Verfahren konvergiert nicht. Idee: Einbettung des Lösungsprozesses ˆf(x; α) := f(x) + (α 1)f(x 0 ) = 0, 0 α 1 Beobachtung: 1. α = 0: f(x) f(x 0 ) = 0 mit Lösung x 0 2. α = 1: f(x) = 0, unsere Aufgabe Algorithmus: Wende für eine Folge {α j } j=1,...,n mit 0 = α 0 < α 1 <... < α N = 1 das Newton Verfahren an und benutze jeweils x α j als Startlösung für α j+1. Grundlagen der Numerik 152