3 Nichtlineare Gleichungssysteme

Transkript

1 3 Nichtlineare Gleichungsssteme 3.1 Eine Gleichung in einer Unbekannten Problemstellung: Gegeben sei die stetige Funktion f(). Gesucht ist die Lösung der Gleichung f() = 0. f() f() a) f ( ) 0 b) f ( ) = 0 Für f ( ) 1 ist das Problem schlecht konditioniert: denn aus folgt = f 1 (0) =: H(0), κ H = H (0) H(0) = 1 f ( ) ; (10) f 1 (f(z)) = z d dz (f 1 ) (f(z)) f (z) = 1, und mit z =, f ( ) 0 folgt (f 1 ) (0) = 1 f ( ) = H (0). Bemerkung: Man sieht aus (10), dass der Fall b) schwierig zu lösen ist. Wir betrachten im Folgenden den Fall a) und suchen dafür gute Algorithmen. Das Newton-Verfahren Sei f() differenzierbar und sei eine Näherung 0 an eine Nullstelle von f gegeben. Idee: Ersetze den Graphen von f durch die Tangente t im Punkt P = ( 0,f( 0 )). 34

2 Gleichung von t: = f ( 0 )( 0 ) + f( 0 ) Nullstelle von t: t 1 = 0 f( 0) f ( 0 ) =: F( 0) (für f ( 0 ) 0) P = f() Iteration: k+1 = F( k ), k = 0,1,... (11) 1 0 d.h. ersetze das nichtlineare Problem durch eine (unendliche) Folge von linearen Problemen. Falls die Folge der Iterierten k für k gegen konvergiert, so ist eine Lösung der sogenannten Fipunktgleichung = F() (12) und es gilt f() = 0. Wir untersuchen zuerst die Eistenz einer Lösung von (12) für ein beliebiges F (d.h. nicht nur für das F des Newton-Verfahrens): = b = f() a a b Es gilt: Falls F() stetig ist auf dem Intervall I := [a,b] und falls F das Intervall I in sich abbildet, dann hat (12) mindestens eine Lösung. Die Eindeutigkeit der Lösung wird im folgenden Satz behandelt. 35

3 Satz: (Fipunktsatz) Voraussetzung: i) F bildet das Intervall [a,b] in sich ab. ii) F ist eine Kontraktion, d.h. es eistiert eine positive Konstante L < 1, so dass F( ) F( ) L für alle, [a,b]. Behauptung: 1. Die Fipunktgleichung (12) hat genau eine Lösung [a,b]. 2. Die Iteration (11) konvergiert für ein beliebiges 0 [a,b] gegen die Lösung von (12). 3. Es gilt die Abschätzung k Lk j 1 L j+1 j, 0 j k 1. Bemerkung: Die Konstante L heisst Lipschitz-Konstante. Die Voraussetzung ii) ist erfüllt, falls F () L < 1 für alle [a,b]. Beweis des Fipunktsatzes: 1. F() ist Lipschitz-stetig, also stetig. Daraus folgt, dass g() := F() stetig ist. Da F(a) a und F(b) b, gilt g(a) 0 und g(b) 0; daraus folgt mit dem Zwischenwertsatz, dass ein [a,b] eistiert mit g( ) = 0; d.h. es eistiert mindestens ein Fipunkt. Wir nehmen an, es gäbe ein mit F( ) = und. Dann gilt = F( ) F( ) L <. Dies ist ein Widerspruch, und wir haben damit bewiesen, dass genau ein Fipunkt eistiert. 2. Mit 0 [a,b] folgt k = F( k 1 ) [a,b], k = 1,2,... Es gilt k = F( ) F( k 1 ) L k 1 L 2 k 2... L k 0. Da L < 1 folgt dass L k 0, k. 36

4 3. Aus der Abschätzung folgt k+1 k = F( k ) F( k 1 ) L k k 1... L k 1 0 l k+l k k+i k+i 1 i=1 L k 1 0 l i=1 L i 1 l L k+i i=1 Da l i=1 Li 1 1 Ll 1 L k+l k Lk j 1 L (geometrische Reihe), erhalten wir daraus dass ( 1 L l 1 L ) j+1 j, 0 j < k, und damit für l die Behauptung. Bemerkung: Die Aussage 3. im Satz für j = 0 heisst a-priori-abschätzung k Lk 1 L 1 0, und diejenige für j = k 1 heisst a-posteriori-abschätzung k L 1 L k k 1. = = b b = F() a = F() a a 0 0 anziehender Fipunkt b a 0 abstossender Fipunkt b 37

5 Wir kommen zurück zum Newton-Verfahren, d.h. zum speziellen F des Newton- Verfahrens. Folgerung: Für 0 genügend nahe bei der Nullstelle Verfahren gegen, falls f () 0 ist. konvergiert das Newton- Beweis: Für das Newton-Verfahren gilt: F() = f() f () F () = 1 f () f () + f() f () 2f () = f() f () 2f (). Das heisst, dass für a,b mit [a,b] und b a klein genug die Voraussetzungen i), ii) des Fipunktsatzes erfüllt sind. Bemerkung: Da F ( ) = 0, konvergiert das Newton-Verfahren schnell. Wir wollen die Konvergenz des Newton-Verfahrens genauer anschauen. Sei e k := k der Fehler der k-ten Iterierten. Definition: Falls e k+1 = C [ek ] p heisst p die Konvergenzordnung des Iterations-Verfahrens. Für das Newtonverfahren gilt: e j+1 = f ( ) 2f ( ) e j 2 d.h. für f ( ) 0 konvergiert es mindestens quadratisch: bei jedem Schritt wird die Anzahl richtiger Stellen ungefähr verdoppelt. Beweis: Die Talorentwicklung von f() um k ergibt für = 0 = f( ) = f( k + ( k )) = f( k ) + f ( k )( k ) + f (ξ) ( k ) 2. 2! Ausserdem gilt nach dem Newton-Verfahren, dass 0 = f( k ) + f ( k )( k+1 k ). Subtrahiert man die erste Gleichung von der zweiten, so erhält man k+1 = f (ξ) 2f ( k ) ( k ) 2. 38

6 Algorithmus: (Newton Verfahren) 0 ; RTOL, ATOL k+1 = k f( k) f ( k ), k = 0,1,2,... Abbruchkriterium: k+1 k k+1 RTOL + ATOL Beispiel: f() = sin 0 = 4 1 = = = = Unterstrichen sind die jeweils korrekten Stellen. Nachteile des Newton-Verfahrens: lokales Verfahren die Ableitung f () muss bekannt sein Vorteil: schnelle Konvergenz Bemerkung: Die Fipunktiteration (12) ist auch ein Verfahren zum Bestimmen der Lösung von f() = 0 (z.b. F() = f(), falls F ( ) < 1). Die Konvergenzordnung ist aber nur 1 (lineare Konvergenz), da k = F( k 1 ) F( ) L k 1. Die Sekantenmethode Seien zwei Näherungen 0, 1 für eine Nullstelle von f gegeben. Idee: Ersetze die Tangente t durch die Sekante s durch die Punkte P 0 = ( 0,f( 0 )) und P 1 = ( 1,f( 1 )). 39

7 P 1 s f() P 0 Gleichung von s: = f( 1) f( 0 ) 1 0 ( 1 ) + f( 1 ) Nullstelle von s: 2 = f( 1 ) f( 0 ) f( 1) = 0f( 1 ) 1 f( 0 ) f( 1 ) f( 0 ) Algorithmus: (Sekantenmethode) 0, 1 ; RTOL, ATOL k+1 = k 1f( k ) k f( k 1 ) f( k ) f( k 1 ) Abbruchkriterium:, k = 1,2,... k+1 k k+1 RTOL + ATOL Beispiel: f() = sin 0 = 2 1 = 4 2 = = = = = 6 40

8 Es gilt: Für 0, 1 genügend nahe bei konvergiert die Sekantenmethode, und zwar mit Konvergenzordnung = 1.6, falls f ( ) 0. Nachteile der Sekantenmethode: lokales Verfahren nicht ganz so schnelle Konvergenz wie beim Newton-Verfahren Vorteil: weniger aufwendig als das Newton-Verfahren Das Bisektionsverfahren Sei f() stetig im Intervall I = [a,b] und f(a) f(b) < 0. Aus dem Zwischenwertsatz folgt, dass f() in I mindestens eine Nullstelle besitzt. Ziel: Einschachtelung einer solchen Nullstelle. Algorithmus: (Bisektionsverfahren) a o, b 0 ; 0 := [a 0 + b 0 ] ; RTOL, ATOL 2 Für k = 0,1, 2,... i) Falls f( k ) = 0, ist k Nullstelle: Abbruch! ii) Falls f(a k ) f( k ) < 0, definiere a k+1 = a k, b k+1 = k, sonst definiere a k+1 = k, b k+1 = b k ; setze k+1 = [a k+1 + b k+1 ] 2. Abbruchkriterium: k+1 k k+1 RTOL + ATOL 41

9 Das Bisektionsverfahren ergibt eine Folge von Intervallen I k = [a k,b k ] mit I 0 I 1 I 2..., wobei gilt: die Länge von I k+1 = 1 2 Länge von I k allen Intervallen gemeinsam ist genau ein ist eine Nullstelle von f Folgerung: k 1 2 k+1(b 0 a 0 ). Beispiel: f() = sin; a 0 = 2, b 0 = 4 0 = 3 8 = = = = = = = = = = = = = = = < = Es gilt: Das Bisektionsverfahren konvergiert immer für f ( ) 0, aber nur linear, d.h. für grosse j ist e j+1 = q ej, q < 1 ; die Konvergenzordnung ist also 1. Vorteil des Bisektionsverfahrens: globales Verfahren Nachteil: langsame Konvergenz Kombination von Bisektion mit lokalem Verfahren Zuerst Bisektion, dann Newton-Verfahren oder Sekantenmethode. 42

10 3.2 Nichtlineare Gleichungsssteme Bemerkungen: Die Konvergenz eines solchen kombinierten Verfahrens ist allerdings nicht garantiert. Ein solches Verfahren kann aber robust implementiert werden, d.h. es liefert eine Nullstelle von f oder führt zu einem wohl definierten Abbruch. 3.2 Nichtlineare Gleichungsssteme Gegeben sei f() = 0 mit =. 1 n Rn, f() = f 1 ( 1,..., n ). f n ( 1,..., n ). Die Jacobi-Matri ist wie folgt definiert: f 1 f J() = f =. f n 1 f n 2... f 1 n f n n. Analog zum eindimensionalen Fall linearisieren wir f() an der Stelle 0 : f() = f( 0 + ( 0 )) = f( 0 ) + J( 0 )( 0 ) =: f L (). Nullstelle von f L : 1 = 0 J( 0 ) 1 f( 0 ). Das Newton-Verfahren Fipunkt-Iteration mit F() = J() 1 f(): k+1 = F( k ), k = 0,1,... Falls = die Fipunktgleichung erfüllt: = F( ), folgt ist eine Nullstelle von f : f( ) = 0; und es gilt F ( ) = 0, denn J F = J f impiziert für = : J }{{} F +JF = J + J J = und daraus folgt F ( ) = 0, falls det J 0. Es gilt: Das Newton-Verfahren ist immer lokal konvergent (falls det(j( )) 0); es konvergiert quadratisch. Die lokale Konvergenz folgt aus dem Banachschen Fipunktsatz. 43

11 3.2 Nichtlineare Gleichungsssteme Satz: (Banachscher Fipunktsatz) Voraussetzung: i) F bildet ein abgeschlossenes Gebiet D R n in sich ab. ii) F ist eine Kontraktion, d.h. es eistiert eine positive Konstante L < 1 und eine Norm., so dass für alle a, b D gilt: Behauptung: F( a ) F( b ) L a b. 1. Es eistiert genau ein Fipunkt D. 2. Die Iteration k+1 = F( k ), k = 0,1,2,..., konvergiert für alle Startwerte 0 D gegen. 3. Es gelten die Abschätzungen k k Lk 1 L 1 0 (a priori) L 1 L k k 1 (a posteriori) Bemerkung: Eine hinreichende Bedingung dafür, dass F eine Kontraktion in D darstellt, ist F () L < 1 für alle D. Algorithmus: (Newton-Verfahren) 0 ; TOL Für k = 0, 1,... löse das lineare Gleichungssstem J( k ) k = f( k ) nach k auf (LR-Zerlegung); definiere k+1 := k k Abbruchkriterium: k k+1 TOL + TOL Probleme des Newton-Verfahrens: Finden eines guten Startvektors 0. Berechnen der Jacobi-Matri J in jedem Schritt (Differenzenquotienten, numerisches Differenzieren). 44

12 3.2 Nichtlineare Gleichungsssteme Beispiel: Man erhält Wähle = = 0 J = 0 = ( ) 0 ; 0, detj = für 2 4. das lineare Gleichungssstem 1 2 ( ) ( 3 5 ) 0 = besitzt die Lösung 0 4 = ; 8 dies ergibt 1 = 0 ; im nächsten Schritt erhält man ( 1 49 ) =, 2 = ( ) ; usw. Es ist leicht einzusehen, dass k gegen ( ) 1 = 1 strebt. Es eistiert eine zweite Lösung = ( 11 7 Bemerkungen: ) ; man erhält sie beispielsweise mit 0 = ( 50 Der Aufwand des Newton-Verfahrens pro Schritt ist gross, nämlich O( n3 3 ). Eine mögliche Verbesserung stellt das Quasi-Newton-Verfahren dar, bei dem man in jedem Schritt die gleiche Jacobi-Matri J = J( 0 ) nimmt: 1 Erstellen von J 1 LR-Zerlegung Aufwand pro Schritt O(n 2 ) Nachteil: nur lineare Konvergenz. 50). 45