Kap. 6: Iterative Lösung von Gleichungssystemen 6.1 Einleitung In vielen Anwendungen sind Gleichungssysteme zu lösen, in denen die Unbekannten nichtlinear auftreten. Beispiel: Der Betrag der Gravitationskraft zwischen zwei Punktmassen m 1 und m 2 (in kg) mit dem Abstand r (in m) ist nach dem Newtonschen Gesetz F = G m 1m 2 r 2 mit G = 6.67 10 11 Nm 2 /kg. Wir betrachten ein ebenes Gravitationsfeld mit drei festen Punktmassen m i in den Koordinaten (x 1,y 1 ) = (x 1,0), (x 2,y 2 ) = (x 2,0), (x 3,y 3 ) = (0,y 3 ). Gesucht ist der Punkt (x,y), so dass für jede Punktmasse m an der Stelle (x,y) die Gravitationskräfte F i zwischen m und m i (i = 1,2,3) im Gleichgewicht sind, also die Gleichung F 1 + F 2 + F 3 = 0 (6.1) gilt. Die vektorwertige Funktion F i hat die zwei Koordinatenfunktionen F i,x (x,y) = F i(x i x) r i, F i,y (x,y) = F i(y i y) r i mit r i = (x x i ) 2 +(y y i ) 2 und F i = G m im r 2 i. Die Gleichung (6.1) beschreibt ein nichtlineares Gleichungssystem mit zwei Unbekannten x und y.
6.2 Fixpunktiteration wichtigstes Verfahren zur Lösung nichtlinearer Gleichungssysteme fußt auf dem Banach schen Fixpunktsatz sehr leicht zu programmieren explizite Fehlerabschätzungen 6.2.1 Definition: Fixpunkt Die Menge D R n sei nichtleer. Ein Element x D heißt Fixpunkt der Funktion φ : D R n, falls x = φ(x ) gilt.
6.2.2 Die Iterationsfolge: Jedes Gleichungssystem f(x) = 0 zu gegebener Funktion f : R n R n lässt sich in vielfältiger Weise umwandeln in die Form x = φ(x), wobei φ : R n R n mit f zusammenhängt über f(x) = 0 x = φ(x). Zu einem Startwert x 0 R n bildet man rekursiv x k+1 = φ(x k ), k = 0,1,2,... Ob die Folge (x k ) k 0 gegen einen Fixpunkt von φ konvergiert, hängt von den Eigenschaften von φ ab. Mögliche Szenarien für φ : R R werden im matlab-file fp bsp.m dargestellt.
6.2.3 Kontraktionsbedingung: Definition: Es sei D R n. Eine Funktion φ : D R n heißt Lipschitz-beschränkt mit der Lipschitzkonstanten L 0, falls für alle x,y D φ(x) φ(y) L x y gilt. Man nennt φ kontrahierend, falls φ Lipschitz-beschränkt mit einer Lipschitzkonstanten (Kontraktionszahl) L < 1 ist. Bemerkung: Die Lipschitz-Beschränktheit gilt unabhängig von der gewählten Norm. Die Konstante L (und damit die Kontraktionseigenschaft) hängt aber von der gewählten Norm ab.
6.2.4 Berechnung von Lipschitz-Konstanten: Satz: Die Menge D R n sei konvex und φ : D R n sei stetig differenzierbar. Mit φ (x) bezeichnen wir die Jacobimatrix von φ. Falls L := sup φ (x) < x D gilt, so ist L eine Lipschitzkonstante von φ. Die hierbei verwendete Matrixnorm. muss mit der auf R n verwendeten Norm verträglich sein, d.h. es gilt Ax A x für alle x R n.
Bemerkung: Verträgliche Matrixnormen für A R n n : für x = max k x k : Zeilensummennorm A := max j n a jk. k=1 für x 1 = k x k : Spaltensummennorm A 1 := max k n a jk. für x 2 = ( k x k 2 ) 1/2 : Spektralnorm und Frobeniusnorm A 2 := ρ(a T A), A F := j=1 n j,k=1 a 2 jk 1/2 = Spur(A T A).
In der Analysis wurde bereits der folgende Satz bewiesen. 6.2.5 Banachscher Fixpunktsatz Sei D R n eine nichtleere abgeschlossene Teilmenge und φ : D D eine kontrahierende Selbstabbildung mit der Kontraktionskonstante 0 L < 1. Dann hat φ genau einen Fixpunkt x D. Für jeden Startwert x 0 D liefert das allgemeine Iterationsverfahren x k+1 = φ(x k ), k 0, eine konvergente Folge (x k ) k 0, die gegen den Fixpunkt x D konvergiert. Es gelten die folgenden Fehlerabschätzungen für k 1: x k x L x k 1 x (monotone Abnahme) x k x x k x L 1 L x k x k 1 L k 1 L x 1 x 0 (a posteriori) (a priori)
6.2.6: Prüfung des Wertebereichs Wichtig ist die Voraussetzung an den Wertebereich von φ, also φ(d) D, damit die Iterationsfolge gebildet werden kann. a) Für eine Funktion φ : [a,b] R prüft man dies mit den üblichen Methoden zur Kurvendiskussion (Monotoniebereiche). b) Einschränkung von φ: Für φ : D R n wählt man ein ξ 0 D und r > 0 sowie 0 L < 1 mit den folgenden Eigenschaften: (1) K r(ξ 0) = {x R n x ξ 0 r} D. (2) Für alle u,v K r(ξ 0) gilt φ(u) φ(v) L u v. (3) Es gilt die Kugelbedingung φ(ξ 0) ξ 0 r(1 L). Dann bildet φ die Menge K r (ξ 0 ) in sich ab, ist also auf dieser Menge eine kontrahierende Selbstabbildung.
6.3 Newton-Verfahren Ziel: Löse das (nichtlineare) Gleichungssystem f(x) = 0, wobei f : D R n R n mindestens einmal stetig differenzierbar ist. 6.3.1 Das Newton-Verfahren im R n Eine mögliche Fixpunktform der Gleichung lautet f(x) = 0 x = x [f (x)] 1 f(x), f 1 x 1 (x) falls die Jacobi-Matrix f (x) =. f n x 1 (x) invertierbar ist. Das hierzu passende allgemeine Iterationsverfahren heißt Newton-Verfahren. f 1 x n (x). für alle x D f n x n (x) x (k+1) = x (k) [f (x (k) )] 1 f(x (k) ), k 0,
Bemerkung: Für n = 1 ist x k+1 = x k f(x k) f (x k ) die Nullstelle der Tangente an den Grafen von f im Punkt (x k,f(x k )).
6.3.2 Beispiel: Die Funktion f : R R, f(x) = x 6 x 1, besitzt eine positive Nullstelle im Intervall [0,2], und zwar x 1.13472413840152. Wir verwenden 1. die Fixpunktiteration φ 1 (x) = (1+x) 1/6 mit Startwert x 0 = 2, 2. das Newtonverfahren, also φ 2 (x) = x x6 x 1 6x 5 1. φ 1 φ 2 2.00000000000000 2.00000000000000 1.20093695517600 1.68062827225131 1.14051569756263 1.43073898823906 1.13523664844046 1.25497095610944 1.13476953843976 1.16153843277331 1.13472816047178 1.13635327417051 1.13472449472677 1.13473052834363 1.13472416996929 1.13472413850022 1.13472414119819 1.13472413840152
6.3.3 Lokale Konvergenz im skalaren Fall: Wir betrachten die Gleichung f(x) = 0 für f : D R R. Die Iterationsfunktion des Newton-Verfahrens lautet φ(x) = x f(x) f (x). f sei zweimal stetig differenzierbar in einer Umgebung (a,b) von x und es gelte f(x ) = 0, f (x ) 0. Dann ist φ stetig differenzierbar in einer Umgebung von x, ( φ (x) = 1 1 f(x)f ) (x) (f (x)) 2 = f(x)f (x) (f (x)) 2. Insbesondere ist φ (x ) = 0. Also gibt es ein δ > 0 so, dass φ im Intervall K δ (x ) = [x δ,x +δ] kontrahierend ist. Mit ξ 0 = x in 6.2.5(b) ist die Kugelbedingung ebenfalls erfüllt. Eine etwas genauere Untersuchung ergibt:
Satz: Lokale Konvergenz des Newton-Verfahrens im skalaren Fall Die Funktion f : [a,b] R sei zweimal stetig differenzierbar und besitze eine Nullstelle x (a,b) mit f (x ) 0. Weiter gelte m := min x [a,b] f (x) > 0. M := max x [a,b] f (x) <. Wir wählen 0 < r < r 0 = 2m M mit K r(x ) [a,b]. Dann ist die Iterationsfunktion φ(x) = x f(x) f (x) des Newtonverfahrens eine kontrahierende Selbstabbildung des Intervalls K r (x ) mit der Kontraktionskonstante L = Mr 2m < 1. Also konvergiert die Folge (x k ) des Newton-Verfahrens für jeden Startwert x 0 K r (x ) gegen x.
Es gelten die a-priori Fehlerabschätzung x k x M 2m x k 1 x 2 2m ) M L(2k und die a-posteriori Fehlerabschätzungen x k x 1 m f(x k) M 2m x k x k 1 2. Die Folge (x k ) konvergiert also lokal quadratisch.
Wesentliche Beweisschritte: 1. Wegen m > 0 gibt es keine weitere Nullstelle in [a,b] (Satz von Rolle). 2. Für beliebige x,y [a,b], x y, folgt aus dem Mittelwertsatz x y 1 m f(x) f(y). Damit ist die erste a-posteriori Fehlerabschätzung gezeigt. 3. Die Taylorentwicklung um die Stelle x [a,b] ergibt x 0 = f(x ) = f(x)+(x x)f (x)+ f (ξ)(x ξ)dξ. x Daraus erhalten wir f(x) (x x )f (x) M 2 (x x ) 2 und weiter φ(x) x = (x x ) f(x) f (x) M 2m (x x ) 2. 4. Wegen r < 2m M folgt für alle x Kr(x ) φ(x) x M 2m (x x ) 2 x x r, also ist φ eine Selbstabbildung von K r(x ): Alle Folgenglieder x k (bei beliebigem x 0 K r(x )) liegen in K r(x ).
5. Wir führen die Bezeichnung ǫ k = M 2m x k x ein. Aus 3. folgt auch Wegen ǫ k ǫ 2 k 1 ǫ(2k ) 0. ǫ 0 = M 2m x 0 x Mr 2m = L < 1 folgen die Konvergenz ǫ k 0, also x k x und die a-priori Fehlerabschätzung. 6. Zum Beweis der zweiten a-posteriori Abschätzung erhalten wir wie in 3. (Taylorentwicklung um die Stelle x k 1 ) f(x k ) f(x k 1 ) (x k x k 1 )f (x k 1 ) M 2 (x k x k 1 ) 2. Als Nullstelle der Tangente erfüllt x k die Beziehung f(x k 1 )+(x k x k 1 )f (x k 1 ) = 0, also haben wir f(x k ) M 2 (x k x k 1 ) 2. Damit ergibt sich die zweite a-posteriori Abschätzung.
6.3.4 Bemerkung Die in 6.3.3 gewählte Umgebung K r(x ) einer einfachen Nullstelle x der Funktion f ist ein Einzugsbereich dieser Nullstelle: für einen Startwert x 0 in dieser Umgebung erfolgt sehr rasche Konvergenz. Z.B. für L = 1/2 erzielt man mit 5 bzw. 10 Iterationsschritten bereits x 5 x 2m M 2 32 4.6m M 10 10, x 10 x 2m M 2 1000 2m M 10 301. Die wirkliche Schwierigkeit besteht häufig darin, mit dem Startwert überhaupt eine solche Umgebung zu treffen, da der Radius r sehr klein sein kann. Oft kann man zunächst eine langsame (lineare) Annäherung der Zahlen x 0,x 1,...,x n an die Nullstelle beobachten, bevor die schnelle quadratische Konvergenz einsetzt. Dies liegt daran, dass erst das Folgenglied x n im Einzugsbereich K r(x ) liegt. Sehr oft wird man gar keine Konvergenz erzielen, wenn x 0 nicht nahe genug bei x gewählt wird. Bestimmte Ausnahmen werden in der Übung behandelt.
6.3.5 Lokale Konvergenz im mehrdimensionalen Fall Verallgemeinerungen aus dem skalaren Fall: f : Ω R n R n ist stetig differenzierbar, Ω ist konvex und offen. f besitzt eine Nullstelle x Ω und die Jacobimatrix f (x ) ist invertierbar (also detf (x ) 0). f ist auf Ω Lipschitz-beschränkt mit einer Konstanten M > 0, d.h. f (x) f (y) M x y, x,y Ω. Für jedes x Ω ist f (x) invertierbar und 1 m := sup [f (x)] 1 <. x Ω Satz: Lokale Konvergenz des Newton-Verfahrens (mehrdimensional) Unter den obigen Voraussetzungen wählen wir 0 < r < r 0 = 2m M so, dass K r (x ) Ω gilt. Dann ist die Iterationsfunktion φ(x) = x [f (x)] 1 f(x) des Newtonverfahrens eine kontrahierende Selbstabbildung von K r (x ) mit der Kontraktionskonstante L = Mr 2m < 1.
Also konvergiert die Folge (x k ) des Newton-Verfahrens für jeden Startwert x 0 K r (x ) gegen x. Es gilt die a-priori Fehlerabschätzung x k x 2m M L(2k). Die Folge (x k ) konvergiert also lokal quadratisch. 6.3.6 Beispiel: a) Einzugsgebiet: Flugbahn der US-Raumsonde Voyager 2 (1977-...), siehe www-aix.gsi.de/ giese/swr b) Einführungsbeispiel: (s. auch Dahmen, Reusken, S. 197-198)
6.4 Ergänzungen zum Newton-Verfahren 6.4.1 Skalarer Fall: mehrfache Nullstelle Gegeben: f : [a,b] R mit doppelter Nullstelle x und f (x ) 0. Falls f dreimal stetig differenzierbar ist, gilt für jedes x mit f (x) 0 (x x ) 2 2 + f f(x) (x ) f (x) = f (x )(x x )+ In einer Umgebung von x gilt Also erhalten wir x x f (ξ) x (x ξ)2 2 x f (ξ) (x ξ) 2 dξ x x x f (ξ)(x ξ)dξ dξ = O( x x 3 ), x f (ξ)(x ξ)dξ = O( x x 2 ). x x f(x) f (x) = 2 +O( x x 2 ) 1+O( x x ) = x x 2 2 +O( x x 2 ).
Der modifizierte Ansatz zum Newtonverfahren x k+1 = x k 2 f(x k) f (x k ) führt also wieder zur lokal quadratischen Konvergenz: x k+1 x = x k x 2 f(x k) f (x k ) = O( x k x 2 ). Definition: modifiziertes Newton-Verfahren Bei p-facher Nullstelle x von f, also f(x ) = f (x ) = = f (p 1) (x ) = 0, f (p) (x ) 0 (p 2), lautet das modifizierte Newtonverfahren x k+1 = x k p f(x k) f (x k ).
6.4.2 Vereinfachtes Newton-Verfahren Das Newton-Verfahren im R n wird meist so programmiert: Gegeben: Startwert x 0. Für k = 0,1,2,...: 1. Berechne f(x k ), A k := f (x k ), 2. löse das lineare Gleichungssystem A k s k = f(x k ), 3. Setze x k+1 := x k +s k, bis k k max oder A 1 k f(x k+1) tol. In jedem Schritt ist also ein lineares Gleichungssystem zu lösen, in dem die Newton-Korrektur s k berechnet wird. Die Abbruchbedingung ist in Anlehnung an die erste a-posteriori Fehlerabschätzung im skalaren Fall gewählt. Beim vereinfachten Newton-Verfahren hält man die Matrix dieses Gleichungssystems für mehrere Schritte fest, also z.b. 2. löse das lineare Gleichungssystem As k = f(x k ), 3. Setze x k+1 = x k +s k.
Das vereinfachte Newton-Verfahren entspricht der Fixpunkt-Iteration x k+1 = x k A 1 f(x k ), mit festem A. Bei geeigneter Wahl von A liegt lineare Konvergenz gegen die Nullstelle x von f vor (z.b. falls A eine gute Näherung der Jacobi-Matrizen von f in einer Umgebung der Nullstelle x ist und der Startwert x 0 nahe genug bei x gewählt wird).
6.4.3 Gedämpftes Newton-Verfahren Zur Globalisierung der Konvergenz verwendet man die Newton-Korrektur s k = [f (x k )] 1 f(x k ) als Suchrichtung, entlang der die Norm des Funktionswerts f(x k +λs k ) verringert werden soll: Gegeben: Startwert x 0. Für k = 0,1,2,... : 1. Berechne f(x k ), A k := f (x k ). 2. Löse das lineare Gleichungssystem A k s k = f(x k ), 2.a Setze λ = 1. 2.b Dämpfung: Setze x := x k +λs k ; C λ := 1 λ/4; Falls A 1 k f(x) C λ A 1 k f(x k), gehe zu 3. Sonst: Setze λ := λ/2. Falls λ λ min, gehe zu 2.b. Sonst ABBRUCH: keine Konvergenz. 3. Setze x k+1 := x, bis k k max oder A 1 k f(x k+1) tol.
Der Algorithmus hat zwei ineinander geschachtelte Schleifen, die durch die Parameter λ min und k max begrenzt werden. Die Voraussetzungen an den Startwert x 0 für die Konvergenz gegen die Nullstelle x sind wesentlich schwächer als beim Newton-Verfahren 6.3.5. Daher liegt oft Konvergenz vor, auch wenn x 0 eine grobe Näherung an x ist.
6.5 Newton-ähnliche Verfahren zur Nullstellenberechnung in R 6.5.1 Sekantenverfahren: Ersetze die Ableitung durch den Differenzenquotienten der zwei letzten Folgenglieder: x k+1 = x k x k x k 1 f(x k ) f(x k 1 ) f(x k) = x k f(x k) f[x k 1,x k ]. Hierbei werden zwei Startwerte x 0,x 1 benötigt. Die Iteration kann durchgeführt werden, wenn f streng monoton ist, weil dann f[x k 1,x k ] 0 gilt. Die Konvergenzuntersuchung ist ähnlich zum Newton-Verfahren (Satz 6.3.3). Wir benötigen die Folge der Fibonacci-Zahlen F 0 = 1, F 1 = 1, F k+1 = F k +F k 1 für k 1.
6.5.2 Satz: Lokale Konvergenz des Sekanten-Verfahrens Die Funktion f : [a,b] R sei zweimal stetig differenzierbar und besitze eine Nullstelle x (a,b) mit f (x ) 0. Weiter gelte m := min x [a,b] f (x) > 0, M := max x [a,b] f (x) <. Wir wählen 0 < r < r 0 = 2m M mit K r(x ) [a,b]. Dann liegen die Iterierten x k des Sekantenverfahrens bei beliebigen Startwerten x 0,x 1 K r (x ), x 0 x 1, ebenfalls in K r (x ), die Folge (x k ) konvergiert gegen x.
Mit L = Mr 2m < 1 gelten die a-priori Fehlerabschätzung x k x M 2m x k 1 x x k 2 x 2m M LF k und die a-posteriori Fehlerabschätzungen x k x 1 m f(x k) M 2m x k x k 1 x k x k 2.
Der Beweis verläuft analog wie in 6.3.3, siehe auch [Rannacher: Satz 6.3.1]. Die Fibonacci-Zahlen kommen ins Spiel, indem wir wie in 6.3.3 setzen und die Abschätzung ǫ k = M 2m x k x ǫ k ǫ k 1 ǫ k 2 rekursiv auf ǫ j = M 2m x j x L, j = 1,2 zurückführen: ǫ k ǫ F 1 k 1 ǫf 0 k 2 ǫf 2 k 2 ǫf 1 k 3 ǫf 3 k 3 ǫf 2 k 4 ǫf k 1 1 ǫ F k 2 0 L F k. Bemerkung: Aus der Formel für die Fibonacci-Zahlen F k = 1 ( λ k+1 1 λ k+1 ) 2, λ1,2 = 1± 5, 5 2 erhalten wir F k λ1 5 λ k 1 0.723 1.618k < 2 k. Die a-priori Fehlerabschätzung für das Sekantenverfahren deutet also auf eine langsamere Konvergenz gegenüber dem Newton-Verfahren hin. Da aber in jedem Schritt nur 1 Auswertung von f erforderlich ist (beim Newton-Verfahren je eine Auswertung von f und f ), kann das Sekantenverfahren trotzdem vorteilhaft sein.
6.5.3 Regula falsi: Mischung des Sekantenverfahrens mit der Bisektion: man schließt eine Nullstelle ein, indem man den Vorzeichenwechsel von f zwischen x k 1 und x k fordert. Als Startwerte sind x 0,x 1 zu wählen mit f(x 0 )f(x 1 ) < 0 (Vorzeichenwechsel von f). Der neue Wert x k+1 wird genau wie beim Sekantenverfahren berechnet: x k+1 = x k x k x k 1 f(x k ) f(x k 1 ) f(x k) = x k f(x k) f[x k 1,x k ]. Dann wird entschieden, ob der vorletzte Wert x k beibehalten wird (nämlich wenn f(x k )f(x k+1 ) < 0 gilt), oder ob x k durch den vorvorletzten Wert x k 1 ersetzt wird. Hierdurch wird der Unterschied zum Sekantenverfahren deutlich: Wählt man bei beiden Verfahren die gleichen Startwerte x 0 und x 1, so ist auch x 2 bei beiden Verfahren gleich. Die Werte von x 3 unterscheiden sich aber, falls nach dem ersten Schritt der Regula falsi x 1 durch x 0 ersetzt wurde, weil f(x 2 ) und f(x 1 ) das gleiche Vorzeichen haben. Durch die Einschließungseigenschaft ist die Regula falsi sehr stabil. Meistens ist die Konvergenz etwas besser als beim Bisektionsverfahren, aber immer noch linear.
6.6 Allgemeine Aussagen zur Konvergenzordnung 6.6.1 Definition: Konvergenzordnung Eine konvergente Folge (x k ) k 0 im R n mit Grenzwert x hat die Konvergenzordnung p 1, falls es k 0 N und c > 0 (mit c < 1 im Fall p = 1) gibt, so dass für alle k k 0 gilt. x k+1 x c x k x p Im Fall p = 1 spricht man von linearer Konvergenz. Für k k 0 gelten die a-priori und a-posteriori Fehlerabschätzungen (mit L := c) des Banachschen Fixpunktsatzes: x k x ck k0 1 c x k 0+1 x k0, x k x c 1 c x k x k 1.
Im Fall p = 2 spricht man von quadratischer Konvergenz, siehe Newton-Verfahren. Dann gilt für k k 0 Gilt im Fall p = 1 die Beziehung x k x 1 c x k 0 x 2k k 0. x k+1 x lim k x k x = 0, so spricht man von superlinearer Konvergenz. Einige Quasi-Newton -Verfahren sind superlinear, haben aber keine Konvergenzordnung p > 1.
6.6.2 Satz: Konvergenzordnung der Fixpunkt-Iteration in R Es sei p N, p 2. Die Funktion φ : [a,b] [a,b] sei p-mal stetig differenzierbar und kontrahierend. Für den eindeutig bestimmten Fixpunkt x gelte φ (x ) = = φ (p 1) (x ) = 0. Dann hat die Folge der Iterierten (x k ) des allgemeinen Iterationsverfahrens die Konvergenzordnung p. x 0 [a,b], x k+1 = φ(x k ), k 0, Beweisidee: Man zeigt mit der Taylorformel x φ(x) x = φ (p) (x ξ)p 1 (ξ) dξ x (p 1)! M p p! x x p mit M p = sup x [a,b] φ (p) (x).