Iterative Lösung von nichtlinearen Gleichungen und Gleichungssystemen

Transkript

1 Kapitel 5 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 5.1 Iterationsverfahren zur Lösung einer reellen nichtlinearen Gleichung Es sei g() eine im Intervall I definierte reellwertige Funktion g : I IR. Gesucht ist eine Nullstelle I von g(), d.h. eine Lösung der Gleichung g() = 0. (5.1) Beispiel 5.1 (Quadratische Gleichung). Die Nullstellen der quadratischen Gleichung erhält man im Prinzip mit der (p, q)-formel g() = + p + q! = 0. 1, = p ± (p ) q, aber wie läßt sich numerisch die Wurzel aus einer reellen Zahl ziehen? Tpischerweise lassen sich nichtlineare Gleichungen nur approimativ lösen. Hierzu verwenden wir ein Iterationsverfahren (n+1) = f( (n) ) (n = 0, 1,,...) (5.) mit (0) I. Dabei ist f() eine in I gegebene reellwertige Funktion f : I IR derart, daß = f() zu (5.1) äquivalent ist. 14

2 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen Das Newtonsche Verfahren Das Newtonsche Verfahren lautet (n+1) = f( (n) ) = (n) g((n) ) g ( (n) ) (n = 0, 1,,...). (5.3) Beim Newtonschen Verfahren ist also f() = g() g (), und es wird angenommen, daß g() auf I differenzierbar ist und g () dort nirgends verschwindet. Geometrische Motivation des Newton-Verfahrens: Am einfachsten leitet sich die Idee des Newtonschen Verfahrens geometrisch ab (vgl. Abb. 5.1). Sei (0) eine Startnäherung. Dann konstruiert man die Tangente an die Kurve = g() im Punkt ( (0), (0) ), wobei (0) = g( (0) ) ist. Der Schnittpunkt dieser Tangente mit der -Achse ist der neue Näherungswert (1). =g() (0) (0) =g( ) * (1) (0) Abbildung 5.1: Geometrische Motivation des Newtonschen Verfahrens. Die Berechnung ist elementar: Zunächst bestimmen wir die Parameter m und b in der Geradengleichung = m + b der Tangente. Die Steigung m der Tangente ist m = g ( (0) ). b läßt sich direkt bestimmen, weil natürlich der Punkt ( (0), (0) ) auf der Tangente liegt, für ihn also die Geradengleichung erfüllt sein muß: b = (0) m (0) = g( (0) ) g ( (0) ) (0).

3 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 16 Die Tangente hat also die Gleichung = g ( (0) ) + g( (0) ) g ( (0) ) (0). Als Nullstelle der Tangente ( = 0) erhält man = b m = g((0) ) g ( (0) ) (0) g ( (0) ) = (0) g((0) ) g ( (0) ), und dies entspricht gerade dem ersten Iterationsschritt von (5.3). Natürlich kann man diese Idee rekursiv einsetzen, wodurch man das Newton-Verfahren erhält (vgl. Abb. 5.). =g() * (3) () (1) (0) Abbildung 5.: Iterationen des Newtonschen Verfahrens. Beispiel 5. (Berechnung einer Quadratwurzel). Für eine reelle Zahl a > 0 wollen wir a berechnen. Dies entspricht der Lösung der Aufgabe Damit finden wir für das Newton-Verfahren f() = a und erhalten als Iterationsvorschrift mit (0) > 0. g() = a = 0. = + a (n+1) = f( (n) ) = 1 = 1 ( + a ) ( (n) + a ) (n)

4 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 17 Sei a = und (0) = 1. Dann erhalten wir für das Newtonsche Verfahren (0) = 1 (1) = 1 ( 1 + ) = () = 1 ( ) = = (3) = 1 ( ) = Offenbar konvergiert das Newton-Verfahren für dieses Beispiel sehr schnell, denn es gilt = Bemerkung 5.1 Obiges Beispiel stellt auch einen iterativen Prozess zur Bestimmung einer nicht rationalen Zahl dar (wenn a nicht rational ist) Das vereinfachte Newton-Verfahren Beim vereinfachten Newton-Verfahren ist und entsprechend f() = (n+1) = (n) g((n) ) g ( (0) ) g() g ( (0) ), (n = 0, 1,,...). (5.4) Man bestimmt also nur einmal die Steigung der Tangente und benutzt diese wiederholt zur Bestimmung neuer Näherungswerte für die Nullstelle (vgl. Abb. 5.3). In diesem Fall spart man sich die mehrfache Berechnung der Ableitungen (g braucht nur einmal ausgewertet zu werden), erhält dafür aber langsamere Konvergenz. Bemerkung 5. In der Prais werden auch Varianten zwischen Newton- und vereinfachtem Newton-Verfahren verwendet. Man kann etwa g ( (n) ) nur in jedem zweiten oder dritten Schritt neu berechnen. Beispiel 5.3 (Vgl. Beispiel 5.). Ähnlich wie in Beispiel 5. wollen wir jetzt mit dem vereinfachten Newton-Verfahren beginnend mit (0) = 1 bestimmen (g() = ). Mit g ( (0) ) = erhalten wir die Iterationsvorschrift und daraus die Werte (n+1) = (n) ((n) ) (0) = 1 (1) = 1 1 = 1.5 () = = 11 8 = (3) = = =

5 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 18 =g() * (3) () (1) (0) Abbildung 5.3: Vereinfachtes Newton-Verfahren: Die Geraden zur Bestimmung der (n) sind parallel (sie haben die gleiche Steigung g ( (0) )). Das vereinfachte Newton-Verfahren konvergiert hier offensichtlich deutlich langsamer als das Newton-Verfahren Sekantenverfahren (Regula falsi) Im Newton-Verfahren hatten wir die Tangente an die Kurve = g() benutzt, um eine neue Näherung für eine Nullstelle von g zu ermitteln. Wählen wir statt der Tangente die Sekante durch zwei Punkte der Kurve, erhalten wir das Sekantenverfahren. Beim ersten Iterationsschritt des Sekantenverfahrens bilden wir die Gerade durch ( (0), g( (0) )) und ( (1), g( (1) )). Der Schnittpunkt dieser Geraden mit der -Achse ist dann die neue Näherung () (vgl. Abb. 5.4). Um () zu berechnen, setzen wir die beiden Punkte ( (0), g( (0) )) und ( (1), g( (1) )) in die Geradengleichung = m + b ein und erhalten Daraus folgt sofort g( (0) ) = m (0) + b und g( (1) ) = m () + b. m = g((1) ) g( (0) ) (1) (0) und b = g( (0) ) (0) g((1) ) g( (0) ) (1) (0).

6 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 19 =g() (1) g( ) g( (0)) (0) a= () * b= (1) Abbildung 5.4: Idee des Sekantenverfahrens. Daraus berechnet sich () wegen 0 = m () + b zu ( ) () = b m = g( (0) ) + (0) g((1) ) g( (0) ) (1) (0) (1) (0) g( (1) ) g( (0) ) = (0) g( (1) ) (1) g( (0) ) g( (1) ) g( (0). ) Im n-ten Iterationsschritt erhalten wir für das Sekantenverfahren genauso (n+1) = (n 1) g( (n) ) (n) g( (n 1) ) g( (n) ) g( (n 1) ) = f( (n), (n 1) ). (5.5) Als Voraussetzung zur Durchführung des Verfahrens ergibt sich also g( (n) ) g( (n 1) ). Beispiel 5.4 (Vgl. Beispiel 5.). Wir wollen nun mit dem Sekantenverfahren bestimmen beginnend mit (0) = 1 und (1) =. Es ergeben sich folgende Näherungen (0) = 1 (1) = () = 1.3 (3) = 1.40 (4) = Für dieses Beispiel liegt die Konvergenzgeschwindigkeit des Sekantenverfahrens also irgendwo zwischen der des Newton-Verfahrens und der des vereinfachten Newton-Verfarhrens.

7 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 130 Bemerkung 5.3 (Vergleich mit dem Newton-Verfahren). Zum einen scheint das Sekantenverfahren etwas langsamer als das Newton-Verfahren zu konvergieren. Diese Aussage wird in Abschnitt 5. noch genauer präzisiert. Auf der anderen Seite ist für die Durchführung des Sekantenverfahrens aber ein geringerer Rechenaufwand zu betreiben, da nur eine Funktionsauswertung pro Iteration zu berechnen ist (die andere ist aus dem vorherigen Iterationsschritt bereits bekannt). Darüberhinaus brauchen keine Ableitungen berechnet zu werden, was vor allem bei Sstemen von nichtlinearen Gleichungen (vgl. Abschnitt 5.3) von großem Vorteil ist Bisektion, Intervallschachtelung Gegeben sei eine stetige Funktion g : [a, b] IR mit genau einer Nullstelle (mit Vorzeichenwechsel) in [a, b]. Beim Bisektionsverfahren wertet man g() genau in der Mitte dieses Intervalls aus und untersucht über den Vorzeichenwechsel von g, ob die Nullstelle in dem Teilintervall links oder in dem Teilintervall rechts von der Mitte liegt. Dann paßt man entsprechend die Intervallgrenzen an, in denen sich die Nullstelle befindet, und wiederholt diesen Schritt (vgl. Abb. 5.5). =g() a= (0) (3) * (4) () b= (1) Abbildung 5.5: Idee des Bisektionsverfahrens. Wir können dieses Vorgehen auch als Algorithmus beschreiben. Mathematisch benötigen wir lediglich den Zwischenwertsatz (eine stetige Funktion hat in einem Intervall [a, b] eine Nullstelle, wenn g(a)g(b) < 0).

8 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 131 Erster Schritt eines Bisektionsalgorithmus: Wenn ( ) [ ] g( (0) (0) + (1) )g < 0, dann ist (0), (0) + (1), und wir setzen () = (0) + (1) (1) = (0). Ist dagegen ( ) [ ] g( (0) (0) + (1) )g 0, dann ist (0) + (1), (1), und wir setzen () = (1) (1) = (0) + (1). Setzen wir dieses Verfahren rekursiv fort, so wird offensichtlich die Intervalllänge in jedem Schritt halbiert: I n = n (b a). Die Methode konvergiert also und liefert gleichzeitig eine Fehlerabschätzung. Das Bisektionsverfahren ist als (globales) Vorschaltverfahren für andere Verfahren wie etwa das Newton-Verfahren sehr beliebt. Das Newton-Verfahren hat nämlich in einer (möglicherweise kleinen) Umgebung der Nullstelle deutlich bessere Konvergenzeigenschaften, weit weg von der Nullstelle konvergiert es aber häufig nicht. Dieses Problem kann durch Vorschalten des Bisektionsverfahrens überwunden werden. Beispiel 5.5 (Vgl. Beispiel 5.). Wir wollen diesmal mit dem Bisektionsverfahren bestimmen beginnend mit (0) = 1 und (1) =. Man erhält dann folgende Näherungen (0) = 1 (1) = () = 1.5 (3) = 1.5 (4) = Für dieses Beispiel konvergiert das Bisektionsverfahren also offensichtlich langsamer als das Newton- und das Sekantenverfahren.

9 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen Konvergenzuntersuchungen 5..1 Was kann passieren? In diesem und den folgenden Abschnitten sei stets = f(), (n+1) = f( (n) ), (0) IR. Um einen Überblick über mögliche Konvergenz- bzw. Divergenzszenarien zu erlangen, betrachten wir zunächst Beispiele für unterschiedliche Iterationsverfahren (d.h. unterschiedliche Funktionen f). Beispiel 5.6 (Monotone Konvergenz). Gesucht ist ein Fipunkt = f( ) von f. Abbildung 5.6 zeigt ein Beispiel für eine gegen den Fipunkt konvergente Folge. Ausgehend von einem Startwert (0) findet man (1) = f( (0) ) usw. In diesem Beispiel haben wir sogar monotone Konvergenz ( (n) ). = =f() * () (1) (0) Abbildung 5.6: Beispiel für eine gegen monoton konvergierende Folge (n+1) = f( (n) ). Beispiel 5.7 (Alternierende Konvergenz). Abbildung 5.7 zeigt ein Beispiel für eine gegen den Fipunkt konvergente Folge, in dem die Folge allerdings nicht monoton, sondern alternierend konvergiert. Weiß man, dass eine Folge alternierend konvergiert, so hat man automatisch nach jedem Schritt eine natürliche Fehlerschranke. liegt jeweils zwischen (n) und (n+1) (Einschachtelung). Man bekommt also während der Iteration stets eine aktuelle Fehlerabschätzung mitgeliefert. In diesem Beispiel gilt (1) < (3) <... < <... < () < (0).

10 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 133 =f() = (1) (3) (4) * () (0) Abbildung 5.7: Beispiel für eine gegen alternierend konvergierende Folge (n+1) = f( (n) ). Beispiel 5.8 (Divergenz). Abbildung 5.8 veranschaulicht, daß eine Folge nicht konvergieren muß, selbst wenn ein Fipunkt der Funktion f eistiert. Offenbar bewegen sich die (n) von weg. =f() = * (0) (1) () Abbildung 5.8: Beispiel für divergente Folge (n+1) = f( (n) ).

11 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 134 Beispiel 5.9 (Abbrechende Folge (n) ). Falls (n+1) = f( (n) ) außerhalb des Definitionsbereichs von f landet, bricht die Folge ab (vgl. Abb. 5.9). =f() = (1) * (0) Abbildung 5.9: Beispiel für eine abbrechende Folge. Beispiel 5.10 (Funktion ohne Fipunkte). Ein weiterer Fall liegt vor, wenn die Funktion f() gar keinen Fipunkt hat, etwa weil sie unstetig ist wie in Abbildung =f() = =f() Abbildung 5.10: Beispiel für eine Funktion ohne Fipunkt.

12 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 135 Beispiel 5.11 (Zwei Fipunkte). Wir wollen jetzt die Nullstellen der Funktion g() = cosh bestimmen (zur Erinnerung: cosh = e +e ). Eine zu g() = 0 äquivalente Fipunktgleichung wäre cosh = oder = f() = 1 cosh. (5.6) (Hierbei handelt es sich nicht um das Newton-Verfahren, das eine andere Funktion f benutzt.) In diesem Beispiel haben wir zwei Fipunkte 1 und. Es ist 1 < 1 und >. Schematisch ist dies in Abb dargestellt. Grafisch erkennt man: Offenbar konvergiert die Folge (n+1) = f( (n) ) für beliebiges (0) (0, ) gegen 1. Für (0) > divergiert die Folge und geht gegen +. Den Fipunkt erhält man mit diesem Verfahren nur, wenn man direkt mit ihm startet. = =f() 1 * * (1) () (1) (0) () Abbildung 5.11: Schematische Darstellung der Funktion f() = 1 cosh. Wir vergleichen nun drei Verfahren, um den Fipunkt 1 zu bestimmen: 1. Wir verwenden die Funktion aus (5.6) zur Konstruktion eines Iterationsverfahrens. Starten wir mit (0) = 0.5, so erhalten wir nach 18 Iterationen eine auf 10 Stellen genaue Näherung (18) = Mit dem Newton-Verfahren erreichen wir die gleiche Genauigkeit beim gleichen Startwert bereits nach nur 3 Iterationen. Mit dem Newton-Verfahren kann man bei geeigneter Wahl des Startwertes (0) auch den zweiten Fipunkt bestimmen. Man muß (0) nur hinreichend nah an legen.

13 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 136 Wählt man etwa (0) =.0 so erhält man nach dem vierten Iterationsschritt die Näherung (4) = , die auf 10 Dezimalen genau ist. 3. Das vereinfachte Newton-Verfahren erreicht 10 Dezimalen Genauigkeit zur Bestimmmung von 1 nach 8 Iterationsschritten, zur Bestimmung von hat man 10 Dezimalen Genauigkeit nach 17 Iterationsschritten erreicht (bei den gleichen Startwerten wie oben). Nachdem wir uns anhand der obigen Beispiele ein Bild davon gemacht haben, was alles passieren kann, wollen wir uns im folgenden mit der Frage beschäftigen, unter welchen Voraussetzungen wir Konvergenz erwarten können. Als Voraussetzung für eine konvergente Folge gibt Satz 5.1 Auskunft über die Eistenz eines Fipunktes Satz 5.1 (Eistenz eines Fipunktes). Es sei f : [a, b] IR eine reellwertige Abbildung. Ferner gelte f([a, b]) [a, b] (d.h. das Intervall [a, b] werde in sich abgebildet). Sei (0) [a, b]. Dann wird durch (n+1) = f( (n) ) eine Folge { (n)} definiert mit (n) [a, b]. Wenn außerdem f in [a, b] stetig ist, dann eistiert ein Fipunkt von f in [a, b] = f( ). Beweis: Die Eistenz der Folge ergibt sich durch vollständige Induktion. Zum Beweis der zweiten Aussage bilden wir h() = f(). Dann muß gelten h(a) 0 und h(b) 0. Ohne Beschränkung der Allgemeinheit können wir annehmen, daß h(a) < 0 und h(b) > 0 (sonst wäre schon a oder b der gesuchte Fipunkt). Dann eistiert nach dem Zwischenwertsatz für stetige Funktionen ein [a, b] mit h( ) = 0. Also ist = f( ). Satz 5. (Fipunktsatz für Kontraktionen, Spezialfall IR 1 ). Es sei f() eine auf I = [a, b] stetige Funktion, die I in sich abbildet. Ferner genüge f auf I einer Lipschitzbedingung f() f() P für alle, I mit einer Lipschitzkonstanten P < 1. Dann ist durch (n+1) = f( (n) ) mit (0) I eine Folge { (n)} I erklärt und (n) konvergiert gegen einen Fipunkt von f() (d.h. = f( )). Außer besitzt f keinen weiteren Fipunkt (in I). Es gilt die Fehlerabschätzung (n) P n 1 P (1) (0). Beweis: Dies ist ein Spezialfall des in Abschnitt allgemein formulierten Fipunktsatzes.

14 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 137 Bemerkung 5.4 (Bestimmung des Einzugsbereichs der Kontraktion). Dem Zusatz zum allgemeinen Fipunktsatz in Abschnitt kommt im nichtlinearen Fall eine besondere Bedeutung zu. Um in einer konkreten Anwendung eine Fehlerabschätzung zu gewinnen, kann man etwa folgendermaßen vorgehen: Man wählt zu einer gegebenen Funktion f eine Menge D und bestimmt dazu die Lipschitzkonstante P. Damit bilden wir die abgeschlossene Kugel K( (0) ) aus dem Zusatz zu Satz 4.1 um den Startwert (0). Liegt die Kugel in D, wird sie auch in sich abgebildet und eine Fehlerabschätzung ist direkt möglich. Liegt die Kugel nicht in D, haben wir zwei Möglichkeiten. Wir können D kleiner machen und so die Lipschitzkonstante reduzieren, was wiederum zu einer kleineren Kugel führt, die evtl. in D liegt. Wir können aber auch D größer machen; dies führt zwar zu einer größeren Lipschitzkonstanten und damit einer größeren Kugel, aber auch D ist ja größer geworden, so daß K( (0) ) evtl. in D liegt. Zur Bestimmung einer geeigneten Lipschitzkonstanten ist der folgende Satz häufig hilfreich. Satz 5.3 Falls f auf [a, b] stetig differenzierbar ist, dann erfüllt f auf [a, b] eine Lipschitzbedingung mit P := ma a ξ b f (ξ). Beweis: Man verwende den Mittelwertsatz für stetig differenzierbare Funktionen. Für die Differenz aus f() und f() eistiert ein ξ mit f() f() = f (ξ)( ). Hieraus folgt die Behauptung. 5.. Konvergenzgeschwindigkeit Zur Konkretisierung des Begriffs der Konvergenzgeschwindigkeit definieren wir zunächst den Begriff des Anziehungspunktes. Definition 5.1 (Anziehungspunkt). Ein Fipunkt von f() heißt Anziehungspunkt des Iterationsverfahrens (n+1) = f( (n) ), wenn für alle (0) aus einer (geeigneten) Umgebung von durch (n+1) = f( (n) ) eine gegen konvergente Folge { (n) } definiert ist. Satz 5.4 Sei f in einer Umgebung des Fipunktes stetig differenzierbar. Dann gilt (a) Falls f ( ) < 1, dann ist Anziehungspunkt. (b) Falls f ( ) > 1, dann ist für kein (0) durch (n+1) = f( (n) ) eine gegen konvergente Folge definiert, es sei denn, es ist (zufällig) = (n) für ein n. (c) Im Falle f ( ) = 1 kann Konvergenz oder Divergenz eintreten. Beweis: Im Fall (a) gilt: Wegen f () < 1 ist f( ) f() M mit 0 M < 1 für alle aus einer smmetrischen Umgebung von (Mittelwertsatz). Für jedes (0) aus dieser Umgebung folgt (a) mit dem Fipunktsatz. Im Fall (b) folgt aus dem Mittelwertsatz, dass f() f( ) M mit f ( ) M > 1

15 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 138 für alle aus einer geeigneten Umgebung von. Die Annahme, daß eine Folge (n+1) = f( (n) ) mit (n) konvergiere führt zum Widerspruch, da ab einem geeigneten n 0 (n+1) > (n) für alle n > n 0 gilt. Aussage (c) veranschaulichen wir grafisch (vgl. Abb. 5.1 und 5.13). = =f() (j) (j+1) (i+1) (i) Abbildung 5.1: Beispiel für eine Funktion f(), bei der Konvergenz von oben und von unten vorliegt. Bemerkung 5.5 Je kleiner die Ableitung f ( ) ist, desto besser ist die Konvergenz. Definition 5. (Konvergenzordnung einer Folge bzw. eines Iterationsverfahrens). Die Folge { (n)} konvergiert mit der Ordnung p > 0 gegen, wenn und gleichzeitig die Bedingung (n) (n+1) M (n) p (5.7) mit einer geeigneten Konstanten M erfüllt ist. M darf von (0) abhängen. Das Verfahren (n+1) = f( (n) ) hat die Konvergenzordnung p, wenn für jedes (0) aus einer geeigneten Umgebung von eine Folge ( (n) ) definiert ist, die mit der Ordnung p gegen konvergiert.

16 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 139 =f() = (j+1) (j) (i) (i+1) Abbildung 5.13: Beispiel für eine Funktion f(), bei der offensichtlich unabhängig vom Startwert (0) Divergenz vorliegt. Beispiel 5.1 (Vergleich verschiedener Konvergenzordnungen). Was bedeutet der Unterschied zwischen p = 1 und p = für das praktische Konvergenzverhalten? Um einen Eindruck davon zu bekommen, betrachten wir zwei konvergente Folgen. Die erste konvergiere mit erster Ordnung (p = 1) und wir nehmen an, daß (n+1) = 1 (n). Nehmen wir weiter an, daß (1) = 1/ ist, so erhalten wir die Tabelle n (n) (allgemein: (n) = n ). Die zweite Folge konvergiere mit zweiter Ordnung (p = ), und es gelte (n+1) = (n). Dann erhalten wir für (1) = 1/ die Tabelle n (n) (allgemein: (n) = n 1 ) und wir beobachten einen dramatischen Unterschied im Konvergenzverhalten der beiden Folgen. Das Verfahren mit Ordnung konvergiert immer schneller und ist nach nur acht Iterationen auf mehr als 30 Stellen genau, während das lineare Verfahren eine konstante Konvergenzgeschwindigkeit aufweist und für eine entsprechende Genauigkeit etwa 100 Iterationen benötigen würde.

17 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 140 Beispiel 5.13 (Vergleich Newton-Verfahren und vereinfachtes Newton-Verfahren). Tabelle 5.1 vergleicht die Konvergenz von Newton- und vereinfachtem Newton-Verfahren für g() = cosh = 0 aus Beispiel Newton-Verfahren Vereinfachtes Newton-Verfahren n (n) (n) (n) (n) Tabelle 5.1: Vergleich des Newton- und des vereinfachten Newton-Verfahrens bei der Bestimmung der beiden Nullstellen der Funktion g() = cosh. Man beachte: Bei einem Verfahren der Konvergenzordnung p = verdoppelt sich die Anzahl der eakten Stellen in jedem Iterationsschritt (vgl. Bemerkung 5.7). Damit hat ein solches Verfahren eine dramatisch bessere Konvergenz als ein Verfahren der Konvergenzordnung p = 1. Satz 5.5 (Konvergenzordnung). Die Funktion f() sei in einer Umgebung eines Fipunktes = f( ) m-mal stetig differenzierbar. Dann hat das Verfahren (n+1) = f( (n) ) (n = 0, 1,,,...) (5.8) genau dann (mindestens) die Ordnung m, wenn im Falle m = 1: Anziehungspunkt ist, im Falle m : f ( ) = f ( ) =... = f (m 1) ( ) = 0 (5.9) gilt. Beweis: Im Falle m = 1 ist nichts zu beweisen. m : : Aus (5.9) folgt mit dem Talorschen Satz, dass f() f( ) M m mit 1 m! f (m) () M

18 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 141 für alle aus einer Umgebung von, d.h. das Verfahren hat (mindestens) die Ordnung m. : Nun sei vorausgesetzt, das Verfahren habe die Ordnung m; es gebe aber ein j m 1 derart, daß f (j) ( ) 0 gilt und (im Falle j > 1) alle Ableitungen f (i) ( ) niedrigerer Ordnung i < j verschwinden. Dann gibt es gemäß Satz 5.4 eine Folge (n+1) = f( (n) ) mit (n) (n = 0, 1,,...), welche gegen konvergiert. Der Talorsche Satz und die Abschätzung (5.7) ergeben f( ) f( (n) ) = (n+1) = 1 j! f (j) (ξ (n) ) (n) j M (n) m mit ξ (n) für n. Daraus folgt f (j) (ξ (n) ) j! M (n) m j, also f (j) ( ) = 0, im Widerspruch zu unserer Annahme. Satz 5.6 (Das des Newton-Verfahren hat die Ordnung ). Zur Lösung der Gleichung g() = 0 werde das Newtonsche Verfahren (n+1) = f( (n) ) = (n) g((n) ) g ( (n) ) (n = 0, 1,,...) angesetzt. Dabei sei g() dreimal stetig differenzierbar und g () 0 in einer Umgebung der Lösung vorausgesetzt. Dann besitzt das Newton-verfahren die Konvergenzordnung. Beweis: Wir wenden Satz 5.5 auf das Newton-Verfahren an. Es ist (Quotientenregel: ( u v ) = vu uv v ) f ( ) = 1 (g ( )) g( )g ( ) (g ( )) = g( )g ( ) (g ( )) = 0 wegen g( ) = 0. Ferner gilt (Quotienten-, Produkt- und Kettenregel) f ( ) = (g ( )) g( )g ( ) + (g ( )) g ( )g ( ) g ( )g ( )gg ( ) (g ( )) 4 = g ( ) g ( ) wieder wegen g( ) = 0. Also hat das Newton-Verfahren aufgrund von Satz 5.5 die Ordnung. Ist in einem konkreten Fall zusätzlich g () = 0, so hat das Newton-Verfahren sogar die Konvergenzordnung 3. Bemerkung 5.6 Es sei nun eine p-fache Nullstelle von g() mit p > 1 (d.h. wir lassen die Voraussetzung g ( ) 0 fallen), und g() sei hinreichend oft differenzierbar. Dann ist = eine hebbare Unstetigkeitsstelle von f() und f () und man berechnet (s.u.) f ( ) = 1 1/p.

19 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 14 Nach Satz 5.4 ist auch in diesem Fall Anziehungspunkt des Verfahrens. Jedoch hat das Verfahren dann nur die Ordnung 1. Beweis: Es ist mit g 0 ( ) 0. Dann haben wir g() = ( ) p g 0 () g = p( ) p 1 g 0 + ( ) p g 0 g = p(p 1)( ) p g 0 + p( ) p 1 g 0 + ( ) p g 0. Aus f() = g() g () folgt für wie oben Es ergibt sich: f () = g()g () (g ()). lim f g()g () () = lim (g ()) (( ) p ( g 0 ) p(p 1)( ) p g 0 + p( ) p 1 g 0 + ( ) p g ) 0 = lim (p( ) p 1 g 0 + ( ) p g 0 ) ( (g 0 ) p(p 1)g0 + p( )g 0 + ( ) g ) 0 = lim (pg 0 + ( )g 0 ) = g 0(p(p 1)g 0 ) (pg 0 ) = p p p = 1 1 p. Bemerkung 5.7 (Stellengewinn pro Iterationsschritt). Ein Verfahren (n+1) = f( (n) ) habe die Konvergenzordnung m, und es sei (0) aus einer hinreichend kleinen Umgebung von gewählt. Dann gilt Durch ε (n+1) := (n+1) M (n) m = M(ε (n) ) m. (5.10) a (n) := log 10 ε (n) wird eine Zahl definiert, die (ein Maß für) die Anzahl der richtigen Dezimalen der Näherung (n) ist. Es gilt a (n+1) = log 10 ε (n+1) log 10 (M(ε (n) ) m ) = ma (n) log 10 M, (5.11) wobei wir die Ungleichung (5.10) in logarithmierter Form benutzt haben. Damit folgt a (n+1) a (n) m log 10 M a (n) m für n. Diese Relation hat folgende praktische Bedeutung: Bei einem Verfahren der Ordnung m wird die Anzahl der richtigen Dezimalen der Näherungen pro Iterationsschritt asmptotisch mindestens ver-m-facht (vgl. hierzu die Beispiele 5.1 und 5.13.

20 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 143 Zur Untersuchung des Sekantenverfahrens muss der Begriff der Konvergenzordnung geeignet auf Verfahren erweitert werden, deren neue Näherung (n+1) nicht nur von (n) sondern von (n) und (n 1) abhängt. Die Herleitung der (modifizierten) Konvergenzordnung des Sekantenverfahrens ist etwas komplizierter als im Fall des Newton-Verfahrens. Das Sekantenverfahren ist ein Beispiel für ein Verfahren, dessen Konvergenzordnung keine natürliche Zahl ist. Mit etwa 1.6 ist die Konvergenzordnung des Sekantenverfahrens schlechter als die des Newton-Verfahrens, aber das Sekantenverfahren hat eben auch die bereits in Bemerkung 5.3 skizzierten Vorteile. In der Prais gibt es daher durchaus Fälle, in denen der Rechenaufwand des Sekantenverfahrens niedriger ist als der des Newton- Verfahrens. Die schlechtere Konvergenz kann ggf. durch den evtl. geringeren Aufwand (der Aufwand zur Berechnung von f und f ist beispielabhängig) kompensiert werden. Satz 5.7 (Konvergenzordnung des Sekantenverfahrens; ohne Beweis). Es sei g : [a, b] IR zweimal stetig differenzierbar und (a, b) eine einfache Nullstelle von g, d.h. es sei g( ) = 0 und g ( ) 0. Dann besitzt das Sekantenverfahren für hinreichend gute Anfangsnäherungen (0), (1) mindestens die Konvergenzordnung p = 1 ( 5 + 1) Iterationsverfahren zur Lösung nichtlinearer Gleichungsssteme Zu lösen sei die Aufgabe im IR N, wobei d.h. G() = g 1 ( 1,..., N ). g N ( 1,..., N ) G() = 0 (5.1) G : D IR N mit D IR N, Das Newton-Verfahren im IR N Das Verfahren soll wieder die Gestalt mit g i : D IR, = ( 1,..., N ) D. (n+1) = f( (n) ) = haben. Das Newton-Verfahren im IR 1 lautet f 1 ( 1,..., N ). f N ( 1,..., N ) (n+1) = (n) g((n) ) g ( (n) ).

21 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 144 Um ein dem 1D-Newton-Verfahren analoges Verfahren zu konstruieren, benötigen wir die Eistenz und Regularität der Funktionalmatri ( ) G gi () () = j i,j=1,...,n = g 1 () 1.. g N () 1 g 1 () N. g N (). N Dann können wir ganz in Analogie zum eindimensionalen Fall die folgenden Verfahren betrachten: (1) Das Newton-Verfahren ist ( 1 (n+1) = (n) G ( )) (n) G( (n) ). () Das vereinfachte Newton-Verfahren lautet ( 1 (n+1) = (n) G ( )) (0) G( (n) ). Motivation des Newton-Verfahrens: Bisher haben wir das Newton-Verfahren geometrisch (1D Fall) oder durch Analogie erhalten. Es gibt aber noch eine weitere interessante Motivation für dieses Verfahren. Das Gleichungssstem (5.14) läßt sich nämlich komponentenweise schreiben als N j=1 g i ( (n) 1,..., (n) N ) ((n+1) j j (n) j ) = g i ( (n) 1,..., (n) ) (i = 1,..., N). (5.13) N Diese Beziehung erhält man formal auch, indem man die Talorentwicklung von g i (i = 1,..., N) in 0 = g i ( 1,..., N) = g i ( (n) N 1,..., (n) N ) + g i ( (n) 1,..., (n) N ) ( j (n) j ) + j nach dem linearen Glied abbricht und durch (n+1) ersetzt. j=1 Bemerkung 5.8 (Konvergenz des (vereinfachten) Newton-Verfahrens im IR N ). Unter geeigneten Voraussetzungen (G hinreichend glatt etc.) haben das Newton-Verfahren und das vereinfachte Newton-Verfahren wie im eindimensionalen Fall die Konvergenzordnungen bzw. 1. Die Wahl bzw. Bestimmung guter Startnäherungen ist für das mehrdimensionale Newton-Verfahren noch wichtiger als im eindimensionalen Fall, da der Einzugsbereich in der Regel umso kleiner ist, je größer N ist.

22 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 145 Beispiel 5.14 (Vergleich Newton-Verfahren, vereinfachtes Newton-Verfahren). Gegeben sei das nichtlineare Gleichungssstem 0 = g 1 ( 1, ) = = g ( 1, ) = ( ) 1 Beginnend mit der Startnäherung (0) = wenden wir das Newton-Verfahren an. Es ist g 1 g 1 G () = 1 g g = 6 1 ( ) ( ) 1 1 und damit Wir berechnen (1) gemäß G ( (0) ) = G ( (0) ) ( v (0) 1 v (0) ( ) ). = G( (0) ). Das Gleichungssstem (5.14) lautet in diesem Beispiel also ( ) ( ) 6 4 v (0) ( ) v (0) =, und daraus erhalten wir ( ) v (0) ( 1 5/98 v (0) = 18/49 ) sowie (1) = (0) + v (0) = ( 13/98 80/49 ) ( ) ). Nach 4 Iterations- ( Auf 10 Stellen genau lautet die eakte Lösung : schritten hat das Newton-Verfahren diese Genauigkeit erreicht, das vereinfachte Newton- Verfahren benötigt immerhin 80 Iterationen für dieselbe Genauigkeit. Beginnen wir mit der etwas besseren Startnäherung (0) = (1., 1.6) T, so ist G ( (0) ) = ( ), und wir erreichen 8 Stellen Genauigkeit mit n = 3 für das Newton-Verfahren, n = 8 für das vereinfachte Newton-Verfahren. Bemerkung 5.9 (Praktische Rechnung). In der Prais werden Inverse der Matrizen G ( (n) ) oder G ( (0) ) nicht eplizit berechnet (zu aufwändig), sondern es werden lineare Gleichungsssteme gelöst. Man kann z.b. das Newton-Verfahren auch schreiben als ( v (n) = (n+1) (n) = G ( (n)) 1 G( (n) )

23 Iterative Lösung von nichtlinearen Gleichungen und Gleichungssstemen 146 oder als G ( (n) )v (n) = G( (n) ) (n+1) = (n) + v (n) (5.14) Beim vereinfachten Newton-Verfahren und bei Newton-ähnlichen Verfahren (s.u.) verfährt man entsprechend. Zur Lösung dieser linearen Gleichungsssteme kann man wieder Verfahren wie das Gaußsche Eliminationsverfahren, die LR-Zerlegung usw. benutzen. Beim vereinfachten Newton-Verfahren ist die LR-Zerlegung besonders nützlich, weil sie nur einmal (nämlich für die Matri G ( (0) ) durchgeführt werden muß (wir haben immer die gleiche Matri mit verschiedenen rechten Seiten).