Numerische Mathematik

Transkript

1 Vorlesungsskriptum Numerische Mthemtik Teil II Dr. Stefn Frei bsierend uf der gleichnmigen Vorlesung n der Universität Konstnz im WS 019/0

2

3 4 Nichtlinere Gleichungen In diesem Kpitel betrchten wir numerische Verfhren zur Bestimmung von Nullstellen nichtlinerer Funktionen f : R n R f(x) = 0, x R n Die Fokussierung uf Nullstellensuche ist ddurch motiviert, dss mn jede nichtlinere Gleichung der Form g(x) = h(x) durch Setzen von f = g h in obige Form bringen knn. Wir konzentrieren uns zunächst uf den Fll n = Intervllschchtelung (Bisektion) Sei f : I R eine stetige Funktion uf einem Intervll I = [, b]. Ds Verfhren der Intervllschchtelung (uch:bisektion) ist motiviert durch den Zwischenwertstz für stetige Funktionen: Existiert ein Teilintervll I 0 = [ 0, b 0 ] I mit f( 0 )f(b 0 ) < 0, so ht f mindestens eine Nullstelle in I 0. Ausgehend von einem solchen Intervll I k = [ k, b k ] definieren wir für k 1 die Iterierte x k := 1 ( k 1 + b k 1 ). sowie die neuen Intervllgrenzen { [ k 1, x k ], wenn f( k 1 )f(x k ) < 0 [ k, b k ] = [x k, b k 1 ], wenn f( k 1 )f(x k ) > 0. Gilt f(x k ) = 0, so ist eine Nullstelle gefunden. Für eine Nullstelle z I 0 gilt nch Definition für lle k 0 und ußerdem k k+1 z b k+1 b k x k z k b k = 1 k 1 b k 1 ( ) 1 k 0 b 0 0 (k ) 1

4 4 Nichtlinere Gleichungen x x 1 x 0 Abbildung 4.1: Grphische Drstellung des Newton-Verfhrens Der Fehler wird in jeder Itertion lso c. um einen Fktor 1 kleiner. Wir werden in diesem Fll später von linerer Konvergenz sprechen. Die Intervllschchtelung ist ein stbiler numerischer Algorithmus zur Berechnung einer Nullstelle für beliebige stetige Funktionen f. Ist mn n einer gewissen Genuigkeit (z.b. 6 Stellen) interessiert, ist die Konvergenz in der Regel llerdings reltiv lngsm 4. Newton-Verfhren in R 1 ( ) 1 k 10 6 k 0. Wir nehmen nun n, dss die Funktion f zweiml stetig differenzierbr ist. Ds Newton- Verfhren (uch Newton-Rphson-Verfhren) bsiert geometrisch uf der Idee eine (möglicherweise komplizierte) Funktion f lokl durch ihre Tngente nzunähern, siehe Abbildung 4.1. Sei x 0 I ein Strtwert. Es gilt mit Tylorentwicklung für ein f(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (ξ) (x x 0 ) = T x0 (x) + O ( x x 0 ). }{{} =:T x0 (x) Nhe bei x 0 ist T x0 (x) lso eine gute Näherung von f(x). Im Flle f (x 0 ) 0 knn die Nullstelle von T x0 (x) einfch berechnet werden f(x 0 ) + f (x 0 )(x x 0 ) = 0 x = x 0 f(x 0) f (x 0 ). Die Nullstelle x der Tngente ist im Allgemeinen noch nicht die Nullstelle von f. D die Tngente eine Näherung zweiter Ordnung n f ist, besteht ber Hoffnung, dss diese deutlich näher n der Nullstelle von z liegt ls x 0. Wir definieren die Itertion

5 4. Newton-Verfhren in R 1 Strtwert x 0 I, Für k = 1,,..., setze x k = x k 1 f(x k 1) f (x k 1 ). (4.1) Geeignete Abbruchkriterien für die Itertion werden wir weiter unten diskutieren. Wir wollen nun ds Konvergenzverhlten der Newton-Itertion nlysieren. Wir hben bereits gesehen, dss die Newton-Itertion nur für f (x k ) 0 wohldefiniert ist. Deswegen beschränken wir uns zunächst uf die Suche einfcher Nullstellen z, d.h. Nullstellen, für die f (z) 0. D f nch Vorussetzung stetig ist, ist dnn uch f (x) 0 in einer Umgebung von z. Stz 4.1. Die Funktion f C [, b] hbe eine Nullstelle z (, b) und wir nehmen n, dss m := min x [,b] f (x) > 0. Außerdem sei M := mx x [,b] f (x) und ρ > 0 sei so gewählt, dss ρ < m M, K ρ(z) := {x R, x z ρ} [, b]. (4.) Dnn bleiben die Newton-Iterierten x k für jeden Strtwert x 0 K ρ (z) in K ρ (z) und konvergieren gegen die Nullstelle z. Es gelten die priori Fehlerbschätzung x k z M m x k 1 z m M qk, k N, (4.3) mit q := M mρ < 1 und die posteriori Abschätzung x k z 1 m f(x k) M m x k x k 1, k N. (4.4) Im Fll M = 0 (d.h. f ist liner) konvergiert ds Newton-Verfhren in einem Schritt und es gilt x 1 = z. Bemerkung 4.. Wir sprechen von einer posteriori Fehlerbschätzung, wenn nur berechenbre Größen in die Abschätzung eingehen (z.b. die Iterierten x k, x k 1 ). Solche Fehlerbschätzungen können nch einem Itertionsschritt usgerechnet werden und werden z.b. in der Definition von Abbruchkriterien verwendet. Bei einer priori Abschätzung können dgegen uch im Vorus unbeknnte Größen wie die unbeknnte Nullstelle z eingehen. Diese sind in der Regel unbhängig von der Folge der Iterierten und können verwendet werden, um vor der Berechnung bzuschätzen, wie viele Itertionen (mximl) notwendig sein werden. 3

6 4 Nichtlinere Gleichungen Beweis. (i) Wir zeigen zunächst, dss die Newton-Iterierten x k in K ρ (z) bleiben. Dzu zeigen wir, dss x k z < ρ x k+1 z < ρ. Der Beweis bsiert uf der Tylorentwicklung f(z) = f(x k ) + f (x k )(z x k ) + f (ξ) (z x k ), für ein ξ [x k, z]. D f(z) = 0 und f (x k ) 0 folgt drus Dmit gilt unter der Vorussetzung (4.) 0 = f(x k) f (x k ) + z x k + f (ξ) f (x k ) (z x k). x k+1 z = x k f(x k) f (x k ) z = f (ξ) f (x k ) (z x k) M m z x k < M m ρ ρ, (4.5) d.h. x k+1 K ρ (z). (ii) A priori Abschätzung: Als Nebenprodukt erhlten wir us (4.5) bereits die erste Ungleichung in (4.3). Um die zweite Ungleichung zu zeigen, setzen wir (4.5) impliziert und dmit induktiv M m x k z = r k r (k ) 0 = r k := M m x k z. r k r k 1 ( M m x 0 z }{{} ρ ) ( k ) q (k). (iii) Es bleibt die posteriori Abschätzung (4.4) zu zeigen. Dzu verwenden wir eine Tylorentwicklung erster Ordnung Drus folgt direkt, dss f(x k ) = f(z) + f (ξ)(x k z), x k z f(x k) f (ξ) f(x k) m. Eine weitere Tylorentwicklung zweiter Ordnung ergibt ξ [x k, z]. f(x k ) = f(x k 1 ) + f (x k 1 )(x k x k 1 ) + f (ξ) (x k x k 1 ), für ein ξ [x k 1, x k ]. }{{} =0 Der erste Term verschwindet nch Definition der Newton-Iterierten x k und es folgt f(x k ) m M m x k x k 1. 4

7 4.3 Konvergenzbegriffe Abbruchkriterien Die posteriori Abschätzung (4.4) legt zur Erreichung einer vorgegebenen Tolernz zwei mögliche Abbruchkriterien nhe 1 m f(x k) < TOL oder M m x k x k 1 < TOL. Oft ist mn drn interessiert sttt dem bsoluten Fehler den reltiven Fehler x k z z x k z x k zu kontrollieren (Ist die Lösung z sehr groß ist es weniger relevnt die n-te Nchkommstelle richtig zu pproximieren). In diesem Fll schreiben sich die obigen Kriterien ls 1 f(x k ) < TOL oder m x k 4.3 Konvergenzbegriffe M x k x k 1 m x k < TOL. Definition 4.3. Ein Itertionsverfhren besitzt die Konvergenzordnung p 1, wenn gilt x k z c x k 1 z p für k N. Im Fll p = 1 spricht mn unter der zusätzlichen Vorussetzung c < 1 von linerer Konvergenz, im Flle p = von qudrtischer Konvergenz. Weiter spricht mn von superlinerer Konvergenz, wenn es eine Nullfolge (c k ) k N gibt mit x k z c k x k 1 z für k N. Im Flle p > 1 liegt globle Konvergenz (d.h. für beliebige Strtwerte x 0 I) vor, wenn c < 1. Wenn c > 1, konvergiert ds Verfhren immernoch lokl, d.h. für Strtwerte in einer Umgebung K ɛ (z) für ein ɛ > 0. Dies sieht mn folgenderweise p 1 x k z c 1 p 1 }{{} c x k 1 z p = =c p 1 p c 1 (c 1 p 1 x k 1 z ) p... c 1 p 1 x 0 z }{{}! <1 In Theorem 4.1 hben wir gezeigt, dss ds Newtonverfhren lokl qudrtisch konvergiert. Diese Konvergenzordnung liegt llerdings im Allgemeinen nur vor, wenn der Strtwert genügend nhe n der Nullstelle z liegt (x 0 K ρ (z)). Ist dies nicht der Fll, ist die Konvergenz der Itertion nicht gesichert. In der Prxis werden bei solchen Problemen lngsmere, ber globl konvergente Verfhren (z.b. die Intervllschchtelung) eingesetzt, um einen genügend guten Strtwert für die Newton-Itertion zu berechnen. Für die Intervllschchtelung knn mn keine Konvergenzordnung im obigen Sinne ngeben, d x k z nicht notwendig monoton fällt. Mn spricht oft trotzdem von linerer Konvergenz, d für die Folgen der Intervlle ( k, b k ) k 0 gilt b k k = 1 b k 1 k 1. (p k ). 5

8 4 Nichtlinere Gleichungen Abbildung 4.: Monotones Konvergenzverhlten der Newton-Itertion für die Funktion f(x) = x n (Quelle: Rolf Rnncher, Einführung in die numerische Mthemtik) Beispiel: Wurzelberechnung Wir wenden ds Newton-Verfhren zur Berechnung der n-ten Wurzel von n. Dzu suchen wir eine Nullstelle der Funktion f(x) = x n. Die Newton-Itertion lutet für dieses Beispiel ( ) x k+1 = x k xn k 1 nx n 1 = 1 (n 1)x k + n k x n 1. k Die Funktion f ist konvex und streng monoton wchsend uf R +. In diesem Fll knn gezeigt werden, dss die Newton-Itertion für jeden beliebigen Strtwert x 0 > 0 konvergiert (siehe Übung). Dher wird ds Newton-Verfhren uf vielen Rechnern zur Berechnung von Wurzeln eingesetzt. Wir wollen dies im Fll n = (sprich der Berechnung der Qudrtwurzel ) vernschulichen. Die Itertionsvorschrift lutet x k+1 = 1 ) (x k + xk. Die rechte Seite nimmt ein Minimum im Punkt x = n, d.h. für einen beliebigen Strtwert x 0 gilt x 1 und dmit x k für k 1. Weiter gilt (siehe Abb. 4.) x k > x k+1 >, d.h. die Folge der Iterierten x k konvergiert monoton gegen. Wie in (4.5) gilt (f (x k ) = x k, f (x k ) = ) x k+1 z = f (ξ) f (x k ) (x k z) = 1 x k (x k ). 6

9 Tbelle 4.1: Itertion k x k z x k Konvergenzbegriffe Newton-Verfhren zur Berechnung der Nullstelle z = der Funktion f(x) = x. Korrekte Dezimlstellen sind unterstrichen. Wegen x k x k < 1 für x k liegt Konvergenz für beliebige Strtwerte vor x k+1 1 x k. Qudrtische Konvergenz liegt nch Stz 4.1 vor, wenn M m x k z < 1. Für k 1 gilt x k > und wir können uns in der Definition von m uf diesen Bereich konzentrieren m := min x> f (x) = M m x k z = 1 x k! < 1 x k! < 3. Je nch Whl des Strtwerts x 0 knn ds entweder schon für x 0 oder x 1 erfüllt sein, oder erst im Lufe der Itertion. Wir geben in Tbelle 4.1 ls Beispiel die Berechnung von ( = ) mit (einem willkürlich bestimmten) Strtwert x = 0.1. In der ersten Itertion erhöht sich der Fehler strk. In Itertionen, 3 nimmt der Fehler jeweils um etws mehr ls einen Fktor b, d.h. es liegt linere Konvergenz vor. Ab der vierten Itertion verdoppelt sich die Anzhl der korrekten Dezimlstellen. Es liegt qudrtische Konvergenz vor x k z < 10 n x k z < c x k z < c 10 n. Ab Itertion 9 liegt der Fehler x 9 z im Bereich der Mschinengenuigkeit ɛ = Aufgrund von Rundungsfehlern ist bei Verwendung von double precision keine Verbesserung mehr möglich. 7

10 4 Nichtlinere Gleichungen Itertion k k b k x k z x k Tbelle 4.: Intervllschchtelung zur Nullstellensuche bei f(x) = x mit Strtintervll I 0 = [ 0, b 0 ]. Korrekte Dezimlstellen sind unterstrichen. Intervllschchtelung In Tbelle 4. stellen wir die Ergebnisse des Intervllschchtelungsverfhrens für ds selbe Problem dr. Als Strtintervll ist hier I 0 = [0, ] gewählt. Der Fehler x k z reduziert sich, llerdings nicht-monoton. Während der Fehler beim Newton-Verfhren nch 8 Schritten im Bereich der Mschinengenuigkeit liegt, liegt dieser bei der Intervllschchtelung nch 8 Schritten im Bereich O(10 3 ) In Abb. 4.3 vergleichen wir ds Konvergenzverhlten des Newton-Verfhrens und der Intervllschchtelung in einem hlblogrithmischen Plot. Dbei wird in der Vertiklen der Logrithmus des Fehlers log( x k z ) ufgetrgen. Bei linerer Konvergenz gilt z x k = q k log( z x k ) = k log(q). d.h. wir erhlten eine Gerde mit Steigung log(q) < 0. Dies knn mn bei der Reduktion der Intervlllänge b k k beim Intervllschchtelungsverfhren beobchten. Der Fehler x k z verläuft jeweils knpp unter dieser Linie. Bei Konvergenzordnung p > 1 gilt z x k = q (pk ) log( z x k ) = p k log(q), d.h. die Kurve fällt exponentiell. Dies ist beim Newton-Verfhren zu beobchten, bis der Fehler die Größenordnung der Mschinengenuigkeit erreicht. 4.4 Vrinten des Newton-Verfhrens Gedämpftes Newton-Verfhren Ds größte Problem beim Newton-Verfhren ist oft die Definition eines geeigneten Strtwertes x 0. Ist der Einzugsbereich der qudrtischen Konvergenz einml erreicht, konvergiert ds Verfhren sehr schnell. Für beliebiges x 0 ist dgegen im llgemeinen keine Konvergenz gesichert. Eine einfche Strtegie, um den Konvergenzrdius zu vergrößern, ist ds sogennnte gedämpfte Newton-Verfhren mit einer Folge von Dämpfungsprmetern (λ k ) k 0, λ k (0, 1] 8

11 4.4 Vrinten des Newton-Verfhrens Newton x k -z Bisektion x k -z Bisektion b k - k Abbildung 4.3: Vergleich des Konvergenzverhltens des Newton-Verfhrens und der Intervllschchtelung (Bisektion) in einem hlblogrithmischen Plot. Für die Intervllschchtelung liefert die liner konvergierende Intervlllänge b k k eine obere Schrnke für den Fehler. Strtwert x 0 I, x k+1 = x k λ k f(x k ) f (x k ). (4.6) Bei optimler Whl der Folge (λ k ) k 0 knn mn sogr globle Konvergenz sicherstellen. Stz 4.4. Die Funktion f C [, b] hbe eine Nullstelle z (, b) und wir nehmen n, dss m := min x [,b] f (x) > 0. Für beliebige Strtwerte x 0 [, b] knn mn eine Folge (λ k ) k>0 finden, so dss ds gedämpfte Newton-Verfhren (4.6) gegen eine Nullstelle z konvergiert. Beweis. Wir zeigen, dss für beliebiges x k stets ein Wert λ k = λ (0, 1] gefunden werden knn, so dss für x(λ) = x k λ f(x k) f (x k ) gilt f(x(λ)) < q f(x k ) für ein q < 1. 9

12 4 Nichtlinere Gleichungen Mithilfe von Tylor-Entwicklung gilt für ein ξ [x k, x(λ)] ( f(x(λ)) = f x k λ f(x ) k) f = f(x k ) λ f(x k) (x k ) f (x k ) f (x k ) + λ f(x k) f (ξ) f (x k ) = (1 λ + λ f(x k )f ) (ξ) f (x k ) f(x k ). Es folgt mit der Dreiecksungleichung f(x(λ)) (1 λ) f(x k ) f(x(λ)) (1 λ)f(x k ) = λ und dmit mit M := mx x [,b] f (x) und η := mx x [,b] f(x) f(x(λ)) Mη f(x k ). Mit der Whl gilt im Fll α > 1 (d.h. λ = α 1 ) 1 λ + λ } m {{ } =:α { λ = min 1, 1 } α f(x k )f (ξ) f (x k ) f(x k) und für α < 1 (d.h. λ = 1) 1 λ + α λ = 1 1 α q < 1 1 λ + α λ = α 1. In beiden Fällen gilt bei dieser Whl von λ für die nächste Iterierte x k+1 f(x k+1 ) = f(x(λ)) mx{q, 1 } f(x k ). ( q) k+1 f(x 0 ) 0 }{{} =: q (k ). Ab einem gewissen k gilt wegen f(x k ) 0 dmit α = Mf(x k ) m < 1 λ k = 1. (4.7) In der Prxis ist ds Finden einer geeigneten Folge λ k oft problemtisch, d z.b. M und dmit α nicht beknnt ist. Eine mögliche Strtegie (line serch) ist es den Newtonschritt solnge für Werte λ k {1, 1, 1 4,...} zu berechnen, bis f(x(λ k)) < q f(x) für ein q < 1 gilt. Solnge λ k < 1 ist die Konvergenzgeschwindigkeit nur liner. Aufgrund von (4.7) knn llerdings λ k = 1 b einem gewissen k N gewählt werden. Dies ist spätestens dnn der Fll, wenn x k K ρ (z) gilt. Ab dnn konvergiert ds Verfhren qudrtisch (siehe Stz

13 4.4 Vrinten des Newton-Verfhrens 4.4. Mehrfche Nullstellen In Stz 4.1 hben wir vorusgesetzt, dss f (z) 0 n der Nullstelle z. Ds Newton- Verfhren konvergiert jedoch uch bei mehrfchen Nullstellen. Ist die Ordnung der Nullstelle p beknnt, bietet sich folgende Modifiktion der Newton-Itertion n x k+1 = x k p f(x k) f (x k ). Für p = 1 ergibt sich ds oben definierte Stndrd-Newton-Verfhren. Wir erhlten die folgenden Konvergenzresultte, welche die Ergebnisse us Stz 4.1 verllgemeinern. Stz 4.5. Sei z (, b) eine p-fche Nullstelle der Funktion p C p+1 ([, b]), d.h. es gelte Weiter seien f(z) = f (z) =... = f (p 1) (z) = 0, f (p) (z) 0. m := min x [,b] f (p) (x) > 0, M := mx x [,b] f (p+1) (x). Unter der Vorussetzung, dss M m ρ < 1 konvergiert ds Newton-Verfhren (4.1) für x 0 K ρ (z) mit linerer Konvergenzordnung gegen die Nullstelle z, d.h. mit einem q < 1 gilt Ds modifizierte Newton-Verfhren x k z < q x k 1 z. x k+1 = x k p f(x k) f (x k ). konvergiert unter der etws schwächeren Vorussetzung M m ρ < p dgegen wieder lokl qudrtisch x k z < M pm x k 1 z. Beweis. Wir betrchten llgemein die Itertion x k+1 = x k ω f(x k) f (x k ) mit den Spezilfällen ω = 1 und ω = p. Zunächt gilt x k+1 z = x k z ω f(x k) ωf(x k ) f = 1 (x k ) (x k z)f x k z. (x k ) 11

14 4 Nichtlinere Gleichungen Tylorentwicklungen von f und f ergeben für gewisse ξ 1, ξ [x k, z] f(x k ) = f (x k ) = p 1 i=0 p 1 i=1 f (i) (z) i! }{{} =0 (x k z) i + f (p) (ξ 1 ) p! (x k z) p = f (p) (ξ 1 ) (x k z) p p! f (i) (z) (x k z) i 1 + f (p) (ξ ) (i 1)! (p 1)! (x k z) p 1 = f (p) (ξ ) (p 1)! (x k z) p 1. }{{} =0 Wir entwickeln den letzten Term in der ersten Zeile weiter um ξ mit einem ξ 3 [x k, z] f(x k ) = f (p) (ξ 1 ) p! Dmit folgt x k+1 z = 1 Im Fll ω = p folgt (x k z) p = f (p) (ξ ) p! (x k z) p + f (p+1) (ξ 3 ) (x k z) p (ξ ξ 1 ). p! ωf(x k ) (x k z)f x k z = 1 ω (x k ) p + f (p+1) (ξ 3 )(ξ 1 ξ ) pf (p) x k z (4.8) (ξ ) x k+1 z M pm ξ 1 ξ x k z. Unter der Vorussetzung, dss M pm ρ < 1 folgt induktiv, dss x k+1 K ρ (z) und ußerdem x k+1 z M pm x k z. In Flle ω = 1 gilt nch (Induktions-)Vorussetzung und dmit f (p+1) (ξ 3 )(ξ 1 ξ ) pf (p) < M (ξ ) pm x k z < 1 p 1 1 p + f (p+1) (ξ 3 )(ξ 1 ξ ) pf (p) < 1. (ξ ) (4.8) impliziert dnn x k+1 K ρ (z) und (lokl) linere Konvergenz. 1

15 4.4 Vrinten des Newton-Verfhrens Vereinfchtes Newton-Verfhren Der teuerste Schritt bei der Durchführung des Newton-Verfhrens ist oft die Berechnung der Ableitung f (x k ). Dies ist insbesondere in mehreren Dimensionen der Fll (siehe unten). In 1d stelle mn sich Funktionen f vor, die nur implizit definiert sind. In diesem Fll wird die Ableitung f (x k ) häufig nicht in jedem Newton-Schritt neu berechnet sondern es wird stttdessen uf in vorherigen Itertionen berechneten Ableitungen zurückgegriffen f (x k ) f (x l ) für l < k. Es knn sogr gezeigt werden, dss die Ableitungen n beliebigen Stellen y K ρ (z) usgewertet werden können, wobei sich die Konvergenzordnung in diesem Fll uf 1 reduziert. Wir betrchten ds folgende vereinfchte Newtonverfhren, bei dem die Ableitung nur im ersten Schritt berechnet wird. Strtwert x 0 I, Für k = 1,,..., setze x k = x k 1 f(x k 1) f (x 0 ). (4.9) Stz 4.6. Die Funktion f C [, b] hbe eine Nullstelle z (, b) und wir nehmen n, dss m := min x [,b] f (x) > 0. Außerdem sei M := mx x [,b] f (x) und ρ > 0 sei so gewählt, dss ρ < m M, K ρ := {x R, x z ρ} [, b]. Dnn bleiben die Newton-Iterierten x k für jeden Strtwert x 0 K ρ (z) in K ρ (z) und konvergieren gegen die Nullstelle z. Es gilt die priori Fehlerbschätzung x k z q x k 1 z m 4M qk, k N mit q := M m ρ < 1. Beweis. Übung Sekntenverfhren Ds Sekntenverfhren kommt sogr gnz ohne Berechnung von Ableitungen us. Sttt wie beim Newton-Verfhren die Tngente T (x) ls lokle Approximtion von f um den Punkt x zu betrchten, wählen wir hier die Seknte, d.h. die Gerde durch die Punkte (x k, f(x k )) und (x k 1, f(x k 1 )) (siehe Abb. 4.4) S(x) = f(x k ) + (x x k ) f(x k) f(x k 1 ) x k x k 1. (4.10) 13

16 4 Nichtlinere Gleichungen Abbildung 4.4: Grphische Drstellung des Sekntenverfhrens (Quelle: Rolf Rnncher, Einführung in die numerische Mthemtik) Die Nullstelle der Seknte zu gegebenen x k und x k 1 liefert die nächste Itererierte x k+1 des Sekntenverfhrens. Strtwerte x 0, x 1 I, x 0 x 1 x k x k 1 Für k = 1,,..., setze x k+1 = x k f(x k ) f(x k ) f(x k 1 ) (4.11) Alterntiv zur geometrischen Motivtion knn mn ds Sekntenverfhren uch ls eine Vrinte des Newton-Verfhrens sehen, bei dem die Ableitung durch einen Differenzenquotient pproximiert wird f (x k ) f(x k) f(x k 1 ) x k x k 1. Stz 4.7. Die Funktion f C [, b] hbe eine Nullstelle z (, b) und wir nehmen n, dss m := min x [,b] f (x) > 0. Ausßerdem sei M := mx x [,b] f (x) und ρ > 0 sei so gewählt, dss ρ < m M, K ρ := {x R, x z ρ} [, b]. Dnn bleiben die Iterierten x k des Sekntenverfhrens (4.11) für beliebige Strtwerte x 0, x 1 K ρ (z) in K ρ (z) und konvergieren gegen die Nullstelle z. Es gilt die priori Fehlerbschätzung x k z m M qγ k, k N (4.1) 14

17 4.5 Fixpunktverfhren wobei q = M m ρ < 1 und (γ k) k N die Folge der Fiboncci-Zhlen. Assymptotisch ergibt sich die Konvergenzordnung p 1.681, d lim γ k 0.73 (1.618) k. k Beweis. Siehe z.b. Richter & Wick, Einführung in die numerische Mthemtik, Stz 6.3. Bei der Sekntenmethode ist pro Itertionsschritt nur eine (neue) Funktionsuswertung f(x k ) und keine Berechnung von Ableitungen notwendig, weshlb ein Itertionsschritt in der Regel deutlich günstiger ist ls beim Newton-Verfhren. Zusmmen mit der Konvergenzordnung von könnte mn lso vermuten, dss ds Verfhren eine hocheffiziente Alterntive zum Newton-Verfhren drstellt. Allerdings besteht die Gefhr von Auslöschung, insbesondere wenn f(x k ) monoton (nicht lternierend) gegen f(z) = 0 konvergiert, d f(x k ) f(x k 1 ). Deshlb wird ds Sekntenverfhren in der Prxis eher selten eingesetzt. 4.5 Fixpunktverfhren Ds Newton-Verfhren und die in Abschnitt 4.4 definierten Vrinten lssen sich lle ls Fixpunktitertionen in folgender Form schreiben x k = g(x k 1 ), k = 1,,... (4.13) Es gilt genu dnn, x k 1 = x k = g(x k 1 ), wenn x k 1 eine Nullstelle von f ist. Ds Newton-Verfhren fällt in diese Ktegorie, d unter den obigen Vorussetzungen n f gilt Für eine Nullstelle z von f gilt g(x) := x f(x) f = x f(x) = 0. (x) g (z) = 1 f (z) f (z) + f(z)f (z) (f (z)) = 0. Ds Verhlten der Ableitungen n der Nullstelle z knn benutzt werden, um die Konvergenzordnung einer Fixpunktitertion zu bestimmen. Stz 4.8. Sei g C p [, b] mit p N, p. Eine Fixpunktitertion der Form (4.13) ht genu dnn die Ordnung p, wenn gilt g (z) =... = g (p 1) (z) = 0. Beweis. Sei zunächst g (z) =... = g (p 1) (z) = 0. Tylor-Entwicklung ergibt x k z = g(x k 1 ) g(z) = p 1 k=1 1 k! g(k) (z)(x k 1 z) k + g(p) (ξ k ) (x k 1 z) p, ξ k [x k 1, z]. }{{} p! =0 15

18 4 Nichtlinere Gleichungen Es folgt x k z c x k 1 z p. (4.14) Es gelte nun umgekehrt (4.14) für p. Liegt x 0 genügend nhe n z, so folgt drus Konvergenz x k z. Wir zeigen induktiv für m = 1,..., p 1, dss g (m) (z) = 0. Zunächst ergibt Tylor-Entwicklung (bzw. der Mittelwertstz der Differentilrechnung) für m = 1 und dmit x k z = g(x k 1 ) g(z) = g (ξ k )(x k 1 z), ξ k [x k 1, z] g (z) = lim k g (ξ k ) c lim k x k 1 z p 1 = 0. Anlog erhlten wir für m =,..., p 1 mit Hilfe von Tylor-Entwicklung unter der Vorussetzung, dss g (z) =... = g (m 1) (z) = 0 und dmit x k z = g(x k 1 ) g(z) = g(m) (ξ k )(x k 1 z), ξ k [x k 1, z] m! g (m) (z) = lim k g(m) (ξ k ) c lim k m! x k 1 z p m = 0. Mithilfe dieser Resultte knn mn nun versuchen weitere Fixpunktitertionen zu konstruieren. Die einfche Fixpunktitertion konvergiert im Allgemeinen nur liner, d x k = g(x k 1 ) = x k 1 + f(x k ) g (z) = 1 + f (z) 0. Zur Konstruktion eines Fixpunktverfhrens der Ordnung 3 mchen wir bsierend uf dem Newton-Verfhren den Anstz g(x) = x r(x) s(x)r (x), mit r(x) = f(x) f (x). Aufgrund von r(z) = 0 und r (z) = 1 gilt Für die Whl g (z) = 1 r (z) s(z)r(z)r (z) s (z)r(z) = 0. s(x) = r (x) r (x) 16

19 4.6 Nullstellensuche im R n knn mn ferner zeigen, dss g (z) = 0. Nch Konstruktion ht dieses Fixpunktverfhren lso die Ordnung 3 x k z < c x k 1 z 3. Allerdings müssen bei diesem Verfhren in jedem Itertionsschritt neben den Werten f(x k ), f (x k ) uch zweite Ableitungen f (x k ) usgewertet werden. Ein Schritt dieses Verfhrens ist dher in der Regel ufwändiger ls Newtonschritte (dort sind f(x k ), f (x k ), f(x k 1 ) und f (x k 1 ) uszuwerten). Sei x k die Folge der Newton-Iterierten und y k := x k die Folge, welche zwei Newtonschritte kombiniert. Dnn erhlten wir für die Folge (y k ) k N y k z = x k z q x k 1 z q 3 x k z 4 = q 3 y k 1 z 4, d.h. wir erhlten ein Verfhren vierter Ordnung. Aus diesem Grund sind Itertionsverfhren höherer Ordnung in der Regel nicht relevnt für die Nullstellensuche. 4.6 Nullstellensuche im R n Für den Rest dieses Kpitels werden wir uns der Nullstellensuche im R n widmen. Wir beschränken uns dbei uf Funktionen f : R n R n. Numerisch interessnt ist dbei insbesondere der Fll, dss n sehr groß ist. Besonders bei numerischen Methoden für Differentilgleichungen sind in der Prxis oft linere oder nichtlinere Gleichungssysteme mit n > 10 6 zu lösen. Selbst uf den heutigen Supercomputern sind effiziente numerische Methoden essentiell, um Näherungslösungen mit einer gewissen Genuigkeit uszurechnen. Wir beschäftigen uns wieder mit Fixpunktverfhren der Form (4.13). Zur Anlyse von numerischen Methoden für die Nullstellensuche im R n ist der Bnchsche Fixpunktstz essentiell, welcher in der Regel Gegenstnd der Anlysisgrundvorlesungen ist. Im folgenden bezeichne stets die Euklidische Vektornorm. Stz 4.9. (Bnchscher Fixpunkstz) Es sei D R n eine nichtleere und bgeschlossene Teilmenge und g : D D eine Selbstbbildung und Kontrktion, d.h. eine Lipschitzstetige Abbildung mit Lipschitzkonstnte q < 1 g(x) g(y) q x y, x, y D. (4.15) Dnn besitzt g genu einen Fixpunkt z D und die Folge (x k ) k 0 der Fixpunktitertion (4.13) konvergiert für jeden Strtpunkt x 0 D gegen z x k z (k ). Außerdem gilt die priori Abschätzung (linere Konvergenz) x k z qk 1 q x 1 x 0. 17

20 4 Nichtlinere Gleichungen Beweis. Anlysis bzw. Übung Zur Konstruktion und Anlyse von Fixpunktverfhren werden wir wieder Ableitungen benötigen. Für Funktionen f : R n R n sind die ersten Ableitungen in der Jcobi-Mtrix 1 f 1 f 1... n f 1 J f (x) := ( j f i ) n 1 f f... n f i,j=1 = f n f n... n f n zusmmengefsst. Zur Berechnung von J f ist die Berechnung von n prtiellen Ableitungen notwendig. Mit bezeichnen wir im folgenden die zur Euklidischen Norm zugehörige Mtrizennorm (Spektrlnorm) A := Ax sup Ax = sup x R n, x =1 x R n,x 0 x. (4.16) Zur Anwendung des Bnchsche Fixpunktstz müssen die Eigenschften Selbstbbildung und Kontrktion nchgewiesen werde. Zur Überprüfung dieser Eigenschften ist der folgende Schrnkenstz nützlich. Lemm Die Funktion g : D R n sei stetig differenzierbr uf einer konvexen Menge D R n. Dnn gilt für x, y D g(x) g(y) sup J g (ξ) x y. (4.17) ξ D Flls q := sup ξ D J g (ξ) < 1, so ist g eine Kontrktion uf D. Beweis. Die Beziehung (4.17) folgt direkt mithilfe des Mittelwertstzes der Differentilrechnung. Nch diesem gibt es zu x, y D ein ξ = x + s(y x), s [0, 1] uf der Verbindungsstrecke durch x und y, so dss g(x) g(y) = J g (ξ)(x y) D D ls konvex ngenommen wurde, gilt ξ D. (4.17) folgt nch Normierung und ufgrund von Ax A x nch Definition der Mtrizennorm (4.16). Gilt J g (z) < 1, so knn dieses Lemm verwendet werden, um lokle Konvergenz der Fixpunktitertion zu zeigen. Lemm Sei g : D R n stetig differenzierbr uf einer offenen Menge D R n. Zu jedem Fixpunkt z D mit J g (z) < 1 gibt es eine Umgebung K ρ (z) := {x R n, x z ρ} D, ρ > 0, uf der g eine Selbstbbildung und Kontrktion ist. Gilt J g (x) < 1 uf einer Kugelumgebung K r (z), so knn ρ = r gewählt werden. Für Strtwerte x 0 K ρ (z) konvergiert die Fixpunktitertion gegen z. 18

21 4.7 Exkurs: Itertive Verfhren zur Lösung linerer Gleichungssysteme Beweis. Aufgrund der Stetigkeit von J g gibt es eine Umgebung K ρ (z), so dss q := sup J g (ξ) < 1. ξ K ρ(z) Nch Lemm 4.10 ist g eine Kontrktion uf K ρ (z). Wir zeigen die Selbstbbildungseigenschft. Sei dzu x K ρ (z). Mit der Fixpunkteigenschft von z und der Kontrktionseigenschft gilt g(x) z = g(x) g(z) q x z qρ < ρ, d.h. g(x) K ρ (z). Der Bnchsche Fixpunktstz sichert die Konvergenz der Fixpunktitertion. Beispiel: Fixpunktverfhren für nichtlinere Gleichungssysteme zur Lösung des nichtlineren Gleichungssystems Als Fixpunktitertion f(x) = 0, f : R n R n mchen wir mit einer regulären Mtrix C R n n den Anstz x 0 R n, x k = x k 1 + Cf(x k 1 ) (k = 1,,...). (4.18) Ist f stetig differenzierbr und ist C so gewählt, dss q := sup I + CJ f (x) < 1, (4.19) x K ρ(z) so konvergiert die Fixpunktitertion (4.18) nch Lemm 4.11 für Strtwerte x 0 K ρ (z). Die Beziehung (4.19) legt die Whl C = J f (x k ) 1 nhe, welche weiter unten zum Newton-Verfhren im R n führen wird. 4.7 Exkurs: Itertive Verfhren zur Lösung linerer Gleichungssysteme Der Anstz (4.18) knn uch zur Konstruktion von itertiven Verfhren zur Lösung von lineren Gleichungssystemen der Form Ax = b, A R n n, b R n mit einer regulären Mtrix A verwendet werden. Diese sind insbesondere für sehr große linere Gleichungssysteme relevnt, d ds Gußsche Elimintionsverfhren (Kpitel ) im Fll von voll besetzten Mtrizen O(n 3 ) rithmetische Opertionen benötigt und sehr teuer sein knn (Im Fll n = O(10 6 ) wären O(10 18 ).Op. notwendig!). Die Itertion (4.18) ngewendet uf die Funktion f(x) = b Ax lutet x k = x k 1 + C(b Ax k 1 ) = (I CA)x k 1 + Cb (k = 1,,...). (4.0) 19

22 4 Nichtlinere Gleichungen Die Jcobi-Mtrix der Verfhrensfunktion f lutet in diesem Fll J f = A unbhängig von x. Die Mtrix C sollte wieder so gewählt werden, dss (vergleiche (4.19)) q := I CA < 1, d.h. C A 1. Die Berechnung von A 1 selbst würde wie ds Gußsche Elimintionsverfhren O(n 3 ) rithmetische Opertionen benötigen und kommt dher nicht in Frge. Stttdessen teilen wir die Mtrix A = L + D + R in ihren Digonlteil D, den Teil links unter der Digonle L und den Teil R rechts über der Digonle uf n n A =......, D = , n1 n nn nn n. L = , R = (n 1)n. n1 n(n 1) Zwei wichtige itertive Verfhren zur Lösung von lineren Gleichungssystemen sind ds Jcobi- und ds Guß-Seidel-Verfhren. Beim Jcobi-Verfhren setzt mn C = D 1, beim Guß-Seidel-Verfhren C = (D+L) 1. Eine erste Vorussetzung für die Durchführbrkeit beider Verfhren ist, dss D bzw. D + L regulär ist, d.h. keine Nullelemente uf der Digonlen enthält. Ds Jcobi-Verfhren nimmt folgende Gestlt n: Jcobi-Verfhren (i) Strtwert x 0 R n, k = 0 (ii) Berechne Residuum r 0 = b Ax 0 Solnge r k >TOL (oder x k x k 1 >TOL) (iii) Updte x k+1 = x k + D 1 r k (iv) Berechne Residuum r k+1 = b Ax k+1, k k + 1 Die Multipliktion mit der Inversen der Digonlmtrix in (iii) knn sehr effizient mit n Divisionen und Additionen usgeführt werden. Der einzig teure Schritt ist dmit die Mtrix-Vektor-Multipliktion Ax k+1 in (iv), welche n Multipliktionen und Additionen benötigt. Es ergibt sich ein Gesmtufwnd von n + O(n) rithmetischen Opertionen pro Schritt. Die Anzhl der benötigten Itertionen c it bis zum Erreichen der Tolernz ist problembhängig. Bei einer guten Konditionierung der Systemmtrix κ(a) = O(1) (unbhängig von n) ist c it ber in der Regel uch unbhängig von n. Die Gesmtzhl 0

23 4.7 Exkurs: Itertive Verfhren zur Lösung linerer Gleichungssysteme der benötigten rithmetischen Opertionen beträgt dnn c it n + O(n) (Im Gegenstz zu O(n 3 ) für ds Gußsche Elimintionsverfhren. Für ds Guß-Seidel-Verfhren formuliert mn Schritt (iii) um, d die Berechnung der Inversen (D + L) 1 teuer wäre. Zunächst gilt I (D + L) 1 A = I (D + L) 1 (D + L + R) = (D + L) 1 R. Nun multipliziert mn (4.0) von links mit (D+L) und löst ein lineres Gleichungssystem (LGS) durch Rückwärtseinsetzen x k = (I (D + L) 1 A) x k 1 + (D + L) 1 b (D + L)x k = Rx k 1 + b. }{{} (D+L) 1 R Guß-Seidel-Verfhren (i) Strtwert x 0 R n (ii) Löse ds LGS (D + L)x 1 = Rx 0 + b Solnge x k x k 1 >TOL (iii) Löse ds LGS (D + L)x k = Rx k 1 + b Schritt (iii) benötigt n + O(n).Op. zur Berechnung der rechten Seite und weitere n + O(n) zur Lösung des LGS durch Rückwärtseinsetzen (siehe Kpitel ). Zusmmen mit der Residuenberechnung in (iv) beträgt der Aufwnd pro Schritt beim Guß-Seidel- Verfhren beträgt lso n + O(n).Op., d.h. ungefähr doppelt so viele wie beim Jcobi- Verfhren. Wählt mn ds Abbruchkriterium llerdings bsierend uf x k x k 1, entfällt die Residuenberechnung und der Aufwnd von Jcobi- und Guß-Seidel-Verfhren sind von der gleichen Größenordnung. Drüber hinus sind beim Guß-Seidel-Verfhren im Vergleich zum Jcobi-Verfhren oft weniger Itertion c it bis zum Erreichen der Tolernz TOL notwendig. Konvergenz der Itertion ist nch obigen Überlegungen für beliebige Strtwerte x 0 R n sichergestellt, wenn I CA < 1. Dies knn bei beiden Verfhren z.b. für symmetrisch, positiv definite Mtrizen oder für strk digonldominnte Mtrizen (Übung) sicher gestellt werden, d.h. wenn gilt ii > n j=1,j i ij i = 1,..., n. Für weitere hinreichende Bedingungen für Konvergenz verweisen wir z.b. uf ds Buch [Richter & Wick, Einführung in die numerische Mthemtik]. Itertive Verfhren zur Lösung von lineren Gleichungssystemen sind ein eigenes Forschungsgebiet und werden z.b. in der Spezilvorlesung Itertive Methods for Liner Systems usführlich behndelt. 1

24 4 Nichtlinere Gleichungen 4.8 Newton-Verfhren im R n Auch im mehrdimensionlen knn ds Newton-Verfhren über die lokle Näherung von f durch Tylorentwicklung um x k hergeleitet werden. Es gilt mit Tylorentwicklung f(x) = f(x k ) + n j f(x k )(x x k ) j + O( x x k ) j=1 = f(x k ) + J f (x k )(x x k ) + O( x x k ). Wir definieren die folgende Itererierte x k+1 wieder ls Nullstelle der Tngente x k+1 = x k J f (x k ) 1 f(x k ). D ds Invertieren der n n-mtrix J f (x k ) in der Regel recht teuer ist (O(n 3 ).Op.), berechnet mn x k+1 durch Lösen des Gleichungssystems J f (x k ) (x k+1 x k ) }{{} δx k = f(x k ). Dies knn wieder mithilfe von itertiven Methoden erfolgen. Es ergibt sich folgender Algorithmus. Newton-Verfhren im R n (i) Strtwert x 0 R n, k = 0 Solnge f(x k ) >TOL (ii) Berechne die Jcobi-Mtrix J f (x k ) (iii) Löse ds LGS J f (x k )δx k = f(x k ) (iv) Updte x k+1 = x k + δx k (v) Berechne f(x k+1 ), k k + 1 In jedem Newton-Schritt müssen zum einen n Ableitungen der Jcobi-Mtrix berechnet werden. Wenn jede Ableitungsberechnung unbhängig von n beschränkt ist, ergibt sich ein Aufwnd von O(n ). Zum nderen muss in (iii) ein LGS gelöst werden. Geschieht dies mit einem direkten Verfhren (z.b. Guß-Elimintion) sind O(n 3 ).Op. notwendig. Sind die Vorussetzungen für die Konvergenz von Jcobi- oder Guß-Seidel-Verfhren erfüllt und ist J f (x k ) gut konditioniert, reduziert sich der Aufwnd mit diesen Verfhren uf O(n ) und liegt dmit im Bereich des Mtrixufbus. Alle nderen Schritte hben nur linere Komplexität O(n). Wir formulieren nun ds Huptresultt dieses Abschnitts, den Konvergenzstz von Newton-Kntorovich. Dessen Resultte sind uch in 1 Dimension gültig und dmit eine Verllgemeinerung von Stz 4.1. Der Beweis des folgenden Stzes ist llerdings deutlich ufwändiger.

25 4.8 Newton-Verfhren im R n Stz 4.1. (Newton-Kntorovich) Es sei D R n und f : D R n stetig differenzierbr. Weiter seien die folgenden Vorussetzungen n f und den Strtpunkt x 0 erfüllt: (i) Die Jcobi-Mtrix J f sei gleichmäßig Lipschitz-stetig uf D, d.h. es gelte für lle x, y D mit einer Konstnten L < J f (x) J f (y) L x y. (4.1) (ii) Die Jcobi-Mtrix hbe uf D eine gleichmäßig beschränkte Inverse J f (x) 1 β, x D (4.) mit einer Konstnten β <. (iii) Für den Strtpunkt x 0 D gelte q := αβl < 1, wobei α := J f (x 0 ) 1 f(x 0 ). (iv) Die bgeschlossene Kugel K α (x 0 ) sei gnz in D enthlten. Dnn besitzt f genu eine Nullstelle z K α (x 0 ) und die Newton-Itertion konvergiert qudrtisch gegen z. Es gilt die priori Fehlerbschätzung x k z αq k 1, k = 0, 1,... Beweis. Wir unterteilen den Beweis in 5 Teilschritte: (I) Herleitung einer Hilfsbschätzung (II) Wir zeigen: Die Iterierten x k bleiben in der Kugel K α (x 0 ) und x k+1 x k αq (k 1) (III) Wir zeigen: (x k ) k 0 ist eine Cuchy-Folge und konvergiert gegen einen Grenzwert z K α (x 0 ). Es ergibt sich direkt die priori Fehlerbschätzung. (IV) Wir zeigen: Der Grenzwert z ist eine Nullstelle von f. (V) Eindeutigkeit der Nullstelle in K α (x 0 ) (I) Wir beginnen mit der Herleitung eines Hilfsresultts. Seien dzu x, y, w K α (x 0 ). Für die Funktion h : [0, 1] R n, h(s) := f(y + s(x y)) gilt h(1) h(0) = 1 0 h (s) ds. 3

26 4 Nichtlinere Gleichungen Dies ist gleichbedeutend mit f(x) f(y) = 1 Subtrktion von J f (w)(x y) ergibt f(x) f(y) J f (w)(x y) = 0 J f (y + s(x y)) (x y) ds. 1 Mithilfe der Lipschitz-Stetigkeit von J f schätzen wir b 0 (J f (y + s(x y)) J f (w)) (x y) ds. f(x) f(y) J f (w)(x y) L x y L x y y + s(x y) w ds s x w + (1 s) y w ds L x y ( x w + y w ). (4.3) Für w = x vereinfcht sich diese Abschätzung noch zu f(x) f(y) J f (x)(x y) L x y. (4.4) (II) Wir zeigen nun induktiv für k = 0, 1,..., dss x k+1 x 0 α, (4.5) x k+1 x k αq (k 1). (4.6) Die erste Abschätzung ist gleichbedeutend mit x k+1 K α (x 0 ). Für k = 0 gilt x 1 x 0 = J f (x 0 ) 1 f(x 0 ) = α, so dss beide Bedingungen erfüllt sind. Wir nehmen nun n, dss (4.5)-(4.6) für k = 0,..., m 1 erfüllt ist und schließen uf k = m. Es gilt nch Definition der Newton- Iterierten x m+1 und x m und (4.) x m+1 x m x m+1 = J f (x m ) 1 f(x m ) (4.) β f(x m ) x = m β f(x m ) f(x m 1 ) J f (x m 1 )(x m x m 1 ). }{{} =0 (4.7) Nun wenden wir ds Hilfsresultt (4.4) und die Induktionsvorussetzung (4.6) n und erhlten x m+1 x m (4.4) βl x m x m 1 (4.6) βl (αq ) (m 1 1) α = αβl ) }{{} q(m < αq (m 1) (4.8). =q 4

27 4.8 Newton-Verfhren im R n Dies zeigt (4.6) für k = m. Um (4.5) zu zeigen, nutzen wir die Dreiecksungleichung und (4.8) x m+1 x 0 x m+1 x m + x m x m x 1 x 0 ( ) α q (m 1) q + 1 ( ) α q k = α 1 q α, k=0 d q 1 nch Vorussetzung. (III) (4.6) ist bereits usreichend, um zu zeigen, dss (x k ) k 0 eine Cuchy-Folge bildet. Es gilt nämlich x k+m x k x k+m x k+m 1 + x k+m 1 x k+m x k+1 x k α (q ) (k+m 1 1) + q (k+m 1) q (k 1) ( = αq (k 1) 1 + q (k) (q ) m) (k ) αq(k 1) 1 q αq (k 1) 0 (k ). (4.9) Die Folge (x k ) k 0 ist lso eine Cuchy-Folge und ht einen Grenzwert z im (Bnchrum) R n. D nch (4.5) für lle k x k x 0 α bleibt diese Beziehung im Grenzwert erhlten, d.h. es gilt x k z K α (x 0 ). Übergng zum Limes m in (4.9) ergibt die priori Abschätzung x k z αq (k 1), k = 0, 1,... (IV) Wir müssen noch zeigen, dss f(z) = 0 gilt. Dzu hben wir in (II) (4.7)-(4.8) bereits gezeigt, dss β f(x m ) β α L q(m ). Mit Grenzübergng m folgt f(z) = 0. (V) Abschließend zeigen wir, dss f unter den gegebenen Vorussetzungen nur eine Nullstelle z in K α (x 0 ) ht. Dzu zeigen wir, dss die Fixpunktitertion (vereinfchte Newtonitertion) g(x) = x J f (x 0 ) 1 f(x) eine Kontrktion uf K α (x 0 ) ist. Seien dzu x, y K α (x 0 ). Es gilt nch Definition von g g(x) g(y) = x y J f (x 0 ) 1 (f(x) f(y)) = J f (x 0 ) 1 (J f (x 0 )(x y) f(x) + f(y)) J f (x 0 ) 1 J f (x 0 )(x y) f(x) + f(y) }{{} β 5

28 4 Nichtlinere Gleichungen Mit dem Hilfsresultt (4.3) us (I) für w = x 0 folgt drus g(x) g(y) β L x y x x 0 + y x 0 }{{}}{{} α α Lαβ x y = q x y. D q < 1, ist g eine Kontrktion uf K α(x 0 ). Drus folgt direkt die Eindeutigkeit des Fixpunktes in K α (x 0 ). Gäbe es nämlich Fixpunkte z 1, z K α (x 0 ), so folgt und dmit z 1 = z. z 1 z = g(z 1 ) g(z ) q z 1 z Bemerkung Stz 4.1 gilt uch in 1 Dimension und stellt dmit eine Verllgemeinerung von Stz 4.1 dr. Der Huptunterschied liegt drin, dss Stz 4.1 uch die Existenz einer eindeutigen Nullstelle z K α (x 0 ) sichert, deren Existenz in Stz 4.1 ngenommen wurde. Wir vergleichen die übrigen Vorussetzungen für D = I = [, b] (i) Sttt -mliger stetiger Differenzierbrkeit wird in Stz 4.1 nur Lipschitz-Stetigkeit der ersten Ableitung gefordert. Auf der bgeschlossenen Menge I ist ds Mximum der zweiten Ableitungen eine obere Schrnke für L (vgl Lemm 4.10) (ii) In 1 Dimension gilt β = mx (f (x)) 1 = I M := mx f L I ( ) 1 min f (x) =: m 1, I so dss die Bedingungen β < (Stz 4.1) und m > 0 (Stz 4.1) identisch sind. (iii) Der Rolle von ρ in Stz 4.1 entspricht in etw α in Stz 4.1. Mit β = m 1 und M L gilt q := αβl ρm m. In Stz 4.1 wurde q < 1 gefordert, in Stz 4.1 die stärkere Vorussetzung q < 1. Ttsächlich gilt Stz 4.1 sogr für q < (siehe R. Rnncher: Einführung in die numerische Mthemtik). D der Beweis dfür llerdings wesentlich ufwändiger ist ls der oben gezeigte, hben wir hier uf die schwächere Vorussetzung verzichtet. (iv) Auch die vierte Vorussetzung K α (x 0 ) I wurde nlog in Stz 4.1 gefordert. Wie im eindimensionlen ist ds Newton-Verfhren uch im R n ds Stndrd-Verfhren zur Lösung von nichtlineren Gleichungen. Probleme bestehen wie bereits im R 1 diskutiert drin, dss der Konvergenzbereich je nch Funktion f recht klein sein knn. Zur Vergrößerung des Konvergenzrdius knn uch hier ein gedämpftes Newton-Verfhren eingesetzt werden, mit nlogen Konvergenzussgen. Zur Vermeidung der (möglicherweise recht teuren) n Ableitungsberechnungen können vereinfchte Newton-Verfhren definiert werden. Auch hierfür gelten nloge Konvergenzussgen wie im 1-dimensionlen. 6

29 5 Polynominterpoltion In diesem Kpitel beschäftigen wir uns mit der Drstellung einer Reihe von Dten (x i, y i ) und der Approximtion einer möglicherweise komplizierten Funktion f mit einem Objekt p einer einfcheren Funktionenklsse, speziell durch Polynome p P n. Ähnliche Aufgbenstellungen wurden bereits in Kpitel 3 im Rhmen der Lineren Ausgleichungsrechnung diskutiert. In der Numerik ist die Interpoltion mit Polynomen besonders interessnt. Ds liegt drn, dss z.b. Integrle oder Ableitungen von Polynomen sehr einfch und effizient berechnet werden können. Die Polynominterpoltion ht große Bedeutung in den weiterführenden Numerikvorlesungen, insbesondere in der Numerik prtieller Differentilgleichungen. Der Weierstrßsche Approximtionsstz besgt, dss mn jede Funktion f C[, b] beliebig gut durch ein Polynom nnähern knn: Für jedes ɛ > 0 gibt es ein Polynom p, so dss f(x) p(x) < ɛ x [, b]. Leider liefert er llerdings kein Konstruktionsprinzip für solche Polynome p. Im Gegenstz zur Ausgleichsrechnung fordert mn bei der Interpoltion, dss die interpolierende Funktion Funktionswerte f(x i ) (bzw. die Dten y i ) in gewissen Punkten x i exkt nnimmt. 5.1 Lgrnge-Interpoltion Wir beschäftigen uns zunächst mit der sogennnten Lgrngeschen Interpoltionsufgbe. Definition 5.1. (Lgrngesche Interpoltionsufgbe) Zu (n+1) prweise verschiedenen Stützstellen x 0,..., x n [, b] und Stützwerten y 0,..., y n ist ein Polynom vom Grd n p P n so zu bestimmen, dss Die Interpoltionsufgbe ist wohlgestellt: p(x i ) = y i, i = 0,..., n. (5.1) Stz 5.. Die Lgrngesche Interpoltionsufgbe ist eindeutig lösbr. Beweis. Wir zeigen zunächst die Eindeutigkeit von Lösungen p 1, p P n. Für p = p 1 p gilt p(x i ) = 0, i = 0,..., n. Ds Polynom p P n ht lso n + 1 Nullstellen. Ds ist nch dem Fundmentlstz der Algebr nur möglich, wenn p 0 ist. Dmit folgt die Eindeutigkeit. 7

30 5 Polynominterpoltion Die Existenz von Lösungen knn mn nun mit Argumenten der lineren Algebr us der Eindeutigkeit folgern. Für ein beliebiges Polynom p P n gilt p(x) = x + x n x n. Wir betrchten (5.1) nun ls lineres Gleichungsssystem zur Berechnung der Koeffizienten i, i = 0,..., n dr 1 x 0 x 0... x n 0 0 y 0 1 x 1 x 1... x n = y 1 (5.). } 1 x n x n {{... x n n } n y n =:V n mit der sogennnten Vndermonde-Mtrix V n R n+1 n+1. Nch der obigen Betrchtung ist die zur Mtrix V n gehörende linere Abbildung g(x) = V n x injektiv. Dmit folgt, dss V n Vollrng ht. Drus folgt die Surjektivität von g und dmit die Existenz einer Lösung ( 0,..., n ) für beliebige rechte Seite (y 0,..., y n ). (5.) könnte nun direkt zur Berechnung der Koeffizienten ( 0,..., n ) ngewendet werden. Leider ist die Vndermondemtrix ber für wchsendes n sehr schlecht konditioniert. Bei äquidistnter Verteilung der Stützstellen über ds Intervll [1, ], d.h. x i = 1 + i n, i = 0,..., n gilt κ (V 6 ) , κ (V 8 ) und κ (V 10 ) (siehe Dhmen & Reusken, Numerik für Ingenieure und Nturwissenschftler). Ds bedeutet, dss mit einer extremen Fehlerverstärkung zu rechnen ist. Für stbilere und effizientere Wege zur Berechnung des Lgrngeschen Interpoltionspolynom p n betrchten wir sttt der Monombsis (1, x,..., x n ) nun ndere Bsen des P n Lgrngesche Drstellung des Interpoltionspolynoms Zu (n + 1) Stützstellen x 0,..., x n definieren wir die n + 1 Lgrngeschen Bsispolynome Nch Konstruktion gilt L n i (x) := n j=0,j i L n i (x j ) = δ ij := x x j x i x j P n. (5.3) { 1, i = j 0, i j. (5.4) Lemm 5.3. Die in (5.3) definierten Polynome L n i, i = 0,..., n bilden eine Bsis des Polynomrms P n. Beweis. Es ist zu zeigen, dss L n i, i = 0,..., n liner unbhängig sind. Seien lso α i, i = 0,..., n reelle Zhlen, so dss n α i L n i 0. i=0 8

31 5.1 Lgrnge-Interpoltion Mit der Eigenschft (5.4) folgt für j = 0,..., n 0 = n α i L n i (x j ) = α j i=0 und dmit die linere Unbhängigkeit der L n i. Aufgrund der Eigenschft (5.4) ist die Bestimmung der Koeffizienten des Interpoltionspolynoms zur Lgrngeschen Bsis trivil. Es gilt nämlich p(x) := n y i L n i (x). (5.5) i=0 Mn überpüft leicht, dss dieses Polynom die Gleichung (5.1) erfüllt. Die Drstellung (5.5) wird die Lgrngesche Drstellung des Interpoltionspolynoms zu den Stützstellen (x 0, y 0 ),..., (x n, y n ) gennnt. Der Vorteil der Lgrngeschen Drstellung des Interpoltionspolynom ist ihre Einfchheit. Sie ist dher insbesondere in der Theorie sehr nützlich. Ihr Nchteil besteht drin, dss jedes Bsispolynom von llen Stützstellen x 0,..., x n bhängt. Wird ein neuer Stützpunkt x n+1 hinzugenommen, z.b. um die Genuigkeit zu erhöhen, müssen lle Bsispolynome neu berechnet werden. Dieser Nchteil der Lgrngeschen Drstellung motiviert die Betrchtung einer weiteren Bsis von P n, welche uns uf die Newtonsche Drstellung des Interpoltionspolynoms führt Newtonsche Drstellung des Interpoltionspolynoms Wir definieren nun eine Bsis, welche sich rekursiv ufbuen lässt Es gilt i 1 N 0 (x) := 1, N i (x) := (x x j ), i = 1,..., n. (5.6) j=0 N i (x) := N i 1 (x) (x x i 1 ). Lemm 5.4. Seien x 0,..., x n R prweise verschieden. Die in (5.6) definierten Polynome N i, i = 0,..., n bilden eine Bsis des Polynomrms P n. Beweis. Wir zeigen wieder die linere Unbhängigkeit der N i, i = 0,..., n. Seien dzu α i, i = 0,..., n so, dss n α i N i 0. i=0 D N i für j < i den Fktor (x x j ) enthält, gilt N i (x j ) = 0 für j < i. Es folgt zunächst 0 = n α i N i (x 0 ) = α 0. i=0 9

32 5 Polynominterpoltion Und dnn induktiv 0 = 0 = n α i N i (x 1 ) = α 1 (x 1 x 0 ) α 1 = 0, i=1 n α i N i (x ) = α (x x 0 )(x x 1 ) α = 0, i=. und schließlich die linere Unbhängigkeit der Polynome N i, i = 0,..., n. Die Koeffizienten i bzgl dieser Bsis könnte mn nun rekursiv us dem folgenden Gleichungssystem berechnen y 0 = p(x 0 ) = 0 y 1 = p(x 1 ) = (x 1 x 0 ) 1 = y 1 0 x 1 x 0, y = p(x ) = (x x 0 ) + (x x 0 )(x x 1 ) = y 0 1 (x x 0 ) (x x 0 )(x x 1 ),. n 1 y n = p(x n ) = 0 + i N i (x n ) + n N n (x n ) n = i=1 n 1 y n i=1 N n (x n ) i N i (x n ). Die Berechnung der Bsispolynome bis zur Ordnung k (N k (x k )) erfordert für jedes k k neue Multipliktionen (d die Stelle x k sich ändert). Dzu kommen k Multipliktionen und k Divisionen bei der Berechnung der Koeffizienten. Insgesmt sind n k=1 3k = 3 n(n 1).Op. zur Berechnung der Koeffizienten 0,... n notwendig. Die Auswertung des Interpoltionspolynoms p n einer Stelle ξ erfordert dnn llerdings nur noch n Multipliktionen. Ist ds Interpoltionspolynom p n zu n Stützstellen gegeben und wird noch eine Stützstelle (x n+1, y n+1 ) hinzugefügt, so muss nur der neue führende Koeffizient n+1 berechnet werden, die übrigen Bedingungen behlten ihre Gültigkeit. Es gilt y n+1 = p(x n+1 ) = p n (x n+1 ) + n+1 N n+1 (x n+1 ) n+1 = y n+1 p n (x n+1 ). (5.7) N n+1 (x n+1 ) Dividierte Differenzen Eine numerisch stbile und effizientere Methode zur Bestimmung der Koeffizienten ist durch den folgenden Algorithmus gegeben. Wir definieren die sogennnten dividierten Differenzen y[x k,..., x k+l ] für k, l 0, k + l n durch 30

33 5.1 Lgrnge-Interpoltion Dividierte Differenzen Für k = 0,..., n : y[x k ] := y k, Für l = 1,..., n, m = 0,..., n l : y[x m,..., x m+l ] := y[x m,..., x m+l ] y[x m,..., x m+l 1 ] x m+l x m (5.8) Für die Berechnung ller dividierten Differenzen für ein n N sind n(n 1) Divisionen notwendig. Aus den dividierten Differenzen erhlten wir die Koeffizienten i der Newton- Drstellung durch i = y[x 0,..., x i ], i = 0,..., n, wie der folgende Stz zeigt. Die Berechnung von p n einer Stelle ξ benötigt dnn wieder nur n Multipliktionen. Stz 5.5. (Newton-Drstellung) Seien y 0,..., y n R (n+1) Stützwerte zu (n+1) prweise verschiedene Stützstellen x 0,..., x n R. Ds dzugehörige Lgrngesche Interpoltionspolynom p P n ht die Drstellung p(x) = n y[x 0,..., x k ]N k (x) (5.9) k=0 mit den in (5.8) definierten dividierten Differenzen und den in (5.6) definierten Newtonschen Bsispolynomen des P n. Beweis. Wir bezeichnen mit p k,k+l P l ds Interpoltionspolynom durch die Stützstellen (x k, y k ),..., (x k+l, y k+l ). Ds gesuchte Polynom ht dnn die Drstellung p = p 0,n. Wir zeigen nun für lle l = 0,..., n und k = 0,..., n l, dss p k,k+l = y[x k ] + y[x k, k + 1](x x k ) y[x k,..., x k+l ](x x k ) (x x k+l 1 ). (5.10) Die Behuptung des Stzes folgt dnn für k = 0, l = n. Wir führen den Beweis induktiv nch dem Polynomgrd l. Für l = 0 gilt p k,k = y[x k ] = y k. Dies ist offensichtlich ds konstnte Polynom p k,k P 0 durch die Stützstelle (x k, y k ). Nun sei die Behuptung erfüllt für l 1 0. Dmit gilt insbesondere, dss die Interpoltionspolynome p k,k+l 1 durch die Punkte (x k, y k ),..., (x k+l 1, y k+l 1 ) und p k+1,k+l durch die Punkte (x k+1, y k+1 ),..., (x k+l, y k+l ) die Drstellung (5.10) erfüllen. Wir definieren nun q(x) := (x x k)p k+1,k+l (x) (x x k+l )p k,k+l 1 (x) x k+l x k. (5.11) 31

34 5 Polynominterpoltion Mn rechnet nch, dss dieses Polynom die Punkte (x k, y k ),..., (x k+l, y k+l ) interpoliert sowie für i = 1,..., l 1 q(x k ) = (x k x k+l )p k,k+l 1 (x k ) x k+l x k = p k,k+l 1 (x k ) = y k q(x k+l ) = (x k+l x k )p k+1,k+l (x k+l ) x k+l x k = p k+1,k+l (x k+l ) = y k+l, =y k+i =y k+i {}}{{}}{ q(x k+i ) = (x k+i x k ) p k+1,k+l (x k+i ) (x k+i x k+l ) p k,k+l 1 (x k+i ) x k+l x k = (x k+i x k )y k+i (x k+i x k+l )y k+i x k+l x k = y k+i. Es gilt lso p k,k+l = q. Andererseits besitzt ds Interpoltionspolynom bei Hinzunhme einer Stützstelle (x k+l, y k+l ) nch (5.7) die Drstellung p k,k+l (x) = p k,k+l 1 (x) + k+l (x x k )(x x k+1 ) (x x k+l 1 ). (5.1) Vergleicht mn den führenden Koeffizienten bzgl. x l in (5.1) mit dem (5.11) unter Anwendung der Induktionsvorussetzung (5.10), so folgt k+l 1 = y[x k+1,..., x k+l ] y[x k,..., x k+l 1 ] x k+l x k = y[x k,..., x k+l ]. Mit (5.1) folgt die Induktionsbehuptung. Bemerkung 5.6. Aus der Newtondrstellung (5.9) mit dividierten Differenzen lässt sich noch eine Eigenschft der dividierten Differenzen herleiten, welche wir später benötigen werden. Der führenden Koeffizient bzgl. der Monombsis ist nch (5.9) gegeben durch y[x 0,..., x n ] Ds Interpoltionspolynom ist sicherlich invrint gegenüber einer Permuttion der Stützstellen und dmit uch sein führender Koeffizient bzgl. der Monombsis. Dher gilt y[x 0,..., x n ] = y[x i0,..., x in ] für eine beliebige Permuttion i 0,..., i n der Indizes 0,..., n. Schließlich knn die Reltion (5.11) zu einer effizienten Auswertung des Interpoltionspolynoms p n einer einzelnen Stelle ξ [, b] verwendet werden. Es gilt nämlich p k,k+l (ξ) = (ξ x k)p k+1,k+l (ξ) x k+l x k Dies führt uf ds sogennnte Neville-Schem =ξ x k +x k x k+l {}}{ (ξ x k+l ) p k,k+l 1 (ξ) = p k,k+l 1 (ξ) + (ξ x k ) p k+1,k+l(ξ) p k,k+l 1 (ξ) x k+l x k. 3