4. Nichtlineare Gleichungssysteme

Transkript

1 4. Nichtlineare Gleichungssysteme (4.) Gegeben : F : D Õ Ñ n ô Ñ n oder G : D Õ Ñ n ô Ñ n Gesucht : x èè Œ D mit F Hx èè L = 0 (Nullstellenproblem) oder èè èè èè x Œ D mit G (x) = x (Fixpunktproblem) Beispiele: (i) GHxL = e -x Plot@8x, Exp@ xd<, 8x, 0, <D Graphics (ii) F(x) = x 5-23 x 2 + 9

2 2 numerik4.nb x 5 23 x 2 + 9, 8x,, 3<D Graphics (iii) F( x, y ) = i j k x 2 + y 2 Hx 3L 2 + Hy L 2 0 y z (Nullstellen von F: Schnitt zweier Kreise ) { w = Sqrt@0D; ParametricPlot@88Sin@tD, Cos@tD<, 8w Sin@tD + 3, w Cos@tD + <<, 8t, 0, 2 Pi<, AspectRatio > AutomaticD Graphics

3 numerik4.nb 3 Probleme: (i) Existenz von Fixpunkten (bzw. Nullstellen) (ii) Eindeutigkeit (iii) Lösungsverfahren (zur näherungsweisen Berechnung) Beispiele zu (i) und (ii): = 0.4 H xl x Sin@6 xd; Plot@8x, 8x, 0, <, Frame > TrueD Graphics G hat genau ein Fixpunkt in [0, ].

4 4 numerik4.nb G = E x H Sin@6 xdl; Plot@8x, G 8x, 0, <, Frame > TrueD Graphics G 2 hat fünf Fixpunkte in [0, ]. G = 0. x + E x H H xl Sin@6 xdl; Plot@8, x, G 8x, 0, <, Frame > TrueD Graphics G 3 hat keinen Fixpunkt in [0, ], aber G 3 ( [0, ] ) liegt nicht mehr ganz in [0, ].

5 numerik4.nb 5 G = If@x 0.4, 0. x + E x H H xl Sin@6 xdl, Hx 0.4L E x H H xl Sin@6 xdld; Plot@8x, G 8x, 0, <, Frame > TrueD Graphics G 4 hat keinen Fixpunkt in [0, ], aber G 4 ist unstetig, Sprung bei 0.4. Um die Existenz von Fixpunkten zu sichern, braucht man also mindestens Stetigkeit. Weiter muss der Fall G 3 ausgeschlossen werden. Eindeutig bestimmt ist der Fixpunkt dann noch nicht, wie G 2 zeigt. 4. Fixpunktsätze / Sukzessive Substitution Satz 4. ( Brouwerscher Fixpunktsatz, 90 ) Voraussetzungen: D Õ Ñ n nichtleer, konvex und kompakt, G : D ô D stetig. Behauptung: G besitzt (mindestens) einen Fixpunkt x èè Œ D : G(x èè ) = x èè. Beweis: n=: D konvex und kompakt ï D abgeschlossenes Intervall, D = [a, b]. G ( D ) Œ D ï G(a) a, G(b) b ï Für F(x) := G(x) - x gilt F(a) 0 und F(b) 0 ï (Zwischenwertsatz) $ êê x œ [a, b] : F(x êê ) = 0 ï G(x êê ) = êê x. n>: Literatur.

6 6 numerik4.nb Um Eindeutigkeit zu sichern, braucht man, dass die Funktion nicht zu sehr wackelt: präziser: Definition 4. Sei G : D Õ Ñ n ô Ñ n, M Õ D. (i) G heißt Lipschitz-stetig auf M : ñ $ L M 0 : G(x) - G(y) L M x - y " x,y Œ M. L M heißt Lipschitz-Konstante von G bezüglich M und.. (ii) G heißt kontrahierend auf M bezüglich. :ñ G Lipschitz-stetig auf M und L M <. ( Abstand der Bilder k l e i n e r als Abstand der Urbilder ). L M heißt dann auch Kontraktionskonstante von G. Bemerkungen: (i) Die Lipschitz-Konstante ist i.a. normabhängig. Daher ist die Kontraktionseigenschaft einer Abbildung ebenfalls normabhängig. Wegen der Normäquivalenz (Satz 2.) impliziert jedoch Lipschitz-Stetigkeit bezüglich einer Norm auch die in jeder anderen. (ii) è!!. ist auf [0, ] stetig aber nicht Lipschitz-stetig, auf [ 0.3, ] jedoch kontrahierend. Lemma 4. Voraussetzungen: G : D Õ Ñ n ô Ñ n, M Õ D, M nichtleer, konvex und kompakt,. eine Norm auf dem Ñ n, G Œ C ( M, Ñ n ). Behauptung: G ist Lipschitz-stetig auf M mit der Lipschitz-Konstanten L M = sup zœm G (z). Beweis:......

7 numerik4.nb 7 Satz 4.2 ( Banachscher Fixpunktsatz ) ( Existenz, Eindeutigkeit und Verfahren) Voraussetzungen:. eine Norm auf dem Ñ n, G : D Õ Ñ n ô Ñ n und (i) M Õ D nichtleer und abgeschlossen (ii) G : M ô M (iii) G Kontraktion auf M bezüglich. mit der Kontraktionskonstanten q (<). Behauptungen: (i) G besitzt genau einen Fixpunkt x èè Œ M : G(x èè ) = x èè. (ii) Für jeden Startwert x 0 Œ M konvergiert die durch (4.) x m+ := GHx m L, m = 0,, 2, definierte Folge 8x m < mœí gegen x èè. 'GLOBALE KONVERGENZ'. (iii) Fehlerabschätzungen: (4.2)»» x èè - x m»» qm-k ÄÄÄÄÄÄÄÄÄÄÄÄÄÄ -q»» x k+ - x k»», k = 0 HL m -, m Œ Í. Bemerkungen: (i) Das Verfahren H4.L mit Startwert x 0 heißt sukzessive Substitution oder auch sukzessive Approximation, funktionale Iteration, Picard-Iteration. (ii) Die Fehlerabschätzung (4.2) heißt für k=0 : a priori Abschätzung : (4.2a)»» x èè - x m»» qm ÄÄÄÄÄÄÄÄÄÄ -q»» x - x 0»» Man braucht nur x auszurechnen, um dann schon vorher abschätzen zu können, wieviele Iterationsschritte durchzuführen sind, um eine vorgegebene Genauigkeit zu erreichen.

8 8 numerik4.nb k=m- : a posteriori Abschätzung : (4.2b)»» x èè - x m»» q ÄÄÄÄÄÄÄÄÄÄ -q»» x m - x m-»» Beweis:... Hier hat man bereits x m ausgerechnet und kann nun abschätzen, wie gut es den Fixpunkt approximiert. (iii) Der Satz gilt auch, wenn M ein beliebiger vollständiger metrischer Raum ist und. -. durch die Metrik ersetzt wird.... Beispiel: G(x) := ÅÅÅÅ 2 + ÅÅÅÅÅ 0 x3, M := [0, ]

9 numerik4.nb 9 PlotA 90,, x, x3 =, 8x, 0, <, Frame > TrueE Graphics G ist Abbildung von M in sich: G(0) = /2, G() = 3/5 und G ist monoton wachsend. G ist Kontraktion auf M: G(x) -G(y) = x 3 - y 3 /0 = x - y x 2 + xy + y 2 /0 ÅÅÅÅÅ 3 0 x - y für alle x,y œ M ï q:= 3 ÅÅÅÅÅ 0. bzw.: sup xœm G (x) = sup xœm 3 ÅÅÅÅÅ 0 x2 = 3 ÅÅÅÅÅ 0 = q. Verfahren (4.) mit z.b. x 0 =/2 ï x = GHx 0 ) = 4/80,... Iteration im Graphen: G@x_D = x 3 ; m = 8; T = Table@0, 8i, m<d; T@@DD = 0.5; Do@T@@i + DD = G@T@@iDDD, 8i, m <D; U = Table@80, 0<, 8i, 2 m <D; U@@DD = 8T@@DD, 0<; Do@ U@@2 idd = 8T@@iDD, T@@i + DD<, 8i, m <D; Do@ U@@2 i + DD = 8T@@i + DD, T@@i + DD<, 8i, m <D; Graph = ListPlot@U, PlotJoined > TrueD; Graph2 = Plot@8x, G@xD<, 8x, 0.5, 0.52<D; Show@GraphicsArray@8Graph, Graph2<DD

10 0 numerik4.nb GraphicsArray x 0, x,..., x 7 : N@T, 0D 80.5, 0.525, , , , , , < Fehlerabschätzungen: (a) Wie gut ist die Näherung x 2? A posteriori Abschätzung (4.2b) mit m=2 und q=3/0 : x êê - x 2 3ê0 ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ -3ê0 x 2 - x º

11 numerik4.nb (b) Wieviele Iterationen muss man durchführen, damit» x êê - x m» 0-8 wird? A priori Abschätzung (4.2a) : x êê - x m H3ê0Lm ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ -3ê0 x - x 0 = I 3 ÅÅÅÅÅ 0 Mm ÅÅÅÅÅ 56 ï» x êê - x m» 0-8, falls I 3 ÅÅÅÅÅ 0 Mm ÅÅÅÅÅ , d.h. m log( 3/0 ) log( ) also m log( ) / log( 0.3 ) º.96, d.h. nach 2 Schritten (exakter!) Rechnung ist der Fixpunkt bis auf mindestens acht Stellen genau approximiert. Lemma 4.2 Voraussetzungen: G : D Õ Ñ n ô Ñ n, x 0 Œ D, 0 k < und M := { x Œ Ñ n : x - x 0 ÄÄÄÄÄÄÄÄ -k GHx 0) - x 0 } Õ D (!). G auf M kontrahierend mit Kontraktionskonstanter q k. Behauptung: G erfüllt auf M die Voraussetzungen des Banachschen Fixpunktsatzes. Beweis: Satz 4.3 ( Lokale Konvergenz ) Voraussetzungen: (i) G :@a, bd ô Ñ besitzt einen Fixpunkt x èè Œ (a, b). (ii) G ist in einer Umgebung von x èè stetig differenzierbar.

12 2 numerik4.nb (iii) G (x èè ) <. Behauptung: $ > 0 : " Startwerte x 0 Œ [ x èè -, x èè + ] konvergiert die durch x m+ := GHx m L definierte Folge 8x m < mœí gegen x èè. Beweis: Probleme: (i) Existenz eines Fixpunktes vorausgesetzt. (ii) G (x êê ) < überprüfen, ohne den Fixpunkt zu kennen. (Tatsächlich kein Problem, da man sogar G (x êê ) = 0 erreichen kann, ohne den Fixpunkt zu kennen!) (iii) existiert, aber wie groß/klein ist es, wo liegt daher x 0? LOKALES VERHALTEN der sukzessiven Substitution: G@x_D = Exp@ xd; m = 0; T = Table@0, 8i, m<d; T@@DD = 0.4; Do@T@@i + DD = G@T@@iDDD, 8i, m <D; U = Table@80, 0<, 8i, 2 m <D; U@@DD = 8T@@DD, 0<; Do@ U@@2 idd = 8T@@iDD, T@@i + DD<, 8i, m <D; Do@ U@@2 i + DD = 8T@@i + DD, T@@i + DD<, 8i, m <D; Graph = ListPlot@U, PlotJoined > TrueD; Graph2 = Plot@8x, G@xD<, 8x, 0.4, 0.7<D; Show@GraphicsArray@8Graph, Graph2<DD

13 numerik4.nb GraphicsArray - < G (x èè ) < 0, anziehender Fixpunkt.

14 4 numerik4.nb = D 0.8; m = 8; T = Table@0, 8i, m<d; T@@DD = 0.3; Do@T@@i + DD = G@T@@iDDD, 8i, m <D; U = Table@80, 0<, 8i, 2 m<d; U@@DD = 8T@@DD, 0<; Do@ U@@2 idd = 8T@@iDD, T@@i + DD<, 8i, m <D; Do@ U@@2 i + DD = 8T@@i + DD, T@@i + DD<, 8i, m <D; U@@2 mdd = 8T@@mDD, 0<; Graph = ListPlot@U, PlotJoined > TrueD; Graph2 = Plot@8x, G@xD<, 8x, 0.3, 0.5<D; Show@GraphicsArray@8Graph, Graph2<DD

15 numerik4.nb GraphicsArray 0 < G (x èè ) <, anziehender Fixpunkt. G@x_D = Cos@ xdêhx 3 + L ; m = 6; T = Table@0, 8i, m<d; T@@DD = 0.6; Do@T@@i + DD = G@T@@iDDD, 8i, m <D; U = Table@80, 0<, 8i, 2 m<d; U@@DD = 8T@@DD, 0<; Do@ U@@2 idd = 8T@@iDD, T@@i + DD<, 8i, m <D; Do@ U@@2 i + DD = 8T@@i + DD, T@@i + DD<, 8i, m <D; U@@2 mdd = 8T@@mDD, 0<; Graph = ListPlot@U, PlotJoined > TrueD; Graph2 = Plot@8x, G@xD<, 8x, 0.6, 0.8<D; Show@GraphicsArray@8Graph, Graph2<DD

16 6 numerik4.nb GraphicsArray G (x èè ) >, abstoßender Fixpunkt. a = 3.8 ; G@x_D = a x H xl ; m = 30; T = Table@0, 8i, m<d; T@@DD = 0.6; Do@T@@i + DD = G@T@@iDDD, 8i, m <D; U = Table@80, 0<, 8i, 2 m<d; U@@DD = 8T@@DD, 0<; Do@ U@@2 idd = 8T@@iDD, T@@i + DD<, 8i, m <D; Do@ U@@2 i + DD = 8T@@i + DD, T@@i + DD<, 8i, m <D; U@@2 mdd = 8T@@mDD, 0<; Graph = ListPlot@U, PlotJoined > TrueD; Graph2 = Plot@8x, G@xD, G@G@xDD, G@G@G@xDDD<, 8x, 0, <D; Show@GraphicsArray@8Graph, Graph2<DD

17 numerik4.nb GraphicsArray 'Chaos' bei Iteration mit G(x) = a x(-x), a=3.8 ( zusätzliche Fixpunkte bei G(G(...G(x)...)) ) Lemma 4.3 Voraussetzungen: T Œ Ñ n,n und ( T ) < (Spektralradius ( T ) T für jede Norm) Behauptung: Es existiert eine Norm im Ñ n, so dass für die

18 8 numerik4.nb zugehörige Operatornorm gilt: T <. Beweis: Satz 4.4 ( Lokale Konvergenz im Ñ n ) Voraussetzungen: (i) G : D Õ Ñ n ô Ñ n besitzt einen Fixpunkt x èè Œ int ( D ). (ii) G ist in einer Umgebung von x èè stetig differenzierbar. (iii) ( G (x èè ) ) <. Behauptung: Bei hinreichend guter Startnäherung konvergiert die sukzessive Substitution gegen x èè. Beweis: Mit der Norm aus Lemma 4.3 analog zum Beweis von Satz 4.3. Bemerkungen: (i) ( G (x êê ) ) < ï $ Norm, so dass G lokal Kontraktion bezüglich dieser Norm ist. Lokale Konvergenz der sukzessiven Substitution, anziehender Fixpunkt. (ii) ( G (x êê ) ) > : abstoßender Fixpunkt. (iii) ( G (x êê ) ) = : 'alles' möglich. à Wenn ( G (x èè ) ) < ist, so konvergiert also die sukzessive Substitution zumindest lokal.

19 numerik4.nb 9 FRAGE jetzt: Wie schnell konvergiert dann x m - x èè gegen Null? Definition 4.2 Sei 8a m < mœí eine nichtnegative Nullfolge ( =` x m - x èè ). (i) p Œ [, ) heißt Mindestkonvergenzordnung der Folge 8a m < mœí :ñ p = : $ C Œ (0, ) und m 0 Œ Í : a m+ C a m " m m 0. p > : $ C > 0 und m 0 Œ Í : a m+ C a m p " m m 0. Bei p= sagt man: Die Folge ist mindestens linear konvergent. Bei p=2 sagt man: Die Folge ist mindestens quadratisch konvergent.... (ii) Q p := lim sup a m+ mô ÄÄÄÄÄÄÄÄÄÄÄÄÄÄ p heißt dann Konvergenzrate der Folge ( a m < mœí. a m Ist Q p = 0, so sagt man bei p= : Die Folge ist mindestens superlinear konvergent, bei p=2 : Die Folge ist mindestens superquadratisch konvergent.... (iii) Hat eine Folge die Mindestkonvergenzordnung p und ist Q p π 0, so hat sie die Konvergenzordnung p. Ist Q p π 0, so sagt man bei p= : Die Folge ist linear konvergent, bei p=2 : Die Folge ist quadratisch konvergent....

20 20 numerik4.nb BEISPIELE: mll 5 D, 8m, 6<D , , , , , < Table@N@Hê2L 5 m D, 8m, 6<D , , , , , < TableANAHê2L m5 E, 8m, 6<E 80.5, , , , , < TableANAHê2L 5m E, 8m, 6<E , , , , , < (i) r > 0, a m := I ÄÄÄÄÄ m Mr î a m+ = I ÅÅÅÅÅÅÅÅÅÅ m+ Mr b I ÅÅÅÅÅ m Mr = a m aber kein C œ (0, ) kann dazwischengeschaltet werden, da a m+ ê a m ö für m ö. ï Die Folge ist langsamer als linear konvergent. (ii) a m := q rm î a m+ = q r a m 0 < q r < ï Die Folge ist linear konvergent, Q = q r. ( q r ï keine Nullfolge ). (iii) a m := q m r î a m+ = q mr q Hm+Lr - m r = a m q r x m r- mit x m œ (m, m+). 0 < q < < r ï a m ö 0 und a m+ ê a m ö 0 ï Die Folge ist superlinear konvergent. (iv) a m := q rm î a m+ = a m r. 0 < q < < r ï a m ö 0 und die Folge konvergiert mit der Ordnung r, Q r =.

21 numerik4.nb 2 Definition 4.2 (iv) Ein Iterationsverfahren x 0, x m+ = GHx m L, m=0,,... hat die Mindestkonvergenzordnung p :ñ alle Folgen { x m - x èè } mœí mit x 0 so nahe bei x _, dass x m ô x èè, haben die Mindestkonvergenzordnung p. Bemerkung: Je größer die Konvergenzordnung ist, desto schneller ist die Konvergenz. Bei gleicher Konvergenzordnung gilt: Je kleiner Q p ist, desto schneller konvergiert die Folge. Folgerung: Unter den Voraussetzungen des Banachschen Fixpunktsatzes (bzw. von Satz 4.4) konvergiert die sukzessive Substitution (lokal) mindestens linear. Beweis:»» x m+ - x êê»» ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ»» xm - x êê»» =»» GHxm L - GH êê xl»» ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ»» xm - êê x»» q <. à Wann konvergiert die sukzessive Substitution schneller ( in Ñ )? Lemma 4.4 Voraussetzungen: G Œ C p [a, b], p 2, $ x èè Œ [a, b] mit G(x èè ) = x èè, G H jl (x èè ) = 0, j=()p-, G HpL (x èè ) π 0 bzw. im Falle p= soll G (x èè ) < gelten. Behauptungen: Das von G erzeugte Iterationsverfahren hat lokal die Konvergenzordnung p und die Konvergenzrate Q p = ÄÄÄÄÄ G HpL (x èè ). p!

22 22 numerik4.nb Beweis: G Hx êê L : (also sogar G Hx êê L > erlaubt!) G è (x) := x - T(x)( G(x) - x ), wobei T(x) 0 ï G è (x) = x ó G(x) = x und G è (x) = - T (x)( G(x) - x ) - T(x)( G (x) - ) ï G è (x êê ) = - T(x êê )( G (x êê ) - ). ï G è (x êê ) = 0, wenn T(x) = ( G (x) - L -, was zumindest in einer Umgebung ï von x êê wohldefiniert ist. lokale Konvergenz und mindestens superlineare Konvergenz von G é. Ohne Kenntnis von êê x ist bei der neuen Iterationsfunktion G è jetzt G è (x êê ) = 0 ïïïïïïï

23 numerik4.nb NEWTON - VERFAHREN und Varianten davon F@x_D = Cos@ xdêhx 3 +.0L x ; H F HxL = G HxL x mit für G abstoßenden Fixpunkt L H vgl. vorherigen Abschnitt L m = 6; T = Table@0, 8i, m<d; T@@DD = 0; Do@T@@i + DD = T@@iDD F@T@@iDDDêF'@T@@iDDD, 8i, m <D; U = Table@80, 0<, 8i, 2 m <D; U@@DD = 8T@@DD, 0<; Do@ U@@2 idd = 8T@@iDD, F@T@@iDDD<, 8i, m <D; Do@ U@@2 i + DD = 8T@@i + DD, 0<, 8i, m <D; Graph = ListPlot@U, PlotJoined > TrueD; Graph2 = Plot@F@xD, 8x, 0, <D; Show@GraphicsArray@8Graph, Graph2<DD

24 24 numerik4.nb GraphicsArray 0.75,.5, Hx + F@T@@iDDD<, 8x, 0, <D, 8i,, 4, <D

25 numerik4.nb Graphics, Graphics, Graphics, Graphics < N@T, 5D 80,., , , , <

26 26 numerik4.nb à Gegeben: F Œ C [a, b] Gesucht : x èè Œ [a, b] : F(x èè ) = 0 Das Newton-Verfahren berechnet nicht die Nullstelle x èè von F direkt (i.a. auch nicht möglich), sondern zu einer Näherung x m für x èè eine neue Näherung x m+, die die Nullstelle der Tangente T m (lineares Problem!) von F in x m ist: T m (x) = FHx m ) + F Hx m )( x - x m ) Nullstelle von T m sei x m+ î FHx m ) = F Hx m )( x m - x m+ ) î (4.3) x 0 Œ [a, b] x m+ := x m - FHx ml ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ F HxmL, m=0,,... ( falls F Hx m ) π 0 ) Newton - Verfahren Iterationsfunktion : GHxL := x - FHxL ÄÄÄÄÄÄÄÄÄÄÄÄ F HxL Verschiedene Herleitungsmöglichkeiten für das Newton-Verfahren: (i) Nullstelle der Tangente. (ii) Taylorentwicklung um eine Nullstelle êê x : (iia) 0 = F(x êê ) = FHx m ) + F Hx m )( êê x - x m ) +... Entwicklung hier Æ abbrechen und dann êê x durch x m+ ersetzen. (iib) 0 = F(x êê ) = FHx m ) + F Hx m + thx êê - x m LL H êê x - x m L t 0 Das Integral durch die Rechteckregel und êê x durch x m+ ersetzen ï 0 = FHx m ) + F Hx m )( x m+ - x m ). (iii) -Punkt Hermite-Interpolation: T m Hx m ) = FHx m ), T m Hx m ) = F Hx m ) und T m (x) = FHx m ) + F Hx m )( x - x m ) ï ( mit (3.7) ) F(x) - T m (x) = F@x m, x m, x]( x - x m L 2. Folgerung aus Satz 4.3: Hat F Œ C 2 [a, b] eine Nullstelle in (a, b) und ist F (x) π 0 " x Œ [a, b],

27 numerik4.nb 27 so konvergiert das Newton-Verfahren lokal und zwar mindestens quadratisch gegen eine Nullstelle. Beweis: G HxL = FHxL F HxL ê H F HxLL 2 ï G Hx èè L = 0. x m+ - x êê = { Hx m - x êê L F Hx m L - FHx m ) }/ F Hx m ) = xm - êê x ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ F { HxmL F Hx m ) - FHx ml - FHx êê L ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ xm - x êê } = xm - x êê ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ F HxmL { F@ x m, x m ] - F@ x m, x êê ]} = H xm - êê xl ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ 2 F@ x m, x m, êê x ] F HxmL ï x m+ - x êê ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ H x m - êê xl 2 ö F Hx êê L ÅÅÅÅÅÅÅÅÅÅÅÅÅÅ 2 F Hx êê L für x m ö x êê. Folgerung: Ist (zufällig auch) F Hx êê L = 0, so konvergiert das Newton-Verfahren sogar mindestens superquadratisch, andernfalls genau quadratisch mit Q 2 = F Hx êê L ÅÅÅÅÅÅÅÅÅÅÅÅÅÅ 2 F Hx êê L. Bemerkung: Auch wenn F lediglich einmal stetig differenzierbar ist, konvergiert unter den restlichen obigen Voraussetzungen das Newton-Verfahren lokal und zwar mindestens superlinear. Beweis: x m+ - x êê = { Hx m - x êê L F Hx m L - FHx m ) }/ F Hx m ) = x m - êê x ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ F { Hx m L F Hx m ) - FHx ml - FHx êê L ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ Å x m - x êê } = F Hx m L - F Hx m + J m Hx êê - x m LL ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ ( x m - êê x ). F Hx m L Ist nun x m hinreichend nahe bei êê x, so folgt F Hx m L - F Hx m + J m Hx êê - x m LL ÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅÅ q <, F HxmL da F keinen Vorzeichenwechsel hat ï x m - x êê ö 0 wie q m für m ö. Vergleich zwischen sukzessiver Substitution mit G, G (x èè ) ª 0.47, und Newton-Verfahren mit F(x) := G(x) -x : F@x_D = Exp@x D 0.8 x; m = 5; y = 0.3; Do@8yn = y F@yDêF'@yD, y = yn<, 8i, m <D; Print@ "Näherung: ", N@y, 5DD Näherung:

28 28 numerik4.nb = D 0.8; m = 0; TG = Table@0, 8i, m<d; TG@@DD = 0; Do@TG@@i + DD = G@TG@@iDDD, 8i, m <D; F@x_D = Exp@x D 0.8 x; m = 0; TF = Table@0, 8i, m<d; TF@@DD = 0; Do@TF@@i + DD = TF@@iDD F@TF@@iDDDêF'@TF@@iDDD, 8i, m <D; Fehler bei Iteration mit G: N@TG y, 3D , 0.77, , , 0.06, , , , , < Fehler bei Newton-Iteration: N@TF y, 3D , , , , , , , , , < Newton-Iteration, die nicht gegen eine Nullstelle konvergiert: F@x_D = x x 2 + ; m = 0; T = Table@0, 8i, m<d; T@@DD =.25; Do@T@@i + DD = T@@iDD F@T@@iDDDêF'@T@@iDDD, 8i, m <D; U = Table@80, 0<, 8i, 2 m <D; U@@DD = 8T@@DD, 0<; Do@ U@@2 idd = 8T@@iDD, F@T@@iDDD<, 8i, m <D; Do@ U@@2 i + DD = 8T@@i + DD, 0<, 8i, m <D; Graph = ListPlot@U, PlotJoined > TrueD; Graph2 = Plot@F@xD, 8x, 3, 3<D; Show@GraphicsArray@8Graph, Graph2<DD

29 numerik4.nb GraphicsArray Table@ Plot@8F@xD, Hx T@@iDDL F'@T@@iDDD + F@T@@iDDD<, 8x, 3, 3<D, 8i,, 4, <D

30 30 numerik4.nb

31 numerik4.nb Graphics, Graphics, Graphics, Graphics < T 8.25,.245,.23383,.20923,.672,.09094,.02668,.0028,.0000,.< Die Iterationsfolge hat die Häufungspunkte + und -, die keine Nullstellen sind. Bei einem Startwert in der Nähe von ± "#################### è!!! 5 konvergiert die Iteration natürlich.

32 32 numerik4.nb à Problem bei lediglich lokaler Konvergenz: Wahl des Startwertes x 0 Wie groß ist das Lokal, in dem Konvergenz stattfindet, wie kommt man hinein? Lösung ( in Ñ ) : BISEKTIONSVERFAHREN F Œ C[a, b], F(a) F(b) < 0 ( î F hat Nullstelle in (a, b) ) (4.4) a 0 := a ; b 0 := b ; a m+ := 9 a m +b m ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ 2 a m, falls FHa m L FI ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ a m+b m M 0 2 sonst b m+ := 9 am+bm ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ 2 b m, falls FHa m L FI a m+bm ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄM 0 2 sonst m=0,,... Abbruch, falls b m+ = a m+. Das Bisektionsverfahren bricht nach endlich vielen Schritten ab, oder es konvergiert linear mit der Konvergenzrate ê 2.

33 numerik4.nb x 2 + 2, 8x,, 8<D Graphics Verfahren: Zuerst die Nullstelle mit dem Bisektionsverfahren einschließen k, b k ], k 0. Dann erst das Newton-Verfahren starten. Falls nun eine Näherung außerhalb k, b k ] liegt, so muss die Bisektion fortgesetzt werden. Andernfalls wird das Newton-Verfahren solange fortgesetzt, bis (i) FHx m ) hinreichend klein (falls dies das Problem schon löst) oder (ii) x m - x m- ( + x m ), d.h. die Newton-Korrektur ist hinreichend klein. Satz 4.5 ( Globale und monotone Konvergenz des Newton-Verfahrens ) Voraussetzungen: F Œ C [a, b], F monoton wachsend (oder monoton fallend), x 0 und x = x 0 - FHx 0 LêF Hx 0 L Œ [a, b], es existiert x èè Œ [a, b] : F(x èè ) = 0. Behauptungen: Das Newton-Verfahren konvergiert monoton gegen eine Nullstelle von F. Weiter gilt x x 2... x` oder x x 2... x``, wobei F( x` ) = F( x`` ) = 0. Beweis: O.B.d.A. F monoton wachsend:

34 34 numerik4.nb Hx 2L 2 2, 8x, 0, 4<, Frame > TrueD Graphics BEISPIELE: (i) Berechnung der k-ten Wurzel: Gesucht: p êk, p 0, k œ Í. F(x) := x k - p ï F (x) = k x k- monoton wachsend für x 0. Newton-Verfahren: x m+ = I - ÅÅÅÅ k M x m + konvergent für alle x 0 > 0. p ÅÅÅÅ k x m -k, m=0,,... k=2: Babylonisches Wurzelziehen x m+ = ÅÅÅÅ J x 2 m + ÄÄÄÄÄÄÄ p N, m=0,,... xm

35 numerik4.nb 35 H p=3 Heron von Alexandria 2. Jhd.v.Chr. L x = 3; Do@x = 0.5 Hx + 3êxL, 8i, 5<D x Sqrt@3D (ii) Division ohne zu dividieren: Gesucht: ÅÅÅÅ a, a >0. F(x) := ÅÅÅÅ x - a ï x m+ = x m H 2 - a x m L, m=0,,... Satz 4.6 ( Newton-Verfahren bei mehrfachen Nullstellen ) Voraussetzungen: F Œ C p [a, b], F(x èè ) = F (x èè ) =... = F Hp-L Hx èè ) = 0, F HpL Hx èè ) π 0 mit p > und x èè Œ (a, b). ( x èè p-fache Nullstelle von F ) Behauptung: Das Newton-Verfahren konvergiert lokal linear gegen x èè mit Konvergenzrate Q = - ÄÄÄÄ p. Beweis: Satz 4.7 ( Modifiziertes Newton-Verfahren bei mehrfachen Nullstellen )

36 36 numerik4.nb Voraussetzungen: Wie in Satz 4.6 aber F Œ C p+ [a, b]. Behauptung: Das modifizierte Newton-Verfahren (4.5) x m+ := x m - p FHx ml ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ F HxmL, m=0,,... konvergiert lokal mindestens quadratisch gegen x èè mit Konvergenzrate Q 2 = ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ php+l F Hp+L Hx èè L ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ F HpL Hx èè L. Beweis: Bemerkung: F œ C p [a, b] liefert i.a. lediglich superlineare Konvergenz des modifizierten Newton-Verfahrens. à Berechnung von Polynomnullstellen mit dem Newton-Verfahren: p 0 Œ K, x 0 Œ Â, x m+ = x m - p 0 Hx m Lê p 0 Hx m L, m=0,,... p 0 Hx m L und p 0 Hx m L können effizient mit zweimaliger Durchführung des Hornerschemas (3.8) berechnet werden. Ist dann êê x eine Nullstelle von p 0, so berechnet man p HxL := p 0 HxL/( x - êê x ) wiederum mit dem Hornerschema ( Abspalten einer Nullstelle ) und wendet das Newton-Verfahren auf p an etc. Vorteile dieser Strategie: (i) Der Grad der zu behandelnden Polynome verringert sich. (ii) Bereits gefundene Nullstellen werden nicht noch einmal berechnet. Probleme: Statt exakter Nullstelle x êê hat man nur eine Näherung x êê è, daher ist auch p nicht exakt : Fehlerfortpflanzung.

37 numerik4.nb 37 Satz von BARNA: Newton-Verfahren bei einem Polynom p mit reellen Koeffizienten: (i) Hat p konjugiert komplexe Nullstellen, so sind Divergenzintervalle möglich. Vgl. obiges Beispiel mit F(x)= x x 2 + und x 0 œ [-5/4, -3/4] [3/4, 5/4]. (ii) Hat p nur reelle Nullstellen, so sind ebenfalls überabzählbar viele Divergenzpunkte möglich, aber das Lebesgue-Maß der Divergenzmenge ist Null. Satz 4.8 ( Newton-Verfahren bei Polynomen mit reellen Nullstellen ) Voraussetzung: p Œ K \HTraditionalForm \ \Lhat die K reellen Nullstellen z z 2... z K Behauptung: Für alle Startwerte 9 x 0 z x 0 z K konvergiert das fallend Newton-Verfahren monoton 9 wachsend gegen 9 z z K. Beweis: Bemerkungen: (i) z braucht keine einfache Nullstelle zu sein. Dies beeinflusst allerdings die Konvergenzgeschwindigkeit. (ii) p K Hx 0 L ÅÅÅÅÅÅÅÅÅÅÅÅÅ = phx 0 L i= ÅÅÅÅÅÅÅÅÅÅÅÅÅ x 0 -z i K / min { x 0 - z i : i=()k } impliziert: " x 0 œ  $ Nullstelle x êê von p : x 0 - x êê K phx 0 L ÅÅÅÅÅÅÅÅÅÅÅÅÅ p Hx 0 L. Dies liefert folgendes Abbruchkriterium: STOP, falls K phx ml ÅÅÅÅÅÅÅÅÅÅÅÅÅÅ p HxmL. Akzeptiere x m als Näherung.

38 38 numerik4.nb à Varianten des Newton-Verfahrens: (A) Newton-Verfahren mit konstanter Ableitung (4.6) x 0, F Hx 0 L π 0 x m+ := x m - FHx ml ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ F Hx 0 L, m=0,,... Iterationsfunktion: G(x) = x - FHxLêF Hx 0 L, G (x) = - F (x) / F Hx 0 L ï lokal lineare Konvergenz, wenn 0 < F (x êê ) / F Hx 0 L < 2, lokal superlineare Konvergenz, wenn F (x êê ) = F Hx 0 L. Praktische Durchführung: Nach M > Schritten mit (4.6) ersetzt man F Hx 0 L durch F Hx M L. (B) Sekantenverfahren (4.7) Startwerte x 0 und x x m+ := x m - FHx m L FHxmL - FHx m- L ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄ ÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ, m=,2,... xm - x m- Vorteil: In jedem Schritt ist nur ein neuer Funktionswert zu berechnen. Hinweis: Bei einfacher Nullstelle und zweimal stetig differenzierbarem F konvergiert das Sekantenverfahren lokal mit der Ordnung # Goldener Schnitt, Fibonacci-Zahlen... ÅÅÅÅ (+è!!! 5 ) º.62 2 (C - Z)... verfahren sowie Verfahren von...

39 numerik4.nb Das Newton-Verfahren für Systeme nichtlinearer Gleichungen à Gegeben: D Õ Ñ n, F Œ C ( D, Ñ n ) ( F (x) = i k j F i ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ HxL y z x j { i, j= HL n ) Gesucht: x èè Œ D : F(x èè ) = 0. D konvex, x H0L œ D ï F(x êê ) = 0 = FHx H0L L + 0 F H x H0L + th x êê - x H0L LLH x êê - x H0L L t U FHx H0L L + F H x H0L LH x êê - x H0L L (Rechteckregel) ï Näherung x HL als Lösung des linearen Gleichungssystems 0 = FHx H0L L + F H x H0L LH x HL - x H0L L bzw. F H x H0L L d H0L = - FHx H0L L ï d H0L, die Newton Korrektur, und x HL = x H0L + d H0L usw. Formal analog zum -dimensionalen Fall: x H0L œ D Œ Ñ n, x Hm+L := x HmL - [ F H x HmL L D - FHx HmL L, m=0,,... NEWTON-VERFAHREN. Bemerkungen: (i) Ist F H x HmL L singulär, so ist obige Iteration nicht definiert, Abbruch. (ii) Bei der praktischen Durchführung wird nicht [ F H x HmL L D - berechnet ( Aufwand: n 3 Operationen ). Das Verfahren wird vielmehr so durchgeführt: NEWTON-VERFAHREN: x H0L Œ D Õ Ñ n, Berechne für m=0,,... die Newton-Korrektur d HmL als Lösung des linearen Gleichungssystems

40 40 numerik4.nb (4.8) F H x HmL L d HmL = - FHx HmL L ( z.b. mit Gauß-Elimination, Aufwand: n 3 /3 Operationen ). Setze dann x Hm+L := x HmL + d HmL Hinweis: Auch dieses Verfahren ist lokal mindestens quadratisch konvergent, sofern in einer Kugel um x êê»» F HxL - gleichmäßig beschränkt und F gleichmäßig Lipschitz-stetig ist. EXISTENZ einer Nullstelle, Konvergenz des Newton-Verfahrens und Fehlerabschätzungen liefert der Newton-Kantorowitsch-Satz. Beispiel: F(x) := i j sinhx L - x 2 y z, F (x) = i j coshx L - y z ï Newton-Verfahren: kx - coshx 2 L{ k sinhx 2 L{ icosix HmL M - yi j k sinix HmL 2 M zj { k HmL d HmL d 2 y z = i x HmL 2 - sinix HmL My j { kcosix HmL HmL 2 M - x z, { x Hm+L := x HmL + d HmL, m=0,,... Startwerte z.b. x H0L = ÅÅÅÅÅ p i j y z, êê x º i j y z. 4 k{ k { Plot@8Cos@Sin@xDD x, Sin@Cos@xDD x<, 8x, 0, 4<D Graphics

41 numerik4.nb 4 à Varianten: (A) Newton-Verfahren mit konstanter Ableitung x 0 Œ D Õ Ñ n, F Hx 0 L regulär (4.9) F H x H0L L d HmL = - F Hx HmL L, x Hm+L := x HmL + d HmL, m=0,,... Vorteil: Nur einmal ist die LR-Zerlegung von F H x H0L L zu berechnen, da das Gleichungssystem (4.9) eine von m unabhängige Matrix hat. Nachteil: I.a ist das Verfahren nur noch lokal linear konvergent. (B) Gedämpftes Newton-Verfahren: x H0L Œ D Õ Ñ n, F H x HmL L d HmL = - FHx HmL L (4.0) x Hm+L := x HmL + t m d HmL, m=0,,..., dabei ist t m > 0 und i.a. t m so zu wählen, dass z.b. FHx Hm+L L < FHx HmL L»». Man führt einen vollen Newton-Schritt Ht m = L nur dann durch, wenn dadurch auch tatsächlich Abstieg im Sinne der Norm erreicht wird. Andernfalls wird lediglich mit der verkleinerten Schrittweite t m in Richtung d HmL weitergegangen # nichtlineare Optimierung