Bemerkung 2.1: Das Newtonverahren kann auch als sequential quad. minimization verstanden werden: 2.1 Ein globalisiertes Newtonverfahren

Transkript

1 Kapitel 2 Newtonverfahren Ziel: Bestimmung von Nullstellen von f (=stationärer Punkt). Dies geschieht mit dem Newtonverfahren. x k+1 = x k ( 2 f (x k )) 1 f (x k ) (2.1) Bemerkung 2.1: Das Newtonverahren kann auch als sequential quad. minimization verstanden werden: Taylor um x k : q k (x) := f (x k )+ f (x k ) (x x k )+ 1 2 (x x k) T 2 f (x k )(x x k ) minimiere q k falls 2 f (x k ) SPD ist, dann ergibt sich x k+1 = x k 2 f (x k ) 1 f (x k ) 2.1 Ein globalisiertes Newtonverfahren Das Newtonverfahren konvergiert lokal quadratisch und ist damit dem Gradientenverfahren überlegen. Allerdings konvergiert es nur in der Nähe eines Minimums verwende globalisiertes Newtonverfahren, welches beides kombiniert. Algorithmus 2.2 (global. Newtonverf.): % input x 0,ρ>0, p>2,β (0, 1),σ (0, 1 2 ) 17

2 % output: Approx. an stat. Punkt while (Abbruchbed. nicht erfüllt) do{ % Bestimme Suchrichtung: löse 2 f (x k )d k = f (x k ) %z.b. f (x k ) >tol if (dieses LGS ist nicht lösbar or f (x k ) d k > ρ d k p ) then d k := f (x k ) % Abstieg mit Armijo bestimme t k = max{β l l N 0, f (x k +β l d k ) f (x k )+σt k f (x k ) d k } } x k+1 := x k + t k d k ; k := k+1 Satz 2.3: Sei f C 2 (R n,r), (x k ) k=0 eine von Alg. 2.2 erzeugte Folge. Dann ist jeder Häufungspunkt von (x k ) k=0 stationärer Punkt von f. Beweis: Ähnlich wie Beweis von Satz 1.16 Diskussion von Alg Es wird Abstieg erzwungen (hier: mit Armijo-Regel, aber andere Regeln denkbar) 2. In der Nähe eines Minimums x werden Newtonschritte gemacht, denn (a) die Newtonrichtung wird akzeptiert, da und d k ist klein f (x k ) d k = d T k 2 f (x k )d k c d k 2 (2.2) (b) die Armijo-Regel liefert t k = 1 wegenσ< 1, denn Taylor liefert für 2 kleine d k : f (x k + 1 d k ) = f (x k )+ f (x k ) d k dt k 2 f (x k )d k + O( d k 3 ) = f (x k )+ 1 2 f (x k) d k + O( d k 3 ) (2.3) } {{ } klein im Vergl. zu f (x k ) d k wg. (2.2) Also wird tatsächlich wegenσ< 1 2 in der Nähe von x k bereits t k = 1 akzeptiert. 18

3 3. Die Bedingung f (x k ) d k ρ d k p mit p>2 drückt aus, dass die Newtonrichtung nur akzeptiert werden soll, wenn ein hinreichender Abstieg erreicht wird. 2.2 Quasi-Newtonverfahren Problem: Oft ist das Bestimmen der Hessematrizen 2 f (x k ) in jedem Schritt zu teuer. Lösung 1: Vereinfachtes Newtonverfahren bei dem 2 f (x k ) durch 2 f (x 0 ) approx. wird. Nachteil von Lösung 1: lineare Konvergenz Information über 2 f (x k ), die im Laufe der Iteration entsteht, wird nicht genutzt Ziel: Verfahren, die superlinear konvergieren, aber billiger sind als Newtonverf Broydenverfahren Setting: Sei F C 2 (R n,r n ); F(x )=0, F (x ) reg. Newtonartige Verfahren zum Finden von x sind dann von der Form x x+1 = x k H 1 k F(x k) mit geeigneter Matrix H k. Idee des Broydenverfahrens: erzeuge H k+1 aus H k H k+1 sollte eine Approximation an F (x k+1 ) sein Taylor liefert (im Fall von x k x ) F(x k+1 )+F(x k )=F (x k+1 )(x k x k+1 )+O( x k x k+1 2 ) d.h. wir erwarten F (x k+1 ) (x k+1 x k ) F(x k+1 ) F(x k ) sinnvolle Forderung für H k+1 ist H k+1 (x k+1 x k )=F(x k+1 ) F(x k ) (2.4) 19

4 Sekantenbed Dies legt H k+1 für n>1 noch nicht fest. Eine sinnvolle weitere Forderung ist, dass H k+1 H k klein sei. Dies motiviert, H k+1 als die Lösung des folgenden Minimierungsproblems zu wählen: Finde Minimierer H k+1 von min{ H k A F A R n n mit A(x k+1 x k )=F(x k+1 ) F(x k )} (2.5) Diese Aufgabe hat eindeutige Lösung: H k+1 = H k + 1 s T s (y H ks)s T, s= x k+1 x k, y=f(x k+1 ) F(x k ), (2.6) denn es gilt: Satz 2.4: Sei B R n n, s, y R n mit s 0. SeiA(y, s) :={A R n n As=y}. Dann gilt: B + := B+ 1 s T s (y Bs)sT ist die eindeutige Lösung des Minimierungsproblems: Finde A A(y, s), sodass A B F min. wird. Beweis: 1.Schritt:(B + ist Lösung des Minimierungsproblems) B + A(y, s) : Sei A A(y, s). Dann gilt: B + B F = 1 s T s (y Bs)sT F = 1 s T s (As Bs)sT F 2.Schritt: (Eindeutigkeit) A(y, s) R n n ist konvex, A A B F ist strikt konvex. = (A B) sst s T s F GH F G F H 2 A B F sst s T s 2 } {{ } =1,wg. ss T sym., EW sind 0 und 1 A B F 20

5 Bemerkung 2.5: 1. H k+1 entsteht aus H k durch einen Rang-1-Update 2. Sherman Morrison Woodbury Formel erlaubt einfache Berechnung von H 1 k+1 aus H 1 k. Es gilt allgemein für reg. A Rn n, u, v R m : (A+uv T ) 1 = A 1 d.h. ein Rang-1-Update von A v T A 1 u A 1 uv T A 1 3. das Broydenverfahren konvergiert (lokal) superlinear (wenn 2 f (x ) regulär), d.h. wenn H 0 F (x ) und x 0 x hinreichend klein sind, dann ist x k+1 x =o( x k x ) für k, d.h. Nullfolge (ǫ k ) k=0 mit x k+1 x ǫ k x k x 4. es gilt typischerweise nicht: H k F (x ). Tatsächlich reicht für die superlineare Konvergenz der Quasi-Newtonartigen Verfahren, wenn die folgende, schwächere Bedingung ( Dennis & Moré ) gilt: (F (x k ) H k )(x k+1 x k ) =o( x k+1 x k ). Bemerkung 2.6 (Spielarten des Broydenverfahrens): Norm W W F anstelle von F in (2.5). 1. Verwende gewichtete Frob.- 2. Rekursion ist von der Form x k+1 = x k B k F(x k ), wobei B k als Approx. an F (x k ) 1 aufgefasst werden kann. Idee zur Definition von B k+1 : B k+1 als Minimum von{ B k A F A R n n mit Ay= s}, y=f(x k+1 ) F(x k ), s= x k+1 x k Satz 2.4 liefert dann explizite Formel für B k Quasi-Newtonverfahren für Minimierungsaufgaben Setting: f C 3 (R n,r) mit Min. x Newtonverfahren hat die From: x k+1 = x l H 1 k f (x k) (2.7) 21

6 Im Prinzip kann man das Broydenverfahren verwenden. Man fordert jedoch: Symmetrie: da H k als Approx. an die Hessematrix 2 f (x k ) aufgefasst wird, sollten die H k symmetrisch sein. SPD: in der Nähe von x erwartet man 2 f SPD. Die H k sollten auch diese Eigenschaft haben. Wir stellen nun einige Updateformeln vor. Es gilt immer: H := H k, H + := H k+1, s := x k+1 x k, y := f (x k+1 ) f (x k ) (2.8) Satz 2.7 (PSB-Powell sym. Broyden Formel): Sei H R n n sym., s R n \{0}, y R n. Dann ist der eindeutige Minimierer H+ PS B von{ H A F A R n n sym. und As=y} gegeben durch: H PS B + = H+ (y Hs)sT + s(y Hs) T s T s (y Hs)T s (s T s) 2 ss T (2.9) Beweis: analog zu Satz 2.4 Bemerkung 2.8: H+ PS B ist ein Rang-2-Update von H. Sherman-Morrison-Woodbury gibt explizite Formel für ( ) 1, H+ PS B wenn H 1 bekannt. Satz 2.9 (DFP-Davidon-Fletcher-Powell): Sei H R n n SPD, s, y R n \{0} mit s T y>0. Sei H DFP + := H+ (y Hs)yT + y(y Hs) T y T s (y Hs)T s (y T s) 2 yy T (2.10) Dann gilt: (i) H DFP + ist SPD (ii) B+ DFP := ( H+ DFP ) 1=B+ ss T s T y ByyT B y T By, B=H 1 22

7 (iii) H DFP + ist der eindeutige Minimierer von{ W(H A)W F A R n n sym. und As=y}, wobei W eine beliebige SPD-Matrix ist mit W 2 s=y hier sieht man, dass s T y>0 nötig ist Beweis: (iii) zeigt sich ähnlich zu Satz siehe [GK99, Satz 11.6] (ii) Nachrechnen (i) folgt, weil B SPD ist: und z T B DFP + z=0nur, falls z T B+ DFP z = z T Bz+ zt ss T z zt Byy T Bz = s T y y T By = z 2 B+ (zt s) 2 s T y z, y B 2 y 2 B z 2 B + (zt s) 2 s T y z 2 B y 2 B y 2 B (zt s) 2 s T y 0 z T s=0 z T s=0 z, y B = z B y B d.h. z=αy für einα R 0=z T s=α y T s α=0 z=0. }{{} >0 Das wichtigste Quasi-Newtonverfahren ist das BFGS: Im Gegensatz zum DFP liegt ein inverses Quasi-Newtonverfahren vor, d.h. H + wird indirekt dadurch definiert, dass H+ 1 definiert wird (vergl. Punkt 2 von Bemerkung 2.6): Satz 2.10 (BFGS-Broyden-Fletcher-Goldfarb-Shanno): Sei B SPD, s, y R n mit s T y>0. Def. B BFGS + := B+ (s By)yT + s(s By) T y T s (s By)T yss T (y T s) 2 Dann gilt: (i) B BFGS + ist SPD 23

8 (ii) ( ) 1=H+ B+ BFGS yy T HssT H, s T y s T Hs H=B 1 (iii) B BFGS + ist der eindeutige Minimierer von{ W(A B)W F A sym. und Ay= s}, wobei W SPD ist mit W 2 s=y Beweis: analog zu Satz siehe [GK99, Satz 11.8] Bemerkung 2.11: 1. die meisten newtonartigen Verfahren werden geeignet globalisiert, d.h. die Updateformel legt nur die Suchrichtung fest. 2. BFGS, DFP, PSP konvergieren lokal superlinear (unter geeigneten Annahmen) 3. Bed. s T y>0 ist natürlich, um die SPD-Eigenschaft zu erhalten: aus B+ BFGS y= s folgt mit B+ BFGS SPD, dass 0<y T B+ BFGS y=y T s 4. BFGS wird mit SWP globaliert, weil so die Bedingung 0< s T y=(x k+1 x k ) T ( f (x k+1 ) f (x k )) realisiert wird und dann alle Matrizen SPD sind: S WP f (x k+1 ) d k ρ f (x k ) d k f (x k+1 ) (x k+1 x k ) ρ f (x k ) (x k+1 x k ) ( f (x k+1 ) f (x k )) (x k+1 x k ) (ρ 1) f (x } {{ } k ) (x k+1 x k ) } {{ } <0 <0, weil d k Abstiegsrichtung 5. In der Praxis wird BFGS oft nicht mit Approx. an die Hessematrix sondern mit B 0 =βi (β>0geeignet) gestartet. Beispiel 2.12: Betrachte die Nullstellen (exakte Lösung: x = (0, 1) T ) von ( (x1 + 3)(x F(x)= 3 2 7)+18 ) sin(x 2 e x 1 = 0 1) mit Startwert x 0 = ( 0.5, 1.4) T. Klassisches Broyden wird mit H 0 = F (x 0 ) gestartet. Man beobachtet, daß insb. das Broydenverfahren superlinear konvergiert. 24

9 10 0 Newton Broyden 10-5 x k - x * iteration number 25