Seminarvortrag: Trust-Region-Verfahren

Transkript

1 Seminarvortrag: Trust-Region-Verfahren Helena Klump Universität Paderborn Dezember 2012 Helena Klump 1 / 22 Trust-Region-Verfahren

2 Problemstellung Sei die Funktion f : R n R gegeben. Betrachtet wird das folgende Problem: min x R n f (x). (P) Helena Klump 2 / 22 Trust-Region-Verfahren

3 Idee f (x, y) = 10x y sin(xy) 2x + x f(x,y) y x 4 0 Helena Klump 3 / 22 Trust-Region-Verfahren

4 Idee f (x, y) = 10x y sin(xy) 2x + x 4 Helena Klump 4 / 22 Trust-Region-Verfahren

5 Idee f (x, y) = 10x y sin(xy) 2x + x 4 Helena Klump 5 / 22 Trust-Region-Verfahren

6 Idee f (x, y) = 10x y sin(xy) 2x + x 4 Helena Klump 6 / 22 Trust-Region-Verfahren

7 Idee f (x, y) = 10x y sin(xy) 2x + x 4 Helena Klump 7 / 22 Trust-Region-Verfahren

8 Idee f (x, y) = 10x y sin(xy) 2x + x 4 Helena Klump 8 / 22 Trust-Region-Verfahren

9 Idee f (x, y) = 10x y sin(xy) 2x + x 4 Helena Klump 9 / 22 Trust-Region-Verfahren

10 Trust-Region Konzept 1. Gegeben seien die Konstanten 0 < δ 1 < δ 2 < δ, σ 1 (0, 1), σ 2 > 1 und ein Radius 0 < ρ 0 δ. Wähle Startpunkt x 0 R n und k := Berechne eine Lösung d k des Trust-Region-Teilproblems. 3. Falls f (x k ) = m k (d k ), STOP. 4. Berechne den Quotienten r k = f k f (x k + d k ). f k m k (d k ) 5. Falls r k δ 1 (erfolgreicher Iterationsschritt): Setze x k+1 = x k + d k. Wähle { [σ 1 ρ k, ρ k ], falls r k [δ 1, δ 2 ) ρ k+1 [ρ k, min{σ 2 ρ k, δ}], falls r k δ 2. Setze k := k + 1 und gehe zu Falls r k < δ 1 (nicht erfolgreicher Iterationsschritt): Wähle ρ k+1 (0, σ 1 ρ k ]. Setze x k+1 = x k, k := k + 1 und gehe zu 2. Helena Klump 10 / 22 Trust-Region-Verfahren

11 Schritte von Suchrichtungs- und Trust-Region-Verfahren Helena Klump 11 / 22 Trust-Region-Verfahren

12 Lösung des Trust-Region-Teilproblems Betrachtet wird das allgemeine Problem: min m(d) =c + q T d d T Qd, so dass (1) g(d) := 1 2 ( d 2 ρ 2 ) 0 mit ρ > 0, c R, q R n und Q R n n symmetrisch. Satz Ein Vektor d R n mit d ρ ist genau dann globale Lösung des Problems (1), wenn es ein λ 0 gibt mit (a) (Q + λi n) d = q, (b) λ( d ρ) = 0, (c) Q + λi n ist positiv semidefinit. Ist Q + λi n sogar positiv definit, dann ist d die eindeutig bestimmte Lösung des Problems (1). Helena Klump 12 / 22 Trust-Region-Verfahren

13 Lösung des Trust-Region-Teilproblems Lemma Gibt es ein d mit d ρ und ein λ 0, so dass d (strikter) globaler Minimalpunkt der Lagrangefunktion L λ (d) = m(d) + λg(d) mit λg( d) = 0 ist, dann ist d auch (strikte) globale Lösung von (1). Lemma Sei d R n mit d ρ globale Lösung des Problems (1). Dann gibt es ein eindeutig bestimmtes λ 0, so dass die notwendige Optimalitätsbedingung erster Ordnung L λ ( d) = m( d) + λ d = 0, die notwendige Optimalitätsbedingung zweiter Ordnung und die Bedingung erfüllt sind. d T L λ ( d)d = d T (Q + λi n)d 0 für alle d R n, λg( d) = 0 Helena Klump 13 / 22 Trust-Region-Verfahren

14 Lösung des Trust-Region-Teilproblems Satz Ein Vektor d R n mit d ρ ist genau dann globale Lösung des Problems (1), wenn es ein λ 0 gibt mit (a) (Q + λi n) d = q, (b) λ( d ρ) = 0, (c) Q + λi n ist positiv semidefinit. Ist Q + λi n sogar positiv definit, dann ist d die eindeutig bestimmte Lösung des Problems (1). Lemma Sei d R n globale Lösung des Teilproblems. Dann gilt: f (x k ) m k ( d) 1 { 2 q min ρ, q }. (2) Q Helena Klump 14 / 22 Trust-Region-Verfahren

15 Trust-Region-Newton-Verfahren 1. Gegeben seien die Konstanten 0 < δ 1 < δ 2 < δ, σ 1 (0, 1), σ 2 > 1 und ein Radius 0 < ρ 0 δ. Wähle Startpunkt x 0 R n, berechne q 0 = f (x 0 ), Q 0 = 2 f (x 0 ) und k := Berechne eine Richtung d k, die (2) erfüllt. 3. Falls f (x k ) = m k (d k ), STOP. 4. Berechne den Quotienten r k. 5. Falls r k δ 1 (erfolgreicher Iterationsschritt): Setze x k+1 = x k + d k und berechne q k+1 = f (x k+1 ), Q k+1 = 2 f (x k+1 ). Wähle { [σ 1 ρ k, ρ k ], falls r k [δ 1, δ 2 ) ρ k+1 [ρ k, min{σ 2 ρ k, δ}], falls r k δ 2. Setze k := k + 1 und gehe zu Falls r k < δ 1 (nicht erfolgreicher Iterationsschritt): Wähle ρ k+1 (0, σ 1 ρ k ]. Setze x k+1 = x k, q k+1 = q k, Q k+1 = Q k, k := k + 1 und gehe zu 2. Helena Klump 15 / 22 Trust-Region-Verfahren

16 Konvergenz Lemma Es sei f : R n R zweimal stetig differenzierbar und x 0 R n. Die Niveaumenge N 0 = { x R n f (x) f (x 0 ) } sei kompakt. Endet das Trust-Region-Newton-Verfahren nicht nach endlich vielen Schritten, dann gilt: lim inf f (x k ) = 0. k Satz Es sei f : R n R zweimal stetig differenzierbar und x 0 R n. Die Niveaumenge N 0 sei kompakt. Endet das Trust-Region-Newton-Verfahren nicht nach endlich vielen Schritten, dann gilt lim f (x k ) = 0. k Die Folge { x k } besitzt mindestens einen Häufungspunkt. Für jeden Häufungspunkt ˆx gilt f (ˆx) = 0. Helena Klump 16 / 22 Trust-Region-Verfahren

17 Konvergenz Satz Sei f : R n R zweimal stetig differenzierbar und x 0 R n. Das Trust-Region-Newton-Verfahren ende nicht nach endlich vielen Schritten und die Niveaumenge N 0 sei kompakt. Dann gelten: 1. Es gibt mindestens einen Häufungspunkt ˆx von { x k } mit f (ˆx) = 0, 2 f (ˆx) positiv semidefinit. 2. Ist ˆx ein Häufungspunkt von { x k } mit positiv definiter Hessematrix 2 f (ˆx), dann konvergiert { x k } gegen ˆx und das Trust-Region-Newton-Verfahren geht nach endlich vielen Schritten in das lokale Newtonverfahren über. Insbesondere vererben sich die Konvergenzeigenschaften (superlinear, quadratisch) des lokalen Newtonverfahrens. Helena Klump 17 / 22 Trust-Region-Verfahren

18 Vergleich: Gradientenverfahren und Trust-Region-Verfahren Gradientenverfahen für die Rosenbrock-Funktion: 1280 Iterationen 4539 Funktions- und Gradientenauswertungen Helena Klump 18 / 22 Trust-Region-Verfahren

19 Vergleich: Gradientenverfahren und Trust-Region-Verfahren Trust-Region-Verfahren für die Rosenbrock-Funktion: 33 Iterationen 67 Funktionsauswertungen 34 Gradientenauswertungen 33 Berechnungen der Hesse-Matrix Helena Klump 19 / 22 Trust-Region-Verfahren

20 Vielen Dank für Ihre Aufmerksamkeit! Helena Klump 20 / 22 Trust-Region-Verfahren

21 Aufgaben Aufgabe Gibt es ein d mit d ρ und ein λ 0, so dass d (strikter) globaler Minimalpunkt der Lagrangefunktion L λ (d) = m(d) + λg(d) mit λg( d) = 0 ist, dann ist d auch (strikte) globale Lösung von (1). Aufgabe Gegeben sei die Rosenbrock-Funktion in der Form f (x, y) = 10(y x 2 ) 2 + (1 x) 2. Zeichnen Sie die Höhenlinien der Zielfunktion sowie der quadratischen Approximation m k (d) (mit H = 2 f (x k )) im Punkt (x k, y k ) = (0, 1) mittels Matlab. Die Aufgaben können an helenaklump@gmail.com geschickt werden. Helena Klump 21 / 22 Trust-Region-Verfahren

22 Referenzen Walter Alt: Nichtlineare Optimierung: Eine Einführung in Theorie, Verfahren und Anwendungen,Vieweg+Teubner Verlag, 2002 Andrew R. Conn, Nicholas I. M. Gould, Philippe L. Toint: Trust Region Methods, Society for Industrial and Applied Mathematics, 1987 Jorge Nocedal, Stephen Wright: Numerical Optimization, Springer, 2000 Michael Ulbrich, Stefan Ulbrich: Nichtlineare Optimierung, Springer Basel AG, 2011 Florian Jarre, Josef Stoer: Optimierung, Springer, 2003 Matthias Gerdts, Optimierung, Skript, 2007 Helena Klump 22 / 22 Trust-Region-Verfahren