Newton- und und Quasi-Newton-Methoden in der Optimierung. János Mayer

Größe: px

Ab Seite anzeigen:

Download "Newton- und und Quasi-Newton-Methoden in der Optimierung. János Mayer"

Britta Möller
vor 5 Jahren
Abrufe

1 Newton- und und Quasi-Newton-Methoden in der Optimierung János Mayer 1

2 GLIEDERUNG Newton-Methode für nichtlineare Gleichungen nichtlineare Gleichungssysteme freie Minimierung. Quasi-Newton-Methoden für freie Minimierung. 2

3 NEWTON UND QUASI NEWTON METHODEN LINEARE GLEICHUNGEN g(x) = a x + b, a 0, x IR 1. Gesucht ist die Wurzel x der Gleichung g(x) = 0 d.h. a x + b = 0. Formel: x = b a. a 0 g (x ) a 0 die Wurzel ist einfach. newton17.nb

4 NICHTLINEARE GLEICHUNGEN g(x) x IR 1 einmal stetig differenzierbar. Gesucht ist eine Wurzel x der Gleichung g(x) = 0. Sei x 0 IR 1, g (x 0 ) 0. Idee: Linearisierung g(x) g(x 0 ) + g (x 0 ) (x x 0 ) (Taylor). g(x 0 ) + g (x 0 ) (x x 0 ) = 0 newton17.nb x 1 = x 0 g(x 0) g (x 0 )

5 Iterationsformel (Newton) x k+1 = x k g(x k) g (x k ), g (x k ) 0, k = 0, 1,... Beispiel: g(x) = x 2 2 x 0 = x 0 x = x 1 = x 1 x = x 2 = x 2 x = x 3 = x 3 x = x 4 = x 4 x = x 5 = x 5 x = Quadratische Konvergenz: C 0 : x k+1 x C x k x 2, k = 0, 1,... δ > 0, so dass x 0 x < δ = Konvergenz gegen x. Sei x 0 x < δ := 1 2C = x 1 x C x 0 x 2 = C x 0 x }{{} < 1 2 x 0 x < 1 2 x 0 x Ist die Newton-Methode quadratisch konvergent? 5

6 Annahmen: g(x) ist zweimal stetig differenzierbar, x ist eine einfache Wurzel, d.h. g (x ) 0 gilt. x k+1 x = x k g(x k) g (x k ) x = 1 = g (x k ) g(x ) (g(x }{{} k ) + g (x k )(x x k )) =0! Beschränkt, wenn x k genügend nahe an x liegt (g (x ) 0!). = 1 2 g ( x) }{{} x k x 2 Auf endlichen Intervallen beschränkt. δ > 0, C 0 so dass x k x < δ = x k+1 x C x k x 2. Lokale quadratische Konvergenz. 6

7 Ist die Newton-Methode auch global konvergent? Beispiel: Konvergenz: g(x) = arctan x newton17.nb newton17.nb Affenkäfig : Divergenz: newton17.nb

8 LINEARE GLEICHUNGSSYSTEME G(x) = A x + b, A n n Matrix, b, x IR n. Gesucht ist eine Lösung x von G(x) = 0 d.h. A x + b = 0. Annahme: A ist regulär (nichtsingulär) Eindeutige Lösung: x = A 1 b. Berechnung von x : Endliche numerische Verfahren vorhanden. 8

9 NICHTLINEARE GLEICHUNGSSYSTEME G(x) = g 1 (x). g n (x), x IR n, g i (x) einmal stetig differenzierbar, i. Gesucht ist eine Lösung x von G(x) = 0 d.h. g 1 (x) = 0. g n (x) = 0 Bezeichnung: H(x) = g 1 (x) x g n (x) x 1... g 1 (x) x n. g n (x) x n Jacobi-Matrix. Sei x 0 IR n, H(x 0 ) regulär. Idee: Linearisierung G(x) G(x 0 )+H(x 0 ) (x x 0 ) (Taylor). G(x 0 ) + H(x 0 ) (x x 0 ) = 0 x 1 = x 0 H(x 0 ) 1 G(x 0 ) 9

10 Iterationsformel (Newton) x k+1 = x k H(x k ) 1 G(x k ), H(x k ) regulär, k = 0, 1,... Lokale quadratische Konvergenz Voraussetzungen G(x) ist zweimal stetig differenzierbar, Die Jacobi-Matrix H(x ) ist regulär. δ > 0, C 0, so dass x 0 x < δ = x k+1 x C x k x 2 k. Arbeitsaufwand pro Iteration: oder Lösung des Gleichungssystems Berechnung von H(x k ) 1 G(x k ) + H(x k ) (x x k ) = 0. 10

11 FREIE OPTIMIERUNG min f(x) x IR n f konvex, zweimal stetig differenzierbar. Gesucht ist eine Lösung x : newton1.nb f(x ) f(x), x IR n. Konvexität: f( x) + T f( x)(x x) f(x), x IR n, x IR n. f( x) = 0 = x ist eine Lösung des freien Optimierungsproblems. Die umgekehrte Implikation gilt auch ohne die Konvexitätsvoraussetzung. 11

12 x ist eine Lösung des freien Optimierungsproblems x ist eine Lösung des nichtlinearen Gleichungssystems G(x) = 0 mit G(x) = f(x). Die Jacobi Matrix von G(x): H(x) = 2 f(x) x 1 x f(x) x n x f(x) x 1 x n. 2 f(x) x n x n Hesse-Matrix von f(x). Iterationsformel (Newton) x k+1 = x k H(x k ) 1 f(x k ), H(x k ) regulär, k = 0, 1,... Linearisierung von f(x) quadratische Approximation von f(x). f(x) f(x k ) + T f(x k )(x x k ) (x x k) T H(x k )(x x k ) 12

13 NEWTON-METHODE Vorteile Nachteile Wenn H(x ) regulär = Keine globale Konvergenz lokale quadratische Konvergenz. vorhanden. Speziell für eine quadratische H(x k ) muss berechnet Zielfunktion x T Qx + c T x, werden, k. mit Q symmetrisch und positiv H(x k ) muss regulär definit ist, wird die Lösung in einer sein, k. einzigen Iteration gefunden. Ein Gleichungssystem muss gelöst bzw. H(x k ) muss invertiert werden, k. 13

14 EINE GLOBAL KONVERGENTE VARIANTE (Gedämpfte Newton-Methode) Voraussetzung: H(x) ist positiv definit x IR n, d.h. u T H(x)u > 0 u IR n, u 0. Schritt 0. (Initialisierung) x 0 IR n ; k := 0; ɛ > 0; Schritt 1. (Optimalitätstest) f(x k ) < ɛ STOP; Schritt 2. (Suchrichtung) d k = H(x k ) 1 f(x k ); Schritt 3. (Strahlenminimierung) f(x k + λ k d k ) = min λ 0 f(x k + λd k ); x k+1 := x k + λ k d k ; k := k + 1; GOTO 1; f(x k ) 0 T f(x k )d k = T f(x k )H(x k ) 1 f(x k ) < 0, d.h. d k ist eine Abstiegsrichtung = λ k > 0. 14

15 Strahlenminimierung 15

16 QUASI-NEWTON-METHODEN Voraussetzung: H(x ) ist positiv definit. Schritt 0. (Initialisierung) x 0 IR n ; k := 0; ɛ > 0; S 0 ist eine symmetrische, positiv definite Matrix; Schritt 1. (Optimalitätstest) f(x k ) < ɛ STOP; Schritt 2. (Suchrichtung) d k = S k f(x k ); Schritt 3. (Strahlenminimierung) f(x k + λ k d k ) = min λ 0 f(x k + λd k ); x k+1 := x k + λ k d k ; Schritt 4. (Aufdatierung von S k ): Berechne S k+1 symmetrisch, positiv definit; k := k + 1; GOTO 1; S k = I, k: Cauchy Methode des steilsten Abstieges, S k = H 1 (x k ), k: gedämpfte Newton-Methode. 16

17 Betrachten wir x k und x k+1 und linearisieren wir f(x) in x k+1. f(x k ) f(x k+1 ) + H(x k+1 )(x k x k+1 ) H(x k+1 )(x k+1 x k ) f(x k+1 ) f(x k ) Der eindimensionale Fall: (Differenzenquotient). f (x k+1 ) f (x k+1 ) f (x k ) x k+1 x k x k+1 x k H(x k ) 1 ( f(x k+1 ) f(x k )) Idee: Quasi-Newton-Gleichung zur Aufdatierung von S k : x k+1 x k = S k+1 ( f(x k+1 ) f(x k )) (QN) 17

18 x k+1 x k = S k+1 ( f(x k+1 ) f(x k )), k = 0, 1,... (QN) Bezeichnungen: x k = x k+1 x k g k = f(x k+1 ) f(x k ) x k = S k+1 g k, k = 0, 1,... (QN) Aufdatierung von S k : S k+1 = S k + D k Davidon-Fletcher-Powell (DFP) Formel S k+1 = S k + x k x T k x T k g k S k g k g T k S k g T k S k g k Die (QN) Gleichung ist erfüllt: S k+1 g k = S k g k + x k = x k. {}}{ x T k g k x T k g k }{{} S k g k {}}{ g T k S k g k g T k S k g k }{{} 18

19 S k+1 = S k + x k x T k x T k g k }{{} Die Nenner in der Formel sind positiv. S k g k g T k S k g T k S k g k }{{} x T k g k = x T k ( f(x k+1 ) f(x k )) = = x T k f(x k+1 ) x T k f(x k ) = = λ k d T k f(x k+1 ) λ k d T k f(x k ) = Strahlenminimierung: = λ k d T k f(x k+1 ) }{{} =0 + λ k T f(x k ) S k f(x k ) }{{} >0 f(x k+1 ) = min λ 0 f(x k + λd k ); x k+1 = x k + λ k d k und λ k > 0 x T k g k > 0 = g k 0 = g T k S k g k > 0 19

20 S k+1 = S k + x k x T k x T k g k S k g k g T k S k g T k S k g k S k symmetrisch, positiv definit = S k+1 symmetrisch, positiv definit Sei u 0, u T S k+1 u = u T S k u }{{} >0 Schwarz sche Ungleichung: + ( xt k u) 2 x T k g k }{{} 0 ( gt k S k u) 2 g T k S k g k g k S k u = g k S 1 2 k S 1 2 k u S 1 2 k g k S 1 2 k u mit Gleichung Folglich ν 0 : S 1 2 k u = ν S 1 2 k g k u = ν g k ( g k S k u) 2 S 1 2 k g k 2 S 1 2 k u 2 = ( g T k S k g k ) (u T S k u) u T S k+1 u u T S k u + ( xt k u) 2 x T k g k u T S k u 0 Der Gleichungsfall: ( x k u) 2 = ν 2 ( x T k g k ) 2 > 0 20

21 Powell: Annahmen: f(x) ist zweimal stetig differenzierbar f(x) ist stark konvex, d.h. α > 0 : u T H(x)u α u 2 x IR n u IR n Daraus folgt: Die DFP Methode ist global konvergent; es gilt x k+1 x µ k x k x wo µ k 0 (k ). Superlineare Konvergenz. Nebenbedingungen Innnere-Punkt Verfahren. 21

22 Die Broyden-Familie von Aufdatierungsformeln wo S k+1 = S k + x k x T k x T k g k S k g k g T k S k g T k S k g k v k = x k x T k g k S k g k g T k S k g k + β v k v T k Spezialfälle: β = 0 : DFP Formel, β = g T k S k g k : Broyden-Fletcher-Goldfarb-Shanno (BFGS) Formel. 22

Ähnliche Dokumente

Optimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn

Optimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn Optimierung Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 1 Newton Verfahren Taylor Approximation 1. Ordnung von Newton Verfahren! 0 Setze 0und berechne Löse lineares Gleichungssystem für : 2