Optimierung für Nichtmathematiker

Transkript

1 Optimierung für Nichtmathematiker Prof. Dr. R. Herzog WS2/ /

2 Inhaltsübersicht 3Einführung in die freie Optimierung 4Orakel und Modellfunktionen 5Optimalitätsbedingungen der freien Optimierung 6Das Newton-Verfahren in der freien Optimierung 7Line-Search-Verfahren 8Gradienten-Verfahren und Skalierung 9Quasi-Newton-Verfahren Vorlesung 4 II Freie Optimierung 2 / 47

3 Line-Search-Verfahren Schematischer Ablauf von Line-Search-Verfahren:. Rufe das Orakel für x (k) auf f k, f k, (vielleicht auch 2 f k ). 2. Ist f k klein genug, STOP. 3. Abstiegsrichtung: Wähle h (k) R n mit fk T h(k) <. 4. Line-Search: Finde eine Schrittweite α k mit f (x (k) + α k h (k) ) ausreichend kleiner als f k 5. Setze x (k+) := x (k) + α k h (k), k k +, gehe zu. Zwei Hauptaufgaben: Bestimmung einer Abstiegsrichtung Bestimmung einer Schrittweite (Line-Search) Vorlesung 4 II Freie Optimierung 3 / 47

4 Abstiegsrichtung (für x mit f ( x) ) Eine Richtung h R n heißt Abstiegsrichtung für f in x, falls f ( x) T h <. Vorlesung 4 II Freie Optimierung 4 / 47

5 Abstiegsrichtung (für x mit f ( x) ) Eine Richtung h R n heißt Abstiegsrichtung für f in x, falls f ( x) T h <. Die meisten Algorithmen benutzen ein B und bestimmen h als h := B f ( x), denn f ( x) T h = f ( x) T B f ( x) <. }{{} > Beispiele (s. später zu Vor- und Nachteilen): B = I : steilster Abstieg h = f ( x) (steepest descent). B = 2 f ( x): Newton-Richtung (ist Abstiegsrichtung, falls 2 f ( x) ) B = [ 2 f ( x) + λi ] : modifizierte Newton-Richtung B als Approximation von 2 f ( x): Quasi-Newton-Richtung Vorlesung 4 II Freie Optimierung 5 / 47

6 Abstiegsrichtung (für x mit f ( x) ) Eine Richtung h R n heißt Abstiegsrichtung für f in x, falls f ( x) T h <. Die meisten Algorithmen benutzen ein B und bestimmen h als h := B f ( x), denn f ( x) T h = f ( x) T B f ( x) <. }{{} > Beispiele (s. später zu Vor- und Nachteilen): B = I : steilster Abstieg h = f ( x) (steepest descent). B = 2 f ( x): Newton-Richtung (ist Abstiegsrichtung, falls 2 f ( x) ) B = [ 2 f ( x) + λi ] : modifizierte Newton-Richtung B als Approximation von 2 f ( x): Quasi-Newton-Richtung Für globale Konvergenz der Line-Search-Verfahren ist nur wichtig, dass die Richtungen nicht orthogonal zur steilsten Abstiegsrichtung werden: δ > : f T k h (k) f k = cos ( f h (k) k, h (k) ) δ > für k >. Das ist erfüllt, falls λmax(b k ) λ min (B k ) < κ für ein κ > bleibt, als z.b. für B k I für B k = 2 f k in der Nähe von x unter den Vor. des Newton-Satzes. Vorlesung 4 II Freie Optimierung 6 / 47

7 Line-Search für Abstiegsrichtung h Bestimme Schrittweite ᾱ als Näherung zu min α Φ(α) := f ( x + αh). Berechnung von ᾱ Argmin α Φ(α) (exakter Line-Search) wäre sinnlos aufwendig, da die Richtung h meist weit am Optimum vorbeiführt. Φ () f(x) =Φ() Φ= f(x+ αh) x α Vorlesung 4 II Freie Optimierung 7 / 47

8 Line-Search für Abstiegsrichtung h Bestimme Schrittweite ᾱ als Näherung zu min α Φ(α) := f ( x + αh). Berechnung von ᾱ Argmin α Φ(α) (exakter Line-Search) wäre sinnlos aufwendig, da die Richtung h meist weit am Optimum vorbeiführt. Anfangs sehr wenig Information: Φ() = f ( x), Ableitung Φ () = f ( x) T h Φ () f(x) =Φ() Φ= f(x+ αh) x α Vorlesung 4 II Freie Optimierung 8 / 47

9 Line-Search für Abstiegsrichtung h Bestimme Schrittweite ᾱ als Näherung zu min α Φ(α) := f ( x + αh). Berechnung von ᾱ Argmin α Φ(α) (exakter Line-Search) wäre sinnlos aufwendig, da die Richtung h meist weit am Optimum vorbeiführt. Anfangs sehr wenig Information: Φ() = f ( x), Ableitung Φ () = f ( x) T h Ein ᾱ mit ausreichendem Abstieg (sufficient decrease) erfüllt:. Mindestanteil < γ < an dem durch Φ () versprochenen Abstieg: Φ(ᾱ) Φ() + ᾱ γ Φ () (Armijo-Bedingung) [für kleine α erfüllt] Φ () f(x) =Φ() Φ= f(x+ αh) Armijo Φ()+αγ Φ () x α Vorlesung 4 II Freie Optimierung 9 / 47

10 Line-Search für Abstiegsrichtung h Bestimme Schrittweite ᾱ als Näherung zu min α Φ(α) := f ( x + αh). Berechnung von ᾱ Argmin α Φ(α) (exakter Line-Search) wäre sinnlos aufwendig, da die Richtung h meist weit am Optimum vorbeiführt. Anfangs sehr wenig Information: Φ() = f ( x), Ableitung Φ () = f ( x) T h Ein ᾱ mit ausreichendem Abstieg (sufficient decrease) erfüllt:. Mindestanteil < γ < an dem durch Φ () versprochenen Abstieg: Φ(ᾱ) Φ() + ᾱ γ Φ () (Armijo-Bedingung) [für kleine α erfüllt] Φ () f(x) =Φ() Φ= f(x+ αh) Armijo Φ()+αγ Φ () x ( ] [ ] α Vorlesung 4 II Freie Optimierung / 47

11 Line-Search für Abstiegsrichtung h Bestimme Schrittweite ᾱ als Näherung zu min α Φ(α) := f ( x + αh). Berechnung von ᾱ Argmin α Φ(α) (exakter Line-Search) wäre sinnlos aufwendig, da die Richtung h meist weit am Optimum vorbeiführt. Anfangs sehr wenig Information: Φ() = f ( x), Ableitung Φ () = f ( x) T h Ein ᾱ mit ausreichendem Abstieg (sufficient decrease) erfüllt:. Mindestanteil < γ < an dem durch Φ () versprochenen Abstieg: Φ(ᾱ) Φ() + ᾱ γ Φ () (Armijo-Bedingung) [für kleine α erfüllt] 2. An der Stelle ᾱ ist der Abstieg Φ schlecht ( < γ < γ 2 < ): Φ (ᾱ) γ 2 Φ () (Krümmungs-Bedingung) [ f T h stark geändert] Φ () f(x) =Φ() Φ= f(x+ αh) Krümmung γ 2Φ () Armijo Φ()+αγ Φ () x ( ] [ ] α [ ] [ ] [ Vorlesung 4 II Freie Optimierung / 47

12 Line-Search für Abstiegsrichtung h Bestimme Schrittweite ᾱ als Näherung zu min α Φ(α) := f ( x + αh). Berechnung von ᾱ Argmin α Φ(α) (exakter Line-Search) wäre sinnlos aufwendig, da die Richtung h meist weit am Optimum vorbeiführt. Anfangs sehr wenig Information: Φ() = f ( x), Ableitung Φ () = f ( x) T h Ein ᾱ mit ausreichendem Abstieg (sufficient decrease) erfüllt:. Mindestanteil < γ < an dem durch Φ () versprochenen Abstieg: Φ(ᾱ) Φ() + ᾱ γ Φ () (Armijo-Bedingung) [für kleine α erfüllt] 2. An der Stelle ᾱ ist der Abstieg Φ schlecht ( < γ < γ 2 < ): Φ (ᾱ) γ 2 Φ () (Krümmungs-Bedingung) [ f T h stark geändert] Φ () f(x) =Φ() Φ= f(x+ αh) Krümmung γ 2Φ () Armijo Φ()+αγ Φ () Wolfe x [ ] [ ] [ ] ( [ α [ ] [ ] [ Armijo- und Krümmungs- Bedingung gemeinsam heißen Wolfe-Bedingungen. Schrittweiten, die diese erfüllen, garantieren ausreichenden Abstieg. [γ = 4, γ 2 {.,.9}] Vorlesung 4 II Freie Optimierung 2 / 47

13 Wolfe-Bedingungen und globale Konvergenz Für <γ < γ 2 < erfüllt Schrittweite α k die Wolfe-Bedingungen, wenn f (x (k) + α k h (k) ) f k + α k γ fk T h(k) f (x (k) + α k h (k) ) T h (k) γ 2 fk T h(k) (Armijo) (Krümmung) Armijo sichert Abstieg, Krümmung eine Mindestschrittweite, falls f Lipschitz-stetig ist. Beides ist mit einem Orakel. Ordnung überprüfbar. Solche Schrittweiten gibt es immer, wenn f nach unten beschränkt ist. Vorlesung 4 II Freie Optimierung 3 / 47

14 Wolfe-Bedingungen und globale Konvergenz Für <γ < γ 2 < erfüllt Schrittweite α k die Wolfe-Bedingungen, wenn f (x (k) + α k h (k) ) f k + α k γ fk T h(k) f (x (k) + α k h (k) ) T h (k) γ 2 fk T h(k) (Armijo) (Krümmung) Armijo sichert Abstieg, Krümmung eine Mindestschrittweite, falls f Lipschitz-stetig ist. Beides ist mit einem Orakel. Ordnung überprüfbar. Solche Schrittweiten gibt es immer, wenn f nach unten beschränkt ist. Satz (Globale Konvergenz von Line-Search-Verfahren) Sei f nach unten beschränkt. Für den Startpunkt x () sei f auf der Niveaumenge {x R n : f (x) < f } Lipschitz-stetig. Garantiert ein Line-Search-Verfahren f T k h(k) f k h (k) δ für ein δ > sowie die Wolfe-Bedingungen für die Schrittweiten α k, dann gilt f k. Vorlesung 4 II Freie Optimierung 4 / 47

15 Wolfe-Bedingungen und globale Konvergenz Für <γ < γ 2 < erfüllt Schrittweite α k die Wolfe-Bedingungen, wenn f (x (k) + α k h (k) ) f k + α k γ fk T h(k) f (x (k) + α k h (k) ) T h (k) γ 2 fk T h(k) (Armijo) (Krümmung) Armijo sichert Abstieg, Krümmung eine Mindestschrittweite, falls f Lipschitz-stetig ist. Beides ist mit einem Orakel. Ordnung überprüfbar. Solche Schrittweiten gibt es immer, wenn f nach unten beschränkt ist. Satz (Globale Konvergenz von Line-Search-Verfahren) Sei f nach unten beschränkt. Für den Startpunkt x () sei f auf der Niveaumenge {x R n : f (x) < f } Lipschitz-stetig. Garantiert ein Line-Search-Verfahren f T k h(k) f k h (k) δ für ein δ > sowie die Wolfe-Bedingungen für die Schrittweiten α k, dann gilt f k. Vorsicht: Man hofft auf Konvergenz gegen ein Minimum, aber sowohl x (k) als auch Konvergenz gegen einen Sattelpunkt sind nicht ausgeschlossen! Vorlesung 4 II Freie Optimierung 5 / 47

16 Bestimmung der Schrittweite in der Praxis Ziel ist, mit möglichst wenig Funktionsauswertungen einen Wolfepunkt zu finden. Die vorhergehende Schrittweite dient meist als Startwert, beim allerersten Mal nutzt man gerne α = h. Der nächsten Kandidat wird z.b. über kubische Interpolation, die neue und alte Funktionswerte und Ableitungen nutzt, bestimmt. Jeder Fehl-Versuch erlaubt, das Suchintervall zu verkleinern. Eine solide und effiziente Implementation, die auch mit numerischen Schwierigkeiten umgehen kann, ist sehr schwer und aufwendig. Entscheidend für den Erfolg ist vor allem die Schrittrichtung! AUSNAHME: Für Newton-ähnliche Richtungen wird immer Schrittweite zuerst probiert und nur auf Armijo getestet. Solange Armijo nicht erfüllt ist, reduziert man die Schrittweite (durch Interpolation oder einfaches Backtracking, d.h., Multiplikation der Schrittweite mit einem Faktor < σ < ). Vorlesung 4 II Freie Optimierung 6 / 47

18 Skalierung Bei Verfahren. Ordnung (nur Gradient) hat die Skalierung der Variablen (z.b. ob Daten in Metern oder Millimetern gegeben sind) großen Einfluss auf das Konvergenzverhalten und ist kaum vernünftig anpassbar. Das Newtonverfahren (nutzt Informationen 2. Ordnung von f ) ist jedoch skalierungsunabhängig! Beispiel: f (x) = 2 x T Q x + q T x + c, f (x) = Q x + q, 2 f (x) = Q exakter Line-Search für Abstiegsrichtung h = B f ( x) in x (B ): Φ(α) = 2 x T Q x + q T x + c + α f ( x) T h + α2 2 ht Q h Φ (α) = f ( x) T h + αh T Q h = ᾱ = f T h h T Q h Vorlesung 4 II Freie Optimierung 8 / 47

19 f Skalierung Bei Verfahren. Ordnung (nur Gradient) hat die Skalierung der Variablen (z.b. ob Daten in Metern oder Millimetern gegeben sind) großen Einfluss auf das Konvergenzverhalten und ist kaum vernünftig anpassbar. Das Newtonverfahren (nutzt Informationen 2. Ordnung von f ) ist jedoch skalierungsunabhängig! Beispiel: f (x) = 2 x T Q x + q T x + c, f (x) = Q x + q, 2 f (x) = Q exakter Line-Search für Abstiegsrichtung h = B f ( x) in x (B ): Φ(α) = 2 x T Q x + q T x + c + α f ( x) T h + α2 2 ht Q h Φ (α) = f ( x) T h + αh T Q h = ᾱ = f T h h T Q h Ideal[ skaliert ](Q = I ): Q =, q =, c = [ ] x () [ ] Startpunkt.9 x () =.9 2 Steilster Abstieg (B = I ): h = f, ᾱ = h 2 y Steilster Abstieg, Schritt h T Qh =.5.5 x Vorlesung 4 II Freie Optimierung 9 / y.5.5 x.5

20 f Skalierung Bei Verfahren. Ordnung (nur Gradient) hat die Skalierung der Variablen (z.b. ob Daten in Metern oder Millimetern gegeben sind) großen Einfluss auf das Konvergenzverhalten und ist kaum vernünftig anpassbar. Das Newtonverfahren (nutzt Informationen 2. Ordnung von f ) ist jedoch skalierungsunabhängig! Beispiel: f (x) = 2 x T Q x + q T x + c, f (x) = Q x + q, 2 f (x) = Q exakter Line-Search für Abstiegsrichtung h = B f ( x) in x (B ): Φ(α) = 2 x T Q x + q T x + c + α f ( x) T h + α2 2 ht Q h Φ (α) = f ( x) T h + αh T Q h = ᾱ = f T h h T Q h Ideal[ skaliert ](Q = I ): Q =, q =, c = [ ] x () [ ] Startpunkt.9 x () =.9 2 Newton (B = Q): h = Q f, ᾱ= f T Q f = f T Q f y Newton, Schritt.5.5 x Vorlesung 4 II Freie Optimierung 2 / y.5.5 x.5

21 f Skalierung Bei Verfahren. Ordnung (nur Gradient) hat die Skalierung der Variablen (z.b. ob Daten in Metern oder Millimetern gegeben sind) großen Einfluss auf das Konvergenzverhalten und ist kaum vernünftig anpassbar. Das Newtonverfahren (nutzt Informationen 2. Ordnung von f ) ist jedoch skalierungsunabhängig! Beispiel: f (x) = 2 x T Q x + q T x + c, f (x) = Q x + q, 2 f (x) = Q exakter Line-Search für Abstiegsrichtung h = B f ( x) in x (B ): Φ(α) = 2 x T Q x + q T x + c + α f ( x) T h + α2 2 ht Q h Φ (α) = f ( x) T h + αh T Q h = ᾱ = f T h h T Q h Noch gut skaliert! ] (x = 3 x ): 3 2 Q =[, q =, c = [ ] x () [ ] Startpunkt.3 x () =.9 2 Steilster Abstieg (B = I ): h = f, ᾱ = h 2 y Steilster Abstieg, Schritt.5.5 h T Qh e x Vorlesung 4 II Freie Optimierung 2 / y x

22 f Skalierung Bei Verfahren. Ordnung (nur Gradient) hat die Skalierung der Variablen (z.b. ob Daten in Metern oder Millimetern gegeben sind) großen Einfluss auf das Konvergenzverhalten und ist kaum vernünftig anpassbar. Das Newtonverfahren (nutzt Informationen 2. Ordnung von f ) ist jedoch skalierungsunabhängig! Beispiel: f (x) = 2 x T Q x + q T x + c, f (x) = Q x + q, 2 f (x) = Q exakter Line-Search für Abstiegsrichtung h = B f ( x) in x (B ): Φ(α) = 2 x T Q x + q T x + c + α f ( x) T h + α2 2 ht Q h Φ (α) = f ( x) T h + αh T Q h = ᾱ = f T h h T Q h Noch gut skaliert! ] (x = 3 x ): 3 2 Q =[, q =, c = [ ] x () [ ] Startpunkt.3 x () =.9 2 Steilster Abstieg (B = I ): h = f, ᾱ = h 2 y Steilster Abstieg, Schritt h T Qh e x Vorlesung 4 II Freie Optimierung 22 / y x

29 f Skalierung Bei Verfahren. Ordnung (nur Gradient) hat die Skalierung der Variablen (z.b. ob Daten in Metern oder Millimetern gegeben sind) großen Einfluss auf das Konvergenzverhalten und ist kaum vernünftig anpassbar. Das Newtonverfahren (nutzt Informationen 2. Ordnung von f ) ist jedoch skalierungsunabhängig! Beispiel: f (x) = 2 x T Q x + q T x + c, f (x) = Q x + q, 2 f (x) = Q exakter Line-Search für Abstiegsrichtung h = B f ( x) in x (B ): Φ(α) = 2 x T Q x + q T x + c + α f ( x) T h + α2 2 ht Q h Φ (α) = f ( x) T h + αh T Q h = ᾱ = f T h h T Q h Noch gut skaliert! ] (x = 3 x ): Q =[, q =, c =.6.4 [ ] x () [ ].2 Startpunkt.3 x () = Newton (B = Q):.6.8 h = Q f, ᾱ= f T Q e f = x y Newton, Schritt.5.5 f T Q e f Vorlesung 4 II Freie Optimierung 29 / y x

30 Steilster Abstieg konvergiert SEHR langsam Ein Verfahren konvergiert linear gegen x, wenn es eine Konstante < γ < gibt mit x k+ x γ x k x. Satz Für f (x) = 2 x T Qx + q T x + c mit Q und exaktem Line-Search konvergiert das Verfahren des steilsten Abstiegs im Allgemeinen linear mit Konstante γ = λmax(q) λ min(q) λ max(q)+λ min (Q). Für λ max λ min (die Niveaumengen sind ganz schmale Ellipsen) ist γ und man sieht kaum Fortschritte im Verfahren. Vorlesung 4 II Freie Optimierung 3 / 47

31 Steilster Abstieg konvergiert SEHR langsam Ein Verfahren konvergiert linear gegen x, wenn es eine Konstante < γ < gibt mit x k+ x γ x k x. Satz Für f (x) = 2 x T Qx + q T x + c mit Q und exaktem Line-Search konvergiert das Verfahren des steilsten Abstiegs im Allgemeinen linear mit Konstante γ = λmax(q) λ min(q) λ max(q)+λ min (Q). Für λ max λ min (die Niveaumengen sind ganz schmale Ellipsen) ist γ und man sieht kaum Fortschritte im Verfahren. In der Nähe eines Optimums mit hinreichenden Optimalitätsbedingungen 2. Ordnung ist die Funktion annähernd quadratisch streng konvex. Verf. des steilsten Abstiegs konvergiert am Ende fast immer schlecht Newton konvergiert am Ende fast immer hervorragend Vorlesung 4 II Freie Optimierung 3 / 47

32 Steilster Abstieg konvergiert SEHR langsam Ein Verfahren konvergiert linear gegen x, wenn es eine Konstante < γ < gibt mit x k+ x γ x k x. Satz Für f (x) = 2 x T Qx + q T x + c mit Q und exaktem Line-Search konvergiert das Verfahren des steilsten Abstiegs im Allgemeinen linear mit Konstante γ = λmax(q) λ min(q) λ max(q)+λ min (Q). Für λ max λ min (die Niveaumengen sind ganz schmale Ellipsen) ist γ und man sieht kaum Fortschritte im Verfahren. In der Nähe eines Optimums mit hinreichenden Optimalitätsbedingungen 2. Ordnung ist die Funktion annähernd quadratisch streng konvex. Verf. des steilsten Abstiegs konvergiert am Ende fast immer schlecht Newton konvergiert am Ende fast immer hervorragend Da für große n jede Iteration des Newton-Verfahrens wegen der Berechnung von 2 f und ( 2 f ) f sehr aufwendig ist, versucht man, 2 f oder ( 2 f ) sukzessive aus den Werten von f zu approximieren. Vorlesung 4 II Freie Optimierung 32 / 47

34 Quasi-Newton-Verfahren Ein Verfahren konvergiert superlinear gegen x, falls lim k x (k+) x x (k) x =. (Der Quotient wird kleiner als jede Konstante der linearen Konvergenz.) Satz Konvergiert die durch x (k+) = x (k) + h (k) erzeugte Folge gegen ein x, das die hinreichenden Opt.-Bed. erfüllt, so ist die Konvergenz superlinear genau dann, wenn die Schrittrichtung h (k) sich schneller der Newton- Richtung h (k) N annähert, als sie klein wird: h(k) h (k) N = o( h(k) ). Vorlesung 4 II Freie Optimierung 34 / 47

35 Quasi-Newton-Verfahren Superlineare Konvergenz erfordert also wenigstens eine Approximation der Newton-Richtung h N = ( 2 f ) f. Zur Erinnerung: ein allgemeines Line-Search-Verfahren verwendet h = B f. Es sollte also B also die Hessematrix 2 f nachbauen. Diese erfüllt f (x + h) = f (x) + 2 f (x)h + o( h ). [Taylor] Vorlesung 4 II Freie Optimierung 35 / 47

36 Quasi-Newton-Verfahren Forderungen an B k+ : B k+, damit h (k+) = B k+ f k+ eine Abstiegsrichtung ist Vorlesung 4 II Freie Optimierung 36 / 47

37 Quasi-Newton-Verfahren Forderungen an B k+ : B k+, damit h (k+) = B k+ f k+ eine Abstiegsrichtung ist Das quadratische Modell im neuen Punkt x (k+) m k+ (h) := f k+ + f T k+h + 2 ht B k+ h sollte am alten Punkt x k den Gradienten f k gut approximieren: f k = h m k+ (x (k) x (k+) ) Vorlesung 4 II Freie Optimierung 37 / 47

38 Quasi-Newton-Verfahren Forderungen an B k+ : B k+, damit h (k+) = B k+ f k+ eine Abstiegsrichtung ist Das quadratische Modell im neuen Punkt x (k+) m k+ (h) := f k+ + f T k+h + 2 ht B k+ h sollte am alten Punkt x k den Gradienten f k gut approximieren: f k = h m k+ (x (k) x (k+) ) = f k+ + B k+ (x (k) x (k+) ) Vorlesung 4 II Freie Optimierung 38 / 47

39 Quasi-Newton-Verfahren Forderungen an B k+ : B k+, damit h (k+) = B k+ f k+ eine Abstiegsrichtung ist Das quadratische Modell im neuen Punkt x (k+) m k+ (h) := f k+ + f T k+h + 2 ht B k+ h sollte am alten Punkt x k den Gradienten f k gut approximieren: f k = h m k+ (x (k) x (k+) ) = f k+ + B k+ (x (k) x (k+) ) Dies führt auf die Sekanten-Gleichung als Bauanleitung für B k+. B k+ (x (k+) x (k) ) = f k+ f k Vorlesung 4 II Freie Optimierung 39 / 47

40 Quasi-Newton-Verfahren Forderungen an B k+ : B k+, damit h (k+) = B k+ f k+ eine Abstiegsrichtung ist Das quadratische Modell im neuen Punkt x (k+) m k+ (h) := f k+ + f T k+h + 2 ht B k+ h sollte am alten Punkt x k den Gradienten f k gut approximieren: f k = h m k+ (x (k) x (k+) ) = f k+ + B k+ (x (k) x (k+) ) Dies führt auf die Sekanten-Gleichung B k+ (x (k+) x (k) ) = f k+ f k als Bauanleitung für B k+. Vergleiche: Die optimale (aber aufwendige) Wahl B k+ = 2 f k+ erfüllt 2 f k+ (x (k+) x (k) ) = f k+ f k + o( x (k+) x (k) ). Vorlesung 4 II Freie Optimierung 4 / 47

41 Quasi-Newton mit BFGS-Update Wegen der Sekanten-Gleichung, der Forderung B k+ und x (k+) = x (k) + α k h (k) muss < α 2 k(h (k) ) T B k+ h (k) = α ( f k+ f k ) T h (k) gelten. Das garantiert die Krümmung in den Wolfe-Bedingungen: α k [ f T k+h (k) f T k h (k) ] > α k (γ 2 ) }{{} < f T k h (k) } {{ } < >. Vorlesung 4 II Freie Optimierung 4 / 47

42 Quasi-Newton mit BFGS-Update Wegen der Sekanten-Gleichung, der Forderung B k+ und x (k+) = x (k) + α k h (k) muss < α 2 k(h (k) ) T B k+ h (k) = α ( f k+ f k ) T h (k) gelten. Das garantiert die Krümmung in den Wolfe-Bedingungen: α k [ f T k+h (k) f T k h (k) ] > α k (γ 2 ) }{{} < f T k h (k) } {{ } < >. Da wir h (k+) = B k+ f k+ benötigen, ist es günstiger, gleich die Inverse H k+ := B k+ zu verwenden. Die Matrix H k+ mit H k+ ( f k+ f k ) = x (k+) x (k), die sich gegenüber H k in geeigneter Norm am wenigsten ändert, erhält man durch die Rang-2-Korrektur von Broyden, Fletcher, Goldfarb und Shanno: H k+ := (I sk T y s k yk T ) H k (I k sk T y y k sk T ) + k sk T y s k sk T k wobei s k := x (k+) x (k), y k := f k+ f k. Vorlesung 4 II Freie Optimierung 42 / 47

43 Quasi-Newton mit BFGS-Update Wegen der Sekanten-Gleichung, der Forderung B k+ und x (k+) = x (k) + α k h (k) muss < α 2 k(h (k) ) T B k+ h (k) = α ( f k+ f k ) T h (k) [=: y T k s k ] gelten. Das garantiert die Krümmung in den Wolfe-Bedingungen: α k [ f T k+h (k) f T k h (k) ] > α k (γ 2 ) }{{} < f T k h (k) } {{ } < >. Da wir h (k+) = B k+ f k+ benötigen, ist es günstiger, gleich die Inverse H k+ := B k+ zu verwenden. Die Matrix H k+ mit H k+ ( f k+ f k ) = x (k+) x (k), die sich gegenüber H k in geeigneter Norm am wenigsten ändert, erhält man durch die Rang-2-Korrektur von Broyden, Fletcher, Goldfarb und Shanno: H k+ := (I sk T y s k yk T ) H k (I k sk T y y k sk T ) + k sk T y s k sk T k wobei s k := x (k+) x (k), y k := f k+ f k. Vorlesung 4 II Freie Optimierung 43 / 47

44 Quasi-Newton mit BFGS-Update H k und die Wolfe-Bedingungen in der Liniensuche garantieren H k+. Man startet mit H = 2 f (falls ) oder H = f I. Für große n bildet man H k nicht explizit, sondern speichert nur die letzten k Paare (s k, y k ) für ein festes k N (limited memory BFGS). Vorlesung 4 II Freie Optimierung 44 / 47

45 Quasi-Newton mit BFGS-Update Man kann zeigen: Für eine streng konvexe quadratische Funktion bilden die BFGS-Matrizen H k eine zunehmend bessere Approximation von 2 f. Das Line-Search-Verfahren mit BFGS-Richtung und Wolfe-Bedingungen in der Liniensuche konvergiert superlinear. Vorlesung 4 II Freie Optimierung 45 / 47

46 Quasi-Newton mit BFGS-Update Man kann zeigen: Für eine streng konvexe quadratische Funktion bilden die BFGS-Matrizen H k eine zunehmend bessere Approximation von 2 f. Das Line-Search-Verfahren mit BFGS-Richtung und Wolfe-Bedingungen in der Liniensuche konvergiert superlinear. In der Nähe eines x, das die hinreichenden Optimalitätsbedingungen 2. Ordnung erfüllt, ist ein hinreichend glattes f annähernd streng konvex und quadratisch. Vorlesung 4 II Freie Optimierung 46 / 47

47 Quasi-Newton mit BFGS-Update Man kann zeigen: Für eine streng konvexe quadratische Funktion bilden die BFGS-Matrizen H k eine zunehmend bessere Approximation von 2 f. Das Line-Search-Verfahren mit BFGS-Richtung und Wolfe-Bedingungen in der Liniensuche konvergiert superlinear. In der Nähe eines x, das die hinreichenden Optimalitätsbedingungen 2. Ordnung erfüllt, ist ein hinreichend glattes f annähernd streng konvex und quadratisch. Fazit: Sowohl das BFGS-Verfahren als auch das Verfahren des steilsten Abstiegs benötigen lediglich ein Orakel. Ordnung (erste Ableitungen von f ). Trotz etwa gleichen Aufwandes pro Iteration konvergiert das BFGS-Verfahren wesentlich besser. Vorlesung 4 II Freie Optimierung 47 / 47