Einführung in die nichtlineare Optimierung

Transkript

1 Einführung in die nichtlineare Optimierung Prof. Dr. Walter Alt Semester: SS

2 Vorwort Dieses Dokument wurde als Skript für die auf der Titelseite genannte Vorlesung erstellt und wird jetzt im Rahmen des Projekts Vorlesungsskripte der Fakultät für Mathematik und Informatik weiter betreut. Das Dokument wurde nach bestem Wissen und Gewissen angefertigt. Dennoch garantiert weder der auf der Titelseite genannte Dozent, die Personen, die an dem Dokument mitgewirkt haben, noch die Mitglieder des Projekts für dessen Fehlerfreiheit. Für etwaige Fehler und dessen Folgen wird von keiner der genannten Personen eine Haftung übernommen. Es steht jeder Person frei, dieses Dokument zu lesen, zu verändern oder auf anderen Medien verfügbar zu machen, solange ein Verweis auf die Internetadresse des Projekts http: // uni-skripte. lug-jena. de/ enthalten ist. Diese Ausgabe trägt die Versionsnummer und ist vom 10. Februar Eine neue Ausgabe könnte auf der Webseite des Projekts verfügbar sein. Jeder ist dazu aufgerufen, Verbesserungen, Erweiterungen und Fehlerkorrekturen für das Skript einzureichen bzw. zu melden oder diese selbst einzupflegen einfach eine an die Mailingliste lug-jena. de> senden. Weitere Informationen sind unter der oben genannten Internetadresse verfügbar. Hiermit möchten wir allen Personen, die an diesem Skript mitgewirkt haben, vielmals danken: Konrad Kaffka gmx. de> (2011) Jens Kubieziel kubieziel. de> (2011)

3 Inhaltsverzeichnis 1 Optimierungsaufgaben Aufgabenstellung und Beispiele Existenz von Lösungen Anwendungen 5 3 Unrestringierte Optimierungsprobleme: Theorie Optimalitätbedingungen Notwendige Bedingungen 1. Ordnung Notwedige Bedingungen 2. Ordnung Hinreichende Bedingung zweiter Ordnung Konvexe Optimierungsaufgaben Unrestringierte Optimierungsprobleme: Verfahren Grundlagen Berechnung von Ableitungen Das Newtonverfahren Konstruktion von Abstiegsverfahren Effiziente Schrittweiten Gradientenbezogene Suchrichtungen Schrittweitenverfahren Exakte Schrittweitenbestimmung Schrittweitenverfahren von Armijo Das Gradientenverfahren Richtung des steilsten Abstiegs Das Verfahren Numerische Resultate Das gedämpfte Newtonverfahren Das Verfahren Richtung des steilsten Abstiegs Konvergenz des Verfahrens Optimierungsaufgaben 1.1 Aufgabenstellung und Beispiele Gegeben ist eine Funktion f : R R ges: Minimum von f Beispiel f : R R; f(x) = x 2 f : R R; f(x) = x keine Lösung (mit x 0 aber schon)

4 Beispiel (Bild von Folie zu finden im Netz) mit f : R 2 R; f(x 1, x 2 ) = 1 2 (x2 1 + x2 2 ) cos(x 2 1 ) cos(x2 2 ) Viele lokale Minima ein globales Minimum (cos + 1 2x) für Verfahren schwer zu berechnen. Verfahren kann eine Funktion nur lokal betrachten. f(x) = sin(x) hat viele globale Minima. Bezeichnungen Vektoren sind Spaltenvektoren mit Komponenten x i B(x, r) offene Kugel, B(x, r) ab- (x x 1,..., x k, {x k } k N euklidische Norm: x = 2 i geschlossene Kugel Allgemeine Aufgabenstellung D R n offene Menge (Definitionsbereich), f : D R Zielfunktion, F D Menge der zulässigen Punkte (P) min f(x); D = R = F unrestringiertes Problem; F: wird durch Restriktionen definiert, z. B.: F = {x R n x 0; Ax = x F b} Bemerkung g : D R n, max x F g(x) min x F g(x) Beispiel f(x) = x 3 min f(x); Nb.x 1 lokales Minimum (zu Aufgabenstellung (P)) ein Punkt x F heißt lokaler Minimalpunkt von f auf F oder lokale Lösung von (P), wenn es ein r > 0 gibt, mit f(x) f( x) x F B( x, r) Ein Punkt x F heißt strikter lokaler Minimalpunkt von f auf F oder strikt lokale Lösung von (P), wenn es ein r > 0 gibt mit f(x) > f( x) xf B( x, r), x x Ein Punkt x F heißt globaler Minimalpunkt von f auf F, wenn gilt f(x) f( x) x F Ei Punkt x F heißt strikter globaler Minimalpunkt von f auf F wenn gilt f(x) > f( x) x F, x x. Ist x lokale oder globale Lösung von (P), dann heißt f( x) lokaler bzw. globaler Optimalwert. Bemerkung min x F f(x); min x F f(x) + cc R beliebig hat gleiche Stelle unterschiedlichen Optimalwert.

5 Spezialfall quadratischen Funktionen. H symm. n n-matrix, b R n, f : R n R ist definiert durch f(x) = 1 2 xt Hx + b T x (eindim 1 2 x2 + bx) x T Hx > 0, x R n x 0 n positiv definit, auch wenn α > 0: x T Hx α x 2 x R n f(x) = ( δf(x) δx 1... δf(x) δx n ) = f (x). Beispiel Lineare Regression. Geg: Messwerte(ξ i, η i ), i = 1,..., m, Zusammenhang zwischen ξ und η-werten η(ξ) = g(ξ; x 1, x 2 ) = x 1 ξ + x 2 Wir definieren f : R 2 R durch f(x) = f(x 1, x 2 ) = m (g(ξ i ; x 1, x 2 ) η i ) 2 i=1 = (x 1 ξ i + x 2 η i ) 2 = x 2 1 ξi + mx x 1 x 2 ξi 2x 1 ξi η i 2x 2 ηi + η 2 i Man bestimmt x = ( x 1, x 2 ) als Minimum von f. f ist vom Typ f(x) = 1 2 xt Hx+b T x; H = ( ) H11 H 12 H 12 H Existenz von Lösungen f : D R, D R n offen, K D kompakt, f stetig auf D Satz von Weierstraß Def Sei f : D R, D R n, α R. Die Mengen N(f, x) = {x D f(x) α} heißen Niveau-Mengen von f. Satz (1.1.2). Sei D R n. Die Funktion f : D R sei stetig und für ein ω D sei die Niveaumenge N(f, f(ω)) = {x D f(x) f(ω)} kompakt. Dann gibt es (mindestens) ein globales Minimum von f auf D. Beweis. Nach Satz von Weierstraß gibt es ein x N(f, f(ω)) mit f( x) f(x) x N(f, f(ω)). Für x / N(f, f(ω)) gilt: f(x) > f(ω) f( x) f( x) f(x) x D. 2 Anwendungen 2.3 Anwendungen Nichtlineare Regression (2.3.1)

6 3 Unrestringierte Optimierungsprobleme: Theorie Ein Einschub mit Theorie aus Optimalitätbedingungen Notwendige Bedingungen 1. Ordnung Satz (3.1.1). f in x D differenzierbar, x lokales Minimum, dann: f( x) T d 0; d R n (1) Bemerkung Ist in einem x d mit f( x) T d < 0 dann d Abstiegsrichtung. Aus Unterunterabschnitt folgt f( x) T d f( x) T d 0 f( x) T d = 0 f( x) = 0 n. d R n Dann ist Unterunterabschnitt äquivalent zu f( x) = 0 n also ist folgender Satz äquivalent zu Unterunterabschnitt 3.1.1: Satz (3.1.2). f sei in x differenzierbar. Ist x lokales Minimum von f, dann gilt f( x) = f ( x) = 0 (3.1.2) Wenn mind. zwei ξ i -Werte verschieden sind, ist die Matrix positiv defi- Beispiel nit Definition (3.1.4). f sei in x D differenzierbar. Ist f( x) = 0 n, dann heißt x stationärer Punkt von f. Bem Stationäre Punkte erfüllen die notwendige Optimalitätbedingungen aus Abschnitt und sind damit Kandidaten für ein lokales Minimum Notwedige Bedingungen 2. Ordnung Satz (3.1.6). f sei in einer Umgebung von x D 2 mal stetig differenzierbar. Ist x lokales Minimum von f, dann gilt Abschnitt und (d. h.: f ( x) ist positiv semidefinit) x T f ( x) 0 x R n (3.1.3)

7 3.1.3 Hinreichende Bedingung zweiter Ordnung Satz (3.1.10). f in Umgebung von x D 2mal stetig differenzierbar. Die notwendige Optimalitätbedingung aus Abschnitt (= f( x) = 0 n ) sei erfüllt, und mit einem δ > 0 gelte z B( x, δ): x T f (z)x 0 x R n (3.1.4) (d. h. f (z) ist in einer Umgebung B( x, δ) von x positiv semidefinit). Dann ist x lokales Minimum von f. Satz (3.1.11). f sei in einer Umgebung von x D zweimal stetig differenzierbar. Die notwendige Optimalitätsbedingung (Abschnitt 3.1.1), f( x) = 0 n, sei erfüllt, und f ( x) sei positiv definit, d. h. mit einem α > 0 gilt: x T f ( x)x α x 2 x R n. (3.1.5) Dann gibt es r > 0, β > 0 mit: ( f(x) > f( x) x B( x, r), x x) d. h. x ist striktes lokales Minimum von f. f(x) f( x) + β x x 2 x B( x, r) 3.2 Konvexe Optimierungsaufgaben Eine konvexe Optimierungsaufgabe ist: D R n offen, F D nichtleer und konvex, f : D R sei konvex auf F. min f(x) x F (P) Satz (3.2.1). D R n offen f : D R sei differenzierbar, F D nichtleer und konvex. Dann gilt: f ist konvex auf F (die nummerierung hab ich auch vergessen) f(y) f(x) + f (x)(y x) x, y F (3.2.1) Satz. f zweimal stetig differenzierbar, für x F gelte notwendige Optimalitätbedingung ( f( x) = 0 n ) und f positiv definit auf F d. h. z F : x T f (z)x > 0 x R n, x 0 n (3.2.4) das ist x striktes globales Minimum von f auf F.

8 Definition. D R n, f : D R, F D nichtleer und konvex. Die Funktion f heißt gleichmäßig konvex auf F, wenn es ein α > 0 gibt, mit (1 t)f(x) + tf(y) f((1 t)x + ty) + t(1 t)α x y 2 x, y F f [0, 1]. Satz. D R n offen, F D nichtleer und konvex, f : D R sei differenzierbar. Dann ist f gleichmäßig konvex auf F genau dann wenn gilt: f(y) f(x) f(x) T (y x) + α x y 2 x, y F (2) Bemerkung Für ein festes x R n ist q : R n R definiert durch q(y) = f(x) + f(x) t (x y) + α x y 2 eine quadratische Funktion. Der Gleichung 2 ist äquivalent zu f(y) q(y). Es gilt q(x) = f(x). q(x) = f(x) ( q(x) = f(x) + 2α(y x)). Das heißt es gibt eine quadratische Funktion die unter der eigentlichen Kurve liegt. Satz. Sei D R n offen, F D nichtleer und konvex. f : D R sei zweimal stetig differenzierbar. Ist f gleichmäßig positiv definit auf F, d. h. es gibt ein β > 0 (unabhängig von x F ), so dass gilt: y T f (x)y β y 2 y R n (3) dann ist f gleichmäßig konvex auf F. Ist F offen, dann folgt aus der gleichmäßigen Konvexität von f auf F auch Gleichung 3. 4 Unrestringierte Optimierungsprobleme: Verfahren Betrachtet wird das Problem: min f(x) f : R n R(D = R n ) (PU) 4.1 Grundlagen Standardvorraussetzung: Mit einem gegebenen x (0) R n ist die Niveaumenge N(f, f(x (0) )) = {x R n f(x) f(x (0) )} kompakt. Die Zielfunktion f ist auf einer konvexen, offenen Obermenge D 0 von N(f, f(x (0) ))

9 Bemerkung Ist Unterabschnitt 4.1 erfüllt, dann gibt es nach Abschnitt 1.2 mindestens eine lokale Lösung von (P), und für jede lokale Lösung x gilt es nach Abschnitt 3.1.1: f( x) = 0 n (4) Bemerkung benutzt man ein Nullstellenverfahren und eine Lösung von Gleichung 4 zu berechnen, dann geht die Information Min verloren. Besser: Abstiegsverfahren, d. h. man berechnet ausgehen von einem Startpunkt x (0) eine Folge {x (k) } k N mit f(x (k+1) ) < f(x (k), k = 0, 1, 2,.... Lemma (4.1.1). f : R n R sei differenzierbar in x R n. Weiter sei d R n eine Richtung mit f(x) T d < 0 (4.1.3) Dann gibt es ein σ > 0 mit f(x + σd) < f(x) σ ]0, σ]. Definition (4.1.2). Sei f : R n R differenzierbar in x R n. Dann heißt d R n Abstiegsrichtung von f in x, wenn (4.1.3) gilt. Bemerkung Ist in x R n die Optimalitätbedingung f(x) = 0 n nicht erfüllt, (d. h. f(x) 0 n ) dann gibt es in x (mindestens) eine Abstiegsrichtung. [Annahme. f(x) T d 0 d R n f(x) = 0 n ] zu Beispiel d = f (x) 1 f(x) Newton Richtung. Verfahren Allgemeines Konzept für ein Abstiegsverfahren mit Schrittweitensteuerung 1. Wähle Startpunkt x (0) ; Setzt k = 0 2. Ist f(x (k) ) = 0 n. STOPP 3. Berechne eine Abstiegsrichtung d (k) von f in x (k) und eine Schrittweite σ k > 0 mit f(x (k) + σ k d (k) < f(x (k) ) und setze x (k 1) := x (0) + σ k d (k) 4. Setze k := k + 1; gehe zu 2. Bemerkung Für Verfahren gilt f(x (k+1) ) < f(x (k) ) k = 0, 1,... f(x (k) ) < f(x (0) ) d. h. x (k) N(f, f(x (0) )). Ist die Vorraussetzung erfüllt, dann ist N(f, f(x (0) )) beschränkt die Folge {x (k) } k N ist beschränkt. die Folge {f(x (k) )} k N ist beschränkt.

10 zum Abstiegskriterium: Die Bedingung f(x (k) ) = 0 n ist ein theoretisches Abbruchkriterium. Praktisch benutzt man f(x (k) ) < ε 1 mit einem kleinen ε 1 > 0 (z. B ). Andere Kriterien: f(x (k+1) ) f(x (k) ) < ε 2 x (k+1) x (k) = σ k d (k) < ε 3 Wichtig: maximale Iterationszahl vorgeben. 4.2 Berechnung von Ableitungen Ideal: Analytische Berechnung der Ableitungen. Alternativen: Symbolysche Berechnung von Ableitungen. Automatisches (algorithmisches) Differenzieren: input: Methode die f(x) berechnet, Output: Methode die f(x) berechnet. Numerische Berechnung von Ableitungen: Einfachster Fall. Man ersetzt f(x) durch f(x+εe i ) f(x) ε für ein kleines ε > 0. Wichtig: berechnete Ableitung überprüfen! Matlab: Parameter DerivativeCheck auf den Wert on setzen. 4.3 Das Newtonverfahren Gegeben eine Abbildung F : R n R n Aufgabe: Berechne eine (lokale) Lösung x von F (x) = 0 n. F sei differenzierbar. Newtonverfahren wähle Startpunkt x (0) Ist x (k) berechnet dann erhält man x (k+1) durch lösen des Gleichungssystems: Dann sollte F (x (k) ) invertierbar sein. Dann ist: F (x (k) ) + F (x (k) )(x x (k) ) = 0 n (4.3.1) x (k+1) = x (k) F (x (k) ) 1 F (x (k) ) (4.3.2) Lemma (4.3.1). Sei D R n offen, C D konvex, F : D R n differenzierbar und F sei Lipschitzstetig auf C, d. h. mit einer Konstante L 0 gilt F (x) F (y) L x y x, y C. Dann gilt: F (x) F (y) F (y)(x y) L 2 x y 2 Lemma (4.3.2). Störungslemma. A sei eine nichtsinguläre n n-matrix. S sei eine weitere n n-matrix mit A 1 S < 1. Dann ist auch A + S invertierbar und es gilt: (A + S) 1 A 1 1 A 1 S

11 Lemma (4.3.3). Sei x R n, r > 0, und G : B( x, r) R n sei eine Abbildung mit: a) x ist ein Fixpunkt von G d. h. G( x) = x b) G ist in x kontrahierend, d. h. mit einem 0 L < 1 gilt: G(x) G( x) L x x x B( x, r). Dann ist x der einzige Fixpunkt von G in B( x, r). Weiter konvergiert die Folge {x (k) } k N definiert durch x (k+1) := G(x (k) ), k = 0, 1,... (Fixpunktiteration) für jeden Startpunkt x (0) B( x, r) gegen x mit: x (k) x L k x (0) x k N (4.3.3) Satz (4.3.4). Sei D R n offen,f : D R n, x D mit F ( x) = 0 n. Weiter gelte: a) F ist differenzierbar auf D, und F ist Lipschitzstetig, d. h. F (x) F (y) L x y x, y D. mit L 0 b) F ( x) ist nichtnegativ Dann gibt es ein δ > 0 und ein c 0, so dass das Newtonverfahren für jeden Startpunkt x (0) B( x, δ) eine Folge {x (k) } definiert, die gegen x konvergiert mit x (k+1) x c x (k) x 2, k = 0, 1,... (4.3.4) 4.4 Konstruktion von Abstiegsverfahren Effiziente Schrittweiten Ziel Bedingungen an Schrittweite und an Suchrichtung so dass: Zunächt Bedingung an Schrittweite so dass: f(x (k) ) k 0 n (4.4.1) f(x (k) ) T d (k) d (k) k 0 (4.4.2) Im folgenden sei x (k) der aktuelle Iterationspunkt und d (k) die Suchrichtung und σ k die Schrittweite. Erste Näherung: f(x (k+1) ) f(x (k) ) = f(x (k) + σ k d (k) ) f(x (k) ) (4.4.3) Wegen (4.4.1) ist {f(x (k) )} nach unten beschränkt, also konvergiert für k die linke Seite von (4.4.3) gegen 0. Um auch auf der rechten Seite Konvergenz gegen 0 zu erreichen: f(x (k) + σ k d (k) ) f(x (k) ) c 1 σ k f(x (k) ) T d (k) (4.4.4)

12 mit Konstante c 1. [ (4.4.4) f(x (k+1) ) f(x (k) + c 1 σ k Wenn (4.4.4) gilt dann folgt: <0 {}}{ f(x (k) )d (k) ) ] σ k f(x (k) )d (k) k 0 um hieraus Bedingung (4.4.2) zu folgern dürfen die σ k im Vergleich zu f(x (k) )d (k) nicht zu schnell gegen 0 konvergieren: σ k c 2 f(x (k) ) T d (k) d (k) 2 (Bemerkung: in Beispiel ist dieses Kriterium nicht erfüllt.) Die Bedingung (4.4.4) und (4.4.5) implizieren: ( ) 2 f(x (k) + σ k d (k) ) f(x (k) f(x (k) ) T d (k) ) c d (k) c = c 1 c 2 (4.4.6) Definition (4.4.2). Seien x N(f, f(x (k) )) und d R n, f(x) t d < 0 eine Schrittweite σ k > 0 erfüllt das Prinzip des hinreichenden Abstiegs, wenn gilt: f(x + σd) f(x) + c 1 σ f(x) T d (4.4.7) σ c 2 f(x (k) ) T d (k) d (k) 2 c 1, c 2 > 0 (4.4.8) Eine Schrittweite heißt effizient, wenn gilt: ( ) 2 f(x (k) ) T d (k) f(x + σd) f(x) c d (k) c > 0 (4.4.9) Weitere Forderungen (zusätzlich zu (4.4.1)): f auf N(f, f(x (k) )) Lipschitzstetig, d. h.: (4.4.10) L > 0 : f (x) f (y) L x y Lemma (4.4.3). Vorraussetzungen (4.4.1), (4.4.10) seien erfüllt, x N(f, f(x (k) )), d R n, f(x) T d < 0, δ ]0, 1[, dann τ = τ(x, d, δ) mit: (i) f(x + σd) f(x) + δσ f(x) T d σ ]0, τ[ (ii) f(x + τd) = f(x) + τσ f(x) T d (iii) τ ϱ := 2(1 σ) L ( f(x(k) ) T d (k) d (k) 2 (iv) d dσ f(x + σd) = f(x + σd)t d < δ f t d σ [0, ϱ 2 ]

13 Bemerkung Für effiziente Schrittweiten gilt (4.4.2) Gradientenbezogene Suchrichtungen Sei β k := f(x(k) ) T d (k) f(x (k) ) T d (k) = cos( ( f(x(k) ), d (k) )) Dann gilt: f(x(k) ) T d (k) d (k) = β k f(x (k) ) Daher folgt (4.4.1) aus (4.4.2), wenn gilt β k c > 0 Das bedeutet, dass der Winkel zwischen f(x (k) ) und d (k) )) gleichmäßig kleiner als 90 sein muss. Definition (4.4.4). Es seien x N(f, f(x (k) )) und d = d(x) R n. Die Richtung d heißt gradientenbezogen in x wenn gilt: f(x (k) ) T d c 3 f(x) T d c 3 > 0 (4.4.11) Richtung d heißt streng gradientenbezogen in x, wenn zusätzlich gilt: c 4 f(x) d 1 c 4 f(x) c 4 > 0 (4.4.12) Die Newton-Richtung d (k) = f (x (k) ) 1 f(x (k) ist streng gradientenbezogen unter der Vorraussetzung: f : R n R stetig, x (0) R n, D N(f, f(x (k) )) nichtleer, offen, konvex, (4.4.13) f sei zweimal stetig differenzierbar auf D und mit Konstante α > 0 gelte: y T f (x)y α y 2 (d. h. f ist gleichmäßig positiv definit auf D) y D Bemerkung Sei A eine reelle symmetrische Matrix, dann hat A nur reelle Eigenwerte λ 1... λ n A ist positiv semidefinit λ 1 0 A ist positiv definit λ 1 > 0

14 Zu jeder reellen positiv definiten Matrix A gibt es eine reelle unitäre Matrix U (U 1 = U T, U = 1) mit U T AU = U 1 AU = D = diag(λ 1... λ n ) Damit gilt: D 1 = diag(λ λ 1 n ), A 1 = UD 1 U T. Man definiert D 1 2 = diag(λ λ 1 2 n ) und dadurch A 1 2 = UD 1 2 U T. Dann gilt auch A 1 2 A 1 2 = A Man bezeichnet A 1 2 als positive Quadratwurzel von A. (Entsprechend A 1 2 ) Lemma (4.4.6). Vorraussetzung (4.4.13) sei erfüllt. Dann ist f gleichmäßig konvex auf D, die Niveaumenge N(f, f(x (0) )) ist konvex und kompakt und α 2 > 0: x N(f, f(x (0) )): und f (x) α 2 gilt. Weiter gilt mit β 1 = 1 α 2, β 2 = 1 α 1, x N(f, f(x (0) )): und f (x) 1 β 2. bei Bleistiftkreuz in Mitschriften weiter machen. y T f (x)y α 2 y 2 y R n (4.4.14) β 1 y 2 y T f (x) 1 y β 2 y 2 (4.4.15) 4.5 Schrittweitenverfahren Exakte Schrittweitenbestimmung Satz (4.5.2). Vorraussetzungen (4.1.1), (4.4.10). Weiter seien x N(f, f(x (0) )), mit f(x) T d < 0 Dann gilt für die exakte Schrittweite σ E : d R σ E f(x)t d L d 2 =: σ d. h. σ E erfüllt (4.4.8)) (4.5.2) wobei L die Lipschitz-Konstante von f ist und f(x + σ E d) f(x) 1 2L d. h. σ E ist effizient. ( f(x) T d d 2 ) 2 = f(x) σ f(x)t d (4.5.3)

15 Bemerkung Aus dem Beweis folgt, dass σ die Abstiegsbedingung (4.4.7) erfüllt. Nach (4.5.2) erfüllt σ auch die Bedingung (4.4.8). d. h. erfüllt die beiden Bedingungen für das Prinzip des hinreichenden Abstiegs. σ ist effizient. Sei (4.4.13) erfüllt. Dann gilt: 0 = f(x+σ E d) T d = f(x) T d+(f(x+σ E d) f(x)) T d = f(x) T d + σ e d T f (x + λσ E d)d }{{} α 1 d 2 mit 0 < λ < 1 Mit (4.5.3) σ E erfüllt (4.4.7) f(x) T d σ E = d T f (x + λσ e d)d d f(x)t α 1 d 2 L σ (4.5.4) α 1 Spezialfall f ist quadratische Funktion, d. h. f(x) = 1 2 xt Hx + b t x mit b R n, H symmetrische n n-matrix. Dann ist f (x) = H x R n, Speziell ist in (4.5.4) d T f (x + λσ E d)d = d T Hd. H positiv definit d T Hd > 0 σ E = f(x)t d d T Hd (4.5.5) d. h. bei quadratischer Zielfunktion kann man die exakte Schrittweite auch praktisch verwenden. Die Suchrichtungen seien streng gradientenbezogen, dann gilt: σ = f(x)t d c 4 f(x) T d L d 2 L f(x) T d c 4 L nimmt man als Schrittweitenfolge die exakten Schrittweiten Folge ist beschränkt Schrittweitenverfahren von Armijo (Auch Goldstein-Armijo-Verfahren) Das Verfahren versucht zu gegebenem δ ]0, 1[ eine Schrittweite σ = σ A zu berechnen mit: und mit einer von x unabhängigen Konstante c 2. f(x + σd) f(x) + δσ f(x) T d (4.5.6) σ c 2 f(x) T d d 2 (4.5.7)

16 Verfahren Armijo-Verfahren Vorg.: 0 < δ < 1, γ > 0 und 0 < β 1 β 2 < 1 (alle unabhängig von x und d) 1. Wähle eine Schrittweite σ 0 γ f(x)t d d 2, setze j := 0 2. Ist (4.5.6) erfüllt mit σ = σ j, d. h. gilt: f(x + σ j d) f(x) + δσ j f(x) T d dann setze σ A = σ j und stoppe das Verfahren. 3. Wähle σ j+1 [β 1 σ j, β 2 σ j ] 4. Setze j := j + 1, gehe zu 2. Satz (4.5.5). Die Vorraussetzungen (4.1.1), (4.4.10) seien erfüllt. Weiter sei x N(f, f(x (0) )) und d R n mit f(x) T d < 0. Dann berechnet das Armijo-Verfahren nach endlich vielen Iterationen eine Schrittweite σ = σ A, die (4.4.6), (4.5.7) erfüllt, also effizient ist. Bemerkung Um die Beschränktheit der Folge {σ k } (mit σ k - Armijo-Schrittweite) sicherzustellen, fordert man mit einem weiteren Parameter γ = γ: [ σ 0 γ f(x)t d d 2, γ f(x)t d d 2 Sind die Suchrichtungen streng gradientenbezogen, dann folgt: σ 0 γ f(x) d γ c 4 Zur Wahl der Parameter beim Armijo-Verfahren: δ sollte klein sein : 0.01 ]. (4.5.8) γ sollte so gewählt werden, dass die exakte Schrittweite als Startschrittweite σ 0 zulässig ist und dass σ 0 = 1 aks Startschrittweite zulässig ist. zu σ 0 = 1. Sind die Suchrichtungen streng gradientenbezogen, dann gilt: f(x) T d f(x) d c 4 d 2 und f(x) T d c 3 f(x) d c 3 c 4 d 2 1 c 4 f(x) T d d 2 1 c 3 c 4 f(x) T d d 2 d. h. (4.5.8) ist erfüllt mit γ = 1 c 4, γ = c 4 c 3. Daher wählt man γ klein (10 4 ) und γ groß (10 4 ). Zur exakten Schrittweite: man versucht eine Schätzung der exakten Schrittweite als σ 0 zu berechnen. Sind (4.4.1), (4.4.10) erfüllt, dann gilt (4.5.2), d. h. σ E 1 f(x) T d L d 2 Sei (4.4.13) erfüllt, dann gilt (4.5.4), d. h. σ E = f(x)t d d T f (x+λσ ed)d mit 0 < λ < 1.

17 Weiter gilt: f(x + d) f(x) f(x) T d = 1 2 dt f (x + λθ e d)d und 0 < θ < 1. Als Näherung für σ E wählt man daher: f(x) T d σ 0 = d T f (x + λθ e d)d = f(x) T d 2(f(x + d) f(x) f(x) T d) (4.5.9) Dies ist eine Näherung für σ E, wenn d hinreichend klein ist. Mit (4.4.13) folgt wegen α 1 d 2 d T f (x + θd)d α 2 d 2 : 1 α 2 f(x) T d d 2 σ 0 1 α 1 f(x) T d d 2 d. h. (4.5.8) ist mit γ = 1 α 2 und γ = 1 α 1 erfüllt. Praktisch wählt man mit vorgegebenen Konstanten γ, γ als Startschrittweite { σ 0 = min γ f(x)t d d 2, max { }} γ f(x)t d d 2, σ 0 (4.5.10) zu σ 0 aus (4.5.9): σ 0 ist das Minimum der PArabel q(σ) mit q(0) = f(x), q (0) = f(x) T d, q(1) = f(x+d) (Setze die Funktion gleich einer Parabel bestimme das Minium und schätze auch dort das Minimum von f) Zur Berechnung der Schrittweiten: σ j+1 [β 1 σ j, β 2 σ j ] mit 0 < β 1 β 2 < 1. Einfache Wahl: β 1 = β 2 = β z. B. β = 1 2. σ 2 j f(x)t d Weitere Strategie: σ j+1 = max{0.1σ j, σj } mit σ j = 2(f(x+σ j d) f(x) σ j f(x) T d). σ j ist das Minimum der Parabel q(σ) def durch q(0) = f(x), q (0) = f(x) T d, q(σ j ) = f(x + σ j d). Es gilt: 0.1σ j < σ j+1 < δ σ j. Falls δ < 1 2 gilt 0.5 < δ < 1. Zusammenfassung: Satz (4.5.11). Die Vorraussetzungen (4.1.1), (4.4.10) seien erfüllt. Für das allgemeine Abstiegsverfahren gelte: x (k) N(f, f(x (0) ), f(x (k) ) T d < 0, k = 0, 1,... Werden die Schrittweiten σ k als exakte Schrittweite oder als Armijo-Schrittweite gewählt, dann sind die Schrittweiten effizient. (Siehe Satz und Satz 4.5.5) 4.6 Das Gradientenverfahren in x (k) wählt man f(x (k) ) als Suchrichtung. Suchrichtungen streng gradientenbezogen.

18 4.6.1 Richtung des steilsten Abstiegs f : R n R sei differenzierbar. Im Punkt x R n sei f(x) 0 n. Richtung des steilsten Abstiegs in Punkt x. Lemma (4.6.1). Vorraussetzungen wie oben. Dann ist Lösung von (4.6.1) min d R f(x)t d Nb.: d = 1 (4.6.1) n d = f(x) f(x) Bemerkung Für das Problem mit beliebigem r > 0 zeigt man analog: Lösung ist r d. Gradientenverfahren: Verfahren des steilsten Abstiegs min d R f(x)t d Nb.: d = r (4.6.2) n Das Verfahren Wählt man vei allgemeinem Abstiegsverfahren d (k) = f(x (k) ) Verfahren Gradientenverfahren 1. Wähle einen Startpunkt x (0), setze k := Ist f(x (k) ) = 0 n. STOPP 3. Benutze als Suchrichtung d (k) = f(x (k) ), berechne eine effiziente Schrittweite σ k Exakte Schrittweite, Armijo-Schrittweie) und setze x (k+1) = x (k) + σ k d (k). 4. Setze k := k + 1, gehe zu 2. Abbruchkriterium: siehe Bemerkung Allgemeine Konvergenzsätze: 4.4.9, , anwendbar

19 Beispiel Rosenbrockfunktion Für beliebigen Startpunkt sind Vorr. (4.1.1) und (4.4.10) erfüllt. Benutzt man ( Armijo- ) 1 Schrittweiten dann Schrittweiten effizient. Einziger stationärer Punkt ist x = Nach 1 Satz konvergiert die vom Gradientenverfahren berechnete Folge {x (k) } gegen x. Ist (4.4.13) erfüllt, dann konvergiert die vom Gradientenverfahren berechnete Lösung R-linear gegen das eindeutig bestimmte, globale Minimum von f. Frage: Kann man bessere Konvergenz erwarten? Antwort: Nein. Benutzt man die exakte Schrittweite, dann gilt: 0 = σ f ( x (k) + σd (k)) σ=σk = f(x (k+1) ) T d (k) = (d (k+1) ) T d (k), d. h. es gilt d (k+1) d (k) N k d (k) = f(x (k) ) ist auch Lösung des quadratischen Optimierungspro- Bemerkung blems min d R f(x(k) ) T d + 1 n 2 dt d (Q k ) d. h. man kann die Wahl der Suchrichtung so interpretieren: man ersetzt f lokal in x (k) durch die quadratische Funktion f k (x) = f(x (k) ) + f(x (k) )(x x (k) ) (x x(k) ) T (x x (k) ) Für diese Funktion gilt: f(x (k) ) = f(x (k) ), das eindeutig bestimmt Minimum von f k. f(x (k) ) = f(x (k) ). Weiter ist x (k) +d (k) d (k) = f (x (k) ) 1 f(x (k) ) Wobei man die Matrix f (x (k) ) geeignet annähert und nicht berechnet Numerische Resultate Matlab-Implementierung: fminunc Zur Auswahl des Gradientenverfahrens muss man mit optimset die Parameter: LargeScale auf off HessUpdate auf steepdesc weiter siehe Buch. Bilder (Beispiel zeigt das auch falsche Lösungen aus einem Computerverfahren kommen können, Beispiel Lagerhaltungsproblem, Beispiel Wolfe-Funktion.

20 4.7 Das gedämpfte Newtonverfahren Das Verfahren Beim algemeinen Abstiegsverfahren wählt man als Suchrichtung die Newton-Richtung d (k) = f (x (k) ) 1 f(x (k) ). Vorraussetzung (4.4.13) Richtungen sind streng gradientenbezogen. Verfahren Gedämpftes Newtonverfahren 1. Wähle Startpunkt x (0), setze k := 0 2. Ist f(x (k) ) = 0, dann STOPP 3. Berechne d (k) durch lösen des linearen Gleichungssystems f (x (k) )d = f(x (k) ) eine effiziente Schrittweite σ k, setze x (k+1) = x (k) + σ k d (k) 4. Seite k := k + 1, gehe zu Richtung des steilsten Abstiegs Ist A positiv definit, dann wird durch x A = x, x 1 2 A = (x T Ax) 1 2. Wir betrachten das Optimierungsproblem min f(x) T d Nb. d A = 1 (4.7.1) Lemma (4.7.2). f : R n R sei in x differenzierbar mit f(x) 0. A sei symmetrisch positiv definite Matrix. Dann ist die Lösung von (4.7.1): d = A 1 f(x) A 1 f(x) A. Beweis. Sei d R n. Dann gilt: f(x) T d = f(x) T A 1 Ad = A 1 f(x), Ad = A 1 f(x), d A A 1 f(x) A d A Für d R n mit d A = 1 f(x) T d A 1 f(x) A Für d gilt: f(x) T d = A 1 f(x) A f (x (k) ) 1 f(x (k) ) Sei speziell A = f (x (k) ). Dann folgt aus dem Lemma: d (k) = f (x (k) ) 1 f(x (k) ) f (x (k) ) ist die Richtung des steilsten Abstiegs in x (k) bezüglich der durch f (x (k) ) definierten Norm. Wichtig: In jedem Iterationsschritt benutzt man eine ander Matrix A (k) = f (x (k) ), die Informationen üver die Krümmung von f enthält. (Variable-Metrik-Verfahren)

21 4.7.3 Konvergenz des Verfahrens Die Vorraussetzung (4.4.13) sei erfüllt. Daher sind die Newton-Richtungen für x (k) N(f, f(x (0) ) Abstiegsrichtungen. Mit x (k) N(f, f(x (0) ) x (1) N(f, f(x (0) )... x (n) N(f, f(x (0) ) k N. Allgemeiner Konvergenzsatz : Gedämpftes Newtonverfahrenkonvergiert R-linear (d. h. x (k) xr-linear, wobei x eindeutig bestimmt und globales Minimum von f ist), wenn die Schrittweitenfolge effizient ist, d. h. wenn man z. B. die Armijo-Schrittweiten benutzt. Frage: kann man Konvergenz verbessern? Antwort: ja, aber nur lokal, wenn man: beim Armijo-Verfahren die Schrittweite σ k,0 = 1 benutzt. die exakte Schrittweite benutzt beim Armijo-Verfahren als Startschrittweite eine Approximation der exakten Schrittweite benutzt (In den letzten beiden Fällen gilt: σ k 1 für k ) Verwendung der Startschrittweite σ k,0 = 1 Ziel: Zeige, dass für hinreichend großes k (d. h. x (k) hinreichend nahe bei x) diese Schrittweite die Abstiegsbedingung in Schritt 2 des Armijo-Verfahrens erfüllt (dann ist die vom Armijo-Verfahren berechnete Schrittweite 1). zusätzliche Vorraussetzungen L 2 > 0, r > 0: f (x) f (y) L 2 x y x, y B( x, r) (4.7.2) Bemerkung Ist x (k) x, dann gilbt es ein r > 0 mit B( x, r) D und f(x) < f(x (k) ) x B( x, r), d. h. B( x, r) N(f, f(x (k) )), d. h. x intn(f, f(x (k) )). Es gilt: f(x (k) ) T d (k) = f(x (k) ) T f (x (k) ) 1 f(x (k) ) =... (4.7.3) Satz (4.7.4). Vorraussetzung (4.4.13) sei erfüllt. (Dann hat f genau ein globales Minimum x und die Folge {x K } konvergiert R-linear gegen x.) Beim gedämften Newtonverfahren sein die Schrittweiten σ k die Armijo-Schrittweiten mit Startschrittweite σ k,0 = 1. Weiter sei δ ]0, 1 2 [. Dann ist σ k = 1 für hinreichend großes k, d. h. für hinreichend großes k geht das gedämpfte Newtonverfahren in das gewöhnliche Newtonverfahren über und damit konvergiert es lokal superlinear oder quadratisch, wenn zusätzlich (4.7.2) gilt.

22 Beweis. Wie zeigen, dass es ein k(δ) N gibt, so dass für k k(δ) gilt: f(x (k) + d (k) ) f(x (k) ) + δ f(x) T d (k) (1) d. h. für die Startschrittweite σ k,0 = 1 ist das Abbruchkriterium des Armijo-Verfahrens erfüllt. Nach Satz filt x (k) x für k. Weiter gilt f(x (k) ) 0 n für k. Nach Lemma gilt: d (k) = f (x (k) ) 1 f(x (k) ) = f (x (k) ) 1 f(x (k) ) }{{} β 2 d (k) 0 n x (k) + d (k) x. Nach Bemerkung ist x innerer Punkt von N(f, f(x (0) )). Nach Lemma ist N(f, f(x (0) )) konvex [ x, x (k) + d (k) ] N(f, f(x (0) )) für hinreichend großes k. Taylorentwicklung: f(x (k) + d (k) ) = f(x (k) ) + f(x (k) ) T d (k) (d(k) ) T f (x (k) + θ k d (k) )d (k) mit θ k ]0, 1[. = f(x (k) ) f(x(k) ) T d (k) (d(k) ) T [ f (x (k) + θ k d (k) ) f (x (k)] d (k) ( 1 2 δ) f(x(k) ) T d (k) 1 2 (d(k) ) T [ f (x (k) + θ k d (k) ) f (x (k)] d (k) (2) Wegen δ ]0, 1 2 [ ist 1 2 δ > 0. Mit Beispiel (4.4.8) folgt: ( 1 2 δ) f(x(k) ) T d (k) ( 1 2 δ)β 1 f(x (k) ) 2 ( 1 2 δ)β 1β 2 2 d(k) 2. (3) Den Term auf der rechten Seite von (2) kann man wie folgt abschätzen 1 2 (d(k) ) T [ f (x (k) + θ k d (k) ) f (x (k)] d (k) f (x (k) + θ k d (k) ) f (x (k) ) d (k) 2 Da f stetig ist und für k gilt: x (k) x, x (k) + θ k d (k) x r k 0. Damit ist (2) erfüllt, wenn gilt: ( 1 2 δ)β 1β 2 2 d(k) 2 r k d (k) 2 (4) d. h. wenn r k ( 1 2 δ)β 1β 2 2 ist. Dies ist der Fall, wenn k hinreichend groß.

23 [ Verwendung der exakten Schrittweite] Die Vorraussetzungen (4.4.13) und (4.7.2) seien erfüllt. Für die exakte Schrittweite σ k gilt nach (4.5.4) mit λ k ]0, 1[: f(x (k) ) T d (k) σ k = (d (k) ) T f (x (k) + λ k σ k d (k) )d (k) = (d (k) ) T f (x (k) )d (k) (d (k) ) T f (x (k) + λ k σ k d (k) )d (k) Wegen (4.4.13) und Lemma 4.4.6: σ k α 2 d (k) 2 α 1 d (k) 2 = α 2 α 1 Weiter gilt wegen x (k) x, x (k) + λ k d (k) x: σ k 1. Wir zeigen: k 0 N und eine von k unabhängige Konstante c 5 mit σ k = 1 + r k und r k c 5 f(x (k) ) k k 0 (4.7.4) (σ k konvergiert hinreichend schnell gegen 1) (d Es gilt σ k = ) T f (x (k) )d (k) (d (k) ) T f (x (k) +λ k σ k d (k) )d (k) +r k mit r k = (d (k) ) T f (x (k) + λ k σ k d (k) )d (k) (d (k) ) T f (x (k) )d (k) Wegen (4.7.2) gilt: r k f (x (k) +λ k σ k d (k) ) f (x (k) ) d (k) 2 L 2 r k σ k d (k) 3 L 2 σ k d (k) 3 L 2α 2 α 1 d (k) 3 r k Definiert man r k :=, dann gilt σ (d (k) ) T f (x (k) +λ k σ k d (k) )d (k) +r k = 1 + r k. Wegen (4.4.13) k gilt (d (k) ) T f (x (k) )d (k) + r k α 1 d (k) L 2α 2 d (k) 3 α 1 Wegen d (k) 0 n gibt es ein k 0 N mit: [weiter im Buch!!! Seite 112 f] Satz (4.7.5). Vorraussetzungen (4.4.13) und (4.7.2) seien erfüllt. Dann gilt für das gedämpfte Newtonverfahren mit exakten Schrittweiten σ k die (4.7.4) für hinreichend große k erfüllen (d. h. σ k 1) und das Verfahren konvergiert lokarl quadratisch. Trust-Region-Hilfsproblem min f k (d) (4.10.1) d ρ k

24 Zur Anpassung von ρ k : Sei d (k) globale Lösung von (4.10.1). Dann berechnet man r k = f(x(k) f(x (k) d (k) ) Man vertraut dem lokalen Modell, falls r f(x (k) f k (d (k) ) k 1 ist. Zur Anpassung von ρ k gibt man Zahlen 0 < δ 1 < δ 2 < 1 vor. Ist r k [δ 1, δ 2 [, dann vertraut man dem Modell und lässt ρ k unverändert. Ist r k δ 2, dann ist das lokale Modell besonders gut, man vergrößert ρ k. Falls r k < δ 1 : Modell ist schlecht ; ρ k wird verkleinert. TRN-Verfahren (Trust-Region-Newton-Verfahren) Gegeben seien 0 < δ 1 < δ 2 < 1, σ 1 ]0, 1[, σ 2 > 1, ρ 0 1. Wähle startpunkt x (0), berechne b (0) = f(x (0) ), A (0) = f (x (0). Setze k := 0 2. Berechne eine globale Lösug des Problems min d ρ k f(x (k) ) + (b (k) ) T d dt A (k) d Falls f(x (k) = f k (d (k) ) dann STOP ( f(x (k) ) = 0) 3. Berechne r k nach (siehe oben) Ist r k δ 1 (erfolgreicher Iterationsschritt) Setze x (k+1) = x (k) + d (k) Berechne b (k+1) = f(x (k+1) ), A (k+1) = f (x (k+1). Aktualisiere ρ k : Ist r k [δ 1, δ 2 [: Wähle ρ k+1 [σ 1 ρ k, ρ k ], falls r k δ 2 : wähle ρ k+1 [ρ k, σ 2 ρ k ] Setze k := k + 1 gehe zu Ist r k < δ 1 (nicht erfolgreicher Interationsschritt) Wähle ρ k+1 ]0, σ 1 ρ k ] Setze x (k+1) = x (k) (aktueller Iterationspunkt bleibt unverändert) b (k+1) = b (k), A (k+1) = A (k) Setze k := k + 1 gehe zu 2. Satz ( ). Vorraussetzung (4.1.1), (4.4.10), und f sei auf einer offenen Obermenge von N(f, f(x (k) )) zweimal stetig differenzierbar. Stoppt das Verfahren nicht nach endlich vielen Schritten, Dann gilt f(x (k) ) 0 n. Weiter hat die Folge {x (k) } mindestens einen Häufungspunkt, und für jeden HP x gilt f( x) = 0 n

25 Satz ( ). Vorraussetzungen wie oben. Weiter sei x ein HP von {x (k) } und f ( x) sei positiv definit. Stoppt das Verfahren nicht nach endlich vielen Schritten, dann konvergiert die Folge {x (k) } gegen x und das TRN-Verfahren geht nach endlich vielen Iterationen in das Newtonverfahren über. numerische Resultate.