Nichtlineare Optimierung

Transkript

1 Technische Universität Berlin Fakultät II Institut für Mathematik Nichtlineare Optimierung Vorlesung im Wintersemester 05/06 Dietmar Hömberg Im WS 01/0.2 gehalten von F. Tröltzsch. Grundlage der Vorlesung ist das Buch von Prof. Dr. Walter Alt, Universität Jena. Das Skript ist nur für den internen Gebrauch während dieser Vorlesung bestimmt.

2 Inhaltsverzeichnis 1 Optimierungsaufgaben Literatur Grundlagen und Begriffe Existenz von Lösungen Konvexe Optimierungsaufgaben Weitere wichtige Beispiele von Optimierungsaufgaben Numerische Lösung von Optimierungsaufgaben Optimierungs-Software Programmbibliotheken Interaktive Programmsysteme Ableitungsfreie Verfahren Simplexverfahren von Nelder und Mead Grundkonstruktionen Ablauf des Verfahrens Mutations-Selektions-Verfahren Anwendung: Nichtlineare Regression Probleme ohne Restriktionen Theorie Optimalitätsbedingungen erster Ordnung Notwendige Bedingungen zweiter Ordnung Hinreichende Bedingungen zweiter Ordnung Konvexe Optimierungsaufgaben Probleme ohne Restriktionen Verfahren Grundlagen Das Newton-Verfahren Abstiegsverfahren allgemeine Aussagen Effiziente Schrittweiten Gradientenbezogene Richtungen Allgemeine Konvergenzsätze Schrittweitenverfahren

3 4.4.1 Exakte Schrittweite Schrittweite nach Armijo Schrittweite nach Powell Das Gradientenverfahren Gedämpftes Newton-Verfahren Das Verfahren Interpretation der Newton-Richtung Konvergenz des Verfahrens Variable Metrik- und Quasi-Newton-Verfahren Allgemeine Verfahrensvorschrift Globale Konvergenz von Variable-Metrik-Verfahren Quasi-Newton-Methoden BFGS-Update Das BFGS-Verfahren für quadratische Optimierungsprobleme Das BFGS-Verfahren für nichtlineare Optimierungsaufgaben Verfahren konjugierter Richtungen CG-Verfahren für quadratische Optimierungsprobleme Analyse des CG-Verfahrens Vorkonditionierung CG-Verfahren für nichtlineare Optimierungsprobleme Probleme mit linearen Restriktionen Theorie Ein Beispiel Optimalitätsbedingungen erster Ordnung Optimalitätsbedingungen zweiter Ordnung Notwendige Bedingungen Hinreichende Bedingungen Gleichungsnebenbedingungen Optimalitätsbedingungen erster Ordnung Bedingungen zweiter Ordnung bei Gleichungsrestriktionen Nullraum-Matrizen Quadratische Optimierungsprobleme Dynamische Optimierungsprobleme Affine Ungleichungsnebenbedingungen

4 5.5.1 Problemdefinition Notwendige Optimalitätsbedingungen Hinreichende Optimalitätsbedingungen Strikte Komplementarität Probleme mit Variationsbeschränkungen (box constraints) Lineare Optimierungsprobleme Probleme mit linearen Restriktionen-Verfahren Quadratische Optimierungsprobleme Aufgaben mit Gleichungsrestriktionen Aufgaben mit Ungleichungsrestriktionen Gleichungsnebenbedingungen nichtquadratischer Zielfunktion Ungleichungsnebenbedingungen nichtquadratische Zielfunktionen Probleme mit nichtlinearen Restriktionen Theorie Grundlagen Notwendige Optimalitätsbedingungen erster Ordnung Optimalitätsbedingungen zweiter Ordnung Probleme mit nichtlinearen Restriktionen-Verfahren Das Lagrange-Newton-Verfahren Sequentielle quadratische Optimierung

5 1 Optimierungsaufgaben 1.1 Literatur 1. Alt, W., Nichtlineare Optimierung. Vieweg, Braunschweig/Wiesbaden Gill, P.E., Murray, W., and M.H. Wright, Practical Optimization. Academic Press, London Kelley, C.T., Iterative Methods for Optimization. SIAM, Philadelphia Nocedal, J. and Wright, S.J., Numerical Optimization. Springer, New York Spelluci, P., Numerische Verfahren der nichtlinearen Optimierung. Birkhäuser, Basel Luenberger, D.G., Optimization by Vector Space Methods. Wiley, Luenberger, D.G., Linear and Nonlinear Programming. Addison Wesley, London Großmann, C. und Terno, J, Numerik der Optimierung. Teubner-Verlag, Stuttgart Moré, J.J. and Wright, S.J., Optimization Software Guide. SIAM, Philadelphia Grundlagen und Begriffe Wir untersuchen in diesem Kurs die Aufgabe, ein Minimum einer gegebenen Funktion f : R n R zu berechnen. Dazu einige Beispiele und Grundbegriffe: Beispiel f(x) = x 2, f : R R hat genau ein Min bei x = 0. f(x) = x, f : R R ist nicht nach unten beschränkt; die Minimumaufgabe ist unlösbar. Beispiel f(x 1, x 2 ) = 1 2 (x2 1 + x 2 2) cos(x 2 1) cos(x 2 2), f : R 2 R hat ein (strenges) globales Minimum und mehrere (strenge) lokale Minima und Maxima. 1

6 Abb. 9.1 und Text Text und Abb. 9.1 Bezeichnungen: Für x R n heißt ( n ) 1/2 x = x 2 i euklidische Norm i=1 B(x, r) = {y R n y x < r} offene Kugel B(x, r) = cl B(x, r) abgeschlossene Kugel x i i-te Komponente von x x (k) k-tes Glied einer Folge von Vektoren ( x (k)) k=1 Im Weiteren sei D R n eine fest gegebene offene Menge, eine Menge F D sowie f : D R. Wir betrachten das Optimierungsproblem (P) min f(x) x F Man nennt f - Zielfunktion F - zulässiger Bereich oder zulässige Menge Im Fall F = D heißt (P ) unrestringierte oder freie Optimierungsaufgabe (wie etwa in Bsp ). Das mutet für eine echte Teilmenge D R n etwas eigenartig an, lässt sich aber leicht einsehen. Ist F durch Nebenbedingungen gegeben, so heißt (P ) 2

7 Optimierungsproblem mit Nebenbed. oder restringiertes Opt.-problem. In der Regel ist F durch Gleichungen und Ungleichungen definiert. Die Elemente von F heißen zulässige Punkte. Beispiel min (x R) x3 bei x 1 Es handelt sich um eine Aufgabe mit einer linearen Ungleichungsrestriktion, D = R, F = [1, ), die Lösung ist x = 1. Definition Ein Punkt x F heißt lokales Minimum von f auf F oder lokale Lösung von (P ), wenn r > 0, so dass f(x) f( x) x F B( x, r) analog strenges lokales Min., wenn entsprechend f(x) > f( x) x F B( x, r), x x analog globales Min. bzw. globale Lösung, wenn f(x) f( x) x F strenges globales Min. bzw. strenge globale Lösung, wenn gilt. f(x) > f( x) x F, x x Bei nichtlinearen Optimierungsaufgaben können viele lokale oder globale Minima auftreten, wie etwa bei f(x) = sin x, f(x) = x sin ( 1 x). Bemerkung: Wir entwickeln unsere Theorie für den Fall der Minimierung von f. Den Fall der Suche nach Maxima x, f(x) f( x) x F führen wir wegen der Äquivalenz zu f(x) f( x) auf die Minimierung von f := f zurück. 3

8 Beispiel (Lineare Regression) Gesucht ist eine lineare Funktion η(ξ) = x 1 ξ + x 2 mit unbekannten Koeffizienten x 1, x 2, welche am besten zu gegebenen Wertepaaren (ξ i, η i ), i = 1,..., m (z.b. Messwerten) passt. Wir setzen η(ξ) = g (x 1, x 2, ξ) = x 1 ξ + x 2 und wollen x 1, x 2 so wählen, dass die Zielfunktion f(x) = f (x 1, x 2 ) = m (η i g (x 1, x 2, ξ i )) 2 i=1 = m (η i x 1 ξ i x 2 ) 2 i=1 minimiert wird. f ist ein Polynom zweiten Grades in x 1, x 2, also eine quadratische Zielfunktion. η (η,ξ ) 6 6 (η,ξ ) 3 3 (η,ξ ) 4 4 (η,ξ ) 5 5 (η,ξ ) 1 1 (η,ξ ) 2 2 ξ Folgende Fragestellungen werden wir in der Vorlesung vor allem untersuchen: Existenz und Eindeutigkeit von Lösungen Notwendige Optimalitätsbedingungen Hinreichende Optimalitätsbedingungen Numerische Verfahren zur Lösung von Optimierungsaufgaben. 1.3 Existenz von Lösungen Grundlage für die meisten Existenzbeweise ist der bekannte 4

9 Satz (Weierstraß) Ist f : R n D R stetig und K D kompakt, dann nimmt f auf K sein Infimum (bzw. sein Supremum) an, d. h., es existiert ein globales Minimum (bzw. Maximum) von f auf K. Definition f : D R, D R n, α R. Die Mengen N(f, α) = {x D f(x) α} heißen Niveaumengen von f. f(x) α N(f,α ) x Satz D R n, f : D R stetig und F D abgeschlossen. Für mindestens ein w F sei die Niveaumenge N(f, f(w)) = {x D f(x) f(w)} kompakt. Dann gibt es (mindestens) ein globales Minimum von f auf F. Beweis: Es sei α = inf x F f(x). Offenbar gilt α f(w). F N(f, f(w)) ist kompakt, und nur in dieser Menge können Elemente von F liegen, deren Funktionswerte kleiner oder gleich f(w) sind. Somit α = inf f(x) = f( x), x F N(f,f(w)) wobei x F nach dem Satz von Weierstraß existiert. Typische Anwendungen dieses Prinzips sind die folgenden zwei Aussagen: 5

10 Folgerung D, F wie in Satz 1.2.1, f : R n Eigenschaft R stetig. Zusätzlich habe f die Dann besitzt die Aufgabe lim f(x) =. x min f(x) x F mindestens eine globale Lösung. Beweis: Wegen lim x f(x) = sind alle Niveaumengen N(f, α) kompakt (Übungsaufgabe). Der Rest ist Folgerung aus dem letzten Satz. Eine (n, n)-matrix H heißt positiv semidefinit, wenn x T Hx 0 für alle x R n gilt, sowie positiv definit, wenn x T Hx > 0 x R n, x 0 Man zeigt mit einem Kompaktheitsschluss, dass positive Definitheit äquivalent ist zur Existenz eines α > 0, so dass x T Hx α x 2 x R n (Übungsaufgabe). Offenbar gilt dann x T Hx, x. Beispiel (Unrestringierte quadratische Optimierungsaufgabe) Wir betrachten (QU) min f(x) = 1 x R n 2 xt Hx + b T x mit gegebenem b R n und positiv definiter (n, n)-matrix H. Sie zeigen leicht, dass lim x f(x) = gilt (Übungsaufgabe). Wegen Folgerung hat (QU) damit mindestens eine globale Lösung. Beispiel (Lineare Regression aus Bsp 1.2.4) Ausmultiplizieren der Zielfunktion ergibt 6

11 f(x) = m (η i (x 1 ξ i + x 2 )) 2 i=1 m m = 2 η i (ξ i x 1 + x 2 ) i=1 η 2 i }{{} c i=1 } {{ } b T x = 1 2 xt Hx + b T x + c m m ξi 2 ξ i 1 1 mit H = 2 m m 1 ξ i b = 2 + m (x 1 ξ i + x 2 ) 2 i=1 } {{ } 1 2 xt Hx m ξ i η i 1 m. Sind mindestens zwei der ξ i verschieden, so ist H positiv definit (Übungsaufgabe). Damit ist die Aufgabe der linearen Regression in diesem Fall lösbar. Sind alle ξ i gleich, so ist sie auch nicht sinnvoll gestellt! 1 η i 1.4 Konvexe Optimierungsaufgaben Unter allen Optimierungsaufgaben haben konvexe die schönsten Eigenschaften! Es gibt dazu auch eine gut ausgebaute konvexe Analysis (z. B. siehe Webster, R., Convexity. Oxford University Press 1994, oder Rockafellar, R.T., Convex Analysis. Princeton University Press 1970). Definition Eine Menge C R n heißt konvex, falls für je 2 beliebige x, y C auch die Strecke in C enthalten ist: x, y C [x, y] C. [x, y] = {z = (1 t)x + ty 0 t 1} x x C C y konvexe Menge y nicht konvexe Menge Definition Sei C R n konvex und nichtleer, C D. Eine Funktion f : D R heißt konvex auf C, wenn 7

12 Gilt die verschärfte Beziehung f((1 t)x + ty) (1 t)f(x) + tf(y) x, y C, t [0, 1] f((1 t)x + ty) < (1 t)f(x) + tf(y) x, y C, x y t ]0, 1[, so heißt f strikt oder streng konvex auf C. f f konvexe Funktion nicht konvexe Funktion f(y) f(y) f(x) f(x) x y x y Beispiel f(x) = x ist konvex, f(x) = x 2 streng konvex. Definition Nun betrachten wir f : D R, D R n offen, nichtleer, F D. Ist f konvex auf F, so heißt das Problem min f(x) x F (P) konvexe Optimierungsaufgabe. Schon der nächste Satz zeigt, welche schönen Eigenschaften konvexe Probleme haben. Satz Die obige Aufgabe (P) sei eine konvexe Optimierungsaufgabe. Dann ist jedes lokale Minimum von (P) auch ein globales. Die Menge aller Lösungen von (P) ist konvex. Beweis: (i) Es sei x lokale Lösung, d. h., mit einem r > 0 gilt Zu zeigen ist f(x) f( x) x F B( x, r). ( ) 8

13 f(y) f( x) y F. Wir wählen ein y F und betrachten x + t(y x) für kleine t > 0. Es gilt x + t(y x) F t [0, 1]: Denn x + t(y x) = (1 t) x + ty F, da F konvex. Es gilt auch x+t(y x) B( x, r) für alle hinreichend kleinen t, d. h. t [0, t 0 ], t 0 > 0. Deshalb wegen ( ) f( x) f((1 t) x + ty) (1 t)f( x) + tf(y). ( ) Durch Umstellen ergibt sich f( x) f(y). (ii) Nun seien x und x Lösungen, d.h. f( x) = f(x) = α = min f. Dann f((1 t) x + tx) (1 t)f( x) + tf(x) = α = min auch (1 t) x + tx ist Lösung. Satz D R n, F D konvex, F, f : D R streng konvex. Hat (P) eine Lösung x, dann ist x eindeutig bestimmt und ein strenges Minimum von f in F. Beweis: Es seien x, y zwei Minima von f, also nach dem letzten Satz globale Minima. Damit gilt f(x) = f(y) = α = min x F f(x). Angenommen, es gilt x y. Dann liefert z = 1 (x + y) einen kleineren Wert als α, denn 2 f(z) = f ( 1 2 x + 1 ) 2 y < strenge Konvexität 1 2 f(x) f(y) = 1 2 α α = α. Außerdem gilt z F und insgesamt widerspricht das der Optimalität von x, y. Damit x = y, strenges Minimum Beispiel f(x) = 1 2 xt Hx + b T x Ist H positiv definit, so ist f streng konvex (Übungsaufg.). Folgerung: Sind zwei der Werte ξ i verschieden, so ist das Zielfunktional bei der Aufgabe der linearen Regression streng konvex und daher die Lösung eindeutig bestimmt. 9

14 1.5 Weitere wichtige Beispiele von Optimierungsaufgaben Beispiel (Nichtlineare Regression) Bei der linearen Regression war eine affin-lineare Funktion η(ξ) = x 1 ξ + x 2 zu bestimmen. Allgemeiner kann η eine nichtlineare Funktion von ξ sein, gegeben durch einen nichtlinearen Ansatz oder allgemeiner η(ξ) = g(x 1, x 2, ξ) η(ξ) = g(x 1,..., x n, ξ) mit einem unbekannten Vektor x R n, z. B. Minimierung von g = x 1 e ξx 2 + x 3. f(x) = m (η i g(x, ξ i )) 2 i=1 Typ: f(x) = m (f i (x)) 2 f i = η i g(, ξ i ). i=1 Nun betrachten wir noch einige berühmte pathologische Testfunktionen, an denen gern Algorithmen getestet werden. Beispiel Rosenbrock-Funktion ( Banana shaped valley ) f(x 1, x 2 ) = 100(x 2 x 2 1) 2 + (1 x }{{} 1 ) 2 }{{} definiert kippt leicht das Tal an (Parabel) 10

15

16 Beispiel (Himmelblau) f(x 1, x 2 ) = (x x 2 11) 2 + (x 1 + x 2 2 7) 2 4 lokale Minimalstellen, die zugleich globale Minimalstellen mit Funktionswert 0 sind; 4 Sattelpunkte und ein lokales Maximum bei ( , ) T Beispiel (Bazaraa-Shetty) f(x 1, x 2 ) = (x 1 2) 4 + (x 1 2x 2 ) 2 Globales Min. bei (2, 1). Die Hesse-Matrix ist an dieser Stelle singulär, was bei manchen Algorithmen zu Problemen führen kann Beispiel f(x 1,, x 5 ) = 2x x x x x2 5 4(x 1 + x 2 ) 2(x 3 + x 4 ) x Globales Min. bei x = (1, 1, 1, 1, 1) T, f( x) = 0 (Übungsaufgabe). 12

17 Beispiel (Dixon) f(x 1,, x 10 ) = (1 x 1 ) 2 + (1 x 10 ) 2 + g (x 2 i x i+1 ) 2 i=1 Globales Minimum bei x = (1,, 1) T. 1.6 Numerische Lösung von Optimierungsaufgaben Wir werden die in der Vorlesung zu untersuchenden Optimierungsverfahren numerisch lösen durch iterative Verfahren, die teilweise nach endlich vielen Schritten eine Lösung ermitteln oder einem Grenzwert zustreben: lim k x(k) = x. Dabei werden wir Optimierungsaufgaben verschiedener Struktur untersuchen (z. B. linearquadratische Aufgaben, nichtlineare Funktionale mit linearen Restriktionen, allgemeine nichtlineare Probleme, nicht jedoch lineare oder diskrete Optimierungsaufgaben.) 1.7 Optimierungs-Software Programmbibliotheken Empfehlenswert und bei uns verfügbar: NAG-Library minpack (Numerical Algorithms Group) Fortran Codes (ist public domain software) Interaktive Programmsysteme MATLAB (MATrix LABoratory) kommerziell Scilab (SCIentific, LABoratory) kostenlos von INRIA, Paris Entscheidungshilfe im Internet: Hans D. Mittelmann, Software-Guide: Moré and Wright, [9] 13

18 2 Ableitungsfreie Verfahren Oft ist die Berechnung der Ableitung von f so aufwendig oder bei nicht differenzierbarem f unmöglich, so dass man Verfahren entwickelt hat, die ohne Ableitungen auskommen. Wir behandeln hier kurz zwei davon, um die unrestringierte Aufgabe min f(x) x R n (PU) numerisch zu lösen. 2.1 Simplexverfahren von Nelder und Mead Grundkonstruktionen Bemerkung: Das Verfahren hat nichts mit der Simplexmethode der linearen Optimierung zu tun! Der Name kommt von Definition x 0,..., x n R n seien affin unabhängig, d. h. x i x 0, i = 1,..., n sind linear unabhängig. Die konvexe Hülle der Punkte x 0,..., x n { n S = λ i x i λ i 0, i = 0,..., n, i=0 heißt (n-dimensionales) Simplex mit den Ecken x 0,..., x n. } n λ i = 1 i=0 Beim Start des Verfahrens wird ein Simplex vorgegeben. Man ermittelt die (bzw. eine) Ecke mit dem größten Funktionswert, f(x m ) = max { f(x 0 ),..., f(x n ) } Danach wird ein neuer Punkt ermittelt, der einen kleineren Funktionswert ergibt und x m ersetzt. Dazu werden folgende Konstruktionen benutzt: Def. s j = 1 n n i=0 i j x i Schwerpunkt der (anderen) Ecken bzgl. x j 14

19 x j x n=2: S j x j x j j S x Konstruktionsprinzipien: n=2: S j γ=1/2 xr x e Reflektion von x j an s j γ : Reflektionskonstante x r = s j + γ(s j x j ), 0 < γ 1 Dieses eben konstruierte x r kann weiter nach außen bewegt werden: Expansion von x r in Richtung s j x j (d. h. in Richtung x r s j ) x e = s j + β(x r s j ), β > 1 Expansionskonstante x j x j j S x c S j Kontraktion (3 Typen) (i) Partielle Kontraktion innen x c = s j +α(x j s j ) 0 < α < 1 Kontraktionskonstante (ii) Partielle Kontraktion außen x c = s j + α(x r s j ) x j S j j j x S x c x r (iii) Totale Kontraktion Ersetze alle x i außer x j durch ˆx i = x i (xj x i ) = 1 2 (xi + x j ) 15

20 16 x j

21 2.1.2 Ablauf des Verfahrens Die einfachste Variante läuft so ab: Vorab werden gewählt α (0, 1) Kontraktionskonstante β > 1 Expansionskonst. γ (0, 1] Reflexionskonstante Folgende Schritte laufen ab: 1. Wahl eines Startpunkts x 0 R n, Festlegung der anderen n Ecken des Startsimplexes durch x j = x 0 + e j, j = 1,..., n, wobei e j den j-ten Standardeinheitsvektor bezeichnet. 2. Bestimme (die) Ecken mit maximalem und minimalem Funktionswert: x m, x l mit f(x m ) = max { f(x 0 ),..., f(x n ) } f(x l ) = min { f(x 0 ),..., f(x n ) } 2 x = x m angenommene Situation: und bestimme den Schwerpunkt der Ecken bezügl. x m n s m = 1 x i n i=0 i m e 2 S x 0 1 l e x = x 1 m 3. Reflektion von x m am Schwerpunkt s m 4. Aufbau des neuen Simplexes Dazu eine Fallunterscheidung (i) x r = s m + γ(s m x m ) f(x r ) < f(x l ) Dann war die Richtung gut, und man probiert noch etwas mehr: Expansion von x r x e = s m + β(x r s m ) Man ersetzt x m durch den besseren der beiden Punkte: { } x x m = e, f(x e ) < f(x r ) x r, f(x r ) f(x e ) x m := x m x m x 0 Reflektion und Expansion S m x l x r x e Neues Simplex 17 x 0 x l x m

22 (ii) f(x l ) f(x r ) max {f(x j ), j m} x m Partielle innere Kontraktion Nichts gewonnen, nichts verloren ersetze x m durch x r (iii) x m := x r f(x r ) > max {f(x j ), j m} x 0 x c S m x l Wenn f(x r ) f(x m ) : Partielle innere Kontraktion x c = s m + α(x m s m ) Wenn f(x r ) < f(x m ) : Partielle äußere Kontraktion x c = s m + α(x r s m ) Wenn f(x c ) < f(x m ), dann ersetze x m durch x c x m := x c Wenn f(x c ) f(x m ), dann führe eine totale Kontraktion bezüglich x l aus: x m x 0 Partielle äußere Kontraktion S m x l x c x r x i := 1 2 ( x i + x l), i l Neues Simplex 5. Gehe mit dem neu ermittelten Simplex (Ecken {x 0,..., x n }) zu Schritt 2. Das Verfahren erzeugt Eckenfolgen {x (k,0),..., x (k,n) } k=1 und stellt sicher, dass f ( x (k+1,l)) f ( x (k,l)) gilt. In gewissem Sinne kann man x (k,l) als den aktuellen Iterationspunkt bezeichnen. Allgemeine Konvergenzsätze gibt es nicht. Empirische Untersuchungen zeigen 0.4 α 0.6, 2 β 3, γ = 1 sind zu empfehlen. Verfügbare Codes: EO4CCF (NAG) fmins (MATLAB 5) fminsearch (MATLAB 6) Das Verhalten des Verfahrens wird am Beispiel der Rosenbrock-Funktion deutlich: Startpunkt: ( 1.9, 2) T EO4CCF: stoppt nach 186 Funktionsauswertungen bei ( , ) T fmins: nach 210 Auswertungen bei ( , ) T 18

23 2.2 Mutations-Selektions-Verfahren Zufällige Mutation der aktuellen Iterierten Auswahl der brauchbaren Iterierten Diese Verfahren gehören zur Klasse von Methoden der stochastischen Suche. Verfahrensgrundprinzip: 1. Wähle Startpunkt x (0) R n k := 0 2. Berechne neuen Punkt v (k) durch zufällige Änderung von x (k) (Zufallszahlen), z. B. v (k) i ( ) = x (k) i + δ k r (k) i 0.5 r (k) i : Zufallszahlen aus [0, 1] δ k : Schrittweiten i = 1,, n 3. Numerisches Resultat: { v x (k+1) (k) falls f ( v = (k)) < f ( x k) x (k) sonst Für Beispiel (Rosenbrock) werden 2776 Schritte benötigt. 2.3 Anwendung: Nichtlineare Regression (Siehe Beispiel 1.5.1) 10 Messwertpaare ξ i η i Ansatz: η(ξ) = g(x, ξ) = x 1 e ξx 2 (P) min f(x) = f (x 1, x 2 ) = 10 ( ) i=1 ηi x 1 e ξ ix 2 2 Anwendung der MATLAB-Implementierung fmins des Nelder-Mead-Verfahrens ergibt x = ( Weitere Beispiele werden in den Übungen diskutiert. ) f( x) =

24 3 Probleme ohne Restriktionen Theorie 3.1 Optimalitätsbedingungen erster Ordnung Im gesamten Kapitel 3 wird vorausgesetzt: D R n f : D R offen, nichtleer mit gewissen Differenzierbarkeitsannahmen Wir betrachten die unrestringierte Aufgabe (PU) min f(x) x D Satz (Fermat) f besitze in x D ein lokales Minimum und sei an der Stelle x differenzierbar. Dann gilt f( x) = 0 Notwendige Bedingung 1. Ordnung (3.1) Beweis: Grundwissen aus der Analysis. Bemerkung: Bei uns sind Vektoren stets Spaltenvektoren. Deshalb ist f (x) ein Zeilenvektor und f(x) ein Spaltenvektor. Es gilt f(x) = f (x) T. Beispiel Hier gilt Eine Lösung der Aufgabe f(x) = 1 2 xt Hx + b T x H R (n,n), symmetrisch b R n f(x) = Hx + b. min f(x) x R n muss also die Gleichung Hx = b erfüllen. Ist H außerdem positiv definit, so hat das 2 Effekte. Erstens existiert eine Lösung (Bsp 1.3.1). Außerdem ist unser Gleichungssystem eindeutig lösbar. Damit ist x = H 1 b die eindeutig bestimmte Lösung. Anwendung: Lineare Regression (Fortsetzg. Bsp 1.3.2) 20

25 Wir hatten H = 2 m 1 m 1 ξ 2 i ξ i m 1 m ξ i, b = 2 m ξ i η i 1 m erhalten. Ist H positiv definit, dann ergibt sich für die Lösung der Regressionsaufgabe das Gleichungssystem ( m ) ( m ) ξi 2 x 1 + ξ i x 2 = m ξ i η i m ξ i x 1 + m x 2 = m η i. Bestimmen Sie die Lösung! 1 Definition Ist f in x D differenzierbar und gilt f( x) = 0, so heißt x stationärer Punkt von f. Bemerkung: Optimierungsalgorithmen berechnen in der Regel stationäre Punkte. Diese müssen keineswegs lokale oder globale Minima (Maxima) ergeben. Bsp: f(x) = x 3 bei x = 0. Beispiel Rosenbrock-Funktion: Hat genau einen stationären Punkt bei x = ( ) 1 1 ( ) 400 x1 (x f(x) = 2 x 2 1) 2(1 x 1 ) 200(x 2 x 2. 1) Ist die Zielfunktion f differenzierbar, so heißt (PU) glatte oder differenzierbare Optimierungsaufgabe. Bei vielen Anwendungen ist f nicht überall differenzierbar, ein typisches Beispiel ist f(x) = x bei x = 0. Mit nichtglatter Optimierung werden wir uns kaum befasssen. Allerdings geben wir folgendes nützliches Resultat an. Definition f heißt in x D in Richtung h R n richtungsdifferenzierbar, wenn die Richtungsableitung f (x, h) := lim t 0 f(x + th) f(x) t existiert. Gilt dies für alle Richtungen h, so heißt f richtungsdifferenzierbar an der Stelle x. Satz Ist x ein lokales Minimum von (PU) und ist f an der Stelle x D richtungsdifferenzierbar, dann gilt 1 1 η i f ( x, h) 0 h R n Variationsungleichung (3.2) 21

26 Beweis: D ist offen, damit r > 0: f(x) f( x) x B( x, r). Sei h R n beliebig, aber fest. Dann gilt x + th B( x, r) für betragsmäßig kleine t, somit f( x + th) f( x) 0 f( x+th) f( x) t 0 f ( x, h) 0 (3.2) ist intuitiv einleuchtend. In x liegt ein lok. Minimum vor, also kann keine Richtung existieren, in der es abwärts geht! Beispiel f(x) = x hat lokales Min. bei x = 0. f(x)= x f ist bei x = 0 nicht differenzierbar, aber die Richtungsableitung existiert: x f(th) f(0) t = th t = h, t > 0 f (0, h) = h 0 h R Notwendige Bedingungen zweiter Ordnung Satz f sei in einer Umgebung von x D zweimal stetig differenzierbar. Ist x lokales Minimum von (PU), so muss neben der notwendigen Bedingung erster Ordnung auch erfüllt sein, d. h., f ( x) muss positiv semidefinit sein. Beweis: Bekannt aus der Analysis. Skizze: Wir setzen für bel. aber festes h, h T f ( x)h 0 h R n (3.3) F (t) = f( x + th). F hat lokales Minimum bei t = 0 und ist vom Typ C 2. Taylorentwicklung: F (t) = F (0) + F (0)t + 1 }{{} F (ϑt)t 2 2 =0 = 1F (ϑt) 2 0 F (t) F (0) t 2 t 0, Stetigkeit von F F (0) = h T f ( x)h 0. 22

27 Beispiel f(x) f (x) = 1 2 xt Hx + b T x = H Soll (PU) für dieses f eine Lösung haben, dann muss H positiv semidefinit sein. Beispiel Rosenbrock-Funktion fx 1 = 400 x 1 (x 2 x 2 1) 2 (1 x 1 ) fx 2 = 200 (x 2 x 2 1) fx 1 x 1 = 400 (x 2 x 2 1) x fx 1 x 2 = fx 2 x 1 = 400 x 1 fx 2 x 2 = 200 f (1, 1) = ( ) positiv definit nach Satz von Sylvester Hinreichende Bedingungen zweiter Ordnung Aus der Gültigkeit von notwendigen Bedingungen erster und zweiter Ordnung kann man bekanntlich nicht auf lokale Optimalität schließen (Bsp: f(x) = x 3 bei x = 0). Dazu zieht man nach Möglichkeit hinreichende Bedingungen 2. Ordnung zu Rate. Im Weiteren sagen wir f ist in U aus der Klasse C 2, kurz aus C 2, wenn f zweimal stetig differenzierbar in U ist. Satz f sei aus C 2 f( x) = 0 sowie in einer Umgebung von x D. Die notwendige Bedingung h T f (z)h 0 h R n (3.4) sei erfüllt für alle z B( x, δ) mit einem δ > 0. Dann ist x lokales Minimum von (PU). Beweis: Sei x B( x, δ) beliebig. Dann f(x) f( x) = f ( x)(x x) + 1 (x x) f 2 }{{} ( x ϑ(x x)) (x x), ϑ (0, 1) }{{} h z 0 wegen (3.4). x lokales Min. Beispiel Lineare Regression Hier hängt f (x) = H nicht von x ab. Ist H nur positiv semidefinit und erfüllt x die notwendige Bedingung H x + b = 0, dann ist x lokales Min. Sind zwei der Messpunkte ξ i verschieden, dann ist H positiv definit, und wir haben Existenz und Eindeutigkeit. 23

28 Beispiel (i) f(x) 0 x R n Jedes x R n ist lokales Minimum f(x) (ii) f(x) = max{0, x 1} Alle x [ 1, 1] sind lokale Minima, x = 1, x = 1 passen nicht in die Theorie x Solche etwas pathologischen Fälle schließt man durch etwas schärfere Bedingungen aus, die strenge lokale Minima implizieren: Satz f sei aus C 2 in einer Umgebung von x D, es gelte f( x) = 0, und f ( x) sei positiv definit, d. h. h T f ( x)h > 0 h R n, h 0. (3.5) Dann existieren r > 0, α > 0, so dass f(x) f( x) + α x x 2 x B( x, r) quadratische Wachstumsbedingung Damit ist x strenges lokales Minimum von (PU). Beweis: Vorlesung Analysis! Skizze: Man zeigt mit einem wichtigen Kompaktheitsschluss, der leider nur im R n funktioniert, die Äquivalenz von (3.5) mit α > 0. Dann h T f ( x)h α h 2 h R n, f(x) α := α 4 = f( x) + f( x) T (x x) + 1 }{{} (x 2 x)t f ( x + ϑ(x x)) (x x), ϑ (0, 1) =0 = f( x) (x x)t f ( x)(x x) + 1(x 2 x)t [f ( x + ϑ(x x)) f ( x)](x x) }{{}}{{} 1 α, wenn x x klein 2 α x x 2 4 f( x) + α x 4 x 2 (f C 2!) Offenbar gilt hier h T f (z)h 0 h, z B( x, r), also impliziert (3.5) die Bedingung (3.4). Beispiel Lineare Regression mit positiv definitem H 24

29 Beispiel Rosenbrock-Funktion bei x = [1, 1] T. f (1, 1) = Beispiel ( ) ist positiv definit, also ist x strenges lokales Minimum. f(x) = x 2p, p N, x R. x = 0 ist lokales Minimum, aber die gängige Formel f ( x) = 0 f ( x) > 0 lokales Minimum funktioniert nur bei p = 1 f (x) = 2p x 2p 1 f (0) = 0 f (x) = 2p(2p 1)x 2p 2 f (0) > 0 falls p = 1 f (0) = 0 falls p > 1 Satz ist nur für p = 1 anwendbar, Satz stets. 3.2 Konvexe Optimierungsaufgaben Wir untersuchen für die konvexe Aufgabe (P) min x F f(x) f : D R konvex (D offen) F D konvex,, nicht notwendig offen Jede lokale Lösung von (P) ist damit eine globale. Charakterisierung der Konvexität von f durch Ableitungen: Satz f sei differenzierbar in D. Dann ist f genau dann konvex auf F, wenn f(y) f(x) + f (x)(y x) x, y F (3.6) Beweis: Siehe Fachbücher (ist sehr einfach). Illustration für n = 1: f(y) f(x)+f (x)(y x) x y 25

30 Satz f sei differenzierbar in D und x F. Dann ist x genau dann Lösung der konvexen Optimierungsaufgabe (P), wenn f ( x)(x x) 0 x F Variationsungleichung (3.7) Beweis: (i) Ist x lokales Minimum, dann wissen wir f ( x)(x x) 0 (Satz 3.1.2: f ( x, h) 0 mit h = x x f ( x, h) = f ( x)(x x).) (ii) Gilt (3.7), so wegen Konvexität und (3.6) f(y) f( x) f ( x)(y x) 0 Strenge Konvexität kann man auch so charakterisieren: Satz D offen, F D nichtleer und konvex, f : D R differenzierbar auf D. Dann ist f genau dann streng konvex auf F, wenn Beweis: f(y) > f(x) + f (x)(y x) x, y F, x y. (3.8) (i) f sei strikt konvex. Dann ist f insbesondere konvex und f(y) f(x) + f (x)(y x). ( ) Nehmen wir an, (3.8) gilt nicht. Dann gibt es ein Paar (x, y), x y, so dass in ( ) Gleichheit gilt. Wegen strikter Konvexität von f, ( 1 f 2 x + 1 ) 2 y < 1 2 f(y) }{{} +1 2 f(x) = rechte Seite von ( ) wegen Gleichheit = 1 2 f(x) f (x)(y x) + 1 ( 2 f(x) 1 = f(x) + f (x) 2 y + 1 ) ( 2 x x 1 f(x) + f 2 x + 1 ) 2 y f(x), wegen Satz ( 1 = f 2 x + 1 ) 2 y im Widerspruch zur Annahme. (ii) Die andere Richtung zeigt man analog wie Satz Geometrisch ist die Aussage sehr einleuchtend. 26

31 Satz Sei f differenzierbar auf D und streng konvex auf F sowie x F. Dann gilt: x ist genau dann strenges lokales Minimum von (P) und damit auch strenges globales Minimum wenn die Variationsungleichung f ( x)(x x) 0 x F erfüllt ist. Beweis: (i) : Natürlich muss die Variationsungl. erfüllt sein. (ii) : aus der Variationsungl. und der strengen Konvexität folgt f(x) > f( x) + f ( x)(x x) f( x) }{{} x F, (3.8) 0 Var.-ungl. x x Man kann Konvexität auch über zweite Ableitungen charakterisieren: f (x) > 0 f konvex Satz D R n offen, F D konvex, ; f : D R aus C 2. Dann gilt (i) Ist f (x) positiv semidef. x F, so ist f konvex auf F. Ist F offen, so gilt auch die Umkehrung (ii) Ist f (x) positiv definit x F, so ist f streng konvex auf F. Beweis: Es seien x, y F. Dann gilt mit einem ϑ (0, 1) f(y) f(x) f (x)(y x) = 1 2 (y x)t f (x + ϑ(y x))(y x). ( ) (i) Wegen pos. Semidefinitheit gilt dann, dass die rechte Seite von ( ) nichtnegativ ist. Das heißt aber Konvexität nach Satz Umgekehrt: Es sei F offen, x F beliebig. Wir zeigen die positive Semidefinitheit von f (x). Dazu sei d R n beliebig, t R, t hinreichend klein. Dann gilt wegen der Charakterisierung der Konvexität durch erste Ableitung f(x + td) f(x) + f (x)(td) f(x) f(x + td) + f (x + td)( td). Addition [f (x + td) f (x)](td) 0 27

32 d T f 1 (x)d = lim [f (x + td) f (x)] d t 0 t = lim 1 t 0 t 2 }{{} 0 [f (x + td) f (x)](td) 0 }{{} 0 (ii) Ist f (x) positiv definit, so entsteht in ( ) für y x sofort eine (streng) positive rechte Seite. Nach Satz ist damit f streng konvex. Eine weitere Verschärfung des Begriffs der Konvexität ist: Definition Eine Funktion f heißt gleichmäßig konvex auf einer konvexen Menge F D R n, wenn mit einem α > 0 gilt (1 λ)f(x) + λf(y) f((1 λ)x + λy) + λ(1 λ)α x y 2 x, y F, λ [0, 1]. Damit kann man zeigen: Gleichmäßige Konvexität ist bei differenzierbarem f äquivalent zu f(y) f(x) f (x)(y x) + α x y 2 x, y F Für f C 2 folgt gleichmäßige Konvexität aus der gleichmäßigen positiven Definitheit, d.h. h T f (x)h β h 2 h R n, wobei β > 0 nicht von x F abhängt. Ist F offen, dann folgt umgekehrt aus der gleichmäßigen Konvexität von f auf F, dass f gleichmäßig positiv definit ist. 28

33 4 Probleme ohne Restriktionen Verfahren 4.1 Grundlagen Wir untersuchen im gesamten Kapitel numerische Verfahren zur Lösung der Aufgabe (PU) min f(x) x R n Da wir wissen, dass an der Stelle einer Lösung x die Gleichung f( x) = 0 (4.9) erfüllt sein muss, können wir diese Gleichung numerisch lösen, etwa mit dem Newton- Verfahren. Dieses liefert aber nur eine Lösung dieser Gleichung, welche nicht notwendig ein Minimum ergibt. Deshalb interessiert man sich für numerische Verfahren, welche (4.9) lösen und gleichzeitig die Minimierung in (PU) berücksichtigen. Dazu gehören Abstiegsverfahren, iterative Verfahren, welche schrittweise den Funktionswert von f verkleinern. Definition f : R n R sei differenzierbar an der Stelle x. Ein Vektor d R n heißt Abstiegsrichtung von f im Punkt x, wenn ist. f(x) T d < 0 d ϕ π/2 < ϕ < 3/2 ϕ grad f Der Sinn dieser Definition ist klar, er wird erhärtet durch Lemma f sei differenzierbar an der Stelle x und d eine Abstiegsrichtung. Dann existiert σ > 0 mit f(x + σd) < f(x) x [0, σ] Beweis: Wegen f(x) T d = lim σ 0 f(x + σd) f(x) σ < 0 29

34 muss für hinreichend kleines σ > 0 die Beziehung f(x + σd) < f(x) erfüllt sein. Beispiele von Abstiegsrichtungen: Beispiel Gilt f(x) 0 in x, so ist der Antigradient f(x) Abstiegsrichtung denn: Für d = f(x) gilt f (x)d = f(x) ( f(x)) = f(x) 2 < 0. Ist A positiv definite (n, n)-matrix, dann ist A 1 f(x) Abstiegsrichtung Das liegt daran, dass mit A auch A 1 positiv definit ist. Verfahren (Allgemeine Form von Abstiegsverfahren) 1. Wähle Startpunkt x (0) R n, k := Abbruch, falls f(x (k) ) = 0 3. Berechne Abstiegsrichtung d = d (k) und Schrittweite σ = σ k > 0, so dass 4. k := k + 1, gehe zu 1. f ( x (k) + σ k d (k)) < f ( x (k)), x k+1 := x (k) + σ k d (k) Bemerkungen: Das Abbruchkriterium ist nur theoretisch anwendbar. Numerisch arbeitet man mit f ( x (k)) < ε oder f ( x (k+1)) f ( x (k)) < ε 1 x (k+1) x (k) < ε 2, wobei ε, ε 1, ε 2 positive Abbruchschranken sind. Alternativ: f ( x (k+1)) f ( x (k)) σ k f ( x (k)) d (k) < ε 1 und x (k+1) x k = σ k d (k) < ε 2 Oft ist die Wahl von σ das Hauptproblem 30

35 4.2 Das Newton-Verfahren Das Newton-Verfahren zur Lösung der Gleichung f(x) = 0 ist ein gängiges Mittel zur Bestimmung lokaler Extrema. Setzen wir F (x) := f(x), so ist F : R n R n gegeben und das bekannte Newton-Verfahren auf die Gleichung F (x) = 0 anzuwenden. Die Grundidee des Verfahrens ist schnell wiederholt. Ist x (k) bereits bestimmt, so verhält sich F (x) nahe bei x (k) in erster Näherung wie F ( x (k)) +F ( x (k)) ( x x (k)), so dass wir von dieser Funktion eine Nullstelle x suchen. Wir lösen also F ( x (k)) + F ( x (k)) ( x x (k)) = 0 lineares Gleichungssystem! (4.10) und erhalten als neue Näherung x =: x (k+1). Ist F ( x (k)) invertierbar, so folgt x (k+1) = x (k) F ( x (k)) 1 ( ) F x (k). (4.11) Für die Konvergenzanalysis des Verfahrens benötigen wir folgende Voraussetzungen: (i) F : R n D R n ist differenzierbar in D, D offen, und hat in D eine Nullstelle x. (ii) F ist Lipschitz-stetig in D, d. h. L > 0: F (x) F (y) L x y x, y D (iii) F ( x) 1 Der Konvergenzbeweis des Newton-Verfahrens beruht auf folgenden bekannten und mit relativ geringem Aufwand beweisbaren Fakten: Lemma (i) F (x) F (y) F (y)(x y) L 2 x y 2 x, y D (Folgt aus dem Mittelwertsatz, angewendet auf ϕ(t) = F (x + t(x y)))). Lemma Ist A eine nichtsinguläre n, n-matrix, S eine Matrix gleichen Typs und A 1 S < 1, dann existiert (A + S) 1 und (A + S) 1 A 1 1 A 1 S 31

36 Lemma Sei G : B( x, r) R n eine Kontraktion, d. h. in B( x, r) Lipschitz-stetig mit Konstante L < 1. Ist x ein Fixpunkt von G, dann ist es der einzige in B( x, r). Ausgehend von jedem beliebigen Startpunkt x (0) in dieser Kugel konvergiert die Folge x (k) gegen x und (Folgt aus dem Banachschen Fixpunktsatz.) x (k+1) = G ( x (k)) x (k) x L k x (0) x. Satz (Konvergenz des Newton-Verfahrens) Unter den obigen Voraussetzungen (i) - (iii) gibt es δ > 0, c > 0, so dass das Newton- Verfahren für jeden Startpunkt x (0) B( x, δ) eine gegen x konvergente Folge x (k) definiert, wobei gilt Beweisskizze x (k+1) x c x (k) x 2 (quadratische Konvergenz) (4.12) a) Mit Lemma zeigt man b) Das wendet man an und findet F (x) 1 2 F ( x) 1 x B( x, δ 1 ) F (x) 1 F (y) 1 = F (x) 1 }{{} 2 F ( x) 1 (F (y) F (x)) F (y) 1 }{{}}{{} L x y 4L F ( x) 1 2 x y 2 F ( x) 1 c) Aus Formel (4.11) wird klar das Newton-Verfahren ist Fixpunktiteration für G ist Kontraktion in B( x, δ): G(x) := x F (x) 1 F (x). G(x) G(y) = x y }{{} F (x) 1 F (x) + F (y) 1 F (y) =F (x) 1 F (x)(x y) Man schätzt ab und findet z. B. für ein δ δ 1 klein genug gewählt. = F (x) 1 {F (y) F (x) F (x)(x y)} }{{}}{{} beschr. wegen a) L x y x y 2 + ( F (y) 1 F (x) 1) F (y) }{{}}{{} c x y wegen b) klein, wenn y nahe an x G(x) G(y) 1 x y in B( x, δ) 2 32

37 d) Nun wird das Kontraktionslemma benutzt. Die Iterationsfolge konvergiert gegen x. Die quadratische Konvergenz folgt aus x (k+1) x = x (k) F ( x (k)) 1 ( ) F x (k) x = F ( x (k)) 1 { ( ) F ( x) F x (k) F ( x (k)) ( x x (k))} }{{}}{{} 2 F ( x) 1 L 2 x x(k) 2 c x (k) x 2 mit c = L F ( x) 1 Das Newton-Verfahren konvergiert lokal quadratisch. Umgesetzt für das freie Optimierungsproblem (PU) bedeutet das Wir fordern daher F (x) := f(x). f ist Lipschitz-stetig in einer Umgebung eines lokalen Minimums x von f f ( x) ist positiv definit (Das sichert die Existenz von F ( x) 1 = f ( x) 1 und passt zur Minimum- Eigenschaft.) Satz Unter obigen Voraussetzungen konvergiert das Newton-Verfahren lokal quadratisch gegen x. x (k+1) = x (k) f ( x (k)) 1 f ( x (k) ) (4.13) In der numerischen Umsetzung invertiert man natürlich f (x (k) ) nicht, sondern man löst das Gleichungssystem d. h. man bestimmt eine Richtung d (k) aus f ( x (k)) ( x (k+1) x (k)) = f ( x (k)), f ( x (k)) d (k) = f ( x (k)) und setzt Für d (k) gilt x (k+1) := x (k) + d (k). d (k) = f ( x (k)) 1 }{{} pos. definit ( f ( x (k) )) } {{ } Antigradient 33

38 Daher ist nach Bsp d (k) Abstiegsrichtung, die sogenannte Newton-Richtung. Damit wird das Newton-Verfahren aber nicht automatisch ein Abstiegsverfahren, denn es wählt immer die Schrittweite σ = 1, und die kann zu groß sein! Deshalb wendet man eine geänderte Verfahrensvorschrift an x (k+1) = x (k) σ k f ( x (k)) 1 f ( x (k) ) (gedämpftes Newton-Verfahren (vgl. Abschnitt 4.6)). Bemerkung: Wir können das Newton-Verfahren auch anders interpretieren: Die Verfahrensvorschrift (4.13) bedeutet f ( x (k)) ( x (k+1) x (k)) + f ( x (k)) = 0. Das ist gerade die notwendige Optimalitätsbedingung für Lösungen der quadratischen Optimierungsaufgabe (Q) k, min f ( x (k)) T ( ) ( x x (k) + ) 1 x R n 2 x x (k) T ( f x (k)) ( x x (k)). (Q) k Ist f (x (k) ) positiv definit, so besitzt diese, wie wir inzwischen wissen, genau eine Lösung. Diese ist gerade x (k+1). Damit ist das Newton-Verfahren äquivalent zur Lösung einer Folge quadratischer Optimierungsaufgaben, wenn f ( x) positiv definit ist. Es ist damit ein sequentiell-quadratisches Optimierungsverfahren SQP-Verfahren (von Sequential Quadratic Programming). Man schreibt (Q) k so auf: und min f ( x (k)) T z zt f ( x (k)) z x (k+1) := x (k) + z (k) 4.3 Abstiegsverfahren allgemeine Aussagen Effiziente Schrittweiten Ist d (k) eine Abstiegsrichtung und σ k hinreichend klein, so gilt f(x (k) + σ k d (k) ) < f(x (k) ). Das muss aber keineswegs zur Konvergenz des Abstiegsverfahrens in ein lokales Minimum führen, wie folgendes Beispiel zeigt: Beispiel f(x) = x 2, d (k) = 1 für alle k 0, x (0) = 1, und σ k = ( 1 k+2 2), k = 0, 1,... Die Folge {x (k) } strebt gegen 1, die Schrittweiten sind zu klein. 2 Startet unser Abstiegsverfahren bei x (0), so entstehen nur noch kleinere Funktionswerte. Deshalb liegen die weiteren Iterierten stets in N(f, f(x (0) )). 34

39 Definition Es sei x aus N(f, f(x (0) )) und d R n Schrittweite σ heißt effizient, falls eine Abstiegsrichtung. Eine f(x + σd) f(x) c ( ) 2 f(x) d (4.14) d mit einer von x N(f, f(x (0) )) und d unabhängigen Konstante c > 0 gilt. Erläuterung: Für d = f(x) ist das Quadrat am größten, der Abstieg am stärksten. Für d f(x) ergibt sich differentiell Abstieg Null. Die Konstante c bedeutet eine Mindestrate. Beachte: d/ d ist Einheitsvektor. Sind Folgen {x (k) }, {d (k) } mit f(x (k) ) T d (k) < 0 und effiziente Schrittweiten σ k gegeben, dann ist (4.14) mit einer von k unabhängigen Konstante c > 0 erfüllt. Eine spezielle Form der Effizienz ist das Prinzip des hinreichenden Abstiegs: Man verlangt von x und d unabhängige Konstanten c 1, c 2 > 0, so dass und f(x + σd) f(x) + c 1 σ f(x) T d (4.15) (hinreichend schneller Abstieg) σ c 2 f(x) T d d 2 (4.16) (Mindestschrittweite) Aus diesen beiden Bedingungen folgt (4.14), Effizienz, mit c = c 1 c 2, denn ( ) ( ) f(x) T d f(x) f(x + σd) f(x) + c 1 c 2 f(x) T T 2 d d = f(x) c d 2 1 c 2 d Bemerkung: Man kann unter Voraussetzung der Lipschitz-Stetigkeit von f auf N(f, f(x (0) )) die Existenz effektiver Schrittweiten beweisen, vgl. Lemma in [1] Gradientenbezogene Richtungen Ist N(f, f(x (0) )) kompakt, so ist die Folge der Funktionswerte {f(x (k) )} (nach unten) beschränkt. Ist die Schrittweitenfolge {σ k } effizient, dann gilt f ( x (k+1)) f ( x (k)) c ( f ( x (k) ) T d (k) d (k) ) 2 35

40 Aus der Monotonie folgt die Konvergenz der Funktionswerte, so dass ( f ( x (k+1)) f ( x (k))) 0, k folgen muss, d. h. f ( x (k)) T d (k) d (k) 0, k. (4.17) Man will nun die Richtungen so wählen, dass daraus folgt f ( x (k)) 0, k. (4.18) Beziehung (4.17) kann ohne (4.18) gelten, wenn die Richtung d (k) in der Grenze orthogonal zu f(x (k) ) wird. Das muss man ausschließen und gleichmäßig größer als der rechte Winkel zu f(x (k) ) bleiben. Nun gilt cos ( f(x (k) ), d (k)) = f ( x (k)) T d (k) f (x (k) ) d (k) =: β k β k f ( x (k)) = f ( x (k)) T d (k) d (k) }{{} 0 bei Effizienz Daraus folgt f(x (k) ) 0, falls β k c > 0 k. Definition Seien x N(f, f(x (0) ), d R n. Die Richtung d heißt gradientenbezogen in x, wenn f(x) T d c 3 f(x) d (4.19) mit einer von x und d unabhängigen Konstanten c 3 > 0 gilt. Sie heißt streng gradientenbezogen, wenn zusätzlich c 4 f(x) d 1 c 4 f(x) (4.20) mit einer von x und d unabhängigen Konstante c 4 > 0 gilt. Beispiel Der Antigradient d = f ist streng gradientenbezogen, denn f(x) T d = f(x) 2 = 1 f(x) d f(x) (>) = d Illustration der Gradienten-Bezogenheit: (>) = f(x) d.h. c 3 = c 4 = 1. Min Mindestabstand zum rechten Winkel mit f(x) garantiert hinreichenden Abstieg (wenn nicht d 0). d grad f 36

41 Wir wollen nun skizzieren, dass auch die Newton-Richtung streng gradientenbezogen ist. Dazu braucht man folgende Voraussetzung: 37

42 (VLK) (Lokal gleichmäßige Konvexität) Sei f : R n R, N(f, f(x (0) )) D,, offen, konvex, f C 2 auf D. Mit α 1 > 0 gelte h T f (x)h α 1 h 2 h R n, x D, d. h. gleichmäßige positive Definitheit von f auf D. Ohne Beweis folgern mir aus (V LK): Lemma N(f, f(x (0) )) konvex und kompakt h T f (x)h α 2 h h R n, x N(f, f(x (0) )) f (x) α 2 f (x) ( 1) β 2 := 1/α 1 β 1 h 2 h T f (x) ( 1) h β 2 h 2, h R n, f ist gleichmäßig konvex auf D. Beispiel (Newton-Richtung) (V LK) sei erfüllt, x N(f, f(x (0) )), d = f (x) ( 1) f(x) f(x) T d = f(x) T f (x) ( 1) f(x) β 1 f(x) Und d = f (x) ( 1) f(x) β 2 f(x) f(x) = f (x)d α 2 d } (4.20) d.h. strenge Gradienten-Bezogenheit. (4.19) folgt aus f T d oben β 1 f f }{{} 1 β 2 d β 1 β 2 f d Allgemeine Konvergenzsätze Folgende Voraussetzungen werden im Weiteren oft benötigt: (VNK) Für ein gegebenes x (0) R n ist die Niveaumenge N ( f, f(x (0) ) ) = { x f(x) f(x (0) ) } kompakt. (VFD) f C 1 auf konvexer, offener Menge D 0 N(f, f(x (0) )). Damit läßt sich zunächst zeigen: 38

43 Satz (VNK) und (VFD) seien erfüllt, die Suchrichtungen d (k) des allgemeinen Abstiegsverfahrens seien gradientenbezogen in x (k), die Schrittweiten σ k effizient. Stoppt das Verfahren nicht nach endlich vielen Schritten, dann gilt f(x (k) ) 0, k und {x (k) } besitzt einen Häufungspunkt x. Für jeden solchen Häufungspunkt gilt f( x) = 0. Dass {x (k) } einen Häufungspunkt besitzt, nützt numerisch herzlich wenig. Man möchte haben: x (k) x. In der Tat gilt Satz Zusätzlich zu den Voraussetzungen von Satz sei im allgemeinen Abstiegsverfahren d (k) streng gradientenbezogen, Schrittweitenfolge {σ k } beschränkt, die Menge aller Nullstellen von f in N(f, f(x (0) )) endlich. Stoppt das Verfahren nicht nach endlich vielen Schritten, dann konvergiert x (k) gegen eine Nullstelle von f. Beweisidee: Strenge Gradientenbezogenheit, (4.20) x (k+1) x (k) = σ k }{{} σ d (k) c σ f ( x (k)) }{{} 0,Satz ( ) Wegen (VNK) ist H, Menge aller Häufungspunkte von x (k) nichtleer. Außerdem gilt für den Abstand d(x (k), H) < ε k > k 0 ( ) Sei x irgendein HP von x (k). Da die Menge der HP endlich ist, gibt es eine Kugel B( x, ρ) mit H B( x, ρ) = { x}. Also existiert nach ( ) ein l 0 mit Wegen ( ) und f(x (k) ) 0 gilt auch x (l 0) x < ε x (l0+1) x (l0) < ε x (l0+1) x < 2ε < ρ 2 für ε < ρ 4 Damit ist x (l 0+1) B( x, ρ) und wegen ( ) gilt x (l 0+1) x < ε Induktiv folgt schließlich x (k) x. 39

44 Diese bisherigen Resultate sind allgemein, aber schwach sie sagen nichts aus über eine Konvergenzrate. Gilt aber (V LK), so hat man gleichmäßige Konvexität in N(f, f(x (0) )) und man kann zeigen α 1 2 x x 2 f(x) f( x) 1 2α 1 f(x) 2 (4.21) in N(f, f(x (0) )), wobei x das einzige lokale Minimum in N(f, f(x (0) )) ist [1, Lemma ]. Das ist automatisch das globale. (Die linke Abschätzung folgt aus (V LK), Taylorentwicklung und f( x) = 0 wie gehabt. Die rechte ist etwas komplizierter.) Diese Eigenschaft ist die Grundlage für Satz Voraussetzungen: (V LK) d (k) gradientenbezogen in x (k) {σ k } effizient. Stoppt das Verfahren nicht nach endlich vielen Schritten, dann konvergiert {x (k) } gegen das eindeutig bestimmte globale Minimum x von f. Es gibt ein q (0, 1) mit f ( x (k)) f( x) q k ( f ( x (0)) f( x) ) (4.22) und x (k) x 2 2 α 1 q k ( f ( x (0)) f( x) ) k 0. (4.23) Folgerung: x (k) x C q k = C q k Bemerkung: Damit verhält sich {x (k) } wie eine linear konvergente Folge, denn {x (k) } heißt linear konvergent wenn x (k+1) x L x (k) x mit 0 < L < 1. Dann gilt x k x L k x (0) x 4.4 Schrittweitenverfahren Exakte Schrittweite Gegeben seien x R n und eine Abstiegsrichtung d R n. Gesucht ist die Schrittweite σ. Am besten wäre es, σ so zu wählen, dass 40

45 min s 0 f(x + sd) = min ϕ(s) = ϕ(σ). s 0 Das wird aber erstens nicht immer möglich sein (zum Beispiel bei (f(x) = e ( x) ) und liefe zweitens auf globale Optimierung in R hinaus. Ist aber (VNK) erfüllt, die Niveaumenge also kompakt, dann muss ϕ(s) irgendwann größer als ϕ(0) werden. Folglich hat ϕ (s) = f(x + sd) T d eine kleinste positive Nullstelle σ E. Definition Die Zahl σ E mit { = 0, falls s = ϕ σe (s) < 0, falls s [0, σ E ) heißt exakte Schrittweite. f(x) ϕ(σ) σ E σ Man kann sie nach unten wie folgt abschätzen: 0 = f(x + σ E d) d = f(x) d + [ f(x + σ E d) f(x)] d Def von σ E f(x) d + σ E L d 2 Lipschitzbed. σ E σ = f(x) d L d 2 (4.24) Außerdem bekommt man den Mindestabstieg f (x + σ E d) d f(x) + 1 σ f(x) d (4.25) 2 Damit sind σ E, σ effizient. Leider ist σ E in der Regel schwer zu bestimmen. Eine Ausnahme bilden quadratische Funktionen f(x) = 1 2 xt Hx + b T x für die σ E leicht explizit zu berechnen ist. Ansonsten muss man sich anders behelfen. 41

46 4.4.2 Schrittweite nach Armijo Gegeben: x R n, Abstiegsrichtung d. Dann sieht die Sachlage wie folgt aus: Man fordert für σ = σ A f (x + σ A d) f(x) + δσ A f(x) T d Mindestabstieg (4.26) f(x) T d σ A c 2 d 2 Effizienz (4.27) f(x) ϕ(σ) f(x)+ δσ (grad f) d "moderater Abstieg" T σ E f(x)+ σ (grad f) d "Maximalabstieg" T σ Verfahren (Armijo-Goldstein) 0. Fixiere Konstanten 0 < δ < 1 Abflachung γ > 0 Effizienzkonst. 0 < β 1 β 2 < 1 1. Startschrittweite j : = 0 σ 0 γ f(x)t d d 2 2. Wenn f(x + σ j d) f(x) + δσ j f(x) T d, dann setze σ A := σ j, fertig. 3. Ansonsten verkleinere σ j so dass σ j [β 1 σ j, β 2 σ j ] j := j + 1, gehe zu 2. 42

47 Unter entsprechenden Voraussetzungen (d. h. (VNK), (VFD), (VFL)) findet das Verfahren nach endlich vielen Schritten eine Schrittweite, die (4.26) (4.27) erfüllt (vgl. [1, Satz 4.4.3]). Die erste Beziehung ist klar, denn σ j β j 2σ 0 liegt irgendwann in diesem Bereich, siehe Skizze. Die zweite ist etwas kniffliger: l sei die Zahl der Iterationsschritte. Gilt l = 0, so ist (4.27) mit c 2 = γ erfüllt. Bei l > 0 liegt s = σ l 1 noch außerhalb des akzeptablen Bereichs, also f(x + sd) f(x) > δs f(x) }{{} T d. = f(x+ϑsd) T ds 0<ϑ<1 f(x + ϑsd) T d = 1[f(x + sd) f(x)] > s δ f(x)t d f(x) T d (1 δ) f(x) T d < [ f(x + ϑsd) f(x)] T d Lϑs d 2 sl d 2 Lipsch. s (1 δ) f(x) T d L d 2 Wegen σ A β 1 s gilt am Ende die Beziehung σ A β 1(1 δ) L }{{} c 2 c 2 = min Bemerkung: Man kann z. B. β 1 = β 2 = 1 2 f(x) T d d 2 { γ, β } 1(1 δ) L wählen (Halbierung). Zur Wahl der Verfahrensparameter: Siehe z.b. [1]. 43

48 4.4.3 Schrittweite nach Powell Dieses Verfahren wählt σ so, dass und f(x + σd) f(x) + δσ f(x) T d (wie Armijo) (4.28) f(x + σd) T d β f(x) T d (Mindestschrittweite) (4.29) mit 0 < δ < β < 1. Geometrische Interpretation ϕ(s) := f(x + sd). Dann gilt ϕ (s) = f(x + sd) T d Demnach bestimmt das Verfahren eine Schrittweite σ = σ p wie folgt: f(x) T ϕ = β (grad f) d ϕ (σ) f(x)+ T δσ (grad f) d s 1 σ E s 2 T f(x)+ σ (grad f) d σ. Die Existenz einer solchen Schrittweite wird in [1, Satz 4.4.5] gezeigt. Die Bestimmung läuft über eine Intervallschachtelung. Dazu definieren wir G 1 (σ) = { f(x+σd) f(x) σ f(x) T d, für σ > 0, 1, für σ = 0 G 2 (σ) = f(x + σd)t d f(x) T d Dann ist (4.28) G 1 (σ) δ und (4.29) G 2 (σ) β Geometrisch sieht das so aus, dass sich R + in 3 Intervalle [0, s 1 ) [s 1, s 2 ] (s 2, ) =: I 1 I 2 I 3 unterteilen läßt, mit ϕ (s 1 ) = β f(x) T d und ϕ(s 2 ) = f(x) + s 2 f(x) T d mit G 1 (σ) δ und G 1 (σ) β in I 1, G 1 (σ) δ und G 1 (σ) β in I 2, G 1 (σ) δ und G 1 (σ) β in I 3. 44