Kontinuierliche Optimierung

Transkript

1 Kontinuierliche Optimierung Markus Herrich Wintersemester 2018/19

2 ii

3 Inhaltsverzeichnis 2 Optimalitäts- und Regularitätsbedingungen Einleitung und Wiederholung Optimalitätsbedingungen mit zulässigen Richtungen Optimalitätsbedingungen mit Tangentialkegel Optimalitätsbedingungen mit Linearisierungskegel KKT-Bedingungen Regularitätsbedingungen Optimalitätsbedingungen mit Ableitungen zweiter Ordnung Verfahren für Optimierungsaufgaben ohne Restriktionen Ein allgemeines Abstiegsverfahren Gradientenverfahren und gradientenähnliche Verfahren Das Newton-Verfahren Quasi-Newton-Verfahren Verfahren für Optimierungsaufgaben mit Restriktionen Strafverfahren (Penalty-Verfahren) Verfahren mit zulässigen Richtungen iii

4 iv Inhaltsverzeichnis

5 Kapitel 4 Verfahren für Optimierungsaufgaben mit Restriktionen In diesem Kapitel kehren wir zu restringierten Optimierungsaufgaben der Gestalt f(x) min bei g(x) 0, h(x) = 0 (4.1) zurück, mit gegebenen, wenigstens stetigen Funktionen f : R n R, g : R n R m und h : R n R l. Mit G bezeichnen wir wieder den zulässigen Bereich von (4.1) und setzen voraus, dass dieser nichtleer ist. In den folgenden Abschnitten werden wir einige grundlegende numerische Verfahren zur Bestimmung einer Lösung von (4.1) oder zumindest einer Lösung des zu (4.1) gehörigen KKT-Systems kennenlernen. Zur Erinnerung: die zu (4.1) gehörigen KKT-Bedingungen sind gegeben durch f(x) + m u i g i (x) + l v j h j (x) = 0, h(x) = 0, i=1 j=1 g(x) 0, u 0, u g(x) = 0. (4.2) Vorab soll noch bemerkt werden, dass es für gewisse Klassen restringierter Optimierungsprobleme eigene Lösungsverfahren gibt, die den im Folgenden vorgestellten Methoden im Allgemeinen überlegen sind. Dazu gehören insbesondere lineare Optimierungsprobleme sowie quadratische Optimierungsprobleme mit gleichmäßig konvexer Zielfunktion (das heißt positiv definiter Matrix im quadratischen Term). In einigen Verfahren der folgenden Abschnitte werden derartige Optimierungsprobleme sogar als Teilprobleme auftreten. Grundlage für wesentliche Teile dieses Kapitels sind die Vorlesungsskripte [1, 2] sowie die Lehrbücher [4, 5]. 55

6 56 Kapitel 4. Verfahren für Optimierungsaufgaben mit Restriktionen 4.1 Strafverfahren (Penalty-Verfahren) Die grundlegende Idee von Strafverfahren besteht darin, das restringierte Optimierungsproblem (4.1) durch eine Folge unrestringierter Optimierungsprobleme zu ersetzen, bei denen die Verletztheit der Nebenbedingungen von (4.1) als Strafterm in die Zielfunktion aufgenommen wird. Definition. Es sei {w k } k N0 eine Folge von stetigen Funktionen w k : R n R derart, dass für jedes x R n und jede gegen x konvergente Folge {x k } k N0 { 0, falls x G, lim inf w k(x k ) +, falls x / G, und gilt: für jedes x G gilt: lim w k(x) = 0. Dann heißen die Folgenglieder w k Straffunktionen zum Problem (4.1). Anstelle des restringierten Problems (4.1) wird nun, für eine Folge {w k } k N0 Straffunktionen, eine Folge von unrestringierten Ersatzproblemen von P k (x) := f(x) + w k (x) min bei x R n (4.3) betrachtet. Angenommen, diese Ersatzprobleme sind lösbar. Dann stellt sich die Frage, welche Zusammenhänge zwischen Lösungen von (4.3) und Lösungen von (4.1) bestehen. Eine erste Beobachtung ist: wenn Straffunktionen verwendet werden, deren Funktionswerte stets nichtnegativ sind (was durchaus üblich ist), dann ist jede (lokale) Lösung von (4.3), die außerdem im zulässigen Bereich des Problems (4.1) liegt, auch (lokale) Lösung von (4.1). Aber natürlich ist im Allgemeinen nicht zu erwarten, dass für ein gewisses k N 0 eine Lösung von (4.3) zulässig für (4.1) ist (außer, es werden sogenannte exakte Straffunktionen verwendet, vgl. Bemerkung am Ende dieses Abschnitts). Eine Hoffnung könnte dann darin bestehen, dass jede Folge von Lösungen der Probleme (4.3) für k gegen eine Lösung von (4.1) konvergiert. Beispiel 4.1. Gegeben sei das restringierte Optimierungsproblem f(x) := 2x x 2 2 min bei g(x) := 1 x 1 x 2 0. (4.4) Da der zulässige Bereich nichtleer, konvex und abgeschlossen ist und die Zielfunktion gleichmäßig konvex und stetig ist, besitzt dieses Problem genau eine Lösung. Wir nutzen im Folgenden die Straffunktionen w k mit w k (x) := ρ k (max{0, 1 x 1 x 2 }) 2,

7 4.1. Strafverfahren (Penalty-Verfahren) 57 wobei {ρ k } k N0 (0, ) eine gegen + divergierende Zahlenfolge sei. Man überzeugt sich leicht davon, dass die auf diese Weise definierte Folge {w k } tatsächlich eine Folge von Straffunktionen ist. Wir betrachten die zugehörige Folge der unrestringierten Minimierungsaufgaben P k (x) := 2x x ρ k (max{0, 1 x 1 x 2 }) 2 min bei x R n. (4.5) Die notwendige und wegen der Konvexität von P k auch hinreichende Optimalitätsbedingung für (4.5) lautet ( ) ( ) 4x1 2ρ P k (x) = k max{0, 1 x 1 x 2 } 0 =. 2x 2 2ρ k max{0, 1 x 1 x 2 } 0 Für alle Lösungen (x 1, x 2 ) dieses Gleichungssystems muss 1 x 1 x 2 > 0 gelten, denn im Falle 1 x 1 x 2 0 wäre max{0, 1 x 1 x 2 } = 0, womit sich x 1 = x 2 = 0, also ein Widerspruch, ergeben würde. Im Falle 1 x 1 x 2 > 0 ist max{0, 1 x 1 x 2 } = 1 x 1 x 2, sodass sich das obige Gleichungssystem wie folgt schreiben lässt: ( ) ( ) ( ) 4 + 2ρk 2ρ k x1 2ρk = 2ρ k 2 + 2ρ k x 2 2ρ k bzw., nach Division beider Gleichungen durch 2ρ k, ( ) ( ) 2ρ 1 k x1 1 ρ 1 = k + 1 x 2 ( 1 1 ). (4.6) Als (eindeutige) Lösung dieses Gleichungssystems und somit auch eindeutige Lösung des Problems (4.5) ergibt sich ( ) ( ) x x k k := x k := ρ 1. 2 k Offenbar gilt x k / G für alle k N 0. Aber die Folge {x k } k N0 konvergiert gegen einen zulässigen Punkt des Ausgangsproblems (4.4): ( 1 lim xk = 3, 2 ) =: x. 3 Der erhaltene Punkt ist sogar (die eindeutige) Lösung des Ausgangsproblems. Denn unter Beachtung von f(x ) = ( 4, ) gilt für alle zulässigen Punkte x = (x 1, x 2 ) des Problems (4.4): f(x ) (x x ) = 4 3 ( x ) ( x 2 2 ) = (x 1 + x 2 1) 0. Unter Beachtung der Konvexität des zulässigen Bereichs und der Zielfunktion von (4.4) ist x somit nach Satz 2.2 Lösung von (4.4).

8 58 Kapitel 4. Verfahren für Optimierungsaufgaben mit Restriktionen Dass eine Folge von Lösungen der Ersatzprobleme (4.3) gegen eine Lösung des Ausgangsproblems konvergiert, ist im Allgemeinen leider nicht zu erwarten. Aber es gilt zumindest das folgende Resultat. Satz 4.1. Sei {w k } k N0 eine Folge von Straffunktionen zum Problem (4.1). Es sei {x k } k N0 eine Folge von Lösungen der Ersatzprobleme (4.3) (insbesondere seien diese Probleme für alle k N 0 lösbar). Dann ist jeder Häufungspunkt der Folge {x k } k N0 eine Lösung von (4.1). Beweis. Sei x ein Häufungspunkt der Folge {x k } k N0 und sei {x k } k K eine gegen x konvergente Teilfolge. Dann gilt für jedes x G: f(x ) = lim f(x k ) ( ) lim inf P k K k(x k ) ( ) lim inf P k(x) ( ) = f(x). k K k K In ( ) und ( ) wurde dabei die Definition von Straffunktionen verwendet und in ( ) wurde ausgenutzt, dass, für jedes k, x k eine Lösung des Problems (4.3) ist. Insbesondere folgt aus der letzten Ungleichungskette lim inf P k(x k ) lim inf k K P k(x k ) < + und damit x = lim x k G. k K Wir haben also gezeigt, dass x zulässig für das Problem (4.1) ist und der zugehörige Zielfunktionswert nicht größer ist als die Zielfunktionswerte an beliebigen anderen zulässigen Punkten. Damit ist nachgewiesen, dass x eine Lösung von (4.1) ist. Als nächstes sollen einige Beispiele für Straffunktionen genannt werden: quadratische Straffunktion m w k (x) = ρ k (max{0, g i (x)}) 2 + ρ k i=1 l h j (x) 2 j=1 = ρ k max{0, g(x)} 2 + ρ k h(x) 2, wobei {ρ k } k N0 (0, ) eine Folge mit der Eigenschaft lim ρ k = + ist und max{0, g(x)} komponentenweise zu verstehen ist, das heißt max{0, g(x)} := max{0, g 1 (x)}. max{0, g m (x)}. Die auf diese Weise definierten Funktionen w k sind stetig differenzierbar, wenn g und h stetig differenzierbar sind. Allerdings sind sie im Allgemeinen nicht zweimal stetig differenzierbar, selbst wenn g und h zweimal stetig differenzierbar sind.

9 4.1. Strafverfahren (Penalty-Verfahren) 59 allgemeiner: wobei p 1, oder auch wobei p [1, ] w k (x) = ρ k max{0, g(x)} p p + ρ k h(x) p p, w k (x) = ρ k max{0, g(x)} p + ρ k h(x) p, Für die vorgestellten Beispiele für Straffunktionen gilt sogar die Äquivalenz w k (x) = 0 x G. Bemerkung. In der Literatur wird bei der Definition von Straffunktionen manchmal auch zugelassen, dass gewisse Funktionswerte der Funktionen w k gleich + sind und/oder dass die Gleichheit lim w k (x) = 0 nicht zwangsläufig für alle x G gilt, sondern lediglich für alle x aus einer Teilmenge B von G. Insbesondere bei sogenannten Barrierefunktionen ist das der Fall. Die Folgenglieder einer Folge {w k } k N0 von stetigen Funktionen w k : R n R {+ } werden als Barrierefunktionen bezeichnet, wenn lim inf w k (x k ) 0 für alle x int G und jede gegen x konvergente Folge {x k } k N0, w k (x) = + für alle x R n \ int G, lim w k (x) = 0 für alle Elemente x einer Teilmenge B int G. Mit Stetigkeit einer Funktion w : R n R {+ } ist dabei gemeint, dass die Konvergenz einer Folge {x k } k N0 gegen einen Punkt x die Konvergenz bzw. bestimmte Divergenz der Folge {w(x k )} k N0 gegen w(x) impliziert (wobei w(x) unter Umständen gleich + sein könnte). Offensichtlich ist die Verwendung von Barrierefunktionen nur dann sinnvoll, wenn im Optimierungsproblem (4.1) keine Gleichungsrestriktionen vorkommen. Beispiele für Barrierefunktionen sind: logarithmische Barrierefunktion { 1 m ρ w k (x) = k i=1 ln( g i(x)) für x G 0, + für x / G 0. inverse Barrierefunktion w k (x) = { 1 m 1 ρ k i=1 g i (x) für x G 0, + für x / G 0. Dabei sind jeweils G 0 := {x R n g(x) < 0} und {ρ k } (0, ) eine Folge mit der Eigenschaft lim ρ k = +.

10 60 Kapitel 4. Verfahren für Optimierungsaufgaben mit Restriktionen Satz 4.1 macht eine Aussage über den Zusammenhang einer Folge von Lösungen der unrestringierten Probleme (4.3) und Lösungen des Ausgangsproblems (4.1). Praktisch ist es im Allgemeinen jedoch schwer, eine (globale) Lösung von (4.3) zu bestimmen. Stattdessen wird man sich in der Regel mit einem stationären Punkt von (4.3) zufrieden geben müssen, den man darüber hinaus auch nur näherungsweise berechnen kann. Es lässt sich aber zeigen, dass unter gewissen Voraussetzungen jeder Häufungspunkt x einer Folge {x k } von stationären Punkten der Ersatzprobleme (4.3) (oder geeigneten Näherungswerten dafür) ein stationärer Punkt des Ausgangsproblems (4.1) ist, das heißt, dass Vektoren u, v existieren, sodass (x, u, v ) das zu (4.1) gehörige KKT-System löst. Satz 4.2. Gegeben seien Folgen {ρ k } k N0 (0, ) mit lim ρ k = + und {ε k } k N0 [0, ) mit lim ε k = 0. Die Funktionen f : R n R, g : R n R m und h : R n R l seien stetig differenzierbar. Weiter sei die Folge {w k } k N0 zum Problem (4.1) gegeben durch w k (x) := ρ k max{0, g(x)} 2 + ρ k h(x) 2. Sei {x k } R n eine Folge von Punkten, die für jedes k N 0 der Bedingung P k (x k ) = f(x k ) + w k (x k ) ε k genügt. Definiert man noch Vektoren u k R m + und v k R l durch u k i := 2ρ k max{0, g i (x k )} (i = 1,..., m) vj k := 2ρ k h j (x k ) (j = 1,..., l), und dann genügt jeder Häufungspunkt (x, u, v ) der Folge {(x k, u k, v k )} k N0 KKT-Bedingungen zum Problem (4.1). Beweis. Übungsaufgabe. den Der letzte Satz motiviert den folgenden Algorithmus zur Bestimmung eines stationären Punktes des restringierten Optimierungsproblems (4.1). Algorithmus 4.1 (Straffunktionsverfahren). S0: Wähle Folgen {ρ k } k N0 mit lim ρ k = + und {ε k } k N0 Setze k := 0. S1: Berechne x k derart, dass P k (x k ) = f(x k ) + w k (x k ) ε k mit lim ε k = 0. gilt, wobei w k wie im Satz 4.2 definiert sei. Definiere u k R m + und v k R l wie im Satz 4.2.

11 4.2. Verfahren mit zulässigen Richtungen 61 S2: Falls (x k, u k, v k ) eine Lösung des KKT-Systems (4.2) ist: STOPP. Ansonsten setze k := k + 1 und gehe zu S1. Bemerkung. 1. In unserem Beispiel 4.1 war für jedes k ein lineares Gleichungssystem zu lösen, um die Lösung des zu k gehörigen unrestringierten Optimierungsproblems zu bestimmen, nämlich das Gleichungssystem (4.6). Für k und somit ρ k geht die Konditionszahl der Koeffizientenmatrix des Systems (4.6) gegen Unendlich. Ein solches Verhalten ist leider typisch für Strafverfahren: es ist mit einer zunehmend schlechter werdenden Kondition der Teilprobleme für k zu rechnen, die Ersatzzielfunktionen P k sind für große k in der Nähe von lokalen Minima im Allgemeinen stark gekrümmt. Aus diesem Grund wird man bei einer Umsetzung nicht gleich mit einem sehr großen Strafparameter ρ 0 starten, sondern diesen erstmal verhältnismäßig klein wählen, dann, Iteration für Iteration, den Strafparameter erhöhen und dabei zur Berechnung von x k+1 jeweils die vorherige Iterierte x k als Startwert im Lösungsverfahren für unrestringierte Optimierungsprobleme zu verwenden. 2. Sei {w k } k N0 eine Folge von Straffunktionen und {P k } k N0 die zugehörige Folge von Ersatzzielfunktionen, wie in (4.3) definiert. Existiert ein Index k 0 N 0 derart, dass für jedes k k 0 jede lokale Lösung von (4.3) auch lokale Lösung des Ausgangsproblems (4.1) ist, dann nennt man {w k } k N0 Folge von exakten Straffunktionen. Beispiele sind die durch w k (x) := ρ k max{0, g(x)} p + ρ k h(x) p gegebenen Funktionen (für vorgegebenes p [1, ] und eine vorgegebene Folge {ρ k } k N0 (0, )). Ein Vorteil bei der Verwendung von exakten Straffunktionen besteht darin, dass der Strafparameter nicht beliebig oft erhöht werden muss und die Kondition der Teilprobleme somit nicht beliebig schlecht wird. Allerdings hat die Verwendung von exakten Straffunktionen auch einen großen Nachteil: man kann nachweisen, dass eine exakte Straffunktion in lokalen Lösungen des Ausgangsproblems (4.1) nicht differenzierbar sein kann, vgl. Übungsaufgabe. 4.2 Verfahren mit zulässigen Richtungen In diesem Abschnitt setzen wir voraus, dass im Optimierungsproblem (4.1) ausschließlich Ungleichungsrestriktionen vorkommen, das Problem also die Gestalt f(x) min bei g(x) 0 (4.7)

12 62 Kapitel 4. Verfahren für Optimierungsaufgaben mit Restriktionen besitzt. Die Funktionen f : R n R und g : R n R m werden als wenigstens stetig differenzierbar vorausgesetzt. Zur Erinnerung: ist x eine lokale Lösung des Problems (4.7), dann gilt f(x ) d 0 für alle d Z(x ). Existiert umgekehrt für einen zulässigen Punkt x eine Richtung d Z(x) mit f(x) d < 0, dann kann x keine lokale Lösung von (4.7) sein. Die Idee von Verfahren mit zulässigen Richtungen besteht darin, für einen vorgegebenen Startpunkt x 0 G eine Richtung d 0 Z(x 0 ) mit der Eigenschaft f(x 0 ) d 0 < 0 zu bestimmen und anschließend eine Schrittweite α 0 > 0 derart zu berechnen, die einerseits einen in einem gewissen Sinne hinreichenden Abstieg von f garantiert und andererseits x 1 := x 0 + α 0 d 0 G sicherstellt. Mit der neuen Näherung x 1 wird nun genauso verfahren. Usw. Für eine konkrete Umsetzung dieser Idee gibt es zahlreiche Möglichkeiten. Als Beispiele seien hier genannt: die Verfahren nach Zoutendijk (P1- und P2-Verfahren), Verfahren nach Topkins und Veiott sowie Modifikationen davon, spezielle SQP-Verfahren, siehe Abschnitt 4.3. Wir beschreiben im Folgenden das P2-Verfahren nach Zoutendijk und geben für dieses Verfahren ausgewählte Konvergenzresultate an. Für einen gegebenen zulässigen Punkt x G wird bei diesem Verfahren eine Lösung des folgenden Minimierungsproblems bestimmt: λ min d,λ bei f(x) d λ, g i (x) + g i (x) d λ d 1. für alle i I ε (x), (4.8) Dabei bezeichnet, für eine gegebene Zahl ε > 0, I ε (x) die Indexmenge der in x ε-aktiven Ungleichungsrestriktionen, das heißt I ε (x) := {i {1,..., m} g i (x) ε}.

13 Literaturverzeichnis [1] Eppler, K.: Vorlesung Kontinuierliche Optimierung. Vorlesungsskript, Technische Universität Dresden, Wintersemester 2017/18. [2] Fischer, A.: Kontinuierliche Optimierung. Vorlesungsskript, Technische Universität Dresden, Wintersemester 2015/16. [3] Geiger, C., Kanzow, C.: Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben. Springer, Berlin [4] Geiger, C., Kanzow, C.: Theorie und Numerik restringierter Optimierungsaufgaben. Springer, Berlin [5] Großmann, C., Terno, J.: Numerik der Optimierung. Teubner, Stuttgart [6] Nocedal, J., Wright, S.J.: Numerical Optimization. Second Edition. Springer, New York,