MATTHIAS GERDTS. Optimierung. Universität der Bundeswehr München Frühjahrstrimester 2016

Transkript

1 MATTHIAS GERDTS Optimierung Universität der Bundeswehr München Frühjahrstrimester 216

2 Addresse des Autors: Matthias Gerdts Institut für Mathematik und Rechneranwendung Universität der Bundeswehr München Werner-Heisenberg-Weg Neubiberg WWW: Vorläufige Version: 8. Juni 217 Copyright c 216 by Matthias Gerdts

3 Inhaltsverzeichnis Bezeichnungen und Hilfsmittel 3 1 Problemstellungen und Klassifikation 5 2 Beispiele Elementare Funktionen und Höhenlinien Lineare und linear-quadratische Optimierungsprobleme Ausgleichs- und Parameteridentifizierungsprobleme Bestimmung eines zulässigen Punkts Unrestringierte Optimierung Notwendige Bedingungen Hinreichende Bedingungen für unrestringierte Optimierungsprobleme Konvexität Allgemeine Abstiegsverfahren Schrittweitenstrategien und Liniensuche Die Armijo-Regel Wolfe-Powell-Regel und strenge Wolfe-Powell-Regel Gradientenverfahren (Verfahren des steilsten Abstiegs) Newton-Verfahren Quasi-Newton-Verfahren Konstruktion von Update-Formeln Trust-Region-Verfahren Lineare Optimierung Ecken und zulässige Basislösungen Das primale Simplexverfahren Basiswechsel beim Simplexverfahren Der Algorithmus Updateformeln für das Simplextableau Phase 1 des Simplexverfahrens Endlichkeit des Simplexverfahrens Dualität, Sensitivität und Parametrische Optimierung ii

4 4.3.1 Dualität Sensitivität und Schattenpreise Restringierte Optimierung Notwendige Bedingungen für Standard-Optimierungsprobleme mit Gleichungsrestriktionen Notwendige Bedingungen für Standard-Optimierungsprobleme Hinreichende Bedingungen für restringierte Optimierungsprobleme Penalty- und Multiplikator-Verfahren Penalty-Verfahren Schätzung der Lagrange-Multiplikatoren Multiplikator-Penalty-Verfahren Anwendung auf Ungleichungen SQP-Verfahren Das lokale SQP-Verfahren Globalisierung des SQP-Verfahrens Inkonsistentes QP Problem Quadratische Optimierung Ausblick Ausblick 155 A Ergänzungen 157 A.1 Effiziente Schrittweiten und Winkelbedingung A.2 Wolfe-Powell-Liniensuche A.3 Globalisierte Newtonverfahren A.4 Berechnung von Ableitungen A.5 Lösung des Trust-Region-Teilproblems Literaturverzeichnis 169

5 Vorwort Diese Vorlesung basiert auf Vorlesungen, die von Prof. Dr. Oberle, Prof. Dr. Lempio und mir an den Universitäten Bayreuth und Hamburg gehalten wurden. Sie vermittelt weiterführende Themen aus der nichtlinearen Optimierung und richtet sich an Studierende im Masterstudiengang Mathematical Engineering. Die Vorlesung baut auf dem Bachelorstudium auf und hat zum Ziel, weiterführende Konzepte und Methoden der nichtlinearen Optimierung zu vermitteln. Allgemeine Tipps und Hinweise: Mathematische Inhalte erschließen sich nicht von selbst und in den seltensten Fällen durch gelegentliches Überfliegen des Vorlesungsskriptes, sondern sie erfordern ein aktives Mitarbeiten und viel Übung. Arbeiten Sie deshalb die Vorlesungen (und Übungen) nach! Auch wenn die wöchentlichen Übungsaufgaben aus Kapazitätsgründen nicht eingesammelt und korrigiert werden können, so ist es zum Verständnis des Stoffes sehr wichtig, die Übungsaufgaben regelmäßig und selbstständig zu bearbeiten. Gehen Sie den Vorlesungsstoff und Übungsaufgaben mit Kommilitonen durch. Erklären und diskutieren Sie Definitionen, Sätze und Verfahren in eigenen Worten! Fragen Sie auch die Übungsleiter und den Leiter der Veranstaltung bei Unklarheiten. Es ist keine gute Idee, sich erst kurz vor der Prüfung mit dem Vorlesungsstoff zu beschäftigen. Dann ist es zu spät und es bleibt nichts hängen. Wichtige Informationen zur Vorlesung, wie z.b. Ansprechpartner, Übungsaufgaben und Zusatzmaterial, finden sich auf der WWW-Seite Diese Seite wird laufend aktualisiert, so dass sie regelmäßig besucht werden sollte. Literatur: M. Gerdts, F. Lempio: Mathematische Optimierungsverfahren des Operations Research, DeGruyter,

6 2 C. Geiger, C. Kanzow: Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben, Springer, Berlin-Heidelberg-New York, C. Geiger, C. Kanzow: Theorie und Numerik restringierter Optimierungsaufgaben, Springer, Berlin-Heidelberg-New York, 22. F. Jarre, J. Stoer: Optimierung, Springer, Berlin-Heidelberg-New York, 24. J. Nocedal, S. J. Wright: Numerical optimization, Springer Series in Operations Research, New York, R. Fletcher: Practical Methods of Optimization, John Wiley & Sons, 2. Ausgabe, Chichester New York Brisbane Toronto Singapore, 23.

7 Bezeichnungen und Hilfsmittel Mit = 2 bezeichnen wir die euklidische Norm im R n, d.h. für x = (x 1,..., x n ) R n gilt x = n x 2 i = x x = x, x, i=1 wobei mit x, y := y x das übliche Skalarprodukt für Vektoren x, y R n bezeichnet wird. Allgemeiner bezeichnet x, y A = y Ax eine Bilinearform mit der (symmetrischen, positiv definiten) Matrix A R n n. Sei f : R n R und x = (x 1,..., x n ) R n. Der Gradient von f an der Stelle x ist definiert als der Spaltenvektor f(x) = f(x) x 1. f(x) x n. Die Hessematrix von f an der Stelle x ist gegeben durch 2 f(x) x 1 x 1 H f (x) = 2 f(x) = f(x) x n x 1 2 f(x) x 1 x n 2 f(x) x n x n Sei f : R n R m und x = (x 1,..., x n ) R n. Die Jacobimatrix von f an der Stelle x lautet f (x) = f 1 (x) Speziell gilt f(x) = f (x), falls m = 1 gilt. f 1 (x) x n x f m(x) x 1 f m(x) x n Die Richtungsableitung von f : R n R an der Stelle x R n in Richtung d R n ist definiert als f f(x + αd) f(x) (x; d) = lim. α α Ist f differenzierbar in x, so gilt f (x; d) = f(x) d. Die multivariate Taylorentwicklung für eine p+1 fach stetig differenzierbare Funktion f : R n R m in x R n lautet f(x + h) = j=. p 1 j! f (j) (x) (h,..., h) +O( h p+1 ) }{{} 3 j fach

8 4 für hinreichend kleines h R n. Hierin ist die j-te Ableitung von f eine j-lineare Abbildung mit f (j) (x) (h 1,..., h j ) = n i 1,...,i j =1 Weiterhin gilt die Restglieddarstellung p 1 f(x + h) = j! f (j) (x) (h,..., h) + }{{} j= j fach 1 j f(x) x i1 x ij h 1,i1 h j,ij. (1 t) p f (p+1) (x + th) (h,..., h) dt. p! }{{} (p+1) fach Speziell erhält man für m = 1, p = 1 und p = 2 die Taylorentwicklungen mit einer Zwischenstelle ξ [, 1] und f(y) = f(x) + f(x + ξ(y x)) (y x) f(y) = f(x) + f(x) (y x) (y x) 2 f(x + ξ(y x))(y x) mit einer Zwischenstelle ξ [, 1]. Für vektorwertiges f : R n R m gilt der Mittelwertsatz in Integralform f(y) f(x) = 1 f (x + t(y x))(y x)dt. Der Satz über implizite Funktionen erlaubt es, Gleichungen aufzulösen und ist sehr nützlich. Satz..1 (Satz über implizite Funktionen) Sei h : R n p R p R p stetig differenzierbar und Ist die p p-matrix h(ŷ, ẑ) =. ( ŷ ẑ ) R (n p)+p ein Vektor mit h z(ŷ, ẑ) = h (ŷ, ẑ) z (Jacobimatrix von h bezüglich z) invertierbar, so gibt es Umgebungen B ε (ŷ) von ŷ und B δ (ẑ) von ẑ mit Radien ε, δ > und eine Abbildung z : B ε (ŷ) R p mit z(ŷ) = ẑ und h(y, z(y)) = für alle (y, z(y)) B ε (ŷ) B δ (ẑ). Darüber hinaus ist z( ) stetig differenzierbar in B ε (y ) und für die Jacobimatrix der Abbildung z( ) gilt J z (y) = ( h (y, z(y)) z ) 1 h (y, z(y))) y für alle (y, z(y)] B ε(ŷ) B δ (ẑ).

9 Kapitel 1 Problemstellungen und Klassifikation Optimierungsaufgaben treten in den Wirtschaftswissenschaften (Operations Research), in der Technik und in den Naturwissenschaften in vielfältiger Art und Weise auf. Im Buch [NW99] von Nocedal und Wright findet man die folgende Formulierung: People optimize: Airline companies schedule crews and aircraft to minimize cost. Investors seek to create portfolios that avoid risks while achieving a high rate of return. Manufacturers aim for maximizing efficiency in the design and operation of their production processes. Nature optimizes: Physical systems tend to a state of minimum energy. The molecules in an isolated chemical system react with each other until the total potential energy of their electrons is minimized, Rays of light follow paths that minimize their travel time. Die Optimierung steht in enger Beziehung zur Modellierung, d.h. Optimierungstechniken werden auf mathematische Modelle angewendet, für die dann gewisse unbekannte Modellparameter oder -funktionen so zu bestimmen sind, dass eine Zielfunktion unter vorgegebenen Nebenbedingungen minimiert (oder maximiert) wird. Wir beschränken uns in der Klassifikation von Optimierungsproblemen ohne Beschränkung der Allgemeinheit auf Minimierungsprobleme. Ein Maximierungsproblem wird durch Multiplikation der zu maximierenden Funktion mit 1 in ein äquivalentes Minimierungsproblem transformiert. Problem 1..2 (Allgemeines Optimierungsproblem (OP )) Finde x R n, so dass f(x) minimal wird unter der Nebenbedingung x X. In Kurform: Minimiere f(x) u.d.n. x X. Darin sei X R n eine beliebige nichtleere Menge und f : X R eine beliebige Funktion. Wir führen einige Bezeichnungen ein, die wir immer wieder verwenden werden: 5

10 6 KAPITEL 1. PROBLEMSTELLUNGEN UND KLASSIFIKATION Definition 1..3 Die zu minimierende Funktion f heißt Zielfunktion. Ein Vektor x heißt zulässig für (OP ), falls x X gilt. X heißt zulässige Menge von (OP ). ˆx X heißt globales Minimum von (OP ), falls f(ˆx) f(x) x X. (1.1) ˆx X heißt striktes globales Minimum von (OP ), falls in (1.1) < für alle x X, x ˆx gilt. ˆx X heißt lokales Minimum von (OP ), falls es eine Umgebung U ε (ˆx) := {x R n x ˆx < ε} gibt mit f(ˆx) f(x) x X U ε (ˆx). (1.2) ˆx X heißt striktes lokales Minimum von (OP ), falls in (1.2) < für alle x X U ε (ˆx), x ˆx gilt. Globale bzw. lokale Maxima werden analog definiert. Die Begriffe werden in Abbildung 1.1 erläutert. Wir betrachten Spezialfälle: Ein unrestringiertes Problem liegt vor, falls X = R n gilt: Problem 1..4 (Unrestringiertes Optimierungsproblem (U OP )) Minimiere f(x) u.d.n. x R n. Darin sei f : R n R eine beliebige Funktion. Häufig wird die Menge X in (OP ) durch endlich viele Gleichungen und Ungleichungen beschrieben:

11 7 x 1 x 2 x 3 x 4 x 5 x 6 x 7 Abbildung 1.1: Lokale und globale Minima und Maxima einer Funktion: x 1 : striktes globales Minimum, x 2 : lokales Maximum, x 3 : lokales Minimum; (x 2, x 3 ): gleichzeitig lokales Minimum und Maximum, x 4 : striktes globales Maximum, x 5 : striktes lokales Minimum, x 6, x 7 : lokale Maxima, (x 6, x 7 ): gleichzeitig lokales Minimum und Maximum. Problem 1..5 (Standard Optimierungsproblem (SOP )) Finde x R n, so dass f(x) minimal wird unter den Nebenbedingungen g i (x), i = 1,..., m, h j (x) =, j = 1,..., p. In Kurzform schreiben wir auch: Minimiere f(x) u.d.n. g(x), h(x) =. Darin seien f : R n R, g = (g 1,..., g m ) : R n R m, und h = (h 1,..., h p ) : R n R p beliebige Funktionen. Lineare Optimierungsprobleme stellen einen wichtigen Spezialfall des Standard Optimierungsproblems mit f(x) = c x, g(x) = x, h(x) = Ax b (oder h(x) = b Ax) dar, wobei c R n, b R m Vektoren und A R m n eine Matrix sind. Problem 1..6 (Lineares Optimierungsproblem (LOP ) (in sogenannter primaler Normalform))

12 8 KAPITEL 1. PROBLEMSTELLUNGEN UND KLASSIFIKATION Minimiere c x u.d.n. Ax = b, x. Darin seien x, c R n und b R m Vektoren und A R m n eine Matrix. Linear-quadratische Optimierungsprobleme stellen ebenfalls einen wichtigen Spezialfall des Standard Optimierungsproblems mit f(x) = 1 2 x Qx + c x, g(x) = x, h(x) = Ax b (oder h(x) = b Ax) dar, wobei c R n, b R m Vektoren und Q R n n, A R m n Matrizen sind. Problem 1..7 (Linear-quadratisches Optimierungsproblem (LQOP )) 1 Minimiere 2 x Qx + c x u.d.n. Ax = b, x. Darin seien x, c R n und b R m Vektoren und A R m n eine Matrix. Bemerkung 1..8 Die Darstellung der verschiedenen Optimierungsprobleme ist nicht vollständig. So gibt es beispielsweise auch unendlichdimensionale Optimierungsprobleme, Vektoroptimierungsprobleme, semi-infinite Optimierungsprobleme, ganzzahlige Optimierungsprobleme, nichtdifferenzierbare Optimierungsprobleme sowie Mischformen der oben dargestellten Problemformen. In dieser Vorlesung beschäftigen wir uns mit unrestringierten Optimierungsproblemen (U OP ), linearen Optimierungsproblemen (LP ) und Optimierungsproblemen in Standardform (SOP ), wobei die auftretenden Funktionen in der Regel mindestens einmal stetig differenzierbar sind. Typische Fragestellungen: i) Existieren überhaupt zulässige Lösungen? ii) Existieren Optimallösungen? iii) Ist die Optimallösung eindeutig bestimmt? iv) Wie hängen die Optimallösungen von den Problemdaten ab? v) Welche Eigenschaften besitzen Optimallösungen, mit anderen Worten welche Bedingungen werden von einer Optimallösung notwendig erfüllt?

13 9 vi) Welche Bedingungen sind hinreichend dafür, dass eine zulässige Lösung optimal ist? vii) Welche Bedingungen sind gleichzeitig notwendig und hinreichend für Optimalität, charakterisieren also die Optimallösungen? viii) Wie gewinnt man aus zulässigen Lösungen Informationen über die Optimallösungen, insbesondere Einschließungen für den Optimalwert und Fehlerabschätzungen für die Optimallösung? ix) Welche konzeptionellen Algorithmen zur Berechnung einer Optimallösung stehen zur Verfügung? x) Welche numerischen Eigenschaften besitzen diese Algorithmen (Konvergenz, Konvergenzgeschwindigkeit, Stabilität)? Die Fragestellungen i) vii) sind überwiegend theoretischer Natur. Aber ohne ihre Beantwortung ist die Behandlung der numerischen Fragestellungen viii) x) nicht möglich. In dieser Vorlesung widmen wir uns schwerpunktmäßig den praktischen Fragestellungen nach der Konstruktion von Verfahren und der Charakterisierung von Optimallösungen. Dabei setzen wir die Existenz von Optimallösungen stets voraus. Die Existenz einer Optimallösung ist dabei zum Beispiel durch den folgenden aus der Analysis bekannten Satz gesichert. Satz 1..9 (Weierstrass) Sei X D R n kompakt (also beschränkt und abgeschlossen) und f : D R stetig. Dann nimmt f ihr Minimum (und Maximum) auf X an.

14 Kapitel 2 Beispiele Es werden exemplarisch einige typische Optimierungsaufgaben vorgestellt und diskutiert. Weitere interessante Anwendungen sind in Spellucci [Spe93], Bazaraa [BSS93] und Alt [Alt2] zu finden. Darüber hinaus gibt es unzählige Optimierungsprobleme in Industrie, Wirtschaft und Wissenschaft. 2.1 Elementare Funktionen und Höhenlinien Beispiel (Funktion von Himmelblau) Wir wollen die Funktion von Himmelblau f H (x, y) := (x 2 + y 11) 2 + (x + y 2 7) 2 über alle (x, y) R 2 minimieren. Um einen besseren Eindruck von der Funktion zu bekommen, stellen wir die Funktion grafisch dar. Dies kann z.b. mit dem Programm Maple und dem Befehl plot3d((x^2+y-11)^2+(x+y^2-7)^2,x=-5..5,y=-5..5,axes=boxed, style=patchcontour,contours = 4,shading=XYZ); geschehen: 1

15 2.1. ELEMENTARE FUNKTIONEN UND HÖHENLINIEN x y 2 4 Einen noch besseren Eindruck von den Funktionswerten der Funktion erhalten wir mit dem Befehl contourplot((x^2+y-11)^2+(x+y^2-7)^2,x=-5..5,y=-5..5,contours=8, coloring=[red,blue],scaling=constrained,axes=boxed); Dieser Befehl zeichnet die sogenannten Höhenlinien oder Niveaulinien einer Funktion. Eine Höhenlinie zum Niveau c R für eine Funktion f : R n R ist formal definiert als die Menge aller Punkte x = (x 1,..., x n ), die f(x) = c erfüllen und wird mit N f (c) bezeichnet, also N f (c) := {x R n f(x) = c}, c R. Somit besitzt die Funktion f entlang einer Höhenlinie immer denselben Funktionswert, ist also entlang einer Höhenlinie konstant. Die Abbildung zeigt die Höhenlinien der Funktion von Himmelblau. Die fett gezeichnete Höhenlinie entspricht dem Niveau c = 1.

16 12 KAPITEL 2. BEISPIELE 4 2 y x 2 4 Die Pfeile in den beiden Grafiken stellen die Gradienten von f in den jeweiligen Punkten dar. Der Gradient einer Funktion f : R n R an der Stelle x = (x 1,..., x n ) R n ist formal definiert als der Spaltenvektor f(x 1,..., x n ) := f x 1 (x 1,..., x n ). f x n (x 1,..., x n ) Bekanntlich zeigt der Gradient einer Funktion f in die Richtung des steilsten Anstiegs. von f. Außerdem steht der Gradient senkrecht auf den Höhenlinien von f. Für die Funktion von Himmelblau ergibt sich speziell f H (x, y) = ( fh x f H y (x, y) (x, y) ) = ( 4x(x 2 + y 11) + 2(x + y 2 7) 2(x 2 + y 11) + 4y(x + y 2 7) Die Gradienten von f H können mit dem folgenden Befehl dargestellt werden: gradplot( (x^2+y-11)^2+(x+y^2-7)^2,x=-5..5,y=-5..5,grid=[1,1], color=(x^2+y-11)^2+(x+y^2-7)^2); Anhand der grafischen Darstellungen läßt sich folgendes ablesen: Die Funktion von Himmelblau besitzt 4 lokale Minimalstellen (zugleich global) mit Funktionswert 4 Sattelpunkte ein lokales Maximum in (.27845,.92339) ).

17 2.1. ELEMENTARE FUNKTIONEN UND HÖHENLINIEN 13 Wir werden später sehen, dass der Gradient von f in jedem dieser Punkte gleich dem Nullvektor ist. Beispiel (Funktion von Rosenbrock (Banana-Function)) Analysieren Sie wie im vorigen Beispiel die Funktion von Rosenbrock (Banana-Function): f R (x, y) := 1(y x 2 ) 2 + (1 x) 2 Hinweis: globales Minimum in (1, 1) mit f(1, 1) =. Beispiel (Optimierungsproblem mit Nebenbedingungen) Betrachte das folgende Standard-Optimierungsproblem: Minimiere f(x, y) = (x 7) 2 + (y 7) 2 unter x, y R, x, y, x + y 1. Zunächst betrachten wir den zulässigen Bereich X des Optimierungsproblems, also alle Punkte (x, y) R 2, die die Nebenbedingungen x, y, x + y 1 erfüllen. Der Bereich innerhalb des Dreiecks in der nachfolgenden Abbildung ist der zulässige Bereich (zusätzlich sind die Höhenlinien und die Gradienten der Zielfunktion f eingezeichnet): y x y x 8 1

18 14 KAPITEL 2. BEISPIELE Es ist leicht zu sehen, dass die Zielfunktion f im Punkt (7, 7) ein globales Minimum mit Funktionswert besitzt. Wegen 7+7 > 1 ist dieser Punkt jedoch nicht zulässig (die dritte Nebenbedingung x+y 1 ist verletzt) und somit keine Lösung des Optimierungsproblems! Die tatsächliche Lösung des Problems liegt im Punkt (x, y) = (5, 5) auf dem Rand des zulässigen Bereiches. 2.2 Lineare und linear-quadratische Optimierungsprobleme Beispiel (Lineares Optimierungsproblem) Ein Landwirt bewirtschaftet ein Grundstück von 4 Hektar Größe mit Zuckerrüben und Weizen. Er kann hierzu 24 Euro und 312 Arbeitstage einsetzen. Pro Hektar betragen seine Anbaukosten bei Rüben 4 Euro und bei Weizen 12 Euro. Für Rüben benötigt er 6 Arbeitstage, für Weizen 12 Arbeitstage pro Hektar. Der Reingewinn bei Rüben sei 1 Euro pro Hektar, bei Weizen sei er 25 Euro pro Hektar. Mathematische Formulierung: Wir bezeichnen mit x 1 die Fläche, die mit Rüben bepflanzt wird und mit x 2 die Fläche, die mit Weizen bepflanzt wird. Der zu maximierende Gewinn lautet f(x 1, x 2 ) = 1x x 2. Aus der Aufgabenstellung lassen sich folgende Beschränkungen ableiten: Grundstücksgröße: g 1 (x 1, x 2 ) := x 1 + x 2 4 Geld: g 2 (x 1, x 2 ) := 4x x 2 24 Arbeitstage: g 3 (x 2, x 2 ) := 6x x keine negativen Flächen: x 1, x 2 Der zulässige Bereich des Optimierungsproblems ist durch den schraffierten Bereich in der folgenden Abbildung gegeben. Die rote Gerade stellt die Höhenlinie der Zielfunktion zum Niveau 35, die grüne diejenige zum Niveau 55 dar.

19 2.2. LINEARE UND LINEAR-QUADRATISCHE OPTIMIERUNGSPROBLEME x g 2 : 4x x 2 = 24 f : 1x x 2 = 55 g 3 : 6x x 2 = f : 1x x 2 = 35 g 1 : x 1 + x 2 = 4 Beispiel (Transportproblem) Ein Transportunternehmer hat m Vorratslager, aus denen n Verbraucher mit einem Produkt beliefert werden können. Die Lieferkosten von Lager i zu Verbraucher j betragen c ij Einheiten pro Produkteinheit. In Lager i sind a i Einheiten des Produktes vorrätig. Verbraucher j hat einen Bedarf von b j Einheiten. Um die Kunden nicht zu verärgern, muß der Lieferant den Bedarf der Kunden befriedigen. Andererseits möchte der Lieferant seine Lieferkosten minimieren.

20 16 KAPITEL 2. BEISPIELE a 1 Lieferung b 1 Vorratslager a 2 Verbraucher b n a m Bezeichnet x ij die Liefermenge von Lager i zu Verbraucher j, so führt das Problem auf das folgende Transportproblem, welches ein spezielles lineares Optimierungsproblem ist: Minimiere unter m n c ij x ij i=1 j=1 n x ij a i, i = 1,..., m, j=1 m x ij b j, j = 1,..., n, i=1 x ij, i = 1,..., m, j = 1,..., n. Die erste Nebenbedingung besagt, daß aus Lager i maximal a i Einheiten abtransportiert werden können. Die zweite Nebenbedingung besagt, daß der Bedarf b j befriedigt werden muß. Die letzte Nebenbedingung verbietet negative Liefermengen. Beispiel (Netzwerkproblem) Eine Firma möchte so viele Waren wie möglich von Stadt A zu Stadt D über das abgebildete Straßennetzwerk transportieren, wobei die Zahlen neben den Kanten des Netzwerks die maximale Kapazität der jeweiligen Kante angeben. B A C 3 6 Wie kann dieses Problem mathematisch modelliert werden? Es bezeichne V = {A, B, C, D} D

21 2.2. LINEARE UND LINEAR-QUADRATISCHE OPTIMIERUNGSPROBLEME 17 die Menge der Knoten des Netzwerks, welche den Städten im Netzwerk entsprechen. Weiter bezeichne E = {(A, B), (A, C), (B, C), (B, D), (C, D)} die Menge der Kanten im Netzwerk, welche den Verbindungsstraßen zwischen jeweils zwei Städten entsprechen. Für jede Kante (i, j) E bezeichne x ij die tatsächlich transportierte Menge entlang der Kante (i, j) und u ij die maximale Kapazität der Kante. Dann muss die Kapazitätsbeschränkung x ij u ij ((i, j) E) gelten. Desweiteren ist es sinnvoll anzunehmen, dass in den Städten B und C keine Waren produziert werden und auch keine Waren abhanden kommen, so dass die Erhaltungsgleichungen Abfluss - Zufluss = in B und C gelten müssen: x BD + x BC x AB =, x CD x AC x BC =. Da auf Grund der Erhaltungsgleichungen unterwegs keine Waren verschwinden können und keine zusätzlichen Waren generiert werden, besteht die Aufgabe nun darin, die den Startknoten verlassende Warenmenge zu maximieren (dies ist dieselbe Warenmenge, die den Knoten D erreicht): Maximiere u.d.n. x AB + x AC x BD + x BC x AB =, x CD x AC x BC =, x ij u ij ((i, j) E). Beispiel (Portfoliooptimierung) Wir betrachten das Beispiel einer Portfoliooptimierungsaufgabe nach Markowitz. Gegeben seien j = 1,..., n mögliche Anlagen (z.b. Aktien, Fonds, Optionen, Wertpapiere). Jede Anlage wirft im nächsten Zeitintervall einen Gewinn (oder Verlust) R j ab. Leider ist R j in der Regel nicht bekannt, sondern zufällig verteilt. Um einerseits den Gewinn zu maximieren und andererseits das Risiko eines Verlusts zu minimieren, wird die Anlagesumme zu Anteilen x j auf die Anlagen j = 1,..., n verteilt und die anteiligen Anlagen werden in einem Portfolio zusammengefaßt. Die Aufgabe eines Portfoliomanagers besteht in der optimalen Zusammensetzung eines solchen Portfolios, d.h. die Anteile x j der jeweiligen Anlagen, die in das Portfolio übernommen werden sollen, müssen in einem gewissen Sinne optimal bestimmt werden. Ein

22 18 KAPITEL 2. BEISPIELE mögliches Ziel ist es, den erwarteten Gewinn E(R) = n x j E(R j ), R = j=1 n x j R j j=1 zu maximieren (E bezeichnet den Erwartungswert). Jedoch ist ein hoher Gewinn in der Regel nur mit riskanten Anlagen möglich, so dass auch das Risiko eines Verlusts steigt. Als Maß für das Risiko kann die Varianz des Gewinns dienen: ( n Var(R) = E(R E(R)) 2 = E x j (R j E(R j )) Ein Kompromiss zwischen hohem Gewinn und geringem Risiko kann durch Lösen des folgenden Optimierungsproblems erreicht werden: j=1 ) 2 min unter ( n n x j E(R j ) + αe x j (R j E(R j )) j=1 j=1 n x j = 1, x j, j = 1,..., n. j=1 ) 2 Hierin bezeichnet α > einen Gewichtungsparameter, mit dem die Risikobereitschaft gesteuert werden kann. Mit α = wird der Varianzterm in der Zielfunktion eliminiert, so dass nur noch der Gewinn maximiert wird. Dies entspricht einer hohen Risikobereitschaft. Mit wachsendem α wird der Varianzterm stärker gewichtet und die Risikobereitschaft sinkt. 2.3 Ausgleichs- und Parameteridentifizierungsprobleme Ein Experiment liefert die Messpunkte (t i, y i ), i = 1,..., m. Der dem Experiment zu Grunde liegende Vorgang werde durch die Funktion f(t, p) modelliert, die einen funktionalen Zusammenhang zwischen den Messstellen t i und den Messwerten y i herstellt. Allerdings hängt die Funktion auch noch vom unbekannten Parameter p R np ab. In der Praxis sind die Messwerte verrauscht bzw. fehlerbehaftet, so dass es in der Regel keinen Parameter p gibt, der die Messpunkte exakt reproduziert. Daher wird versucht, die Messpunkte so gut wie möglich zu approximieren, indem 1 2 m (y i f(t i, p)) 2 i=1 bezüglich p minimiert wird. Häufig sind zusätzlich noch Nebenbedingungen an den Parameter p gegeben.

23 2.3. AUSGLEICHS- UND PARAMETERIDENTIFIZIERUNGSPROBLEME 19 Das resultierende Optimierungsproblem ist ein spezielles Least-Squares Problem. Ein allgemeines Least-Squares Problem lautet Least-Squares-Problem: Finde x R n, so dass 1 2 Φ(x) 2 2 = 1 2 minimal wird unter den Nebenbedingungen q Φ i (x) 2 i=1 g i (x), i = 1,..., m, h j (x) =, j = 1,..., p. Beispiel Die Messpunkte t i y i sollen durch die Funktion f(t, p 1, p 2 ) = exp(p 1 t) cos(p 2 t) wiedergegeben werden. Die Abbildungen zeigen die zu minimierende Funktion g(p 1, p 2 ) = 1 2 und deren Höhenlinien. 1 i=1 (y i f(t i, p 1, p 2 )) 2

24 2 KAPITEL 2. BEISPIELE p_ p_ p_1 2 3 p_1 3 3 Die Fehlerfunktion zeigt, dass es Bereiche mit sehr steilen Flanken und sehr flache Täler gibt. Anwendung eines SQP-Verfahrens liefert das folgende Resultat SQP VERSION 1.1 (C) Matthias Gerdts, University of Bayreuth, NUMBER OF VARIABLES : 2 NUMBER OF CONSTRAINTS : METHOD : SEQUENTIAL QUADRATIC PROGRAMMING (SQP) MERIT FUNCTION : AUGMENTED LAGRANGIAN MULTIPLIER UPDATE RULE : SCHITTKOWSKI OR OPTIMALITY TOLERANCE :.149E-7 FEASIBILITY TOLERANCE :.1E-11 LINE SEARCH PARAMETER : SIGMA=.1E+ BETA=.9E+ MAXIMUM NUMBER OF ITERATIONS : 1 INFINITY :.1E+21 ROUNDOFF TOLERANCE :.3E-12 REAL WORK SPACE PROVIDED : 5338 NEEDED : 5 INTEGER WORK SPACE PROVIDED : 82 NEEDED : ITER QPIT ALPHA OBJ NB KKT PEN D DELTA RDELTA F/G E E+1.E+.4961E+1.E+.E+.E+.1E+1 1/ i E E+1.E+.6195E+1.E+.568E+1.E+.1E+1 1/ 2 1.1E E+.E+.2952E+1.E+.2958E+1.E+.1E+1 11/ E E+.E+.1755E+1.E+.169E+1.E+.1E+1 27/ 4 1.1E E-1.E+.1589E+.E+.2781E+.E+.1E+1 28/ 5 1.1E E-1.E+.7956E-1.E+.8876E-2.E+.1E+1 29/ 6 1.1E E-1.E+.1468E-1.E+.1593E-1.E+.1E+1 3/ 7 1.1E E-1.E+.1579E-1.E+.1675E-1.E+.1E+1 31/ 8 1.1E E-1.E+.3616E-2.E+.1358E-1.E+.1E+1 32/ 9 1.1E E-1.E+.7891E-3.E+.9467E-3.E+.1E+1 33/ 1 1.1E E-1.E+.559E-4.E+.1286E-3.E+.1E+1 34/ E E-1.E+.1533E-5.E+.319E-4.E+.1E+1 35/ E E-1.E+.7265E-7.E+.162E-5.E+.1E+1 36/ E E-1.E+.946E-9.E+.244E-7.E+.1E+1 37/ KKT CONDITIONS SATISFIED (IER= )! SOLUTION: OBJ = KKT = CON = X = E E-9.E E E+ Schließlich ergibt sich die Funktion f aus den identifizierten Parametern:

25 2.4. BESTIMMUNG EINES ZULÄSSIGEN PUNKTS Bestimmung eines zulässigen Punkts Wir betrachten ein Beispiel aus der Biochemie. Gegeben sind n Proteine und ein Peptid P. Die n Proteine 1,..., n reagieren mit dem Peptid und bilden Komplexe 1P,..., np mit Konzentrationen [1P ],..., [np ]. Die totalen Konzentrationen [P ] t, [1] t,..., [n] t und die Reaktionsgeschwindigkeiten k 1,..., k n sind bekannt. Es bestehen die folgenden Zusammenhänge: [P ] f = [P ] t ([1P ] [np ]), [i] f = [i] t [ip ], i = 1,..., n, [ip ] k i = [i] f [P ] f, i = 1,..., n Gesucht sind die Konzentrationen der Komplexe [ip ], i = 1,..., n, und die Konzentration [P ] f. Einsetzen der obigen Beziehungen führen auf das nichtlineare Gleichungssystem ( ) ( ) n n [ip ] k i + [P ] t [jp ] [i] t [P ] t [jp ] ) =, i = 1,..., n. j=1 j=1 Dieses nichtlineare System für [ip ], i = 1,..., n kann nicht analytisch gelöst werden und besitzt i.a. mehrere Lösungen. Wir interessieren uns aber nur für nicht-negative Konzentrationen. Daher wird eine nicht-negative Lösung [ip ] [i] t, i = 1,..., n, gesucht, die das obige nichtlineare Gleichungssystem löst und [P ] f erfüllt.

26 22 KAPITEL 2. BEISPIELE Dieses Problem kann als degeneriertes Optimierungsproblem aufgefasst werden, indem die Zielfunktion konstant auf Null gesetzt wird. Damit entsteht ein Optimierungsproblem, welches zum Ziel hat, einen zulässigen Punkt zu bestimmen. Der zulässige Bereich besteht aus nichtlinearen Gleichungen und linearen Ungleichungen.

27 Kapitel 3 Unrestringierte Optimierung Gegenstand dieses Kapitels sind die theoretische Untersuchung und die Entwicklung numerischer Verfahren für das Problem 3..1 (Unrestringiertes Optimierungsproblem (U OP )) Minimiere f(x) unter x R n. Darin sei f : R n R mindestens einmal stetig differenzierbar. Wir werden notwendige Bedingungen und hinreichende Bedingungen für ein lokales Minimum entwickeln. Notwendige Bedingungen sind Bedingungen, die ein lokales Minimum ˆx zwangsläufig erfüllt. Bei der Herleitung wird daher stets vorausgesetzt, dass bereits ein lokales Minimum ˆx bekannt ist. Allgemein werden wir sehen, dass die Bedingung f(ˆx) = für unrestringierte Optimierungsprobleme eine notwendige Bedingung darstellt. Sie ist aber nicht hinreichend. Im Gegensatz zu den notwendigen Bedingungen ist bei hinreichenden Bedingungen a priori nicht bekannt, ob es sich bei einem Kandidaten ˆx um ein lokales Minimum handelt oder nicht. Hinreichende Bedingungen sind Bedingungen, mit denen entschieden werden kann, ob es sich bei ˆx um ein lokales Minimum handelt oder nicht. Später wird gezeigt, dass die Bedingung H f (ˆx) positiv definit, wobei H f (ˆx) die Hessematrix von f in ˆx bezeichnet, in der unrestringierten Optimierung eine hinreichende Bedingung für ein Minimum ist. Sie ist aber nicht notwendig. Ideal sind Bedingungen, die sowohl notwendig als auch hinreichend sind. Derartige Bedingungen sind aber nur für spezielle Optimierungsprobleme, etwa konvexe Probleme, bekannt. Anschließend werden numerische Verfahren diskutiert und analysiert. Die meisten der vorzustellenden Verfahren versuchen, die notwendigen Bedingungen zu erfüllen. 23

28 24 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG Zur Erinnerung: Der Gradient einer Funktion f : R n R an der Stelle x = (x 1,..., x n ) R n ist formal definiert als der Spaltenvektor f(x 1,..., x n ) := f x 1 (x 1,..., x n ). f x n (x 1,..., x n ) Im Spezialfall n = 1 ist der Gradient gerade die erste Ableitung von f. Bekanntlich zeigt der Gradient einer Funktion f in die Richtung des steilsten Anstiegs von. f. Außerdem steht der Gradient senkrecht auf den Höhenlinien von f. Die Hessematrix von f an der Stelle x ist gegeben durch H f (x) = 2 f(x) 2 f(x) x 1 x n x 1 x f(x) x n x 1 Häufig schreibt man auch 2 f(x) anstatt H f (x). 2 f(x) x n x n Im Spezialfall n = 1 ist die Hessematrix gerade die zweite Ableitung von f. Die. Hessematrix beschreibt anschaulich die lokale Krümmung einer Funktion. Die folgenden Betrachtungen basieren auf der lokalen Approximierbarkeit von f in ˆx. Nach dem Satz von Taylor (Taylorentwicklung) gilt: Ist f stetig differenzierbar, so gilt f(x) = f(ˆx) + f(ˆx) (x ˆx) + o( x ˆx ) mit lim x ˆx o( x ˆx ) x ˆx =. Somit kann f in einer Umgebung von ˆx approximiert werden durch eine affin lineare Funktion: f(x) f(ˆx) + f(ˆx) (x ˆx), siehe Skizze.

29 25 f(ˆx) + f(ˆx) (x ˆx) ˆx f(ˆx) ( f(ˆx) 1 ) Ist f zweimal stetig differenzierbar, so gilt f(x) = f(ˆx) + f(ˆx) (x ˆx) (x ˆx) H f (ˆx)(x ˆx) + o( x ˆx 2 ) mit lim o( x ˆx 2 ) x ˆx x ˆx 2 =. Somit kann f in einer Umgebung von ˆx approximiert werden durch eine quadratische Funktion: f(x) f(ˆx) + f(ˆx) (x ˆx) (x ˆx) H f (ˆx)(x ˆx). (3.1)

30 26 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG Himmelblau function and quadratic approximation at (-2,2) y x Notwendige Bedingungen Wir leiten Bedingungen her, die ein lokales Minimum ˆx erfüllen muss. Anschaulich liegt ein lokales Minimum vor, wenn es keine Richtung gibt, in die es (lokal) bergab geht. Gibt es in ˆx hingegen eine Richtung, in die f fällt, so kann ˆx kein lokales Minimum sein, da ein kurzer Schritt in Richtung dieser Abstiegsrichtung genügen würde, um den Zielfunktionswert zu reduzieren. Eine formale Definition ist gegeben durch Definition (Abstiegsrichtung) Seien f : R n R und x R n gegeben. d R n heißt Abstiegsrichtung von f in x, falls es ein ᾱ > gibt mit f(x + αd) < f(x) < α ᾱ. Eine hinreichende Bedingung für eine Abstiegsrichtung liefert der folgende Hilfssatz. Hilfsatz Sei f : R n R stetig differenzierbar in x. Gilt f(x) d <, so ist d eine Abstiegsrichc 216 by M. Gerdts

31 3.1. NOTWENDIGE BEDINGUNGEN 27 tung von f in x. Beweis: Die Richtungsableitung von f in x in Richtung d lautet f(x + αd) f(x) lim α α = f(x) d <. Hieraus folgt die Existenz eines ᾱ > mit f(x + αd) f(x) < für alle < α ᾱ, d.h. d ist Abstiegsrichtung. Bemerkung Die Bedingung f(x) d < bedeutet geometrisch, dass der Winkel zwischen Gradient und Abstiegsrichtung zwischen 9 und 27 liegt. Dies läßt sich aus der für Vektoren a, b R n allgemein gültigen Beziehung ableiten. cos (a, b) = a b a b = a, b a b Die Bedingung in Hilfssatz ist nur hinreichend für eine Abstiegsrichtung aber nicht notwendig. Betrachte z.b. ein striktes lokales Maximum ˆx mit f(ˆx) =. Für alle Richtungen d R n gilt dann f(ˆx) d =. Andererseits ist in einem strikten lokalen Maximum jede Richtung d R n eine Abstiegsrichtung. Damit können wir eine erste notwendige Bedingung formulieren: Ist ˆx ein lokales Minimum, so gibt es keine Abstiegsrichtung von f in ˆx. Notwendig muss dann f(ˆx) d gelten für alle Richtungen d R n, denn andernfalls wäre d Abstiegsrichtung. Die Bedingung f(ˆx) d ist für jeden beliebigen Vektor d R n nur dann erfüllt, wenn bereits f(ˆx) = gilt. Damit ist bewiesen: Satz (Notwendige Bedingung erster Ordnung) Sei f : R n R stetig differenzierbar und ˆx ein lokales Minimum von f. Dann gilt f(ˆx) =. Im Spezialfall n = 1 gilt f (ˆx) =.

32 28 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG Definition (stationärer Punkt) Jeder Punkt x mit f(x) = heißt stationärer Punkt von f. Das folgende Beispiel zeigt, dass die Bedingung f(ˆx) = nur notwendig, aber nicht hinreichend für ein lokales Minimum ist. Stationäre Punkte sind also nicht automatisch lokale Minima, sondern nur mögliche Kandidaten! Beispiel Betrachte die Funktionen f(x) = x 2 und g(x) = x 2 und ˆx =. In ˆx = gilt f (ˆx) = und g (ˆx) =. Allerdings besitzt f in ˆx = ein globales Minimum, während g dort ein globales Maximum besitzt. Wir wollen eine weitere notwendige Bedingung herleiten. Dazu greifen wir auf die Taylorentwicklung zurück. Ist ˆx ein stationärer Punkt von f, so gilt f(ˆx) = und die Taylorentwicklung reduziert sich zu f(x) f(ˆx) (x ˆx) H f (ˆx)(x ˆx). Damit besitzt f lokal dieselben Eigenschaften wie die quadratische Funktion q(x) := f(ˆx) (x ˆx) H f (ˆx)(x ˆx). (3.2) Für diese quadratische Funktion gilt q(x) = H f (ˆx)(x ˆx), H q (x) = H f (ˆx). Die Hessematrix H f (ˆx) beschreibt anschaulich die Krümmung der Funktion f in ˆx. Wir veranschaulichen mögliche Fälle im R 2 : f(x, y) = x 2 + y 2, H f (ˆx) = ( 2 2 ) positiv definit:

33 3.1. NOTWENDIGE BEDINGUNGEN 29 x^2 + y^ x y f(x, y) = x 2 y 2, H f (ˆx) = ( 2 2 ) negativ definit: -x^2 - y^ x y f(x, y) = x 2 y 2, H f (ˆx) = ( 2 2 ) indefinit:

34 3 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG x^2 - y^ x y Wir können nun eine weitere notwendige Bedingung formulieren, die besagt, dass die quadratische Form q in einem lokalen Minimum nicht negativ gekrümmt sein muss. Satz (Notwendige Bedingung zweiter Ordnung) Sei f : R n R zweimal stetig differenzierbar und ˆx ein lokales Minimum von f. Dann ist die Hessematrix H f (ˆx) positiv semidefinit. Im Spezialfall n = 1 gilt f (ˆx). Beweis: Wäre H f (ˆx) nicht positiv semidefinit, so gäbe es ein d R n, d, mit d H f (ˆx)d <. Mit dem Satz von Taylor folgt unter Ausnutzung von f(ˆx) = die Beziehung f(ˆx + td) = f(ˆx) t2 d H f (ˆx + ξ t d)d mit einem ξ t (, t). Für hinreichend kleines t > folgt aus der Stetigkeit von H f ( ), dass auch d H f (ˆx + ξ t d)d < gilt. Somit folgt f(ˆx + td) < f(ˆx) für alle hinreichend kleinen Werte t >. Dies ist ein Widerspruch zur lokalen Minimalität von ˆx. Beispiel Betrachte wieder die Funktionen f(x) = x 2 und g(x) = x 2. In beiden Fällen ist ˆx = ein stationärer Punkt. Wegen f () = 2 > erfüllt f die notwendige Bedingung zweiter Ordnung. Wegen g () = 2 < erfüllt g die notwendige Bedingung zweiter Ordnung nicht, d.h.

35 3.1. NOTWENDIGE BEDINGUNGEN 31 ˆx = ist kein lokales Minimum der Funktion g. Das folgende Beispiel zeigt, dass die notwendigen Bedingung zweiter Ordnung ebenfalls nicht hinreichend für lokale Optimalität ist. Beispiel Die Funktion f(x) = x 3 erfüllt ebenfalls f () = und sogar f () =, ist also positiv semidefinit. Somit sind beide notwendigen Bedingungen erfüllt. Jedoch besitzt sie weder ein lokales noch globales Minimum oder Maximum in x =. Beispiel Betrachte f(x 1, x 2 ) := x 2 1 x 4 2. Es gilt ( f(x 1, x 2 ) = 2x 1 4x 3 2 ). Daher ist ˆx = (, ) der einzige stationäre Punkt von f. Weiter gilt ( ) ( 2 H f (x 1, x 2 ) = bzw. H 12x 2 f (, ) = 2 2 ) Die Hessematrix ist positiv semidefinit, d.h. ˆx erfüllt die notwendige Bedingung zweiter Ordnung. Allerdings ist ˆx kein lokales Minimum, sondern ein Sattelpunkt. x^2 - y^ x y

36 32 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG Fazit: Bestimmt man alle Punkte, die die notwendigen Bedingungen f(x) = und H f (x) positiv semidefinit erfüllen, so sind diese Punkte lediglich Kandidaten für ein (lokales) Minimum. Wir werden später erkennen, dass die meisten numerischen Verfahren versuchen, stationäre Punkte zu approximieren Hinreichende Bedingungen für unrestringierte Optimierungsprobleme Um entscheiden zu können, ob ein Punkt ˆx, der die notwendigen Bedingungen erster und zweiter Ordnung erfüllt, tatsächlich ein (lokales) Minimum ist, werden hinreichende Bedingungen benötigt. Satz Sei f : R n R zweimal stetig differenzierbar und ˆx ein stationärer Punkt mit positiv definiter Hessematrix H f (ˆx). Dann ist ˆx ein striktes lokales Minimum von f. Im Spezialfall n = 1 muß f (ˆx) > gelten. Beweis: Taylorentwicklung von f um ˆx liefert f(ˆx + d) = f(ˆx) + f(ˆx) d + 1 }{{} 2 d H f (ˆx + ξd)d = mit ξ (, 1). Da H f (ˆx) positiv definit ist, gibt es ein α >, so dass für alle d R n gilt d H f (ˆx)d αd d. 1 Damit folgt mit der Cauchy-Schwarzschen Ungleichung 2 die Beziehung f(ˆx + d) = f(ˆx) d H f (ˆx + ξd)d = f(ˆx) d H f (ˆx)d d (H f (ˆx + ξd) H f (ˆx)) d f(ˆx) (α H f(ˆx + ξd) H f (ˆx) ) d 2. Aufgrund der Stetigkeit von H f (ˆx) gilt H f (ˆx + ξd) H f (ˆx) für d. Es folgt f(ˆx + d) > f(ˆx) für alle hinreichend kleinen Vektoren d und somit ist ˆx striktes lokales Minimum von f. 1 Diese Behauptung ist nur für endlichdimensionale Vektorräume richtig. Sie basiert auf der Kompaktheit der Einheitskugel in endlichdimensionalen Vektorräumen. In unendlichdimensionalen Vektorräumen gilt dies nicht mehr. 2 Cauchy-Schwarzsche Ungleichung: a, b = a b a b, a, b R n

37 3.1. NOTWENDIGE BEDINGUNGEN 33 Bemerkung Die hinreichende Bedingung ist i.a. nicht notwendig. Ein Gegenbeispiel liefert die Funktion f(x 1, x 2 ) := x x 4 2. Hier ist ˆx = ein striktes globales Minimum, die Hesse-Matrix ist jedoch nicht positiv definit. Beispiel Für die Funktion f(x, y) := y 2 (x 1) + x 2 (x + 1) berechnen wir den Gradienten f(x, y) = ( y 2 + 3x 2 + 2x 2y(x 1) ) und die Hessematrix H f (x, y) = ( 6x + 2 2y 2y 2(x 1) ). Aus f(x, y) = ergeben sich somit die stationären Punkte (x, y ) = (, ) (x 1, y 1 ) = ( 2/3, ). Für die zugehörigen Hesse-Matrizen erhält man und ( ) H f (x, y 2 ) = indefinit 2 ( ) H f (x 1, y 1 2 ) = negativ definit 1 3 x ( y x 1 y 1 Sattelpunkt ) striktes lokales Maximum MAPLE-Befehle plot3d(y^2*(x-1)+x^2*(x+1),x=-1...5,y= ,axes=boxed, style=patchcontour,contours = 4,shading=XYZ); contourplot(y^2*(x-1)+x^2*(x+1),x=-1...5,y= ,contours=2, coloring=[red,blue],scaling=constrained,axes=boxed);

38 34 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG.4.2 y y x x Konvexität Im vorangegangenen Abschnitt haben wir gesehen, dass notwendige Bedingungen im Allgemeinen nicht hinreichend für Optimalität sind und umgekehrt. Für konvexe Funktionen gilt die schöne Eigenschaft, dass die notwendige Bedingung f(x) = bereits hinreichend ist. Darüber hinaus sind lokale Minima bei konvexen Funktionen stets globale Minima. Definition (Konvexe Menge, konvexe Funktion) (a) Eine Menge X R n heißt konvex, falls mit zwei Punkten stets auch deren gesamte Verbindungsstrecke zu X gehört, also x, y X : λ [, 1] : x + λ (y x) X. Konvexe (links) und nicht konvexe Menge (rechts)

39 3.2. KONVEXITÄT 35 (b) Sei X R n konvex. Eine Funktion f : R n R heißt konvex auf X, falls x, y X : λ [, 1] : f(x + λ (y x)) f(x) + λ (f(y) f(x)). x y (c) Die Funktion f heißt strikt konvex auf X, falls x y X : λ ], 1[: f(x + λ (y x)) < f(x) + λ (f(y) f(x)). Der folgende Satz besagt, dass konvexe Probleme lediglich globale Minima besitzen (lokale Minima sind also automatisch globale Minima). Darüber hinaus ist die notwendige Bedingung f(ˆx) = auch hinreichend für die Minimalität von ˆx. Das sind sehr schöne Eigenschaften, weshalb konvexe Probleme sehr angenehme Optimierungsprobleme sind. Satz (a) Ist f : R n R konvex auf einer nichtleeren, konvexen Menge X, so ist die Menge der globalen Minima konvex. Ist f sogar strikt konvex, so gibt es höchstens ein globales Minimum von f über X (Eindeutigkeit). (b) Jedes lokale Minimum einer konvexen Funktion f über der konvexen Menge X ist zugleich global. Ist f konvex und stetig differenzierbar, so ist jeder stationäre Punkt bereits ein globales Minimum von f über X. Beweis: (a) Seien x und y globale Minima von f über X. Für λ [, 1] folgt f(x + λ (y x)) f(x) + λ (f(y) f(x)) = f(x), d.h. auch x + λ (y x) ist ein globales Minimum von f über X.

40 36 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG Da in der obigen Ungleichung also Gleichheit gilt, folgt für strikt konvexes f somit x = y und damit die behauptete Eindeutigkeit. (b) Nehmen wir an, ˆx sei ein lokales, aber kein globales Minimum. Dann gibt es ein y X mit f(y) < f(ˆx). Für λ ], 1] folgt f(ˆx + λ(y ˆx)) f(ˆx) + λ(f(y) f(ˆx)) < f(ˆx) + λ(f(ˆx) f(ˆx)) = f(ˆx). Damit gibt es in jeder Umgebung von ˆx Punkte mit kleinerem Zielfunktionswert. Widerspruch! Zur zweiten Aussage betrachten wir zu y X die Hilfsfunktion Ψ(λ) := f(ˆx) + λ(f(y) f(ˆx)) f(ˆx + λ(y ˆx)). Ψ ist stetig differenzierbar und nicht negativ auf dem Intervall [, 1]. Ferner gilt Ψ() =. Hiermit folgt Ψ () = (f(y) f(ˆx)) f(ˆx) (y ˆx). Gilt also f(ˆx) =, so ist f(y) f(ˆx) für alle y X. Damit ist gezeigt, dass ˆx ein globales Minimum von f über X ist. Die Definition der Konvexität einer Funktion f eignet sich meist nicht so gut zur konkreten Überprüfung dieser Eigenschaft. Da f jedoch meist auch gewisse Glattheitseigenschaften besitzt, lassen sich die folgenden Charakterisierungen der Konvexität verwenden. Satz (a) (Stützungleichung) Seien f : R n R stetig differenzierbar und X R n konvex und nichtleer. Dann gilt: f konvex auf X x, y X : f(y) f(x) + f(x) (y x) Ferner ist f genau dann strikt konvex, wenn die obige Ungleichung für x y strikt erfüllt ist. (b) Seien f : R n R zweimal stetig differenzierbar und nichtleer. Dann gilt: X R n offen, konvex und f konvex auf X x X : H f (x) positiv semidefinit Ferner: konvex. Ist die Hesse-Matrix H f (x) sogar positiv definit auf X, so ist f strikt

41 3.3. ALLGEMEINE ABSTIEGSVERFAHREN 37 Beispiel Eine quadratische Funktion f : R n R hat die Form f(x) = 1 2 x A x + b x + c wobei A R n n eine symmetrische Matrix ist, b R n, c R. f ist offenbar beliebig oft differenzierbar mit f(x) = A x + b, H f (x) = A. Damit ist f genau dann konvex, wenn A positiv semidefinit ist. Ist A sogar positiv definit, so ist f strikt konvex und besitzt ein eindeutig bestimmtes striktes, globales Minimum, das sich über das lineare Gleichungssystem f(ˆx) = A ˆx + b = berechnen lässt. 3.3 Allgemeine Abstiegsverfahren Wir konstruieren ein allgemeines Konzept zur Minimierung einer stetig differenzierbaren Funktion f : R n R. Viele der später diskutierten Verfahren basieren auf diesem Konzept. Der folgende Algorithmus basiert auf der Verwendung von Abstiegsrichtungen in Kombination mit einer Schrittweitensteuerung: Algorithmus (Abstiegsverfahren) (i) Bestimme einen Startpunkt x [] R n und setze i =. (ii) Falls ein Abbruchkriterium erfüllt ist, STOP. (iii) Berechne eine Abstiegsrichtung d [i] und eine Schrittweite α i >, so dass f(x [i] + α i d [i] ) < f(x [i] ) gilt und setze x [i+1] = x [i] + α i d [i]. (iv) Setze i := i + 1 und gehe zu (ii).

42 38 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG Natürlich ist dieser Algorithmus lediglich von konzeptioneller Art, da die wesentlichen Komponenten (Bestimmung der Abstiegsrichtung, der Schrittweite und geeigneter Abbruchkriterien) noch nicht näher beschrieben wurden und sehr viel Freiraum lassen. Ein allgemeiner Konvergenzsatz für das Abstiegsverfahren findet sich in Anhang A.1. Im Vorgriff auf später seien einige Beispiele für Suchrichtungen genannt: Gradientenverfahren oder Verfahren des steilsten Abstiegs: Die Richtung des steilsten Abstiegs d [i] := f(x [i] ) ist wegen f(x [i] ) d [i] = f(x [i] ) 2 eine Abstiegsrichtung in nicht stationären Punkten. Diese naheliegende Wahl der Suchrichtung muss aber nicht die effizienteste sein. Newtonverfahren: d [i] := H f (x [i] ) 1 f(x [i] ) Falls H f (x [i] ) positiv definit ist, so ist d [i] eine Abstiegsrichtung in nicht stationären Punkten. Quasi-Newtonverfahren: d [i] := B i f(x [i] ) Falls B i symmetrisch und positiv definit ist, ist d [i] wegen f(x [i] ) d [i] = f(x [i] ) B i f(x [i] ) < ein Abstiegsrichtung in nicht stationären Punkten. Beispiel Wir verwenden das (unskalierte) Gradientenverfahren zur Minimierung der Funktion f(x 1, x 2 ) := x x 2 2. Die Bestimmung der Schrittweite erfolge mit exakter Liniensuche, d.h. mit Wir erhalten α := argmin{f(x + α d) : α > }. f(x 1, x 2 ) = (2x 1, 2x 2 ) d = (2x 1, 2x 2 ) ϕ(α) = (x 1 + αd 1 ) (x 2 + αd 2 ) 2 ϕ (α) = 2 (x 1 + αd 1 ) d (x 2 + αd 2 ) d 2! =

43 3.3. ALLGEMEINE ABSTIEGSVERFAHREN 39 Damit: α := x 1d x 2 d 2, x neu d d 2 i := x i + α d i, (i = 1, 2). 2 Mit dem Startvektor x [] := (1,.1) benötigt das Verfahren 63 Iterationen um das Abbruchkriterium f(x) zu erfüllen Würden wir dagegen die Newtonrichtung verwenden mit H f = 2, 2 so würde sich ergeben d = H 1 f f(x) = 1/2 1/2 2 x 1 2 x 2 = x, sowie (bei exakter Liniensuche) exakte Lösung ˆx = liefert. α = 1, so dass der erste Iterationsschritt bereits die Bei der praktischen Ausführung des allgemeinen Abstiegsverfahrens muss der Algorithmus irgendwann beendet werden, so dass sich die Frage nach geeigneten Abbruchkriterien stellt. Üblicherweise gibt der Benutzer eine relative Genauigkeitsschranke ε 1 r vor, etwa r = 6, 7, 8. Da numerische Rechnungen in der Regel rundungsfehlerbehaftet sind, ist es sinnlos, ε kleiner als die relative Maschinengenauigkeit ε mach zu wählen. Für doppelt genaue Gleitpunktzahlen gilt ε mach = Da die Bedingung f(ˆx) = notwendig für ein Minimum ist, andererseits in der numerischen Praxis aber so gut wie niemals von den Iterierten x [i] erfüllt wird, ist f(x [i] ) ε

44 4 KAPITEL 3. UNRESTRINGIERTE OPTIMIERUNG eine sinnvolle Abbruchbedingung. Allerdings ist diese Bedingung nicht invariant bezüglich der Skalierung von f. Denn durch Multiplikation von f mit einer hinreichend kleinen positiven Zahl ist diese Bedingung nahezu immer erfüllbar. Andererseits ist es nicht sinnvoll, das Abstiegsverfahren fortzuführen, da auf Grund von Rundungsfehlern kein besseres Ergebnis zu erwarten ist. Daher sollte dieses Abbruchkriterium mit einer Warnung versehen werden. Ebenso ist es sinnvoll, eine maximale Iterationszahl i max vorzuschreiben und das Abstiegsverfahren abzubrechen, sobald i i max gilt. Dies verhindert zuviele Iterationen und sollte ebenfalls mit einer Warnung versehen werden. Gill et al. [GMW81] schlagen folgende Abbruchkriterien vor, die nicht nur die absoluten Größen f(x [i] ) bzw. x [i 1] x [i] bzw. f(x [i 1] ) f(x [i] ) überprüfen, sondern diese durch zusätzliche Faktoren (1 +...) in Relation setzen zur Größe der Funktionswerte f(x [i] ) bzw. der Iterierten x [i] : f(x [i 1] ) f(x [i] ) ε (1 + f(x [i] ) ) x [i 1] x [i] ε (1 + x [i] ) f(x [i] ) 3 ε (1 + f(x [i] ) ) Für sehr kleine Werte f(x [i] ) bzw. x [i] gehen diese relativen Abfragen in absolute Kriterien über. Sind diese Kriterien erfüllt, so kann das Verfahren mit Erfolg beendet werden. Die Wurzel ε in der zweiten Bedingung erklärt sich durch Taylorentwicklung in der Nähe des Lösungspunktes (dort gilt f(x [i] ) ): f(x [i 1] ) f(x [i] ) + O( x [i 1] x [i] 2 ). Die dritte Wurzel in der dritten Bedingung stellt eine Abschwächung der theoretisch begründbaren zweiten Wurzel dar. Die Verwendung der zweiten Wurzel stellt sich in der Praxis als zu restriktiv heraus. 3.4 Schrittweitenstrategien und Liniensuche Im folgenden wird vorausgesetzt, dass wir im Punkt x [i] bereits eine Richtung d [i] mit f(x [i] ) d [i] < gefunden haben. Nach Hilfssatz ist d [i] somit eine Abstiegsrichtung von f in x [i]. Um das allgemeine Abstiegsverfahren durchführen zu können, muß also nur noch die Schrittweite α i bestimmt werden. Zur Bestimmung der Schrittweite genügt es, für α die Funktion ϕ : R R mit ϕ(α) := f(x [i] + α d [i] )