Technische Universität München. Grundlagen der konvexen Optimierung

Transkript

1 Technische Universität München Fakultät für Mathematik Lehrstuhl für Mathematische Optimierung Grundlagen der konveen Optimierung Michael Ulbrich April 2012

2

3 Gliederung der Vorlesung 1. Einführung Konvee Analysis 2. Grundlagen 3. Konvee Funktionen 4. Metrische Projektion und Trennungssätze 5. Stützfunktional und Normalkegel 6. Minimaldarstellungen konveer Mengen 7. Subdifferential konveer Funktionen Lineare Optimierung 8. Grundlagen der linearen Optimierung 9. Dualität 10. Duales Simpleverfahren 11. Revidiertes Simpleverfahren 12. Kompleitätsbetrachtungen und weitere Verfahren

4

5 M. Ulbrich: Grundlagen der konveen Optimierung 1 1 Problemstellung und Beispiele 1.1 Einführung Konvee Optimierungsprobleme sowie die zugrundeliegenden Begriffe der konveen Analysis bilden den Inhalt dieser Vorlesung. Der Begriff der Konveität von Mengen und Funktionen ist sowohl im Hinblick auf geometrische Aspekte als auch in Bezug auf das Berechnen globaler Lösungen von Minimierungsproblemen von zentraler Bedeutung. Ein Fokus dieser Vorlesung wird auf linearen Optimierungsproblemen liegen, für die eine sehr vollständige und abgerundete Theorie und Numerik eistiert, aus der sich viele grundlegende Einblicke in die konvee Analysis und die konvee Optimierung bieten. Wir wiederholen zunächst den Begriff der Konveität Definition Die Menge X R n heißt konve, wenn gilt: (1 λ) + λy X, y X, λ [0, 1]. 2. Die Funktion f : X R heißt konve auf der konveen Menge X R n, wenn gilt: f((1 λ) + λy) (1 λ)f() + λf(y), y X, λ [0, 1]. 3. Die Funktion f : X R heißt konkav auf der konveen Menge X R n, wenn f auf X konve ist, d.h. wenn gilt: f((1 λ) + λy) (1 λ)f() + λf(y), y X, λ [0, 1]. Im Folgenden heben wir einige wichtige Aspekte der konveen Optimierung, mit denen wir uns beschäftigen werden, kurz hervor: Notwendige und zugleich hinreichende Bedingungen für globale Minima einer konveen Funktion f : X R auf einer abgeschlossenen konveen Menge X R n : f() u.d.n. X. Rn Hierbei spielt eine wichtige Rolle, dass die Richtungsableitung konveer Funktionen stets eistiert und dass der Tangentialkegel einer konveen Menge der Abschluss der Menge aller zulässigen Richtungen ist. Eistenz einer eindeutigen Projektionsabbildung P : R n X, P () 2 y 2 y X, auf die konvee, abgeschlossene, nichtleere Menge X R n.

6 2 Trennung disjunkter konveer Mengen X 1, X 2 durch eine Hyperebene H(a, b) := { R n ; a T = b }, a R n \ {0}, b R, d.h. X 1 H (a, b) und X 2 H + (a.b) mit den Halbräumen H (a, b) := { R n ; a T b }, a R n \ {0}, b R, (1) H + (a, b) := { R n ; a T b }, a R n \ {0}, b R. (2) Hier besteht eine enge Verbindung zur Projektionsabbildung, denn die Normale a einer Hyperebene H(a, b), die die abgeschlossene konvee Menge X und den Punkt / X trennt (also X 1 = X, X 2 = {}), lässt sich durch a := P () bestimmen. Es eistieren reichhaltige Dualitätsbeziehungen. Einige Beispiele: a) f : X R ist konve genau dann, wenn der Epigraph {( ) } epi(f) := ; X, y R, f() y y konve ist. R n+1 b) Eine abgeschlossene Menge X R n ist konve genau dann, wenn sie als Durchschnitt der sie enthaltenden Halbräume H (a, b) X geschrieben werden kann: X = H (a, b). c) Zu Optimierungsproblemen der Form X H (a,b) f() u.d.n. g i () 0 (1 i m), h j () = 0 (1 j p), X 0 mit f, g i, h j : X 0 R und X 0 R n kann stets ein duales Optimierungsproblem angegeben werden, das ein konkaves Maimierungsproblem und somit äquivalent zu einem konveen Minimierungsproblem ist. Dieses ist eng verknüpft mit dem Ausgangsproblem (Primalproblem) und liefert insbesondere Unterschranken für den Optimalwert des Primalproblems. Ist das Primalproblem konve, dann ist unter sehr allgemeinen Voraussetzungen das Dualproblem äquivalent zum Problemproblem in dem Sinne, dass sich Lösungen des Primalproblem aus Lösungen des Dualproblems berechnen lassen. Eine zentrale Rolle spielt das lineare Optimierungsproblem (linear program, LP), dessen allgemeine Form wie folgt aussieht: c T u.d.n. A b, D = e mit c R n, A R m n, b R m, D R p n, e R p. Hierbei ist A b komponentenweise gemeint. Wie wir sehen werden, lässt sich für das LP eine sehr runde und vollständige Theorie und Numerik entwickeln.

7 M. Ulbrich: Grundlagen der konveen Optimierung 3 Die konvee Analysis ermöglicht eine elegante und vollständige Behandlung nichtglatter (d.h. nicht überall differenzierbarer) Funktionen und Optimierungsprobleme. 1.2 Beispiele Standardform konveer Optimierungsprobleme Sehr häufig hat der zulässige Bereich die Form Seien g i : R n R konve, 1 i m, dann ist die Menge X = { R n ; g() 0, h() = 0, X 0 } mit X 0 R n und Funktionen g : X 0 R m und h : X 0 R p. Hierbei ist g() 0 komponentenweise gemeint. Wie man unmittelbar nachprüft ist dann X konve, falls folgendes gilt: X 0 konve. g i : X 0 R konve, 1 i m, h : X 0 R p linear, d.h. h() = D + e, X 0, mit D R p n, e R p Produktionsplanung Wir betrachten die Produktionsplanung einer Fabrik, die zwei Produkte P 1 und P 2 herstellt. Hierzu werden pro hergestellter Einheit produktabhängige Mengen zweier Materialien M 1 und M 2 sowie Herstellungs- und Maschinenbearbeitungszeiten benötigt. Die Produktionsbedingungen ergeben sich aus der folgenden Tabelle. P 1 P 2 verfügbar Herstellungszeit [] Maschinenbearbeitungszeit [] Bedarf Material M Bedarf Material M Reingewinn [Euro] Unter der Annahme, dass keine Absatzschwierigkeiten bestehen, soll berechnet werden, wieviele Einheiten der beiden Produkttypen hergestellt werden müssen, damit der Gewinn optimal wird, natürlich unter Einhaltung obiger Restriktionen. Mathematische Formulierung: Sei 1 die Menge der produzierten Einheiten von P 1, 2 die Menge der produzierten Einheiten von P 2.

8 4 Dann lauten die Produktionsbedingungen: (i) (ii) (iii) (iv) 1 0 (v) 2 0 (vi) Gesucht sind Zahlen ( 1, 2 ), die diesen Ungleichungen genügen und den Gewinn f( 1, 2 ) := maimieren. Es handelt sich hier um ein lineares Optimierungsproblem (die Lösung ist 1 = 80, 2 = 300) L - und L 1 -Approimation Wir betrachten Approimationsprobleme der folgenden Form: mit 1 p, A b p v = ma 1 i m v i, v p = ( m ) 1/p v i p i=1 (1 p < ). Hierbei geht es darum, ein überbestimmtes oder inkompatibles lineares Gleichungssystem A = b, A R m n, Rang A = n, b R m, das üblicherweise keine Lösung besitzt, falls m > n gilt, mit kleinstem L p -Residuum zu lösen. Zunächst stellen wir fest, dass für jede beliebige Norm auf R m die Funktion f() := A b wegen der Dreiecksungleichung konve ist: Für alle, y R n und alle λ [0, 1] gilt A[(1 λ) + λy] b = (1 λ)(a b) + λ(ay b) (1 λ)(a b) + λ(ay b) = (1 λ) A b + λ Ay b. Zudem sind alle Normen bei v = 0 nicht differenzierbar. Denn für beliebiges festes w R m \ {0} ist die Funktion φ(t) := tw = t w, t R,

9 M. Ulbrich: Grundlagen der konveen Optimierung 5 bei t = 0 nicht differenzierbar. Manche Normen, insbesondere 1 und, sind auch an anderen Stellen als v = 0 nicht differenzierbar. In der Numerik bilden lineare Kleinste-Quadrate-Probleme, d.h. der Fall p = 2, A b 2, eine wichtige Problemklasse. Beim Kleinste-Quadrate-Problem kann man durch Quadrieren der zunächst nichtdifferenzierbaren Zielfunktion A b 2 erreichen, dass die Zielfunktion konve und quadratisch (und somit insbesondere C ) wird: A b 2 2 = (A b) T (A b) = b T b 2b T A + T A T A. In manchen Anwendungen ist es aber günstiger, mit den Normen oder 1 zu arbeiten: m v = ma v i, v 1 = v i. 1 i m Wir erhalten im ersten Fall i=1 A b, (3) d.h. gesucht ist hier ein, für das der maimale Defekt aller Gleichungen imal ist. Der im Fall p = 2 verwendete Trick des Quadrierens würde bei den Normen und 1 zwar die Nichtdifferenzierbarkeit bei 0 beseitigen, aber nicht an anderen Stellen. Man muss daher mit der Nichtglattheit leben. Als Alternative kann jedoch die folgende äquivalente Formulierung von (3) vorgenommen werden: u.d.n. at i t b i, a T i t b i (i i m) (4) t R, R n Dies ist ein lineares Programm und kann somit effizient gelöst werden. Der Konstruktion liegt zugrunde, dass das i-te Nebenbedingungspaar offensichtlich äquivalent ist zu a T i b i t. Alle Nebenbedingungen zusammen sind daher äquivalent zu Wir zeigen nun: A b t. 1. Ist eine Lösung von (3) und setzen wir t = A b, so ist ( t, ) eine Lösung von (4). 2. Ist ( t, ) eine Lösung von (4), so ist eine Lösung von (3) und es gilt t = A b.

10 6 Zum Nachweis von 1. stellen wir zunächst fest, dass ( t, ) nach Wahl von t zulässig für (4) ist. Ist nun (t, ) ein beliebiger weiterer zulässiger Punkt, dann gilt t A b A b = t. Damit ist ( t, ) eine optimale Lösung von (4). Zum Nachweis von 2. sei umgekehrt ( t, ) eine optimale Lösung von (4). Ist dann R n beliebig und setzen wir t := A b, dann ist (t, ) ebenfalls zulässig und wir erhalten A b = t t A b. Somit ist Lösung von (3). Für die spezielle Wahl = folgt A b t A b. Mit der Theorie zur linearen Optimierung, die wir später entwickeln werden, lässt sich zeigen, dass das LP (4) eine optimale Ecke ( t, ) besitzt. In dieser sind destens so viele Nebenbedingungen aktiv (d.h. mit = erfüllt), wie das Problem Variablen hat, also destens n + 1. Daraus folgt, dass a T i b i = A b für destens n + 1 Indizes 1 i m gilt. Der Spielraum [ t, t] mit t = A b wird also von destens n + 1 Zeilen von A b voll ausgeschöpft. Man kann auf ähnliche Weise auch das L 1 -Approimationsproblem A b 1 als LP reformulieren (Übung). L 1 -imale Vektoren haben die Tendenz, dünn besetzt zu sein. Dies kann man ebenfalls durch LP-Theorie begründen, denn die gängige Reformulierung hat m + n Variablen und 2m Nebenbedingungen: a T i b i t i, a T i + b i t i, 1 i m. In einer optimalen Ecke sind destens m + n Nebenbedingungen aktiv. Daraus folgt, dass es destens n Indizes i gibt mit a T i b i = t i = 0. Der Residuenvektor A b ist also in destens n Komponenten gleich Null. Man sieht am Beispiel der L 1 - und L -Approimation, dass häufig mehr als eine Formulierung desselben Problems eistiert und dass Nichtglattheiten manchmal durch Nebenbedingungen beseitigt werden können. Umgekehrt kann man häufig Nebenbedingungen in Form von nichtglatten Termen in die Zielfunktion aufnehmen und dadurch beseitigen (eakte Penalisierung) Netzwerkflüsse und kürzeste Wege Bei Routenplanern, Boardcomputern und ähnlichem ist die Aufgabenstellung, kürzeste Wege zu finden, von zentraler Bedeutung. Auch die verkehrs- oder umweltplanerisch möglichst günstige Verkehrssteuerung ist von Bedeutung. Wir betrachten zunächst ein Problem der optimalen Verkehrsplanung:

11 M. Ulbrich: Grundlagen der konveen Optimierung 7 Gegeben seien m 2 Städte s 1,..., s m, die durch gerichtete (d.h. Einbahn-) Straßen w 1,..., w n verbunden sind (aber nicht notwendig jede Stadt mit jeder anderen). Die Straße (im Folgenden: Kante) w j führe von der Stadt a j S := {s 1,..., s m } zur Stadt b j S and habe die Länge l j > 0 (Einheit km). Häufig verwendet man hierfür die suggestive Schreibweise w j = (a j, b j ). Der Verkehrsfluss j auf der Straße w j (gemessen in Personen/Stunde) sei der Unterschranke 0 und der Oberschranke u j > 0 unterworfen, j = 1,..., n. Als Nettoverkehrsfluss N i in die Stadt s i bezeichnen wir die Differenz aus dem gesamten Verkehrzufluss und dem gesamten Verkehrsabfluss: N i = j j., b j =s i, a j =s i Der Schadstoffausstoß pro Stunde auf der Straße w j ist proportional zu ihrer Länge und dem auf ihr herrschenden Verkehr, also gleich γ j l j j, wobeit γ j > 0 eine Konstante ist (diese könnte den Typ der Straße widerspiegeln). Wir wollen einen möglichst umweltfreundlichen Nettoverkehrsfluss f R (Personen/Stunde) von der Stadt s 1 zur Stadt s m bestimmen. Gesucht sind also Verkehrsflüsse j, j = 1,..., n, so dass gilt: N 1 = f, N 2 = = N m 1 = 0, N m = f. Die Kapazitätsgrenzen auf allen Straßen werden eingehalten. Der Gesamtschadstoffausstoß ist imal. Wir erhalten das lineare Optimierungsproblem R n u.d.n. n γ j l j j j=1 b j =s 1 b j =s i j j j b j =s m a j =s 1 j = f, j = 0, i = 2,..., m 1, a j =s i j = f, a j =s m 0 j u j, 1 j n. (5)