II. Nichtlineare Optimierung

Transkript

1 II. Nichtlineare Optimierung 1. Problemstellungen 2. Grundlagen 3. Probleme ohne Nebenbedingungen 4. Probleme mit Nebenbedingungen Theorie 5. Probleme mit Nebenbedingungen Verfahren H. Weber, FHW, OR SS06, Teil 5, Seite 1

2 1. Problemstellungen Ein einführendes Beispiel aus der Schulmathematik: Es soll eine Dose mit einem Liter Fassungsvermögen hergestellt werden. H. Weber, FHW, OR SS06, Teil 5, Seite 2

3 Dabei werden Grund- und Deckkreis aus dem umschriebenen Quadrat ausgeschnitten. Wie groß sind die Ausmaße zu wählen, wenn dabei möglichst wenig Blech verwendet werden soll und der Abfall beim Ausstanzen der Grund- und Deckfläche zum verbrauchten Material zählt. Da Deckel und Boden aus einem quadratischen Blech gestanzt werden, ist die Fläche des verwendeten Blechs: F = 2(2r) 2 + 2πrh Dabei ist 2(2r) 2 die Fläche für den Deckel und Boden (inklusive Abfall) und 2πrh die Fläche des Mantels. Das Volumen der Dose soll 1 Liter betragen. Ein Liter ist 1 dm 3, darum wählt man als Einheit für alle Längen im Folgenden Dezimeter (dm). Die Formel für das Volumen ist V = 1 = hπr 2 (Nebenbedingung) H. Weber, FHW, OR SS06, Teil 5, Seite 3

4 Daraus folgt durch Umformung: h = 1/(πr 2 ) Man erhält die Funktion der Fläche in Abhängigkeit vom Radius r (durch Ersetzen von h durch r): F(r) = 8r 2 + 2πrh = 8r 2 + 2πr/(πr 2 ) = 8r 2 + 2/r. Diese Zielfunktion F(r) ist zu minimieren: F'(r) = 16r - 2/r 2 = 0 <=> 16r 3-2 = 0 <=> r 3 = 1/8 <=> r = 1/2 Das Ergebnis ist r = 1/2 dm = 5 cm. Man überprüft nun über die zweite Ableitung, ob 1/2 auch wirklich das Minimum ist: F''(r) = 16+4/r 3 Einsetzten von r liefert: F''(1/2) = 48 > 0, es liegt also wirklich ein Minimum vor. H. Weber, FHW, OR SS06, Teil 5, Seite 4

5 Wir beschäftigen uns hier mit nichtlinearen Optimierungsproblemen Sie stellen eine natürliche Verallgemeinerung der linearen Optimierungsprobleme dar. Diese Probleme sind in der Regel von der Theorie (Lösbarkeitsaussagen) her erheblich schwieriger als lineare Aufgaben. Auch in der Praxis sind diese Probleme viel aufwendiger zu behandeln als lineare Aufgaben, wo ein generell akzeptiertes und verwendbares Verfahren, der Simplex-Algorithmus, zur Verfügung steht. Das Attribut aufwendig bezieht sich sowohl auf die Programmierung als auch auf den Rechenaufwand. Sei F: R n R eine hinreichend glatte (genügend oft stetig differenzierbare) Funktion, seien g j : R n R, j=1,...,m, hinreichend glatte Funktionen. H. Weber, FHW, OR SS06, Teil 5, Seite 5

6 Wir gehen aus vom Problem: Maximiere F(x) unter den Nebenbedingungen g i (x) 0, i = 1,,m und Nichtnegativitätsbedingungen x j 0, j = 1,,n Wir benutzen auch gelegentlich die aus der linearen Optimierung bekannte Vektorschreibweise: Maximiere F(x) unter den Nebenbedingungen g(x) 0 und x 0 (komponentenweise geschrieben), wobei x R n und g : R m R n H. Weber, FHW, OR SS06, Teil 5, Seite 6

7 Diese Problemstellung kann noch erweitert werden, in dem man etwa Gleichheitsnebenbedingungen der Form h(x) = 0 hinzunimmt, aber auch vereinfacht werden, in dem man etwa die Nichtnegativitätsbedingungen x 0 wegläßt. Auch Minimalaufgaben können, wie üblich, leicht durch Multiplikation der Zielfunktion mit 1 betrachtet werden. H. Weber, FHW, OR SS06, Teil 5, Seite 7

8 Beispiel: Es stammt aus der Produktionsplanung. Zu maximieren ist die Summe der Deckungsbeiträge zweier Produkte unter Beachtung linearer Kapazitätsrestriktionen. Je nach den Eigenschaften des Marktes kommt man zu verschiedenen Zielfunktionen (linear bzw. nichtlinear). Im Fall eines Angebotsmonopolisten ist der Preis der Produkte eine Funktion seiner Absatzmenge. Wir kommen dann zur Aufgabe: Maximiere F(x 1, x 2 ) = 5x 1 x x 2 x 2 2 unter den Nebenbedingungen x 1 + 2x (g 1 (x):= x 1 + 2x 2 8) 3x 1 + x (g 2 (x):= 3x 1 + x 2 9) und x 1, x 2 0 Wie im Fall der linearen Optimierung können wir im Zweidimensionalen H. Weber, FHW, OR SS06, Teil 5, Seite 8

9 leicht Nebenbedingungen und Zielfunktion grafisch darstellen: Der Punkt (2.5, 2.5) mit F(2.5, 2.5) = 12.5 ist das Maximum des unrestringierten Problems. H. Weber, FHW, OR SS06, Teil 5, Seite 9

10 Beispiel: Geht man von der sog. Gutenberg schen Verbrauchsfunktion aus, so kommt man zu nichtlinearen Nebenbedingungen. Zusammen mit einer linearen Zielfunktion erhält man die Aufgabe Maximiere F(x 1, x 2 ) = 6x 1 + 4x 2 unter den (quadratischen) Nebenbedingungen x x x x und x 1, x 2 0 (g 1 (x) = x x , g 2 (x) = 16 x x ) Die Verhältnisse können ebenfalls leicht grafisch dargestellt werden. H. Weber, FHW, OR SS06, Teil 5, Seite 10

11 Der zulässige Bereich ergibt sich durch Schnitt der beiden Ellipsenabschnitte. Das Maximum der Zielfunktion kann hier grafisch durch Parallelverschiebung der Niveaulinie der ZF bestimmt werden. H. Weber, FHW, OR SS06, Teil 5, Seite 11

12 Ein weiteres Beispiel einer Minimalaufgabe mit nichtlinearer Zielfunktion und einer nichtlinearen Randbedingung soll nur grafisch dargestellt werden: Wo liegt das Minimum? H. Weber, FHW, OR SS06, Teil 5, Seite 12

13 In den Wirtschafts- und Naturwissenschaften gibt es jede Menge von nichtlinearen Optimierungsaufgaben zu lösen! Häufig stellen die linearen Aufgaben nur eine vereinfachte Form der ursprünglich nichtlinearen Probleme dar. Zu den wesentlichen Schwierigkeiten der nichtlinearen Optimierung zählt die Frage, wieviele Extremstellen es gibt (lokale Extrema vs. globale Extrema!). Zur Berechnung der Extremwerte sind i.a. numerische Verfahren notwendig. H. Weber, FHW, OR SS06, Teil 5, Seite 13

14 2. Grundlagen Die Menge der zulässigen Lösungen eines nichtlinearen Optimierungsproblems bezeichnen wir mit X. Die Menge der optimalen Lösungen bezeichnen wir mit X*. Ist X = R n, so nennen wir das Problem unrestringiert. Bei linearen Problemen ist X ein konvexes Polyeder. Dies gilt bei nichtlinearen Problemen häufig nicht. Definition Sei also X R n die Menge der zulässigen Lösungen eines nichtlinearen Optimierungsproblems. 1. Ein Punkt x* X heißt globales Maximalstelle der Funktion F : X R, falls F(x) F(x*) für alle x X gilt. 2. Ein Punkt x* X heißt lokales Maximalstelle der Funktion F : X R, falls F(x) F(x*) für alle x aus einer Umgebung von x* gilt. H. Weber, FHW, OR SS06, Teil 5, Seite 14

15 3. Eine globale und ein lokale Minimalstelle sind analog definiert. Bei auf R definierten zweimal stetig differenzierbaren Funktionen F kennen wir aus der Schule notwendige und hinreichende Bedingungen für Maxima und Minima. a) x* lokale Maximalstelle von F F (x*) = 0 b) x* lokale Minimalstelle von F F (x*) = 0 c) F (x*) = 0 und F (x*) < 0 x* lokale Maximalstelle von F d) F (x*) = 0 und F (x*) > 0 x* lokale Minimalstelle von F Es gibt auch noch kompliziertere hinreichende Bedingungen, die höhere Ableitungen mit einbeziehen. Sie sollen uns hier nicht interessieren. Wir erweitern nun diese Aussagen für zweimal stetig differenzierbare Funktionen F : R n R. H. Weber, FHW, OR SS06, Teil 5, Seite 15

16 Definition Der Vektor F(x) = F( x) x 1... F( x) x n der partiellen Ableitungen an der Stelle x heißt der Gradient von F. Er gibt in jedem Punkt x die Richtung des steilsten Anstiegs der Funktion F an. Die quadratische nxn-matrix H(x) = F( x) F( x) F( x)... x1 x1 x1 x2 x1 x n F( x) F( x) F( x)... x2 x1 x2 x2 x2 xn F( x) F( x) F( x)... xn x1 xn x2 xn x n der zweiten H. Weber, FHW, OR SS06, Teil 5, Seite 16

17 partiellen Ableitungen von F in x X nennt man die Hesse-Matrix. Die Hesse-Matrix ist symmetrisch wegen 2 2 F( x) F( x) = x x x x. i j j i Beispiel: 2 2 Die Zielfunktion F(x 1,x 2 ) = 5 x 1 x x 2 x 2 besitzt den Gradienten 5 2x1 2 0 F(x) = 5 2x 2 und die Hesse-Matrix H(x) = 0 2. Definition 1. Eine symmetrische nxn-matrix C heißt positiv definit, wenn x T Cx > 0 für alle x 0 gilt. 2. Eine symmetrische nxn-matrix C heißt positiv semidefinit, wenn x T Cx 0 für alle x 0 gilt. H. Weber, FHW, OR SS06, Teil 5, Seite 17

18 Satz Sei X R n offene Menge. Sei F: X R eine zweimal stetig differenzierbare Funktion von n Variablen x = (x 1,..., x n ) T. a) Hat F an der Stelle x* X ein lokales Maximum bzw. Minimum, so gilt F(x*) = 0. b) Ist F(x*) = 0 und -H(x*) positiv definit, so hat F an der Stelle x* ein lokales Maximum. c) Ist F(x*) = 0 und H(x*) positiv definit, so hat F an der Stelle x* ein lokales Minimum. Beispiel: 2 2 Die Funktion F(x 1,x 2 ) = 5 x 1 x x 2 x 2 besitzt im Punkt 2 0 x* = (2.5, 2.5) T ein lokales Maximum, da -H(x) = 0 2 für alle x positiv definit ist. H. Weber, FHW, OR SS06, Teil 5, Seite 18

19 Definition: a) Eine auf einer konvexen Menge X definierte Funktion F heißt konvex, wenn für je zwei Punkte x 1, x 2 X und für alle x = λx 1 + (1-λ)x 2 mit 0 < λ < 1 gilt: F(x) λf(x 1 ) + (1-λ)F(x 2 ) Sie heißt streng konvex, wenn F(x) < λf(x 1 ) + (1-λ)F(x 2 ) gilt. b) Eine auf einer konvexen Menge X definierte Funktion F heißt konkav, wenn für je zwei Punkte x 1, x 2 X und für alle x = λx 1 + (1-λ)x 2 mit 0 < λ < 1 gilt: F(x) λf(x 1 ) + (1-λ)F(x 2 ) Sie heißt streng konkav, wenn F(x) > λf(x 1 ) + (1-λ)F(x 2 ) gilt. H. Weber, FHW, OR SS06, Teil 5, Seite 19

20 H. Weber, FHW, OR SS06, Teil 5, Seite 20

21 In der Literatur wird allgemein von konvexer Optimierung gesprochen, wenn man es mit einer konvexen bzw. konkaven Zielfunktion zu tun hat und die Menge X der zulässigen Lösungen konvex ist. Satz Sei F: X R eine auf einer konvexen Menge X R n definierte konkave Funktion. a) Eine lokale Maximalstelle x* von F ist sogleich globale Maximalstelle von F auf X. b) Ist F zweimal stetig differenzierbar auf der offenen Menge X, so ist F(x*) = 0 eine notwendige und hinreichende Bedingung für eine globale Maximalstelle. H. Weber, FHW, OR SS06, Teil 5, Seite 21

22 3. Probleme ohne Nebenbedingungen Die Behandlung von unrestringierten Optimierungsproblemen hat deswegen einen hohen Stellenwert, weil sie in vielen Verfahren zur Lösung komplexerer Probleme als Teilproblem auftreten. Im letzten Abschnitt haben wir Resultate und Vorgehensweisen zur Analyse unrestringierter Probleme bei zweimal stetig differenzierbaren Funktionen kennengelernt. Für die praktische Arbeit sind jedoch numerische Verfahren zur Bestimmung der Extremwerte unumgänglich. Die hierfür in Frage kommenden Verfahren lassen sich grob einteilen in: a) solche, die keine Ableitungen von F benutzen, b) solche, die Ableitungen F (x) bzw. F(x) von F benötigen. H. Weber, FHW, OR SS06, Teil 5, Seite 22

23 Probleme mit einer Variablen Zu lösen sei das nichtlineare Optimierungsproblem: Maximiere F(x) mit x R. Zur Gruppe a) gehören u.a. die Methode des goldenen Schnitts, das Fibonacci-Verfahren. Zur Gruppe b) gehören u.a. das Bisektionsverfahren das Newton-Verfahren das Sekanten-Verfahren H. Weber, FHW, OR SS06, Teil 5, Seite 23

24 Die Methode des goldenen Schnitts Dabei sei F : R R eine konkave Funktion. Damit ist jedes lokale Maximum auch ein globales Maximum. Ausgegangen wird von einem Intervall [a 1, b 1 ] in dem sich ein globales Maximum x* befinden muß. Mit jeder Iteration wird das Intervall verkleinert, so daß man sich beliebig einem Maximum der Funktion nähern kann. Von einem Ausgangsintervall wird stets ein Teil δ abgeschnitten, so daß sich δ zum Rest ( - δ ) genauso verhält, wie ( - δ ) zum Gesamtintervall : δ δ =. δ Diese Gleichung ist nur für δ = bzw. - δ = erfüllt. Gegeben: a 1, b 1 und ε. H. Weber, FHW, OR SS06, Teil 5, Seite 24

25 Algorithmus Methode des Goldenen Schnitts Start: Berechne λ 1 = a 1 + δ (b 1 a 1 ) und µ 1 = a 1 + (1-δ )(b 1 a 1 ). Iteration k ( =1, 2, ): Falls (b k a k ) < ε, Abbruch der Verfahrens a) Falls F(λ k ) < F(µ k ), setze a k+1 = λ k, b k+1 = b k, λ k+1 = µ k, µ k+1 = a k+1 + (1-δ )(b k+1 a k+1 ) b) Falls F(λ k ) F(µ k ), setze a k+1 = a k, b k+1 = µ k, µ k+1 = λ k, λ k+1 = a k+1 + δ (b k+1 a k+1 ) Gehe zur nächsten Iteration. H. Weber, FHW, OR SS06, Teil 5, Seite 25

26 Abgetrennt wird also immer derjenige Teil eines Intervalls, der links bzw. rechts des Punktes λ k bzw. µ k mit dem kleineren der beiden Funktionswerte liegt. Beim Newton-Verfahren handelt es sich um die Anwendung des bekannten Verfahrens auf die Gleichung F (x) = 0. H. Weber, FHW, OR SS06, Teil 5, Seite 26

27 Algorithmus Newton-Verfahren Startwert: x 0, Schranke ε>0, Zähler: k=0 Iteration: x k+1 = x k F (x k )/F (x k ) falls x k x k+1 < ε, Abbruch des Verfahrens. k = k+1, nächste Iteration Es sind hier auch andere Abbruchkriterien möglich. Die anderen Verfahren sind aus der Vorlesung über Numerische Mathematik bekannt. Diese Verfahren werden hier auch auf die Funktion F (x) angewandt. H. Weber, FHW, OR SS06, Teil 5, Seite 27

28 Probleme mit mehreren Variablen Wir betrachten nichtlineare Optimierungsprobleme der Form: Maximiere F(x) mit x R n. Aus der Vielzahl verfügbarer Verfahren unter Verwendung von Ableitungen betrachten wir hier prototypisch das Gradientenverfahren, auch bekannt als Methode des stärksten Anstiegs/Abstiegs. Stellt man eine Funktion F : R 2 R grafisch dar, so erhält man eine Landschaft mit Bergen und Tälern. Bild a) zeigt einen Berg mit zwei Gipfeln. Bild b) zeigt einen Berg mit einem Gipfel H. Weber, FHW, OR SS06, Teil 5, Seite 28

29 a) H. Weber, FHW, OR SS06, Teil 5, Seite 29

30 b) H. Weber, FHW, OR SS06, Teil 5, Seite 30

31 Der Gradient von F im Punkt x = ( x1, x2) zeigt lokal in die Richtung des stärksten Anstiegs, seine Länge ist ein Maß für die Stärke des Anstiegs. Es empfiehlt sich, jeweils so lange in Richtung des stärksten Anstiegs zu gehen, bis in dieser Richtung kein Anstieg mehr möglich ist. Das gerade macht das Gradientenverfahren. Um den in Richtung des Gradienten von x aus erreichbaren, bezüglich F maximalen Punkt zu bestimmen, löst man das eindimensionale Teilproblem: Maximiere H ( λ) = F( x + λ F( x)) mit λ > 0. λ ist die Schrittweite. Man hat sie so zu bestimmen, daß der Anstieg in Richtung des Gradienten maximal wird. H. Weber, FHW, OR SS06, Teil 5, Seite 31

32 Algorithmus Gradientenverfahren Voraussetzungen: stetig differenzierbare, konkave Funktion F: R n R, Abbruchschranke ε > 0, Anfangspunkt x (0) R n. Iteration k ( = 0, 1, 2,...): Schritt 1: ( ) Gradient F( x k ) berechnen, ( ) (*) falls F( x k ) < ε, Abbruch der Verfahrens. Schritt 2: * (+) Berechne den Wert λ > 0, für den die ( k) ( k) Funktion H( λ) = F( x + λ F( x )) maximal ist. Setze ( k + 1) ( ) * ( ) x = x k + λ F( x k ) und gehe zu Iteration k+1. Das Resultat ist eine Näherung für den Maximalpunkt von F. H. Weber, FHW, OR SS06, Teil 5, Seite 32

33 Eine Alternative zum hier verwendeten Abbruchkriterium (*) ist: ( 1) ( ) (**) Falls k k x + x < ε, Abbruch des Verfahrens. Die eindimensionale Maximierung (+) kann mit Hilfe eines der oben genannten Verfahren (goldener Schnitt, Sekanten-Verfahren, Newton- Verfahren, etc.) vorgenommen werden. Beispiel: F( x) = 2x x + 2x x x x 2x 2 1 F( x) = 2x1+ 2 2x 2 x (0) = ( 0, 0 ) x (4) = (¾, ¾) x* = ( 1, 1 ) x (1) = ( 0, ½) x (5) = (¾, 7 / 8 ) x (2) = ( ½, ½) x (6) = ( 7 / 7 8, / 8) x (3) = ( ½, ¾) u.s.w. H. Weber, FHW, OR SS06, Teil 5, Seite 33

34 Es ergibt sich eine Art Zickzackweg zum Maximalpunkt! H. Weber, FHW, OR SS06, Teil 5, Seite 34

35 Niveaulinien und Iterationsfolge für ein anderes Beispiel: H. Weber, FHW, OR SS06, Teil 5, Seite 35

36 Das Gradientenverfahren konvergiert unter ungünstigen Umständen nur langsam. Es gibt jedoch nach ähnlichem Prinzip funktionierende Verfahren, die ihre Anstiegsrichtungen auf kompliziertere Weise ermitteln (konjugierte Gradienten, Newton-Verfahren, etc) und schneller konvergieren. H. Weber, FHW, OR SS06, Teil 5, Seite 36

37 4. Probleme mit Nebenbedingungen - Theorie Wir betrachten nun endlich Probleme der Form (NL) Maximiere F(x) unter den Ungleichungsnebenbedingungen g i (x) 0, i = 1,,m und Nichtnegativitätsbedingungen x j 0, j = 1,,n, wobei F: R n R, F, g stetig. Kurz formuliert: Maximiere F(x) unter den Ungleichungsnebenbedingungen g(x) 0 und Nichtnegativitätsbedingungen x 0, wobei x R n und g : R n R m, F: R n R. Man kann auch Gleichungsnebenbedingungen in das Problem einbeziehen, etwa der Form h(x) = 0 mit einer Funktion h : R n R p H. Weber, FHW, OR SS06, Teil 5, Seite 37

38 Die Charakterisierung von Maximalstellen dieses Problems ist kompizierter als bei nichtrestringierten Aufgaben. Definition: Die Funktion L: R + n+m R mit L(x, u) := F(x) u T g(x), wobei x R + n, u R + m, bezeichnet man als Lagrange-Funktion des Problems. Die zusätzlichen Variablen u 1,...,u m heißen Lagrange- Multiplikatoren. Definition: Seien F und g stetig. Ein Vektor (x*, u*) T des R + n+m wird Sattelpunkt einer Funktion L(x, u) genannt, wenn für alle x R + n und alle u R + m gilt: L(x, u*) L(x*, u*) L(x*, u) H. Weber, FHW, OR SS06, Teil 5, Seite 38

39 Für n = m = 1 ist ein Sattelpunkt in folgender Zeichnung dargestellt. H. Weber, FHW, OR SS06, Teil 5, Seite 39

40 x* ist für festes u* 0 globales Maximum der Funktion L(x, u*), wenn x in R + n variert. u* ist für festes x* 0 globales Minimum der Funktion L(x*, u), wenn u in R + m variert. Sattelpunktsatz (x*, u*) ist Sattelpunkt von L(x, u) x* ist Maximalstelle von NL Die Verwendung des Sattelpunksatzes ist im allgemeinen sehr schwierig, weil man die Gültigkeit der Ungleichungskette L(x, u*) L(x*, u*) L(x*, u) nachweisen muß. Für Probleme mit stetig differenzierbaren Funktionen F und g gibt es einfachere Aussagen. H. Weber, FHW, OR SS06, Teil 5, Seite 40

41 Definition: Die Slater-Bedingung ist erfüllt, falls es ein x 0 gibt mit g(x) 0. Satz (Karush-Kuhn-Tucker) a) Gegeben sei Problem NL mit stetig differenzierbaren Funktionen F und g. Dann folgt aus der Sattelpunktseigenschaft von (x*,u*), daß (KKT1) L x (x*, u*) 0 (KKT2) x* T L x (x*, u*) = 0 (KKT3) L u (x*, u*) 0 (KKT4) u* T L u (x*, u*) = 0 (KKT5) u* 0, x* 0 b) Sind darüber hinaus F konkav, alle g i konvex, i=1,...,m und ist die Slater-Bedingung erfüllt, so sind die KKT-Bedingungen notwendig und hinreichend dafür, daß sich in x* ein globales Maximum von NL befindet. H. Weber, FHW, OR SS06, Teil 5, Seite 41

42 Wir betrachten noch einmal die Aufgabe: Maximiere F(x 1, x 2 ) = 5x 1 x x 2 x 2 2 unter den Nebenbedingungen x 1 + 2x (g 1 (x):= x 1 + 2x 2 8) 3x 1 + x (g 2 (x):= 3x 1 + x 2 9) und x 1, x 2 0, H. Weber, FHW, OR SS06, Teil 5, Seite 42

43 Die Zielfunktion ist konkav und die Nebenbedingungen konvex. Die Slater-Bedingung ist erfüllt, da die Menge der zul. Lösungen ein konvexes Polyeder ist. Daher sind die KKT-Bedingungen notwendig und hinreichend für ein globales Optimum. Die Lagrange-Funktion des Problems lautet: L(x, u) = 5x 1 x x 2 x 2 2 u 1 (x 1 + 2x 2 8) u 2 (3x 1 + x 2 9) Die KKT-Bedingungen haben hier das Aussehen: KKT1 L x : 5 2x 1 1 u 1 3u 2 0, L x : 5 2x 2 2 2u 1 u 2 0 KKT2 xl 1 x : x 1 1 (5 2x 1 u 1 3u 2 ) = 0, xl 2 x : x 2 2 (5 2x 2 2u 2 u 2 ) = 0 KKT3 L u : x x 2 8 0, L u : 3x x KKT4 ul 1 u : u 1 1 (x 1 + 2x 2 8) = 0, ul 2 u : u 2 2 (3x 1 + x 2 9) = 0 KKT5 u 1 0, u 2 0, x 1 0, x 2 0 H. Weber, FHW, OR SS06, Teil 5, Seite 43

44 Der früher ermittelte Minimalpunkt des unrestringierten Problems ist A = (2.5, 2.5). Die Linien gleicher Abweichung der Zielfunktion von diesem Punkt sind gestrichelt. Der Maximierung der obigen Zielfunktion entspricht die Ermittlung eines Punktes x aus dem zulässigen Bereich, so daß der Radius des Kreises, auf dem er liegt, minimal ist. Damit findet man den Punkt B = (2.2, 2.4). Die Untersuchung der KKT-Bedingungen ergibt, daß der Vektor (x 1 = 2.2, x 2 = 2.4, u 1 = 0, u 2 = 0.2) alle Bedingungen erfüllt. Also ist B die optimale Lösung unseres Problems. H. Weber, FHW, OR SS06, Teil 5, Seite 44

45 5. Probleme mit Nebenbedingungen Verfahren Es gibt eine Vielzahl von mehr oder weniger komplizierten Verfahren zur Lösung von nichtlinearen Optimierungsproblemen mit Gleichungs- bzw. Ungleichungs-Nebenbedingungen. Zum Überblick können wir diese sehr grob einteilen in: 1. Verwendung der KKT-Bedingungen Hierbei wird aus den KKT-Bedingungen ein ein nichtlineares Gleichungssystem hergeleitet und dies numerisch, etwas mit dem Newton-Verfahren gelöst. Dies ist sehr aufwendig und funktioniert nur bei guten Startwerten. 2. Verfahren der zulässigen Richtungen Man geht aus von einem zulässigen Startpunkt und bestimmt eine zulässige Anstiegsrichtung der Zielfunktion. In diese Richtung bewegt H. Weber, FHW, OR SS06, Teil 5, Seite 45

46 man sich soweit, daß die Zielfunktionswert maximal erhöht wird und man im zulässigen Bereich bleibt. Dies wird iteraiv wiederholt, solange bis ein maximum gefunden ist. Problematisch ist die Bewegung auf dem Rand des zulässigen Bereichs, vor allem bei nichtlinearen Nebenbedingungen. Die Konvergenz ist im allgemeinen langsam. 3. Straffunktionsverfahren Die Idee der Straffunktionsverfahren ist, ein restringiertes Problem in eine Folge parameterabhängiger, unrestringierter Probleme zu transformieren. Dies geschieht durch von einem wachsenden Parameter abhängige Addition/Subtraktion bestimmter Strafterme zur Zielfunktion. Die resultierenden Aufgaben werden dann mit Hilfe der bekannten, relativ einfachen Methoden für unrestringierte Verfahren (z.b. Gradientenverfahren) numerisch näherungsweise gelöst. Theoretisch ist diese Vorgehensweise sehr attraktiv. Praktisch ergeben sich jedoch numerische Schwierigkeiten, wenn der Parameter groß wird. H. Weber, FHW, OR SS06, Teil 5, Seite 46

47 Verfahren der zulässigen Richtungen Eines dieser Verfahren ist der Algorithmus von Frank und Wolfe. Er ist anwendbar auf die folgende Problemklasse: Maximiere F(x), F: R n R, unter den linearen Ungleichungs- und Gleichungsnebenbedingungen (a i ) T x b i, i= 1,,s (a i ) T x = b i, i= s+1,,m Zulässige Aufstiegsrichtungen werden mit Hilfe der Linearisierungsmethode gewonnen. Die nichtlineare Zielfunktion wird im Punkt x linear approximiert: (F(x) + ( F(x)) T (y-x)) = Max! (a i ) T y b i, i= 1,,s (a i ) T y = b i, i= s+1,,m H. Weber, FHW, OR SS06, Teil 5, Seite 47

48 Mit c:= F(x) ist die äquivalent zur Aufgabe Maximiere c T y unter den Nebenbedingungen (a i ) T y b i, i= 1,,s (a i ) T y = b i, i= s+1,,m Dies ist ein LOP! Der Algorithmus von Frank und Wolfe setzt sich also aus der Bestimmung der Aufstiegsrichtung durch den Simplex-Algorithmus und die nachfolgende eindimensionale Maximierung in Richtung dieser Aufstiegsrichtung zusammen. Das Ganze wird iterativ durchgeführt. Er ist allerdings auf die Problemklasse mit linearen Nebenbedingungen beschränkt. H. Weber, FHW, OR SS06, Teil 5, Seite 48

49 Algorithmus von Frank und Wolfe 0. Bestimme einen zulässigen Punkt x (0), falls nötig, mit Phase 1 des Simplex-Algorithmus. Setze k:= Berechne c (k) := F(x (k) ). 2. Bestimme y (k) als Lösung des LOPs c (k)t y = Max! unter (a i ) T y b i, i= 1,,s (a i ) T y = b i, i= s+1,,m 3. Falls c (k)t y (k) = c (k)t x (k), dann Abbruch des Verfahrens. 4. Setze d (k) := y (k) x (k) und berechne eine optimale Schrittweite λ, so ( k) ( k) daß die Funktion H( λ) = F( x + λd )) maximal ist. 5. Setze x (k+1) := x (k) + λd (k), k:= k+1. und gehe zu 1. H. Weber, FHW, OR SS06, Teil 5, Seite 49

50 Beispiel: Maximiere F(x) = 5x 1 x x 2 2x 2 2 unter 3x 1 + 2x 2 6, x 0 Start mit dem zulässigen Punkt x (0) = (0, 0) T liefert die Iterationsfolge x (1) = (2, 0) T, x (2) = ( 5 / 6, 7 / 6 ) T, x (3) = die nach Augenschein in die Richtung des Punktes x = (1, 3 / 2 ) strebt. Dies ist tatsächlich die gseuchte Lösung. Allerdings braucht man sehr viele Iterationsschritte, um sie mit guter Genauigkeit zu erreichen H. Weber, FHW, OR SS06, Teil 5, Seite 50

51 H. Weber, FHW, OR SS06, Teil 5, Seite 51

52 Straffunktionsverfahren Wir betrachten hier konvexe Probleme (also mit konvexen Nebenbedingungen und konkaver Zielfunktion) der Gestalt (*) maximiere F(x), F: R n R, unter g i (x) 0, i=1,...,m, x 0 Auch Probleme mit Gleichungsnebenbedingungen können hier behandelt werden. Es gibt zwei prinzipielle Varianten dieser Verfahren, die sog. Penalty- Verfahren und die sog. Barriere-Verfahren. H. Weber, FHW, OR SS06, Teil 5, Seite 52

53 Penalty-Verfahren Hier wird von der Zielfunktion F eine Penalty-Funktion, P: R n R +, abgezogen, es ergibt sich F(x, µ) := F(x) µp(x), µ>0 Der Wert von P(x) strebt gegen unendlich, je weiter x außerhalb des zulässigen Bereichs X liegt. Für x X gilt P(x) = 0. Eine nützliche Penalty-Funktion ist m n 2 2 i i i= 1 j= 1 Px ( ) = [max (0, g( x))] + [max (0, x)] Damit wird ein Verstoß gegen die Zulässigkeit zwar erlaubt, in der Zielfunktion jedoch bestraft. Charakteristisch für diese Verfahren ist die Approximation von außen. H. Weber, FHW, OR SS06, Teil 5, Seite 53

54 Das bedeutet, daß die durch ein Penalty-Verfahren sukzessiv berechnete Folge von Näherungslösungen x (0), x (1),..., x (q) gilt: x (k) X für alle k. Penalty-Funktion im Eindimensionalen für g 1 (x) = x-b und g 2 (x) = a-x H. Weber, FHW, OR SS06, Teil 5, Seite 54

55 Algorithmus Penalty-Verfahren Sei µ 1, µ 2,... Folge von positiven Zahlen mit µ k, µ k+1 > µ k. Für jedes k = 0,1,2... löse man das unrestringierte Problem Maximiere F(x, µ k ) := F(x) µ k P(x). Anfangswert sei jeweils die Lösung des vorigen Problems mit µ = µ k-1. Die Lösung des Problems für µ = µ k-1 sei x k. Die Lösungen x k der unrestringierten Probleme streben dann gegen die Lösung x* der restringierten Optimierungsaufgabe (*). H. Weber, FHW, OR SS06, Teil 5, Seite 55

56 Barriere-Verfahren Im Gegensatz zu den eben betrachteten Außenbereichs-Verfahren bezeichnet man die Barriere-Verfahren auch als Innenbereichs- Verfahren. Man betrachtet hier meist ein Zielfunktion der Form P(x,r) = F(x) rb(x) mit r > 0, die zu maximieren ist. Die sog. Barriere-Funktion B(x) soll verhindern, daß die Iteration den zulässigen Bereich X verläßt. Sie sollte deshalb folgende Eigenschaften besitzen: 1. B(x) ist klein, wenn x X weit von der Grenze von X entfernt ist. Im Innern von X soll also F möglichst wenig verfälscht werden. 2. B(x) ist groß, wenn sich x X der Grenze des zulässigen Bereichs nähert. 3. B(x) strebt gegen unendlich für x gegen den Rand von X. H. Weber, FHW, OR SS06, Teil 5, Seite 56

57 Wenn wir beispielsweise Bx ( ) m n 1 1 = + g ( x) x i= 1 i j= 1 j setzen, sind die drei Forderungen erfüllt. Der zweite Term sichert die Einhaltung der Nichtnegativitätsbedingungen, der erste die der übrigen Nebenbedingungen. B(x) wird mit einem positiven Parameter r gewichtet, der von Iteration zu Iteration um einen Faktor verkleinert wird. H. Weber, FHW, OR SS06, Teil 5, Seite 57

58 Der Algorithmus SUMT (Sequential Unconstrained Maximization Technique) Voraussetzung: Maximierungsproblem (*) mit konkavem F und konvexem X, zulässiger Punkt x (0), der nicht auf dem Rand von X liegen darf, Abbruchschranke ε > 0, zwei Parameter θ (0,1) und r > 0. Iteration k (=0,1,...) Ausgehend von x (k) verwende man ein Verfahren der unrestringierten Minimierung zur Bestimmung der Näherung x (k+1) für ein lokales Maximum von P(x,r) = F(x) rb(x) Falls x (k) - x (k+1) < ε, Abbruch des Verfahrens, andernfalls setze r := θr und gehe zur nächsten Iteration: k:= k+1. Ergebnis: x (k+1) als Näherung für das lokale Maximum von F in X. H. Weber, FHW, OR SS06, Teil 5, Seite 58

59 Beispiel: Maximiere F(x 1, x 2 ) = 6x 1 + 4x 2 unter den Nebenbedingungen x x x x und x 1, x 2 0 (g 1 (x) = x x , g 2 (x) = 16 x x ) Wir lösen dieses Problem mit SUMT und wählen dabei r = 1, θ=0.1. Startwert: x (0) = (1,1) T. Dann erhalten wir die Folge x (1) = (3.834, 1.928) T x (2) = (4.142, 2.201) T x (3) = (4.238, 2.284) T... x (8) = (4.286, 2.316) T mit F(x (8) ) = H. Weber, FHW, OR SS06, Teil 5, Seite 59

60 Zur Erinnerung unsere Zeichnung vom Anfang des Kapitels: H. Weber, FHW, OR SS06, Teil 5, Seite 60

61 SUMT eignet sich auch zur numerischen Lösung von Aufgaben mit Gleichungsrestriktionen etwa der Form (**) maximiere F(x), R n R, unter g i (x) 0, i=1,...,m, h k (x) = 0, k=1,...,q, x 0 Hier kann man z.b. die Funktion P(x,r) m n q hk ( x) Pxr (, ) = Fx ( ) r( + ) i= 1 gx ( i) j xj k= 1 r zur unrestringierten Maximimierung verwenden. H. Weber, FHW, OR SS06, Teil 5, Seite 61