Optimierung Einführung in Computational Management Science. Prof. Dietmar Maringer FS WWZ, Universität Basel

Transkript

1 Optimierung Einführung in Computational Management Science Prof. Dietmar Maringer WWZ, Universität Basel FS 2012 D Maringer, Einführung in Computational Management Science Optimierung (1)

2 Modellierung und Optimierung Beispiel: Eisverkäufer (Fortsetzung) Nachfragefunktion: q = p variable Kosten je Stück: c = 0.30 optimaler Preis: p =... Beispiel: Angebot und Nachfrage Nachfrage: q D = p Angebot: q S = 2000p variable Kosten je Stück: c = 0.30 optimaler Preis: p =... Beispiel: Einheitspreis für unterschiedliche Märkte Nachfrage auf Markt A: q A = 0.5p 0.2 Nachfrage auf Markt B: q B = 0.7p 0.3 variable Kosten je Stück: c = 0.30 optimaler Preis: p =... D Maringer, Einführung in Computational Management Science Optimierung (2)

3 Modellierung und Optimierung Produktionsprogramm 2 mögliche Produkte: Deckungsbeitrag maximale Produktions- Produkt je Stück Absatzmenge zeit je Stück A min B min Welche Menge soll von A und B produziert werden, falls 1 beliebig viel Zeit 2 6 Stunden 3 5 Stunden 4 4 Stunden zur Verfügung stehen? D Maringer, Einführung in Computational Management Science Optimierung (3)

4 Modellierung von Optimierungsproblemen Zutaten Zielfunktion z.b. Gewinn (max), Kosten (min) Entscheidungsvariable(n) z.b. Produktionsmengen, Investitionen, Preise, Nebenbedingungen z.b. Kapazitäten, Mindestmengen, Substitute D Maringer, Einführung in Computational Management Science Optimierung (4)

5 Formalisierung von Problemen ein einfaches Beispiel ein Unternehmen kann Stühle und Tische produzieren notwendige und vorhandene Ressourcen: pro Einheit Aufgabe Stuhl Tisch Verfügbarkeit (h) Werkbank Montage Malerei Gewinn D Maringer, Einführung in Computational Management Science Optimierung (5)

6 Formalisierung von Problemen mögliche Lösungsverfahren 1. und 2. Ableitung analytisch Gleichungssysteme Methoden deterministisch numerisch non-deterministisch D Maringer, Einführung in Computational Management Science Optimierung (6)

7 1-dimensionale Verfahren Problemstellung 1 Entscheidungsvariable gesucht: Extremum für Funktion typischerweise Suche in geschlossenem Intervall [a 0,b 0 ] Annahme: Funktion hat nur 1 Extremum (in diesem Intervall) mögliche numerische Vorgehensweisen bei 1 Entscheidungsvariable iterativ Werte testen ideal: möglichst wenige Versuche typische Ansätze Bisektionsverfahren Newtonsches Verfahren D Maringer, Einführung in Computational Management Science Optimierung (7)

8 Bisektionsverfahren (wiederholte Intervallhalbierung) Ausgangssituation konkaves Problem 1. Ableitung existiert Ziel: Finden des Extremums in vorgegebenem Intervall Verfahren aktuelles Intervall: [a 0,b 0 ] prüfe neue Lösung im Punkt c = a 0+b 0 2 if f (c) > 0 c muss grösser als c sein ersetze die Untergrenze: a 0 := c sonst: b 0 := c wiederhole die Schritte, bis Intervall ausreichend schmal f (c) > 0 a 0 c b 0 f (x) D Maringer, Einführung in Computational Management Science Optimierung (8) x

9 Newtonsches Verfahren Tests für die erste und zweite Ableitung first order condition (FOC) f (x) = df dx = 0 FOC notwendig, aber nicht hinreichend: konvexe / konkave Zielfunktion Wendepunkte second order conditions (SOC) f (x) f (x) 2 f (x) = d2 f dx 2 { > 0 Minimum < 0 Maximum D Maringer, Einführung in Computational Management Science Optimierung (9)

10 Newtonsches Verfahren Taylor Reihe und relatives Extremum: Methoden nach Newton lokale quadratische Approximation der Zielfunktion Taylor Reihe: [γ(s) ] φ(x 0 +s) φ(x 0 ) + φ (x 0 )s + φ (x 0 ) s 2 2 gesucht: jenes s, das φ(x 0 +s) minimiert: γ (s) = φ (x 0 ) + φ (x 0 )s = 0 = s = φ (x 0 ) φ (x 0 ) iterativ: x [k+1] = x [k] +s = x [k] φ (x [k] ) φ (x [k] ) D Maringer, Einführung in Computational Management Science Optimierung (10)

11 Newtonsches Verfahren Beispiel f (x) = x 3 3x +3 f (x) = 3x 2 3 f (x) = 6x q(x) = f (x [k] ) +f (x [k] ) (x x [k] ) f (x [k] )(x x [k] ) 2 f (x [0] ) q(x [0] ) f (x) x [2] x [1] x [0] x D Maringer, Einführung in Computational Management Science Optimierung (11)

12 Newtonsches Verfahren Numerische Annäherung f f (x + ε) f (x ε) (x) 2ε f (x) f (x + ε) f (x ε) f (x + ε) +f (x ε) 2f (x) 2ε ε 2 Beispiel mit anonymen Funktionen in Matlab: f x.ˆ2 + sin(x); fpnum (f(x+e)-f(x-e)) / (2*e); fppnum (f(x+e)+f(x-e) - 2*f(x)) / (e.ˆ2); x(k+1) = x(k) - fpnum(x,e) / fppnum(x,e); Hinweis: aus numerischen Gründen sollte ε (= e) nicht zu klein sein D Maringer, Einführung in Computational Management Science Optimierung (12)

13 Newtonsches Verfahren Beispiel f (x) = 3 2x +4x 2 f (x) = 2 +8x f (x) = 8 offensichtlich... f (x) = 0 = x = 1/4 Newtonsches Verfahren x [k] f (x [k] ) f (x [k] ) f (x [k] )/f (x [k] ) = D Maringer, Einführung in Computational Management Science Optimierung (13)

14 Newtonsches Verfahren Beispiel f (x) = x 2 +sin(x) f (x) = 2x +cos(x) f (x) = 2 sin(x) Newtonsches Verfahren x [k] f (x [k] ) f (x [k] ) f /f E E E E D Maringer, Einführung in Computational Management Science Optimierung (14)

15 Newtonsches Verfahren & Cie. worauf man achten sollte Beispiel funktioniert gut für Minimumsuche, falls allgemein gilt f (x) > 0 konvergiert nicht zum Minimum, falls abschnittsweise f (x) < 0 f (x) x [1] x [1] x [0] x [0] x [1] x [0] x D Maringer, Einführung in Computational Management Science Optimierung (15)

16 Variante: Gradientensuche Grundidee je stärker negativ die Tangente (f ), desto schneller nimmt die Funktion (f ) ab Vorgehensweise 1 wähle gute Startlösung 2 wiederhole bis zur Konvergenz: (a) bestimme Gradient der aktuellen Lösung, f (x [k] ) = f (x [k] ) (b) wähle neue { Versuchslösung x[k] + α f (x [k] ) für Maximierung Wahl von α x [k+1] = x [k] α f (x [k] ) für Minimierung beeinflusst die Geschwindigkeit (viele Iterationen überschrittenes Optimum) ist die Lösung für das Minimierungsproblem α [ ( = argmin f x[k] αf (x α [k] ) )] D Maringer, Einführung in Computational Management Science Optimierung (16)

17 Gradientenbasierte Verfahren & Cie. Probleme mit bisherigen gradientenbasierten Verfahren Zielfunktion muss ableitbar sein lokale quadratische Approximation Konvergenzverhalten mehrere Extrema (lokales globales Optimum) Auswahl der Startlösung D Maringer, Einführung in Computational Management Science Optimierung (17)

18 Deterministische Suche ohne Gradienten Nelder-Mead Verfahren, (downhill) simplex Grundprinzip für Minimierung mit n Entscheidungsvariablen wähle n +1 Testlösungen, x 1,...,x n+1 ( Simplex ) iterativ: erzeuge neue Lösungen unter Verwendung der aktuellen falls möglich, ersetze aktuell schlechteste mit besserer (gemäss Entscheidungsregeln), andernfalls schrumpfe den Simplex Erzeugung neuer Lösungen (vereinfacht gesagt... ): wähle aktuell schlechteste Lösung, x w ermittle durchschnittliche Position der anderen, x ziehe Verbindungslinie von x w und x und wähle den neuen Punkt hinter x, falls besser zwischen x w und x, falls besser oder schrumpfe Simple (d.h. bringe aktuelle Punkte näher zusammen) in Matlab: fminsearch D Maringer, Einführung in Computational Management Science Optimierung (18)

19 Lineare Programmierung Ausgangssituation mehrere Entscheidungsvariable: x 1,x 2,...x n wichtige Eigenschaften für lineare Programme in Standardform: lineare Zielfunktion: max c 1 x 1 +c 2 x 2 + +c n x n x 1,x 2,...,x n Nicht-Negativität der Entscheidungsvariablen: x i 0 i = 1...n m lineare Nebenbedingungen (Ungleichungen): a j1 x 1 +a j2 x 2 + +a jn x n b j j = 1...m oder, etwas kompakter geschrieben: maxc x x unter den Nebenbedingungen Ax b x 0 D Maringer, Einführung in Computational Management Science Optimierung (19)

20 Lineare Programmierung Standard und erweiterte Form Ungleichungen und Gleichungen Schlupfvariable: a ji x i b j a ji x i +y j = b j mit y j 0 i i a ji x i b j a ji x i y j = b j mit y j 0 i i freie Variable können jedes Vorzeichen haben: x k 0 durch nicht-negative Variable u k und v k ersetzen: x k := u k v k with u k 0,v k 0 mit Hilfe der Nebenbedingungen als lineare Kombination anderer Variablen aus NB j ausdrücken (a jk 0): ( a ji x i = b j x k = i b j ) a ji x i a jk i k D Maringer, Einführung in Computational Management Science Optimierung (20)

21 Lineare Programmierung Umwandlung in Standardform: Beispiel 1 ursprüngliches Problem min x 1 +3x 2 +4x 3 s.t. x 1 +2x 2 +x 3 = 5 2x 1 +3x 2 +x 3 = 6 x 2 0,x x 1 ist eine freie Variable, daher aus 1. NB: x 1 = 5 2x 2 x 3 3 Einsetzen in das ursprüngliche Problem: min x 2 +3x 3 s.t. x 2 +x 3 = 4 x 2 0,x 3 0 löse das reduzierte Problem für x 2 und x 3. (Optimale Lösung: x 2 = 4,x 3 = 0 = x 1 = 3) D Maringer, Einführung in Computational Management Science Optimierung (21)

22 Graphische Darstellung von Linearen Problemen Zielfunktion Z = 210 = 20x 1 +30x 2 7 Z = 180 = 20x 1 +30x 2 6 Z = 150 = 20x 1 +30x 2 5 Z = 120 = 20x 1 +30x 2 4 Z = 90 = 20x 1 +30x 2 3 Z = 60 = 20x 1 +30x 2 2 Z = 30 = 20x 1 +30x 2 1 x Beispiel max Z = 20x 1 +30x 2, u.d.n. x 1 4 2x x 1 + 2x 2 18 und x 1 0,x x 1 D Maringer, Einführung in Computational Management Science Optimierung (22)

23 Graphische Darstellung von Linearen Problemen Nebenbedingungen x 2 10 x x 1 0 x x x 1 +2x x 1 Beispiel max Z = 20x 1 +30x 2, u.d.n. x 1 4 2x x 1 + 2x 2 18 und x 1 0,x 2 0 D Maringer, Einführung in Computational Management Science Optimierung (23)

24 Graphische Darstellung von Linearen Problemen Gültige Eckpunkte (GEP) Z = Z = Z = Z = Z = 90 3 Z = 60 2 Z = 30 1 (0,0) x 2 (0,6) 1 2 (2,6) 3 4 (4,3) (4,0) Beispiel max Z = 20x 1 +30x 2, u.d.n. x 1 4 2x x 1 + 2x 2 18 und x 1 0,x 2 0 wichtige Eigenschaften falls ein Optimum existiert, muss es ein GEP sein (beinhalten) x 1 falls ein GEP keinen besseren benachbarten GEP hat, ist er das Optimum D Maringer, Einführung in Computational Management Science Optimierung (24)

25 Bestimmung des Optimums für ein Lineares Problem Gültige Eckpunkte (GEP) Z(0,0) = 0 x 2 Z(0,6) = 180 Z(2,6) = Z(4,3) = 170 Z(4,0) = x 1 Simplex Algorithmus untersucht nur GEPs iterativer Prozess: 1 wähle einen GEP als Startlösung: (x 1,x 2 ) := (0,0) 2 evaluiere alle unmittelbar benachbarten GEPs 3 gibt es (zumindest) einen besseren GEP? 1 falls ja: wähle besten GEP und gehe zu Schritt 2 2 falls nein: Abbruch; Optimum x ist aktueller GEP D Maringer, Einführung in Computational Management Science Optimierung (25)

26 Anwendung des Simplex-Verfahrens Standardform max Z = 20x 1 +30x 2, u.d.n. x 1 4 2x x 1 + 2x 2 18 und x 1 0,x 2 0 = Startlösung (in Tableauform) Start mit x 1 = 0, x 2 = 0 augmented form max Z = 20x 1 +30x 2, u.d.n. x 1 +x 3 = 4 2x 2 +x 4 =12 3x 1 + 2x 2 +x 5 =18 und x i 0,i = 1..5 Basisvariable (BV): x 3, x 4 und x 5 Umformung, sodass BV auf der linken Seite sind max Z =20x 1 +30x 2, BV x 1 x 2 x 3 x 4 x 5 u.d.n. x 3 = x tableau x x 4 = 2x = x x 5 = 3x 1 2x x und x i 0,i = 1..5 Z D Maringer, Einführung in Computational Management Science Optimierung (26)

27 Anwendung des Simplex-Verfahrens Bestimmung der neuen Basisvariable Ausgangstableau: BV x 1 x 2 x 3 x 4 x 5 x x x Z grösster Anstieg von Z durch Erhöhung von x 2 maximale Erhöhung von x 2 : min{ 12 2, 18 2 } = 6 neue Basisvariable: x 2 mit x 2 := x 2 +6 Umformung der Nebenbedingung (NB) und Einsetzen in andere NBen: x 2 = 1 2 x 4 +6 x 3 = x 1 +4 ( x 5 = 3x ) 2 x = 3x 1 +x 4 +6 ( Z = 20x ) 2 x 4 +6 = 20x 1 15x D Maringer, Einführung in Computational Management Science Optimierung (27)

28 Anwendung des Simplex-Verfahrens Bestimmung der neuen Basisvariable new tableau: BV x 1 x 2 x 3 x 4 x 5 x / x x Z maximaler Anstieg von Z durch Erhöhung von x 1 maximale Erhöhung von x 1 : min{ 4 1, 6 3 } = 2 neue Basisvariable: x 1 with x 1 := x 1 +2 Umformung der Nebenbedingung (NB) und Einsetzen in andere NBen: x 1 = 1 3 x x 5 +2 x 2 = 1 2 x 4 +6 ( 1 x 3 = 3 x 4 1 ) 3 x = 1 3 x x 5 +2 ( 1 Z = 20 3 x 4 1 ) 3 x x = 25 3 x x D Maringer, Einführung in Computational Management Science Optimierung (28)

29 Anwendung des Simplex-Verfahrens Bestimmung der neuen Basisvariable neues Tableau BV x 1 x 2 x 3 x 4 x 5 x / 3 1 / 3 2 x / x / 3 +1 / 3 2 Z / 3 20 / keine weitere Erhöhung von Z möglich Lösung: x (x 1,x 2 ) = (2,6) mit Z = 220 D Maringer, Einführung in Computational Management Science Optimierung (29)

30 Anwendung des Simplex-Verfahrens ein weiteres Beispiel max Z = 20x 1 +30x 2, u.d.n. x 1 + 6x x 1 + x 2 99 und x 1 0,x 2 0 Lösung optimale Lösung: x = (x 1,x 2 ) = (18,45) Z = 1710 D Maringer, Einführung in Computational Management Science Optimierung (30)

31 Dualität ursprüngliches ( primales ) Problem und duales Problem primales Problem duales Problem Ziel maxz = n j=1 c j x j minw = m i=1 b i y i u.d.n. nj=1 a ij x j b i i = 1..m m i=1 a ij y i c i j = 1..n x j 0 j = 1..n y i 0 i = 1..m Beispiel primales Problem Duales Problem max Z = 20x 1 +30x 2, min W = 4y 1 +12y 2 +18y 3, u.d.n. x 1 4 u.d.n. y 1 + 3y x y 2 + 2y x 1 + 2x 2 18 und x 1 0,x 2 0 und y 1 0,y 2 0,y 3 0 D Maringer, Einführung in Computational Management Science Optimierung (31)

32 Quadratische Programmierung Beispiel quadratische Zielfunktion: 1 2 x Qx +c x lineare Nebenbedingungen: Ax = b eine eindeutige Lösung existiert, falls A von vollem Rang und Q positiv definit ist im Teilraum M = {x : Ax = 0} Nachfragemengen und Deckungsbeiträge für Güter A und B: q A = 20 3p A q B = 40 4p B D A = 10 pro Stück A D B = 10 pro Stück B benötigtes Material: 10 je Stück A, 15 je Stück B insgesamt verfügbar: 350 Einheiten Arbeitszeit: 1h je Stück A, 3 4h je Stück B insgesamt verfügbar: 25 Stunden D Maringer, Einführung in Computational Management Science Optimierung (32)

33 Dynamische Programmierung Ausgangssituation Folge von abhängigen Entscheidungen typischerweise: mehrere Ebenen (Zeitpunkte) jede Ebene: mehrere Alternativen vorangegangene Entscheidungen beeinflussen, welche Alternativen verfügbar sind Problem: breite Problemklasse, unterschiedliche Versionen und Strukturen verschiedene Algorithmen für unterschiedliche typische Probleme D Maringer, Einführung in Computational Management Science Optimierung (33)

34 Dynamische Programmierung Beispiel: Postkutschenproblem Reise durch ein Netzwerk von Städten, nicht alle direkt verbunden Kosten für Reise von i nach j: c ij Ziel: Minimierung der Gesamtkosten Zahlenbeispiel gewünscht: Reise von A nach J Kosten: B C D E F G H I J A B E 1 4 H 4 C F 6 3 I 3 D G 3 3 greedy ( gierige ) Methoden funktionieren nicht immer: ermittle billigste Weiterreise vom aktueller Ebene zur nächsten hier: A B F I J tatsächlich: A D F ist billiger als A B F D Maringer, Einführung in Computational Management Science Optimierung (34)

35 Kombinatorische Optimierung Beispiel: Handlungsreisender ( Traveling Salesman ) Handlungsreisender muss eine Rundreise durch N Städte machen jede Stadt muss genau ein Mal besucht werden Ziel: möglichst niedrige Gesamtkosten falls alle Städte direkt verbunden sind: (N 1) (N 2) 1 = (N 1)! mögliche Reiserouten Beispiel: Rucksackproblem ( knapsack problem ) Wanderer findet auf seinem Ausflug viele wertvolle Steine nicht alle passen in seinen Rucksack Ziel: Auswahl der Steine, die den Gesamtwert des Rucksacks maximieren D Maringer, Einführung in Computational Management Science Optimierung (35)

36 Heuristiken Grundidee soft computing Kombination von einfachen Regeln und Zufallselementen nicht deterministisch typischerweise: favorisieren Verbesserungen, lassen aber auch Verschlechterungen zu (mit Einschränkungen) Vorteile sehr flexible Konzepte, können gut auf Problemstellung angepasst werden effizienter als reine Zufallssuche oder vollständige Enumeration Konvergenzverhalten Nachteile Auswahl der Methode manchmal: Implementierung manchmal: Laufzeit D Maringer, Einführung in Computational Management Science Optimierung (36)

37 Heuristiken Beispiel: Stochastic Differential Equations Gradient f gibt bevorzugte Richtung vor Zufallsterm ε verhindert Steckenbleiben in lokalem Optimum x [k+1] = x [k] + αf (x [k] ) + ε [k] mit E(ε) = 0 Beispiel: Evolutionäre Verfahren Population : mehrere Versuchslösungen gleichzeitig neue Lösungen erben Eigenschaften (guter) aktueller Lösungen survival of the fittest : gute (neue) Lösungen verdrängen schlechte (alte) D Maringer, Einführung in Computational Management Science Optimierung (37)

38 Zusammenfassend eine einfache Klassifikation Suchraum: beschränkt unbeschränkt Entscheidungsvariable: kontinuierlich diskret (ganzzahlig, binär) gemischt Zielfunktionen: linear nicht-linear konvex nicht-konvex ableitbar nicht-ableitbar ein Optimum mehrere Optima Methode analytisch numerisch deterministisch nicht-deterministisch Erweiterungen: einzelnes Ziel mehrere Ziele (anspruchsvolle) Nebenbedingungen D Maringer, Einführung in Computational Management Science Optimierung (38)

39 Hintergrundlektüre zur Vertiefung und für Interessierte Gilli, M., Maringer, D., and Schumann, E. (2011). Numerical Methods and Optimization in Finance. Academic Press. Hillier, F. S. and Lieberman, G. J. (2005). Introduction to Operations Research. McGraw-Hill, 8th edition. Luenberger, D. G. and Ye, Y. (2008). Linear and Nonlinear Programming. Springer, 3rd edition. Michalewicz, Z. and Fogel, D. B. (2005). How to Solve It: Modern Heuristics. Springer. D Maringer, Einführung in Computational Management Science Optimierung (39)