ILOG Optimization. Einführung in Optimierung mit IBM ILOG CPLEX. Roland Wunderling, PhD IBM ILOG CPLEX Architect IBM Corporation

Transkript

1 ILOG Optimization Einführung in Optimierung mit IBM ILOG CPLEX Roland Wunderling, PhD IBM ILOG CPLEX Architect

2 Ziele Einsicht Ja, Optimierung hilft! Einblick Wie formuliert man Optimierungsmodelle? Wie werden sie gelöst? Überblick CPLEX Optimization Studio ODME Supply Chain Applications 2

3 Gliederung IBM Software Group Was bringt Optimierung? Success stories Analysen Wie funktioniert Optimierung? Formulierung von Optimierungsproblemen Lösung von Optimierungsproblemen Welche IBM ILOG Produkte gibt es? CPLEX-OPL ODM SCM Q&A 3

4 Story I: Automotive Sales & Operations Planning 2164 Typen Globaler Fahrzeughersteller 110 Länder Wieviele Fahrzeuge pro Typ? Jeweils für welches Land? Autos 1000de Entscheidungen Jeden Monat Wo produzieren? Wann produzieren? 12 Fabriken 24 Monate 4

5 Problem und Erfolg Fragestellungen Wo, wann, welches Auto produzieren? Aktuelle Probleme Lange Vorlaufzeiten (Planung 3 Monate im voraus) Keine nachträgliche Anpassung möglich, z.b. zur Integration von Marketingkampagnen Erfolge Reduzierte Vorlaufzeiten (2 Monate) Optimalen Auslastung der Produktionskapazitäten Unterstützung von nachträglichen Anpassungen Improving Forecasts Actual Orders Feb Mar Apr May 5

6 Story II: Truck Loading 15 Produktionsstätten tten Brauerei 100-te von Kunden Reduktion von Inventar (-kosten)? Wen von wo beliefern? 1000-de von Entscheidungen jede Woche Kostensenkung beim Handling? Abwicklung von 1.2M Lieferungen 15 Verteiler 800 Laster und Wagons 6

7 Problem und Erfolg Problem Grenze der Handhabarkeit war erreicht Erfolge durch Optimierung Erhöhte Produktivität bei Reduzierten Inventarkosten 60% statt 40% der Produktion wird direkt verladen Geringere Inventarkosten Geringerer Handlingaufwand Geringere Dockingkosten bei Verladung Erhöhte Transporteffizienz (volle Transporte) Verbesserter Customer Service 7

8 Optimization ROI Beispiele mit CPLEX Quelle: Edelman Finalists, Science of Better, 8

9 Analytics Methods Landscape Stochastic Optimization Optimization How can we achieve the best outcome including the effects of variability? How can we achieve the best outcome? Prescriptive Competitive Advantage Predictive modeling Forecasting Simulation Alerts Query/drill down What will happen next if? What if these trends continue? What could happen.? What actions are needed? What exactly is the problem? Predictive Ad hoc reporting How many, how often, where? Descriptive Standard Reporting What happened? Degree of Complexity Quelle: Competing on Analytics, Davenport and Harris,

10 Jede Menge Anwendungen 10

11 ... in unterschiedlicher Granularität 11

12 Gliederung IBM Software Group Was bringt Optimierung? Success stories Analysen Wie funktioniert Optimierung? Formulierung von Optimierungsproblemen Lösung von Optimierungsproblemen Welche Produkte gibt es? CPLEX-OPL ODM SCM Q&A 12

13 Ein Beispiel Rohöl 205 Leichtöl Mittelschweres Öl Schweröl Lieferverpflichtung Kosten Mindestlaufzeit Verbrauch Crackprozess Crackprozess Lieferverpflichtung mit minimalen Kosten erfüllen 13

14 Mathematisches Modell Variablen: Laufzeit für Crackprozess Nebenbedingungen: Leichtöl Mittelschweres Öl Schweröl x 1 x x x 2 1x 1 + 7x 2 4x 1 + 2x Zielfunktion: Verbrauch Mindestlaufzeiten minimiere 25x x x 1 x 2 300x x

15 Lineares Programm min c T x s.t. A x b 15

16 Graphische Lösung x 2 min 300x x x x 2 59 x 1 + 7x x 1 + 2x x 1-30x x x x 1 16

19 Graphische Lösung x 2 min 300x x x x 2 59 x 1 + 7x x 1 + 2x x 1-30x x x x* = (2,25;2,00) z* = c T x* = x 1 19

20 LP Lösungsverfahren in CPLEX Algorithmen Primaler Simplex Algorithmus Dualer Simplex Algorithmus Barrier Algorithmus mit Crossover Sifting Implementierung in CPLEX DIE Referenzimplementierung Ausnutzung paralleler Architekturen in Barrier und mit Concurrentopt Typische Problemgrößen im täglichen Einsatz Variablen: Nebenbedingungen: Alle praktischen Probleme werden gelöst 20

21 LP Progress (Operations Research, Jan 2002, pp. 3 15, updated in 2004) Algorithms (machine independent): Primal versus best of Primal/Dual/Barrier Machines (workstations PCs): NET: Algorithm Machine 3300x 1600x x (2 months/ ~= 1 second) As with any statistics, interpretation requires care 21 Quelle: Mathematical Programming Presentation 2008

22 Erweitertes Beispiel: Gemischt ganzzahlige Optimierung Kosten für Inbetriebnahme von Crackprozessen f 1 = 2800 f 2 = 1900 Einführung von binären Indikator Variablen: i 1 = 1, falls Crackprozess 1 aktiv, sonst 0 i 2 = 1, falls Crackprozess 2 aktiv, sonst 0 Modellierung als Indikatoren x 1 M i 1 : falls Prozess inaktiv (i 1 = 0) kann nicht produziert werden (x 1 = 0) x 2 M i 2 : falls Prozess inaktiv (i 2 = 0) kann nicht produziert werden (x 2 = 0) M = 10: big-m groß genug wählen, um keine Schranke zu implizieren 22

23 Mathematisches Modell Variablen: Laufzeit für Crackprozess x 1 x 2-10 i Indikator für Crackprozess i 1 i 2 Nebenbedingungen: Leichtöl 12x x 2 59 Mittelschweres Öl 1x 1 + 7x 2 12 Schweröl 4x 1 + 2x 2 13 Verbrauch 25x x x 1 0 x i 2 0 Zielfunktion: Schranken minimiere x 1 x 2 i 1 i 2 300x x i i 2 binär 0 23

24 x 2 5 z* = 4500 x* = (0;6,5) i* = (0;1) min 300x x i i 2 12x x 2 59 x 1 + 7x x 1 + 2x x 1-30x x 1-10i 1 0 x 2-10i 2 0 x 1, x 2, i 1, i 2 0 i 1, i 2 binär x 1 24

25 Gemischt Ganzzahliges Programm (MIP) min c T x s.t. A x b x I ganzzahlig 25

26 Weitere MIP Modellierungskonstrukte Indikator Bedingungen (anstatt big-m ) x=0 a x = b Semi-kontinuierliche Variablen x=0 oder l x u Logische Bedingungen UND: (a x = b) && (d x = f) ODER: (a x b) (d x f) WENN (a x b) DANN (d x f) Stückweise lineare Funktionen (bzw. SOS2) 26

27 Lösungsverfahren für MIP Idee: Zurückführen auf lösbare Probleme durch Relaxierung (Weglassen von Nebenbedingungen) Starte mit LP Relaxierung (ohne Ganzzahligkeit) Füge Ganzzahligkeitsbedinungen nach und nach wieder ein mit Hilfe von Schnittebenen ( Lineare Approximation der Ganzzahligkeitsbedingungen ) Branch-and-Bound Suche Branch and Cut Algorithmus 27

28 Der Branch-and-Bound Algorithmus für MIP Branch and Bound for MIP Root v= Löse Root Relaxierung 2. Falls ganzzahlig: Fertig! 3. Sonst finde v 28

29 Der Branch-and-Bound Algorithmus für MIP Branch and Bound for MIP v 3 Root; v=3.5 v >4 4. Generiere Teilprobleme mit disjunkten Lösungsmengen 5. Bearbeite jedes Kind in gleicher Weise... 29

30 Der Branch-and-Bound Algorithmus für MIP Branch and Bound for MIP v 3 Root; v=3.5 v >4 Obere Schranke Integer x 2 x=2.3 x >3 6. Falls ganzzahlige Lösung gefunden, hat man eine obere Schranke für das Optimum. 30

31 Der Branch-and-Bound Algorithmus für MIP Branch and Bound for MIP v 3 Root; v=3.5 v >4 Obere Schranke Integer x 2 x=2.3 x >3 z 0 z=0.1 z >1 Fathomed Mit obere Schranke kann Suchbaum beschnitten Werden. 31

32 Der Branch-and-Bound Algorithmus für MIP Branch and Bound for MIP v 3 Root; v=3.5 v >4 Obere Schranke x 2 x=2.3 x >3 z 0 z=0.1 z >1 Integer y 0 y=0.6 y >1 Fathomed Infeas Branching Entscheidungen können Unzulässigkeit provozieren. 32

33 Der Branch-and-Bound Algorithmus für MIP Branch and Bound for MIP v 3 Root; v=3.5 v >4 Obere Schranke x 2 x=2.3 x >3 z 0 z=0.1 z >1 Integer y 0 y=0.6 y >1 Fathomed z 0 z=0.3 z >1 Infeas Integer Wenn neue Lösung gefunden wird, kann sich die obere Schranke verbessern. 33

34 Der Branch-and-Bound Algorithmus für MIP Integer x 2 Branch and Bound for MIP x=2.3 y 0 v 3 x >3 y=0.6 y >1 Root; v=3.5 v >4 z 0 z=0.1 z >1 Fathomed Obere Schranke G A P Untere Schranke z 0 Integer z=0.3 z >1 Infeas Gütegarantie: Zu jeder Zeit ist auch eine untere Schranke bekannt. Sie ergibt sich aus dem Minimum der Zielfunktionswerte aller verbleibenden Knoten. 34

35 Der Branch-and-Bound Algorithmus für MIP Exponenzielles Wachstum des Branch-and-Bound Baumes Worst case in der Tat exponentiell Tatsächlich können in der Praxis unzählige Probleme gelöst werden Mathematisch beweisbare Optimalität in der Praxis oft nicht notwendig oder sinnvoll für ein Modell der Realität Vermeidet Tail-off Effekt Und der Fortschritt geht weiter... 35

36 Gliederung IBM Software Group Was bringt Optimierung? Success stories Analysen Wie funktioniert Optimierung? Formulierung von Optimierungsproblemen Lösung von Optimierungsproblemen Welche Produkte gibt es? CPLEX-OPL ODM SCM Q&A 36

37 CPLEX Parameter Algorithmen hochgradig konfigurierbar: Parametereinstellungen Callbacks Tuning tool zur automatischen Suche bestmöglicher Parameter für vorgegebene Problemsammlung CPLEX default Strategien meist adäquat da selbsteinstellend 37

38 CPLEX tools: Solution Pool Nicht alles kann als MIP modelliert werden Subjektive Präferenzen Ungenaue Daten Nicht exakt quantifizierbare Zielfunktion Nicht effizient linearisierbare Nebenbedingungen CPLEX generiert eine Menge von Lösungen Alle während der Optimierung gefundenen Lösungen Weitere gute Lösungen können gezielt generiert werden Lösungen können gefiltert werden 38

39 CPLEX tools: Solution Polishing Oft existierende Lösung bereits vorhanden Plan von früherer Periode Recovery Plan nach Ausfällen Änderungen nach Erhalt neuerer Daten Solution Polishing Existierende Lösung als Teil der Eingabe Suche nach Lösungen, die sich nur wenig von der Musterlösung unterscheidet Nur solche werden ggfs. akzeptiert Nur solche sind ggfs. implementierbar 39

40 CPLEX tools: feasopt und Conflict Refiner Modelle können unzulässig sein Ausgangsdaten minderere Qualität Bewußt provoziert, z.b. durch Einführung einer zu niedrigen Schranke für die Zielfunktion feasopt erlaubt Lösung unzulässiger Modelle durch minimale Relaxierung Conflict Refiner identifiziert minimale Konflikte in Nebenbedingungen Interpretation hängt von Anwendung ab Direkte Verwendung Rückschlüsse auf Operations: Durch mehr Resourcen an jener Stelle könnten die Kosten reduziert werden. Debugging des Modells 40

41 Weitere Problemklassen Quadratische Zielfunktion und oder Nebenbedingungen Anwendung etwa in Portfoliooptimierung Allgemein: [MI]{L,Q[C]}P Minimize Subject to T c x+ x Ax= b T T x Qx i ri, l x u Cx, C psd Q psd einige x ganzzahlig. j i Optionale Konstrukte machen Probleme schwerer zu lösen 41

42 CPLEX CP Optimizer Constraint Programming engine Kompakte Modellierung mit Ganzzahligen Variablen Intervall Variablen Mengen Variablen Spezielle Modellierung von Scheduling Problemen endbeforestart(a, b); alternative(x, y); schwere Modelle für Math Programming Techniken Keine Dualitätstheorie, daher i.a. keine Gütegarantie Bestmögliche Lösung innerhalb vorgegebener Limits 42

43 CPLEX CP Optimizer ILOG ist seit 20 Jahren führend in CP 1-te Generation: ILOG Solver/Scheduler 2-te Generation: CP Optimizer Automatische Suchstrategien Keine Programmierung nötig Lösungstechnik Inferenz: Nebenbedingungen entfernen inkonsistente Werte aus der Wertemenge der Variablen Spezialisierte Inferenzalgorithmen für jeden Bedingungstyp Suchalgorithmen: Baumsuche (ähnlich Branch-and-Cut) Iterative Verbesserungen Learning techniques 43

44 CPLEX Optimization Studio 12.2 Model Development Tools Connectors Microsoft Excel MSF MATLAB AMPL Python Tools & APIs CPLEX Interactive C Callable Library CPLEX Studio (IDE) - OPL Modeling Language ILOG Concert Technology (C++,.NET, Java) Optimization Engines Math Programming Constraint Programming CPLEX Optimizers CPLEX CP Optimizer (Simplex, Barrier, Mixed Integer) 44

45 Modellierung mit CPLEX Studio Integrated Development Environment (IDE) Grafischer Editor für OPL Modelle Online help Ausgabe von Daten und Lösungen in Tabellen Optimization Programming Language (OPL) Sprache zur Modellierung von Optimierungsproblemen Unterstützt MP und CP Modelle Kontinuierliche und ganzzahlige Variablen Lineare and quadratische Zielfunktionen und Nebenbedingungen Intervall Variablen, Präzedenz- and Resourcen- Bedingungen Connectivity mit Datenbanken und Excel Skripting zur Vor- und Nachbereitung von Daten sowie zur iterativen Lösung komplexer Probleme 45

46 Modellierung mit OPL Trennung von Modell und Daten Modell Variablen Nebenbedingungen Model Project Data Daten Grundmengen Werte One Problem Instance Erst beides zusammen ergibt eine lösbare Probleminstanz 46

47 Beispiel: Datendeklaration in OPL Index Mengen für Produkte und Prozesse {string} Products =...; {string} Processes =...; Das Rezept: Wieviel produziert jeder Prozess pro Zeiteinheit? float Production[Products][Processes] =...; Verbrauch float Consumption[Processes] =...; Nachfrage float Demand[Products] =...; Produktionskosten float Cost[Processes] =...; 47

48 Beispiel: Datendefinition in OPL Konkrete Werte werden separat bereitgestellt z.b. explizit {string} Products = { Leicht", Mittel, Schwer }; {string} Processes = { Crack1, Crack2 }; float Production[Products][Processes] = [ [ 12, 16 ] [ 1, 7 ] [ 4, 2 ] ]; float Consumption[Processes] = [ 25, 30 ]; float Demand[Products] = [ 59, 12, 13 ]; float Cost[Processs] = [ 300, 400 ]; oder durch Anschluß an Datenbank 48

49 OPL-Modell ohne Daten dvar float+ Time[Processes]; Variablen Minimize sum( c in Processes ) ( Cost[c] * Time[c] ); subject to { forall( p in Products ) ctdemand: sum( c in Processes ) Production[p][c] * Time[c] >= Demand[p]; ctresource: sum(c in Processes) Time[c] * Consumption[c] <= 205; } Zielfunktion Neben- Bedingungen 49

50 Integrated Development Environment Outline Project Navigator OPL Statements Problem Browser Output Area Editing Area 50

51 LoB OR Performance, Ease of Modeling CPLEX Optimization Studio IT Scalable Enterprise Deployment Unique Customer Requirements Vertical Assets ODM Enterprise Solution Platform LogicNet+ Transportation Analyst Quick Deployment, Vertical Functionality Plant PowerOps Inventory and Product Flow Analyst LogicTools Supply Chain Applications Engines & Tools DB2 WAS Visualization Middleware & Components ILOG Optimization Technology 51

54 ILOG ODM Enterprise Architecture ODM Enterprise IDE ODM Optimization Server (IT) Reporting Integration Application Configuration Data Modeling ` ODM Studio (for Planner & Reviewer) ODM IDE ODM Scenario Repository (LoB) Optimization Modeling (OR) Development Deployment 54

55 ODM Enterprise IDE Vollständige Eclipse-basierte IDE: Entwicklung von Optimierungsmodellen (OPL Perspektive) Volle OPL Studio Funktionalität Einbindung in Anwendungen (ODME Perspektive) Leichte Datenintegration Voreingestellte Daten- und Lösungsvisualisierungen Optimierungskonfiguartionen (goals, KPIs, requirements, relaxation) Erweiterbar über Java APIs (Java Perspektive) Komplexe Datenintegration Komplexe Visualisierungen (maps, Gantts, etc) Usw 55

56 ODM Studio (Planner and Reviewer Editions) Planner/Reviewer User Interface Out of the box Konfigurierbar Erweiterbar (z.b. custom views) Unterstützt : Scenarios und workspaces What-if Analyse (pair-wise and multi scenario) Tabellen, Charts & Pivot Tabellen Goals Relaxierung und Gewichtung von Bedingungen Kollaboratives Arbeiten 56

57 Das ODM Scenario Repository Trennung von Plannung (z.b. What-if Analyse) und operationalem Einsatz mittels Scenarioverwaltung Kollaboratives Planen User management mit access control Sharing von Tabellen und Scenarios Versionierung von Scenarios Unterstützt remote Analyse großer Datensätze Dynamisch erzeugte Tabellen von Daten und Analysen auf remote Server Susan Who s doing what? Mark Sam 57

58 ODM Optimization Server Skalierbares Execution Environment für ODM Applikationen aufbauend auf CPLEX Optimization Studio Websphere Application Server (J2EE) Für Planner Kommuniziert mit ODM Studio GUI Entlastet clients von rechenintensiver Lösung der Optimierungsprobleme Für IT Abteilungen Konform mit IT Standards Unterstützt batch processing und parallele multi-user Nutzung Application Server Funktionalitäten möglich (z.b. clustering, load balancing, fail-over ) 58

61 IBM ILOG Supply Chain Applications Fertige Optimierungsapplikationen Out-of-the-box Anwendungen für spezielle Supply-chain und Produktionsprobleme Stärken durch Integration von Optimierungs Knowhow Basiert auf IBM ILOG Optimization Technology Kollaboration mit IBM ILOG Optimization R&D Kombination von MIP, CP, Local Search, Large Neighborhood Search, Tree Search, und mehr Modeling Erfahrung für spezielle Probleme GUI Knowhow Basiert auf IBM ILOG Visualization Technology Kollaboration mit ILOG Visualization R&D Domain knowledge Kooperation mit SAP, Oracle, Infor, JD Edwards, i2, etc. Input von Endanwendern LogicTools war eigenständiger Softwareanbieter 61

62 IBM ILOG Supply Chain Applications LogicNet Plus XE Determine optimal number, location, territories, and size of warehouses, plants, and lines. Determine where products should be made. Determine optimal carbon footprint. Strategic Network Design Supply Chain Applications Production Planning and Scheduling Plant PowerOps Integrated planning and scheduling for manufacturing plants in the batch process industry. Transportation Planning and Scheduling Inventory and Product Flow Analyst Multi-echelon inventory optimization, inbound/outbound, raw materials, WIP, and finished goods, strategic to operational. Determine best flow of finished goods considering service levels, inventory, transportation. Inventory Optimization Transportation Analyst Strategic routing for fleet sizing, multi-stop route building, optimizing backhauls and much more. 62

64 Gliederung IBM Software Group Was bringt Optimierung? Success stories Analysen Wie funktioniert Optimierung? Formulierung von Optimierungsproblemen Lösung von Optimierungsproblemen IBM ILOG Optimierungsprodukte CPLEX-OPL ODM SCM Q&A 64

65 Q&A Jetzt Später: Rupert Mandl 65

66 (primaler) Simplex Algorithmus x 2 Starte bei Ecklösung 5 Solange besser Nachbarecke vorhanden: gehe dort hin x 1 66

67 Barrier Algorithmus x 2 5 Wähle Abstoß- Koeffizienten Minimiere Abstoßung und Zielfunktion Justiere Abstoßung x 1 67