DISS. ETH NO. 21398 CONVEX OPTIMIZATION IN SUPPLY CHAIN MANAGEMENT DISSERTATION Submitted to ETH ZURICH for the degree of DOCTOR OF SCIENCES by Stefan Wörner MSc ETH Applied Mathematics born the 28th of September 1984 citizen of Germany accepted on the recommendation of Prof. Dr. Stephan M. Wagner, examiner PD Dr. Marco Laumanns, co-examiner 2013
Summary This thesis addresses several important and hard problems in supply chain management. In particular, we consider operational problems such as optimal replenishment. The goal is to develop convex optimization techniques to approximate optimal policies or optimal parameters for heuristics common in practice. This thesis consists of three main parts that are introduced in the following. In the first part, we consider the general class of Stochastic Linear Control Problems (SLCP) with compact state and action space and piecewise-linear and convex immediate costs. SLCPs are a subclass of Markov Decision Processes (MDP) and can be used to represent many practically relevant problems in various areas, for instance in inventory management. However, it is not generally clear whether an optimal policy for a particular SLCP exists. Therefore, we extend the available theory by establishing mild and easy-to-check conditions that imply the existence of optimal policies. Furthermore, we develop an Approximate Dynamic Programming (ADP) algorithm to approximate optimal policies for SLCPs and use it on the multiple sourcing problem as known in inventory management. We compare the resulting policies with the best known heuristic on several examples, where our policies have always been as good as the heuristic and significantly better for most examples. In addition to approximating the optimal policy, our ADP algorithm computes a lower bound of the optimal average cost, which allows us to bound the optimality gap of resulting policies. Therefore, we can conclude that the relative optimality gap in the studied examples has never been larger than 5%. In the second part, we consider converging assembly systems with capacity constraints and basestock replenishment policies. Our goal is to minimize the holding costs while satisfying a customer service level (fill rate) target. To this end, we develop a simulation-based optimization algorithm that approximates the globally optimal reorder points (ROP). The developed algorithm iteratively adapts convex approximations of the non-convex service level. Further on, we show that this iterative adaption scheme monotonously converges in a finite number of steps. In order to benchmark the proposed approach, we compare it to a heuristic adapted from related work and demonstrate on an example that our algorithm achieves significantly better results. In the last part, we extend the developed simulation-based ROP optimization approach to the problem of joint capacity and safety stock allocation. In the considered problem, multiple assembly systems are connected via capacity groups. Capacity groups are defined by a subset of all items, i
ii S. Wörner: Summary corresponding unit capacity costs, and a capacity budget. A situation that can be modeled by capacity groups is, for instance, a set of machines that can be used to perform several production steps for different items. Again, the goal is to minimize the holding costs while satisfying service level targets. However, in this part we consider the total sum of holding costs of all assembly systems, and also service level constraints for all of them. This is a relevant problem for instance in semiconductor manufacturing, where investments in capacity are extremely expensive, but where machines are flexible and can be used for different production lines. Furthermore, we propose a top-down heuristic to allocate capacity that originates from Max-Min Fair link capacity allocation in communication networks. The heuristic allocates capacity under simplifying assumptions for the underlying safety stock allocation problem. We use this heuristic as a benchmark and analyze the influence of different problem parameters on the cost savings that can be achieved by using our optimization algorithm instead of the heuristic. The gained insights can be summarized as follows: the more diverse the items within a capacity group are, the higher is the potential for cost saving when using our algorithm instead of the heuristic. Especially for high utilization levels, our algorithm can achieve significant cost savings.
Zusammenfassung Diese Arbeit behandelt verschiedene relevante und schwierige Probleme im Supply Chain Management. Der Fokus liegt hauptsächlich auf operationellen Problemen, wie zum Beispiel der optimalen Lagerhaltung. Das Ziel ist die Entwicklung konvexer Optimierungsalgorithmen zur Approximierung optimaler Strategien oder optimaler Parameter für parametrisierte Heuristiken. Die Dissertation ist in drei Teile gegliedert, die wir im Folgenden genauer erläutern. Im ersten Teil setzen wir uns mit Stochastic Linear Control Problems (SLCP) mit kompakten Zustands- und Aktionsräumen sowie stückweise linearen und konvexen Kostenfunktionen auseinander. SLCPs bilden eine Unterklasse von Markov-Entscheidungsprozessen (MEP) und können zur Modellierung vieler praktisch relevanter Probleme in verschiedenen Bereichen verwendet werden, zum Beispiel im Inventory Management. Für allgemeine SLCPs ist allerdings nicht sicher, ob überhaupt optimale Strategien existieren. Um diese Lücke zu füllen, erweitern wir die bereits bekannte Theorie um schwache und einfach zu überprüfenden Bedingungen, welche die Existenz von optimalen Strategien für SLCPs implizieren. Darüber hinaus entwickeln wir einen Approximate Dynamic Programming (ADP) Algorithmus zur Approximierung optimaler Strategien für SLCPs und wenden diesen auf das Multiple Sourcing Problem an, welches aus dem Bereich Inventory Management stammt. Wir vergleichen die daraus resultierenden Strategien für mehrere Beispiele mit der besten bekannten Heuristik. Dabei stellt sich heraus, dass die approximierten Strategien immer mindestens genauso gut abschneiden wie die Heuristik, meistens sogar deutlich besser. Des Weiteren liefert unser Algorithmus eine untere Schranke für die optimalen Kosten. Daher können wir die Lücke zwischen den optimalen Kosten und den durch die berechnete Strategie erzielten Kosten beschränken. Daraus folgt, dass der relative Unterschied zwischen erzielten und optimalen Kosten für alle getesteten Beispiele kleiner war als 5%. Der zweite Teil meiner Dissertation beschäftigt sich mit konvergierenden Produktionssystemen mit beschränkter Kapazität und Wiederbestellpunkt-Strategien zur Lagerhaltung. Unser Ziel ist die Minimierung der Lagerhaltungskosten unter Einhaltung einer vorgegebenen Servicelevel- Nebenbedingung. Zur Lösung dieses Problems entwickeln wir einen simulationsbasierten Optimierungsalgorithmus, um die global optimalen Wiederbestellpunkte zu approximieren. Der entwickelte Algorithmus approximiert iterativ den nicht-konvexe Servicelevel durch konvexe Funktionen. Insbesondere zeigen wir auf, dass dieses iterative Adaptionsverfahren in endlich vielen Schritte iii
iv S. Wörner: Zusammenfassung monoton konvergiert. Wir vergleichen unseren Algorithmus mit einer Heuristik, welche durch Anpassung einer Methode aus der Literatur entsteht, und zeigen an Hand eines Beispiels auf, dass unser Verfahren deutlich besser abschneidet. Im letzten Teil dieser Arbeit erweitern wir den simulationsbasierten Optimierungsalgorithmus zur Approximierung optimaler Wiederbestellpunkt und wenden ihn auf das Problem der gleichzeitigen Optimierung von Kapazitätsallokation und Wiederbestellpunkten an. Hierbei betrachten wir mehrere Produktionssysteme, welche durch Kapazitätsgruppen miteinander verbunden werden. Kapazitätsgruppen werden definiert durch eine Menge von Produkten, die zugehörigen Kapazitätskosten und ein Kapazitätsbudget. Dadurch können zum Beispiel Situationen modelliert werden, in denen mehrere Maschinen verfügbar sind, die mehrere Produktionsschritte für unterschiedliche Produkte ausführen können. Das Ziel ist wieder die Minimierung der Lagerhaltungskosten unter Einhaltung der Servicelevel-Nebenbedingungen. Allerdings betrachten wir hier die Summe der Lagerhaltungskosten von allen Produktionssystemen sowie die Servicelevel- Nebenbedingungen für alle entsprechenden Endprodukte. Das untersuchte Problem ist insbesondere in der Halbleiterproduktion relevant, da dort Investitionen in zusätzliche Kapazität auf der einen Seite sehr teuer sind, auf der anderen Seite aber Maschinen meist flexibel sind und verschiedene Aufgaben übernehmen können. Des Weiteren führen wir eine Heuristik zur Kapazitätsallokation ein. Die Heuristik stammt von der Max-Min-Fair Kapazitätsallokation für Kommunikationsnetzwerke. Sie weist Kapazität unter vereinfachenden Annahmen über das zu Grunde liegende Problem der Wiederbestellpunkt-Optimierung zu. Wir verwenden diesen Ansatz, um ihn mit unserem Algorithmus zu vergleichen, da solche top-down Strategien häufig in der Praxis angewandt werden. Die gewonnen Einblicke kann man wie folgt zusammenfassen: Je inhomogener die Produkte innerhalb eine Kapazitätsgruppe sind, desto grösser ist die potentielle Kostenersparnis, die erreicht werden kann, wenn unser Algorithmus anstelle der Heuristik verwendet wird. Insbesondere für Systeme mit hoher Auslastung können signifikante Ersparnisse erzielt werden.