4. Dynamische Optimierung

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme 4. Dynamische Optimierung Die dynamische Optimierung (DO) betrachtet Entscheidungsprobleme als eine Folge voneinander abhängiger Einzelentscheidungen. Sequentielle Lösung eines über mehrere Stufen bzw. Perioden aufgeteilten Entscheidungsprozesses, wobei auf jeder Stufe jeweils nur die dort existierenden Entscheidungsalternativen betrachtet werden. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 89

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme DO-Probleme sind schwieriger zu handhaben als LP, da 1. die Modellierung eines Problems als DO-Problem Übung und Erfahrung voraussetzt und 2. kein allgemeiner Algorithmus für die Lösung von DO-Problemen zur Verfügung steht. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 90

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme Allgemeine Form der dynamischen Optimierung Minimiere F(x 1,...,x n ) = unter den Nebenbedingungen: n f k (z k 1,x k ) k=1 z k = t k (z k 1,x k ) für k = 1,...,n z 0 = α, z n = ω z k Z k für k = 1,...,n 1 x k X k (z k 1 ) für k = 1,...,n Operations Research FH Bonn-Rhein-Sieg, WS 08/09 91

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme Bezeichnungen: n z k Z k z 0 = α z n = ω x k X k (z k 1 ) t k (z k 1,x k ) f k (z k 1, x k ) Anzahl der Stufen bzw. Perioden Zustand in Periode k Zustandsmenge für Periode k vorgegebener Anfangszustand vorgegebener Endzustand Entscheidungsvariable Entscheidungsmenge für den Zustand z k 1 Transformationsfunktion, beschreibt den Zustandsübergang stufenbezogene Zielfunktion, beschreibt Kosten bzw. Gewinn abhängig von Periode, Zustand und Entscheidung Operations Research FH Bonn-Rhein-Sieg, WS 08/09 92

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme Beispiel 4.1. Wir betrachten ein Bestellmengenmodell: Periode k 1 2 3 4 Preis q k 7 9 12 10 Bedarf b k 1 1 1 1 Der Lieferant kann in einer Periode maximal den Bedarf für zwei Perioden liefern. Die Lagerkapazität ist auf den Bedarf von zwei Perioden beschränkt. Das Lager ist zu Beginn und am Ende leer (z 0 = 0, z 4 = 0). Welche Mengen sind einzukaufen, so daß möglichst geringe Beschaffungskosten entstehen? Operations Research FH Bonn-Rhein-Sieg, WS 08/09 93

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme Variablen und Mengenbezeichungen: z k Lagerbestand am Ende der Periode k Z k Menge der Möglichen Lagerbestände am Ende von Periode k. Eine genauere Analyse der Nebenbedingungen liefert: Z 0 = {0}, Z 1 = {0, 1},Z 2 = {0, 1,2}, Z 3 = {0, 1}, Z 4 = {0}. x k Zu Beginn von Periode k einzukaufende Mengeneinheiten des Rohstoffs. X k (z k 1 ) Mögliche Bestellmengen für Periode k. Durch die Nebenbedingungen werden die X k wie folgt beschränkt: X 1 = {0, 1, 2} und X k (z k 1 ) = {x k 0 x k 2 z k 1 +b k und x k 2} für k = 2, 3,4. Die X k werden zusätzlich durch die Bedingung, daß am Ende von Periode 4 das Lager leer sein soll, beschränkt. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 94

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme f k periodenabhängige Kostenfunktion mit f k = q k x k. t k Die Transformationsfunktionen lauten z k = z k 1 + x k b k für k = 1,...,4. Der Bedarf b k, der innerhalb der Transformationsfunktion auftritt, ist eine sogenannte Störgröße. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 95

4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme Minimiere 4 F(x 1,x 2,x 3,x 4 ) = q k x k unter den Nebenbedingungen k=1 z k { = z k 1 + x k b k für k = 1,2, 3,4 = 0 für k = 0,4 z k {0, 1,2} für k = 1,2, 3 x k {0,1, 2} für k = 1,2, 3,4 Operations Research FH Bonn-Rhein-Sieg, WS 08/09 96

4. Dynamische Optimierung Klassifizierung von DO-Modellen Klassifizierung von DO-Modellen Zeitabstände der Perioden diskretes Modell, wenn Entscheidungen und Zustandsänderungen zu diskreten Zeitpunkten stattfinden, andernfalls kontinuierliches Modell. Bei kontinuierlichen Modellen findet permanent ein Entscheiden (Steuern) statt. Mit diesem Thema befasst sich speziell die Kontrolltheorie. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 97

4. Dynamische Optimierung Klassifizierung von DO-Modellen Informationsgrad über die Störgrößen b k Kann die Störgröße nur einen Wert annehmen, dann liegt ein deterministisches Modell vor. Bei einem stochastischen Modell sind die Störgrößen Zufallsvariable. Zustands- und Entscheidungsvariablen können auch Vektoren sein. Z k und X k können endlich oder unendlich sein. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 98

4. Dynamische Optimierung Klassifizierung von DO-Modellen Graphische Darstellung des Beispiels (2,18) 2 (0,0) (1,9) (1,12) 1 1 1 (2,14) (0,0) (0,0) (0,0) 0 0 (2,18) (2,24) (1,7) 0 0 0 (1,10) (1,9) (1,12) Operations Research FH Bonn-Rhein-Sieg, WS 08/09 99

4. Dynamische Optimierung Bellmansches Optimalitätsprinzip Bellmansches Optimalitätsprinzip Definition 4.1. Eine Folge (x h, x h+1,...,x k ) von zulässigen Entscheidungen, die einen Zustand z h 1 Z h 1 in einen Zustand z k Z k überführt, heißt Politik. Eine Folge (x h, x h+1,...,x k ) von zulässigen Entscheidungen, die unter Minimierung der Zielfunktion einen Zustand z h 1 Z h 1 in einen Zustand z k Z k überführt, heißt optimale Politik. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 100

4. Dynamische Optimierung Bellmansches Optimalitätsprinzip Satz 4.1. [Bellmansches Optimalitätsprinzip] Sei (x 1,...,x k 1,x k,...,x n) eine optimale Politik, die den Anfangszustand z 0 = α in den Endzustand z n = ω überführt. Es sei z k 1 dabei der Zustand in Periode k 1. Dann gilt: (x k,...,x n) ist eine optimale (Teil-)Politik für die Überführung von z k 1 nach z n = ω. (x 1,...,x k 1 ) ist eine optimale (Teil-)Politik für die Überführung von z 0 = α nach z k 1. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 101

4. Dynamische Optimierung Bellmansches Optimalitätsprinzip Definition 4.2. P k 1 (z k 1 ) bezeichne das Problem, eine optimale Politik für die Überführung von z k 1 nach z n = ω zu bestimmen. Das Gesamtproblem wird demnach als P 0 (z 0 = α) bezeichnet. F k (z k) bezeichne den optimalen Zielfunktionswert für P k (z k ). Dynamische Optimierung durch Rückwärtsrekursi- Algorithmus 4.1. on. Start: Bestimme für jedes Problem P n 1 (z n 1 ) mit z n 1 Z n 1 die Politik x n, die z n 1 in ω überführt. Iterationen: Für k = n 1,...,1: Bestimme für jedes der Probleme P k 1 (z k 1 ) mit z k 1 Z k 1 eine optimale Politik, die z k 1 in ω überführt sowie den zugehörigen Zielfunktionswert F k 1 (z k 1). Operations Research FH Bonn-Rhein-Sieg, WS 08/09 102

4. Dynamische Optimierung Bellmansches Optimalitätsprinzip Hierzu benutzen wir die Bellmansche Funktionalgleichung: F k 1(z k 1 ) = min {f k (z k 1,x k ) + F k(t k (z k 1,x k )) x k X k (z k 1 )} Terminierung: Nach Abschluss von Iteration 1 haben wir den optimalen Zielfunktionswert für das Gesamtproblem berechnet. Die damit verbundene optimale Politik haben wir entweder geeignet abgespeichert oder wir ermitteln sie in einer anschließenden Vorwärtsrechnung. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 103

4. Dynamische Optimierung Beispiele Rucksackproblem als DO Maximiere F(x 1,x 2,x 3,x 4 ) = x 1 + 4x 2 + 2x 3 + 3x 4 unter den Nebenbedingungen 3x 1 + 2x 2 + 4x 3 + x 4 9 Die x k sind die Entscheidungsvariablen. x k {0,1} Der Zustand ergibt sich durch die noch verfügbare Kapazität. Also z 0 = 9, sowie Z 1 = {6, 9}, Z 2 = {4,6, 7, 9}, Z 3 = {0, 2,3, 4,5, 6,7, 9} und Z 4 = {0,...,9}. Jeder Zustand aus Z 4 ist ein möglicher Endzustand. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 104

4. Dynamische Optimierung Beispiele Wenn w k das Gewicht von Gegenstand k ist, so lautet die Transformationsfunktion z k = z k 1 w k x k. Nur Entscheidungen mit z k = z k 1 w k x k 0 sind zulässig. Also X k (z k 1 ) = {x k {0, 1} z k 1 w k x k 0} Da wir ein Maximierungsproblem haben, ersetzen wir in der Bellmanschen Funktionalgleichung min durch max. Operations Research FH Bonn-Rhein-Sieg, WS 08/09 105