Dynamische Optimierung

Transkript

1 Dynamische Optimierung Mike Hüftle 28. Juli 2006 Inhaltsverzeichnis 1 Einleitung Dynamisches Optimierungmodell Grundmodell der dynamischen Optimierung Modelltypen Diskrete dynamische Optimierung Dynamisches Programmieren Allgemeines Anwendungsbereiche Beispiel zur dynamischen Programmierung Die Bellmansche Rekursionsformel Optimalitätsprinzip Rekursionsformel Literatur Literatur zur dynamischen Programmierung

2 1 Einleitung 1.1 Dynamische Optimierung Die dynamische Optimierung betrachtet dynamische Optimierungsprobleme, d.h. Probleme mit einem über mehrere Perioden oder Stufen ablaufenden Entscheidungsprozess. In jeder Periode können jeweils andere Ziele und Nebenbedingungen gelten. Lösung von dynamischen Optimierungsproblemen Dynamische Optimierungsprobleme sind in der Regel nicht so einfach modellierund handhabbar wie z.b. lineare Optimierungsprobleme. Dies liegt insbesondere daran, dass die Modellierung eines solchen Problems recht schwierig ist und einiges an Erfahrung voraussetzt. Auch gibt es nicht das dynamische Optimierungsmodell, für welches ein allgemeingültiger Lösungsalgorithmus zur Verfügung steht. 2

3 2 Dynamisches Optimierungmodell 2.1 Grundmodell der dynamischen Optimierung Zielfunktion Die Grundform des dynamischesn Optimierungsmodells ist die folgende: n F (x 1, x 2,..., x n ) = f k (z k 1, x k ) (1) k=1 Nebenbedingungenu. d. NB: z k = t k (z k 1, x k ) für k = 1,..., n z 0 = α, z n = ω z k Z k für k = 1,..., n 1 x k X k (z k 1 ) für k = 1,..., n Bezeichnungen mit den Bezeichnungen: n: Anzahl der P erioden z k : Zustand in P eriode k Z k : Menge der möglichen Zustände in P eriode k z 0 = α : vorgegebener Anfangszustand z n = ω : vorgegebener Endzustand x k : Entscheidungsvariable X k (z k 1 ) : Entscheidungsmenge für den Zustand z k 1 t k (z k 1, x k ) : Zustandsübergang von z k 1 nach z k f k (z k 1, x k ) : stufenbezogene Zielfunktion, beschreibt Kosten bzw. Gewinn abhängig von P eriode k, Zustand z k und En 3

4 2.2 Modelltypen Diskrete und kontinuierliche Optimierung Ein wichtiges Unterscheidungsmerkmal dynamischer Optimierungsmodelle ist die Art, auf welche die Zeit modelliert wird: Bei diskreten Modellen werden zu diskreten Zeitpunkten Entscheidungen getroffen und das Modell geht in einen anderen Zustand über. Bei kontinuierlichen Modellen findet ein permanentes Steuern statt. Mit kontinuierlichen Modellen befassen sich insbesondere die Kontrolltheorie und die Regelungstechnik. Deterministische und stochastische Optimierung Je nachdem ob die Zustände nur einen bestimmten Wert annehmen können oder auch Wahrscheinlichkeiten berücksichtigt werden, wird von deterministischen oder stochastischen Modellen gesprochen. Stochastische dynamische Modelle sind sehr komplex und werden meist mit Methoden der Simulation gelöst. 4

5 2.3 Diskrete dynamische Optimierung Diskretisierung des Problems Die diskrete dynamische Optimierung ist eine häufig genutzte Möglichkeit, um ein dynamisches Optimierungsproblem zu modellieren. Das Problem wird hierfür diskretisiert, d.h. der abzubildende (zeitliche) Ablauf wird in verschiedene Stufen (Perioden) unterteilt. Hieraus folgt, dass es für jeden Zustand im Modell nur endlich viele Zustandsübergänge zur nächsten Stufe geben kann. Gibt es nur eine relativ kleine Anzahl von möglichen Zuständen, so vereinfacht sich das dynamische Optimierungmodell erheblich. Mit steigender Anzahl an Zuständen wächst die Komplexität des Problems jedoch stark an. Reale Problemstellungen Deshalb sind für reale Problemstellungen Lösungsmethoden erforderlich, welche das Problem erheblich vereinfachen. Eine Ansatz, den viele Methoden zur Lösung diskreter dynamischer Optimierungsprobleme einsetzten ist die Bellmansche Rekursionsformel. 5

6 3 Dynamisches Programmieren 3.1 Allgemeines Prinzip der dynamischen Programmierung Bei der dynamischen Programmierung sind die zu lösenden Teilprobleme vom gleichen Problemtyp wie das Gesamtproblem (z.b. lineare Optimierungsprobleme) und werden somit auch mit derselben Optimierungsmethode gelöst (z.b. Simplexverfahren). Die dynamische Programmierung ist also keine eigenständige Methodenklasse, die bestimmte Optimierungsprobleme löst, sondern ein Optimierungsprinzip. Nach diesem Prinzip wird ein Optimierungsproblem in eine Folge gleichartiger Teilprobleme zerlegt und aus den Lösungen der einzelnen Teilprobleme kann die Lösung des Gesamtproblems zusammengesetzt werden. Dynamisch modellierbare Optimierungsprobleme Die dynamische Programmierung ist somit ein Prinzip zur Lösung von Problemen: 1. Die rekursiv beschrieben werden können. 2. Die dem Bellmanschen Optimalitätsprinzip genügen. 3. Bei deren Berechnung wiederholt identische Teillösungen berechnet werden müssen. 6

7 3.2 Anwendungsbereiche Die dynamische Programmierung hat vielfältige Anwendungsbereiche: Kürzeste Wege-Probleme (z.b. Floyd-Warshall-Algorithmus) kombinatorische Optimierungsprobleme Markov-Entscheidungsprozesse Optimale Steuerung Optimale binäre Suchbäume Berechnung rekursiver Funktionen oder Matrixpultiplikationen 7

8 3.3 Beispiel zur dynamischen Programmierung Die Funktionsweise der dynamischen Programmierung wird am Beispiel der Berechnung der Fibbonacci-Zahlen gezeigt. Dieses Problem lässt sich rekursiv wie folgt definieren: f(0)=1 f(1)=1 f(n)=f(n-1)+f(n-2), n 3 Die Komplexität dieses Algorithmus ist jedoch O(2 n ). Das Problem kann jedoch auch mit geringerem Aufwand gelöst werden, indem Teilprobleme gespeichert werden, und zur Berechnung des Gesamtproblems auf Teilprobleme zurückgegriffen wird. Hierzu wird eine Reihenfolge der Teilprobleme festgelegt, wobei für die Lösung eines größeren Problems r nur auf die r-1 kleineren Probleme zurückgegriffen wird. Es werden also sukkzessive die Lösungen berechnet, die dann wieder als Teilprobleme in die nächste Berechnung eingehen. Die Teilprobleme werden so lange gespeichert, wie sie benötigt werden: Iteration i f(i) f(1)+f(2)=2 4 f(2)+f(3)=3 5 f(3)+f(4)= Die Komplexität dieses Algorithmus ist nur noch O(n). 8

9 4 Die Bellmansche Rekursionsformel 4.1 Optimalitätsprinzip Die Bellmansche Rekursionsformel basiert auf dem Bellmanschen Optimalitätsprinzip. Dies formuliert, wie ein optimaler Weg von einem vorgegebenen Anfangszustand z 0 über verschiedene Stufen zu einem vorgegebenen Endzustand z n verlaufen muss. Bellmansches Optimalitätsprinzip Es gebe eine optimale Folge von Zuständen z 0, z 1, z 2,..., z k 1, z k,..., z n von z 0 = α nach z n = ω. Dann ist jeder Zustandsübergang t k (z k 1, x k ) von z k 1 nach z k und somit jede Entscheidung x k dieser Folge optimal in Bezug auf den Zustandsübergang von z 0 = α nach z n = ω. Man spricht hier auch davon, dass jede Teilpolitik einer optimalen Politik selbst optimal ist. 9

10 4.2 Rekursionsformel Bellmansche Rekursionsformel Aus dem Optimalitätsprinzip kann unmittelbar die Bellmansche Rekursionsformel abgeleitet werden. Mit dieser kann das mehrstufige Optimierungsproblem in n einstufige Optimierungsprobleme zerlegt werden, die relativ einfach zu lösen sind. Der Zielfunktionswertim Zustand z k 1 wird berechnet als Summe aus dem Zielfunktionswert im optimalen Zustand z k und dem Minimum aus allen möglichen Zustandsübergängen z k 1 nach z k : F k 1 (z k 1 ) = min {f k (z k 1, x k ) + F k (t k (z k 1, x k )) x k X k (z k 1 )} (2) Vorgehen der Rekursion Das Vorgehen der Rekursion ist folgendes: Man betrachtet alle möglichen Zustände z k 1 zum Zeitpunkt k-1. Derjenige Zustand z k 1 ist optimal in Hinblick auf das Erreichen des Endzustandes z n, der den kleinsten Zielfunktionswert F k 1 aller Zustände z k 1 hat. Dies ist derjenige Zustand, dessen Zustandsübergang in z n die geringsten Kosten verursacht. In derr nächsten Iteration werden nur die Zustände z k 2 betrachtet, welche in den Zustand z k 1 übergehen können. Widerum wird der kleinste Zielfunktionswert F k 2 bestimmt. Die Rekursion wird so lange weitergeführt, bis der Zustand z o zum Zeitpunkt 0 erreicht wurde. Dann kann die optimale Politik, um von z o nach z 1 zu gelangen, durch eine Vorwärtsrechnung ermittelt werden. 10

11 5 Literatur 5.1 Literatur zur dynamischen Programmierung Literaturverzeichnis [] Bellmann, R.E.: Dynamic Programming. Princeton University Press, Princeton [] Dano, S.: Nonlinear and Dynamic Programming. Springer, Wien New York [] Ohse, D.: Quantitative Methoden der Betriebswirtschaftslehre. Franz Vahlen, München [] Nemhauser, G.L.: Introduction to Dynamic Programming, Wiley, New York London Sydney [] Zimmermann, H.-J.: Operations Research. Vieweg, Wiesbaden