Dynamische Optimierung. Kapitel 4. Dynamische Optimierung. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

Transkript

1 Kapitel 4 Dynamische Optimierung Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

2 Inhalt Inhalt 4 Dynamische Optimierung Allgemeiner Ansatz und Beispiele Stochastische dynamische Optimierung Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

3 Allgemeiner Ansatz und Beispiele Allgemeiner Ansatz der Dynamischen Optimierung (1) Die dynamische Optimierung (DO) betrachtet Entscheidungsprobleme als eine Folge voneinander abhängiger Einzelentscheidungen. Sequentielle Lösung eines über mehrere Stufen bzw. Perioden aufgeteilten Entscheidungsprozesses, wobei auf jeder Stufe jeweils nur die dort existierenden Entscheidungsalternativen betrachtet werden. Eine Entscheidung in einer Periode i hat Auswirkungen auf die möglichen Zustände und Entscheidungen in nachfolgenden Perioden. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

4 Allgemeiner Ansatz und Beispiele Allgemeiner Ansatz der Dynamischen Optimierung (2) DO ist prinzipiell ein rekursives Verfahren zur Lösung solch mehrstufiger Entscheidungsprobleme. Für Probleme geeignet, die sich in Teilprobleme zerlegen lassen, so dass aus der Lösung der Teilprobleme eine Gesamtlösung konstruiert werden kann. Modellierung eines Problems mittels DO erfordet Übung und Erfahrung. Kein allgemein implementierter Standardalgorithmus vorhanden: Anpassung der Lösungsalgorithmen auf die konkrete Problemstellung notwendig Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

5 Allgemeiner Ansatz und Beispiele Beispiel 4.1 (Shortest Path Problem) Gesucht ist ein kürzester Weg von a nach l. b 4 d 10 g 20 j a e 10 h l c 10 f 14 i 2 k Stufe Ein Weg von a nach l lässt sich in fünf Teilwege (einzelne Kanten) zerlegen. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

6 Fortsetzung Beispiel. Dynamische Optimierung Allgemeiner Ansatz und Beispiele Es sei V n (s) :=Länge eines kürzesten Weges von Knoten s auf Stufe n zum Knoten l. Damit gilt: Stufe Knoten 0 a 1 b, c 2 d, e, f 3 g, h, i 4 j, k 5 l V 5 (l) = 0 V 4 (j) = 12 + V 5 (l) = 12 V 4 (k) = 8+V 5 (l) =8 V 3 (g) = 20 + V 4 (j) = 32 V 3 (i) = 2+V 4 (k) = 10 V 3 (h) = min{4+v 4 (j), 6+V 4 (k)} = 14 V 2 (d) = min{10 + V 3 (g), 10 + V 3 (h)} = 24 V 2 (e) = 10 + V 3 (i) = 20 V 2 (f ) = min{10 + V 3 (h), 14 + V 3 (i)} = 24 V 1 (b) = min{4+v 2 (d), 12 + V 2 (e)} = 28 V 1 (c) = min{10 + V 2 (d), 10 + V 2 (f )} = 34 V 0 (a) = min{2+v 1 (b), 8+V 1 (c)} = 30 Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

7 Allgemeiner Ansatz und Beispiele Fortsetzung Beispiel. Daraus folgt: Länge eines kürzesten Weges von a nach l ist V 0 (a) = 30. Wie ermittelt man den zugehörigen Weg? Man schaue sich an, wie jeweils das Minimum entsteht! Also lautet der kürzeste Weg: a! b! d! h! k! l Bemerkung: Stufen repräsentieren häufig Zeitpunkte, zu denen Entscheidungen getro en werden und ergeben sich so auf natürliche Weise. Stufen können aber auch durch eine künstliche Problemzerlegung entstehen, siehe folgendes Beispiel. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

8 Allgemeiner Ansatz und Beispiele Beispiel 4.2 (Investitionsproblem als KP) Ein Investor hat 30 Geldeinheiten (GE), die er in vier Projekte investieren kann. Projekt Investition Gewinn In welche Projekte soll investiert werden, so dass der Gesamtgewinn maximal ist und die Investitionssumme nicht größer als 30 GE beträgt. + Dies ist ein Rucksackproblem. V n (s) := maximaler Gewinn, der mit den Projekten n +1,...,4und Restkapital s möglich ist. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

9 Allgemeiner Ansatz und Beispiele Fortsetzung Beispiel. 0 für s < 8 V 3 (s) = 5 für s 8 V3 (s) für s < 21 V 2 (s) = max{10 + V 3 (s 21), V 3 (s)} für s 21 V2 (s) für s < 6 V 1 (s) = max{4+v 2 (s 6), V 2 (s)} für s 6 V1 (s) für s < 12 V 0 (s) = max{7+v 1 (s 12), V 1 (s)} für s 12 Genaue Tabelle für V n (s): Tafel. Hieraus ergibt sich V 0 (30) = 16 bei Investition in die Projekte 1, 2 und 4. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

10 Basismodell Definition 4.3 Ein endlich-stufiges deterministisches dynamisches Optimierungsproblem (DO) ist ein Tupel (N, S, A, z, r, V N )mit (i) N 2 N, der Planungshorizont, legt die Anzahl der Stufen fest (n =0, 1,...,N). (ii) S, der Zustandsraum, ist eine abzählbare Menge. Die nichtleeren Teilmengen S 0 = {s 0 }, S 1,...,S N sind die Zustandsmengen der Stufen 0, 1,...,N. (iii) A, der Aktionenraum, ist eine abzählbare Menge. Die endlichen Teilmengen A n (s), s 2S n,sinddieimzustands auf Stufe n zulässigen Aktionen. Außerdem sei D n := {(s, a) 2S n A a 2A n (s)}. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

11 Fortsetzung Definition. (iv) z n : D n!s n+1,diezustandsübergangsfunktion, ist eine Funktion, die jedem Zustand s 2S n und jeder zulässigen Aktion a 2A n (s) einen neuen Zustand s 0 = z n (s, a) 2S n+1 zuordnet (n < N). (v) r n : D n! R, diestufenbezogene Gewinnfunktion, ist eine Funktion, die den enstehenden Gewinn r n (s, a) imzustands 2S n bei Wahl von Aktion a 2A n (s) angibt (n < N). (vi) V N : S N! R, dieterminale Gewinnfunktion, ist eine Funktion, die auf Stufe N den terminalen Gewinn V N (s) imzustands 2S n angibt. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

12 Bemerkungen zum Modell der diskreten deterministischen dynamischen Optimierung Die Stufen 0, 1,...,N können wir häufig als diskrete Zeitpunkte interpretieren, zu denen ein System beobachtet wird. Zum Zeitpunkt n < N im Zustand s wählt ein Beobachter eine zulässige Aktion a 2A n (s) aus. Daraus ergibt sich ein stufenbezogener Gewinn von r n (s, a) und das System geht über in den neuen Zustand s 0 = z n (s, a) zum Zeitpunkt n + 1. Am Ende des Planungszeitraums n = N fällt abhängig vom Endzustand s ein terminaler Gewinn V N (s) an. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

13 Dynamische Optimierung als graphentheoretisches Modell (1) Deterministische diskrete dynamische Optimierungsprobleme mit einem endlichen Zustandsraum können in ein kürzestes Wege Problem überführt werden. Gerichteter Graph G =(V, E) mit Gewichtsfunktion w : E! R V = {(n, s) 0 apple n apple N, s 2S n } E = {((n, s), (n +1, s 0 )) 0 apple n < N, 9a 2A n (s) mitz n (s, a) =s 0 } Für e =((n, s), (n +1, s 0 )) mit z n (s, a) =s 0 ist w(e) = r n (s, a). Künstlicher Endknoten mit Kanten von (N, s) nach für alle s 2S N.Kantenlänge: V N (s). Optimale Lösung entspricht einem kürzesten Weg von (0, s 0 )nach. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

14 Dynamische Optimimierung als graphentheoretisches Modell (2) sn s0 s Omega s n n+1 N N+1 Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

15 Politik Definition 4.4 Es sei (N, S, A, z, r, V N ) ein endlich-stufiges deterministisches dynamisches Optimierungsproblem. Eine Folge =(a 0, a 1,...,a N 1 ) mit a n 2A n (s n )unds n+1 = z n (s n, a n )für n =0,...,N 1heißtPolitik. Mit bezeichnen wir im Folgenden die Menge aller Politiken. Eine Politik beschreibt also eine Folge von zulässigen Aktionen und ist die Menge aller zulässigen Aktionenfolgen. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

16 Optimale Politik Definition 4.5 Bei Anwendung einer Politik R (s 0 ):= ergibt sich der Gesamtgewinn NX 1 n=0 r n (s n, a n )+V N (s N ). Eine Politik heißt optimal, wenn R (s 0 ) R (s 0 )für alle 2 gilt. Der maximale Gesamtgewinn ergibt sich durch V 0 (s 0 ):=max{r (s 0 ) 2 }. Die Menge ist endlich. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

17 Wertfunktion Definition 4.6 Für n apple N und s n 2S n heißt die Funktion ( N 1 ) X V n (s n ):=max r t (s t, a t )+V N (s N ) a t 2A t (s t ), t = n,...,n 1 Wertfunktion. t=n V n (s n ) gibt den maximalen Gewinn an, der ausgehend vom Zustand s n 2S n in Stufe n erzielt werden kann. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

18 Bellmansches Optimalitätsprinzip Satz 4.7 (i) Für n =0,...,N V n (s n )= 1 und alle s n 2S n gilt max {r n(s n, a)+v n+1 (z n (s n, a))} a2a n(s n) (ii) Definiert man eine Aktionenfolge a 0,...,a N 1 gemäß r n (s n, a n)+v n+1 (z n (s n, a n)) = max {r n(s n, a)+v n+1 (z n (s n, a))} a2a n(s n) für n =0,...,N =(a0,...,a N 1 und mit s n+1 = z n (s n, an), so ist die Politik 1 ) optimal. Beweis. Tafel.. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

19 Bellmansche Funktionalgleichung Die Gleichung V n (s n )= max {r n(s n, a)+v n+1 (z n (s n, a))} a2a n(s n) ist die sogenannte Optimalitätsgleichung bzw. Bellmansche Funktionalgleichung. Benannt nach Richard Bellman, US-amerikanischer Mathematiker, Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

20 Wertiteration Algorithmus 4.8 (1) Für alle s 2S N : v 0 (s) :=V N (s) (2) for n = N 1 downto 0 do (3) Für alle s 2S n+1 : v(s) =v 0 (s) (4) Für alle s 2S n berechne (5) v 0 (s) =max a2an(s){r n (s, a)+v(z n (s, a))} (6) und eine maximierende Aktion fn (s) :=a (7) end (8) V 0 (s 0 ):=v 0 (s 0 ) (9) s := s 0 (10) for n =0to N 1 do (11) (12) an := fn (s) s := z n (s, an) (13) end (14) := (a0,...,a N 1 ) Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

21 Bemerkungen zur Wertiteration v 0 (s) entsprichtv n (s) undv(s) entsprichtv n+1 (s). Zeile (2) bis (7) ist die sogenannte Rückwärtsiteration. Ausgehend von der Stufe N werden die V n (s) berechnet (Zeile (5)). In f n (s) merken wir uns die optimale Aktion für s 2S n (Zeile (6)). Nach der Rückwärtsiteration ergibt sich der maximale Gesamtgewinn durch v 0 (s 0 ) (Zeile (8))). Die Vorwärtsiteration in den Zeilen (9) bis (13) bestimmt die optimale Politik. Ausgehend vom Startzustand s := s 0 (Zeile (9)) wenden wir stets die optimale Aktion für den aktuellen Zustand s an (Zeile (11, 12)). Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

22 Beispiele zur Wertiteration Beispiel 4.9 Wir formulieren Beispiel 4.1 als endlich-stufiges deterministisches dynamisches Optimierungsproblem. (i) Planungshorizont N = 5 (ii) Zustandsraum S 0 = {a} S 1 = {b, c} S 2 = {d, e, f } S 3 = {g, h, i} S 4 = {j, k} S 5 = {l} (iii) Aktionenraum A 0 (a) = {b, c} A 1 (b) = {d, e}. A 4 (k) = {l} (iv) Zustandsübergangsfunktion z n (s n, a n )=a n Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

23 Fortsetzung Beispiel. (v) stufenbezogene Gewinnfunktion r 0 (a, b) = 2. r 4 (k, l) = 8 Wertiteration siehe Beispiel 4.1. Optimale Aktionen: f f f f f 4 (j) = l 4 (k) = l 3 (g) = j 3 (i) = k 3 (h) = k (vi) terminale Gewinnfunktion V 5 (l) =0 f f f f f f 2 (d) = h 2 (e) = i 2 (f ) = h 1 (b) = d 1 (c) = d 0 (a) = b Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

24 Beispiel 4.10 Wir betrachten ein Bestellmengenmodell: Periode n Preis q n Bedarf b n Der Lieferant kann in einer Periode maximal den Bedarf für zwei Perioden liefern. Die Lagerkapazität ist auf den Bedarf von zwei Perioden beschränkt. Das Lager ist zu Beginn und am Ende leer (s 0 =0, s 4 = 0). Welche Mengen sind einzukaufen, so dass möglichst geringe Bescha ungskosten entstehen? Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

25 Fortsetzung Beispiel. Variablen und Mengenbezeichungen: N Planungshorizont = 4 s n Lagerbestand am Anfang der Periode n S n Menge der Möglichen Lagerbestände am Anfang von Periode n. Eine genauere Analyse der Nebenbedingungen liefert: S 0 = {0}, S 1 = {0, 1}, S 2 = {0, 1, 2}, S 3 = {0, 1}, S 4 = {0}. a n Zu Beginn von Periode n einzukaufende Rohsto -Mengeneinheiten A n (s n ) Zulässige Bestellmengen für Periode n. r n periodenabhängige Kostenfunktion mit r n (s n, a n )= q n a n. z n Zustandsübergangsfunktion s n+1 = z n (s n, a n )=s n + a n b n V N (s) Terminale Gewinnfunktion =0für s = 0, sonst 1. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

26 Fortsetzung Beispiel. Dynamische Optimierung (2,18) 2 (0,0) (1,9) (1,12) (2,14) (0,0) (0,0) (0,0) 0 0 (2,18) (2,24) (1,7) (1,10) (1,9) (1,12) Stufe Wertiteration: Tafel. Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

27 Rucksackproblem als DO (1) N Anzahl Gegenstände mit Indizes 0,...,N 1 s n freie Kapazität im Rucksack vor Entscheidung für Gegenstand n S n mögliche freie Kapazitäten vor Entscheidung für Gegenstand n auch Obermenge möglich, nicht erreichbare Zustände sind irrelevant, z.b. S 0 = {C}, S n = {0,...,C} a n Gegenstand n aufnehmen (= 1) oder nicht (= 0)? A n (s n ) Zulässige Entscheidungen für Gegenstand n = {0, 1} für s n w n = {0} sonst r n Nutzen r n (s n, a n )=a n p n z n Zustandsübergangsfunktion s n+1 = z n (s n, a n )=s n a n w n V N (s) Terminale Gewinnfunktion =0 Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206

28 Rucksackproblem als DO (2) Folgerung 4.11 Für jedes Rucksackproblem kann in Zeit O(Cn) eine optimale Lösung berechnet werden. Bemerkung: Das Rucksackproblem ist NP-vollständig. Warum ist Folgerung 4.11 kein Widerspruch zur NP-Vollständigkeit des Rucksackproblems? Peter Becker (H-BRS) Operations Research II Wintersemester 2014/ / 206