Dynamische Optimierung

Transkript

1 Motivation/Einführung: zwei mögliche Pfade 8 Dynamische Optimierung Dynamische Optimierung Sequentielle Optimierung Stufenoptimierung Für Planungsprobleme, deren Entscheidungsgrundlagen problemseitig nicht initial vollständig vorliegen, sich im Lauf der Zeit offenbaren dynamisch zu berücksichtigen sind, z.b. Lagerhaltung über mehrere Perioden stochastische Techniken fließen auf natürliche Weise ein (tatsächliche Unsicherheiten) Für Planungsverfahren, welche Entscheidungen verfahrensseitig schrittweise treffen, im Laufe des Verfahrens (Divide & Impera) vervollständigen sequentiell arbeiten, z.b. Knapsack Problem mit Entscheidungsbaum randomisierte Techniken fließen künstlich ein (Konvergenzgründe, Effizienzgründe...)

2 Ziele: Kennen lernen dynamisch zu optimierender Problemstellungen Erkennen warum schrittweise Optimierungsverfahren sinnvoll sein können Stochastische Einflüsse behandeln können Optimalitätskriterien für dynamische Probleme kennen lernen Lösungsmethoden der dynamischen Optimierung kennen lernen Gliederung 8. Beispiele zur Einführung 8. Problemstellung der dynamischen Optimierung 8.3 Bellman sche Funktionsgleichungsmethode 8.4 Stochastische dynamische Optimierung

3 8. Beispiele zur Einführung Beispiel Lagerhaltung: Ein Gut sei zu lagern, über endlichem diskreten Planungszeitraum: n Perioden Belieferung eweils zu Beginn einer Periode mit Lieferzugang u, in Periode (=,...,n) Auslieferung (gemäß Nachfrage) zu Beginn Periode unmittelbar nach Belieferung, sei r, Nachfrage in Periode (=,...,n) Annahme: Auslieferung = Nachfrage Es resultiert Lagerbestand x zu Ende Periode, unmittelbar vor Periode +, als Bestand zu Periode ( =,...,n) Gemäß Lagerbilanzgleichung (dynamische Nebenbedingung) gilt x + = x + u -r (=,..., n) Annahmen: x für =,..., n+ und x = x n+ = 3

4 anfallende Kosten: Belieferung: h B (u ) fix + variabel Lagerung: h L (x ) und Gesamt g(x,u ) Optimierungsaufgabe: bestimme Liefermengen u (Entscheidungsvariable) unter Einhaltung der Nebenbedingungen / Annahmen derart dass Gesamtkosten minimal (bei gegebenen Nachfragen r => eigentlich kein dynamisches Problem) Formal: min udn n = x x x g(x +, u ) = x + u = x n+ = und u - r für =,,..., n für =,,..., n 4

5 Beispiel Instandhaltung: Ersatz verschlissener Systemkomponenten zu früh: großer Wertverlust zu spät: große Wartungskosten Endlicher Planungszeitraum: n Perioden Entscheidung zu Beginn der Periode falls u = dann Ersetzung in Periode für =,..., n sonst u = und keine Ersetzung Resultat: Alter der Komponenten zu Ende Periode, unmittelbar vor Periode + x enthält Alter der Periode =,...,n gemäß Zusammenhang (dynamische Nebenbedingung) x + = x + falls nicht ersetzt x + = falls ersetzt daher x + = x ( - u ) + für =,..., n Annahme: x = 5

6 Anfallende Kosten Ersatz: h E (x -,u ) Beschaffung - Restwert Wartung: h W (x -,u ) Gesamt: g(x,u ) Optimierungsaufgabe: bestimme Ersatzzeitpunkte (Entscheidungsvariable u ) unter Einhaltung der Nebenbedingungen / Annahmen derart, dass Gesamtkosten minimal werden. Formal: min udn n = g(x,u ) x + = x ( u x = x {,,..., } u ) + für =,,...,n für =,...,n für =,,...,n 6

7 Beispiel 3 Rucksack-Problem: Zur Erinnerung n Gegenstände mit Gewichten a > (=,...,n) und Werten c > (=,...,n) Maximalgewicht a max > gepackte Werte-Summe zu maximieren Entscheidungsvariablen (hier) u = Gegenstand wird eingepackt u = Gegenstand wird nicht eingepackt Formal: max n = n c u udn a u a max und u {,} für =,,...,n = 7

8 künstliche Dynamisierung: Gegenstände ( irgendwie ) geordnet Einpacken (oder nicht) in Stufen auf Basis des noch verfügbaren Gewichtsrestes x zu Ende Periode -, unmittelbar vor Entscheidung u resultierend in Gewichtsresten gemäß Zusammenhang (dynamische Nebenbedingung) x + =x -a u (für =,...,n) initale Gewichtsreserve: x =a max Formal: max c u udn x + = x - a u für =,,...,n und x x + a max u {,} für x a und u = für x n = = < a a max 8

9 8. Problemstellung der dynamischen Programmierung Formalisierungen der Beispiele zwar sehr problemabhängig (kein Automatismus) aber weitgehend ähnlich d.h. Systembetrachtung über endlichen Planungszeitraum, wird eingeteilt in Perioden / Stufen (=,...,n) zu Beginn Periode (mit Beendigung Periode -) ist System im Zustand x (Zustandsvariable) zu Beginn Planungszeitraum herrscht Anfangszustand x =x a in Periode wird Entscheidung u getroffen (u ist Entscheidungsvariable / Steuervariable), resultiert zu Folgezustand x + = f (x,u ) (abhängig vom Vorzustand und Entscheidung) und Kosten / Erlösen (rewards) g (x,u ) (abhängig vom Vorzustand und Entscheidung) 9

10 Restriktionen bestehen (potenziell) in Form erlaubter (nichtleerer) Steuerbereiche U (x ), u U (x ) (abhängig von Vorzustand) in Form erlaubter (nichtleerer) Zustandsbereiche X +, x + X + wobei X ={x } Steuerbereiche U (x ) und Zustandsbereiche X + fallabhängig eindimensional / mehrdimensional, reellwertig / ganzzahlig / zweiwertig,... Funktionen f, g (dementsprechend) erklärt auf D :={(x,u) x X, u U (x)} Optimierungsaufgabe besteht aus Minimierung Kosten (Maximierung Erlösen) über gesamten Planungszeitraum hier vorrangig Kostenminimierung betrachtet min n = g (x,u ) udn kann sehr komplex sein! x x + + = f X (x +,u und u ) für =,,...,n und x U (x ) für =,,...,n = x a

11 Struktur der vorgestellten Beispiele Beispiel Beispiel Beispiel 3 Lagerhaltung Erneuerung Rucksack x reellwertig Bestand ganzzahlig Alter reellwertig Kap. X R + für =,..,n X =X n+ ={} {,...,-} für =,..,n+, X ={} [,a max ] für =,..,n+, X ={a max } reellwertig binär binär U (x ) R + u {,} {,} f (x,u ) x + u -r x ( u ) + x -a u g (x,u ) h B (u ) + h L x h E (u,x ) + h W (u,x ) -c u Kosten Kosten Nutzen (zu maximieren!)

12 Problemstellung (wie beschrieben) deckt nicht den allgemeinsten Fall, da: f und g nur von Vorzustand und Entscheidung abhängig sind wird in stochastischen Modellen Markov sch heißen ist durch Definition Zustand immer erreichbar f und g deterministisch definiert Änderung wird zu stochastischen Modellen führen Zeit Betrachtung eingeschränkt, da in Perioden ablaufend (implizit: gleiche Länge?) Zustandsübergänge sprunghaft geschehen: zeitdiskrete Modelle beschränkt, endlich... Veranschaulichung (Entscheidungszeitpunkte hierdurch nicht festgelegt) u u u n x x =f (x,u ) x 3 =f (x,u ) x n =f n- (..) x n+ =f n (x n,u n ) g (x,u ) g (x,u ) Kosten g n (x n,u n ) Periode Periode Periode 3 Periode n

13 Problemstellung verfolgt System über Zeit / über Stufen auf Basis einer Entscheidungsfolge (Politik / Steuerung) u,...,u n welche zu (zugehöriger) Zustandsfolge (x,...,x n,x n+ ) führt, wobei x :=x a und x + :=f (x,u ) =,...,n Eigenschaften zulässige Politik / Zustandsfolge genügt Nebenbedingungen generiert zulässige Lösung optimale Lösung / Politik / Zustandsfolge (Existenz vorausgesetzt) ist zulässig erreicht Optimierungsziel 3

14 Sind Funktionen f, g für =,...,n und Zustands-, Steuerbereiche X +, U für =,..., n gegeben, dann hängt optimale Lösung - sofern existent offensichtlich vom Anfangszustand x ab daher Bezeichnung für dieses Gesamtproblem P (x ). Analog hängt optimale Lösung des (Teil-)Problems, welches nur Perioden,...,n umfasst, ausschließlich von Anfangszustand x ab, daher Bezeichnung für dieses Teilproblem P (x ) für =,...,n Wesentliche Voraussetzung: f, g nur von Vorzustand und Entscheidung abhängig! 4

15 Existiere für Teilproblem P (x ) eine optimale Politik (u*,u* +,...,u* n ) mit resultierendem Minimalwert der Zielfunktion v* (x ) Aussage: Wird das Folgeproblem P + (x + ) mit Anfangszustand x + = x* + := f (x,u ) betrachtet, so ergibt sich für P + (x* + ) als optimale Politik (u* +,...,u* n ) mit Minimalwert (Teil-) Zielfunktion v* + (x* + ) Beweisskizze: Wenn nicht, so gäbe es für P + (x* + ) bessere Politik (u +,...,u n) mit niedrigerem Wert v + (x* + ) und folglich auch für P (x ) bessere Politik mit (u, u +,...,u n) mit niedrigerem Wert g (x,u* ) + v + (x* + ) < g (x,u* ) + v* + (x* + ) = v* (x* ) => Widerspruch zur Optimalitätsvoraussetzung für v* (x* ) 5

16 Satz 8. (Bellman sches Optimalitätsprinzip) Sei (u*,...,u*,...,u* n ) eine optimale Politik für P (x ) und x* Zustand (zu Beginn) Periode, dann ist (u*,...,u* n ) eine optimale Politik für P (x* ) (d.h. optimale Folgeentscheidungen (ab ) sind unabhängig von Vorentscheidungen (vor ), allerdings abhängig von Anfangszustand x ).. Der Beweis des Satzes folgt aus der Darstellung v* (x* ) = g (x,u* ) + v* + (x* + ) und der Minimalität der beiden Wertefunktionen v* (x* ) und v* + (x* + ). Allgemeine Darstellung durch Bellman sche Funktionsgleichung: v * (x ) = min u U (x ) { g (x,u ) v [f(x,u )] } * + + mit v* n+ (x n+ ) := für alle x n+ X n+ (wesentlich Voraussetzung für alles Folgende: Existenz optimaler Lösungen) 6

17 8.3 Bellman sche Funktionsgleichungsmethode In direkter Anwendung der B schen Funktionalgleichung, naheliegende Vorgehensweise (Alternativen existieren) rückwärts, also für =n, n-,..., startend mit v* n+ (x* n+ ) := und x* n+ X n+ erreicht man sukzessiv (und hält fest / speichert) v* (x* ) und x* X für =n, n-,..., wobei abschließend v* (x* ) das gesuchte Optimum ist. wobei man eweils zusätzlich die Minimalstelle z* (x ), die beste Entscheidung u des Klammerausdrucks der Gleichung { g (x, u ) v * + [f(x, u )] } + festhält, so dass für die Minimalstelle gilt g = (x min, z* u U (x ( x )) + ) v [f(x, z* (x ))] { } * g (x, u ) + v [f(x,u )] = v* ( x ) * + + 7

18 Folge (z *,...,z * n) wird als optimale Rückkopplungssteuerung bezeichnet Damit lässt sich vorwärts für =,,...,n (in Verfolgung der Bestentscheidungen und der daraus resultierenden Zustände) die optimale Politik (u*,...,u* n ) und die optimale Zustandsfolge (x*,...,x* n+ ) konstruieren, gemäß x* =x a => u* = z* (x* ) -> x* = f (x*,u* ) => u* =z* (x* ) -> => u* n = z* n (x* n ) -> x* n+ = f n (x* n,u* n ) Die berechnete Politik (u*,...,u* n ) und die Zustandsfolge (x*,...,x* n+ ) sind optimal für das Problem P (x * =x a ) Speicherung der Werte v* (x ) und z* (x ) für eden Zustand x 8

19 Alternative Berechnung (Variante ): Bestimme in der Rückwärtsberechnung nur die Funktionswerte v* (x ) (nicht aber die optimalen Entscheidungen z* (x )) Der optimale Funktionswert entspricht dem minimalen v* (x ) Bestimme in de Vorwärtsphase aus der Kenntnis der v* (x ) die eweils optimale Entscheidung, aus der sich der optimale Nachfolgezustand ergibt Beide Varianten bestehen aus einer Vorwärts- und einer Rückwärtsphase, die Rückwartsphase durchläuft alle Zustände und alle Wege zwischen Zuständen der Phase + und (=,...,n-) die Vorwärtsphase durchläuft den optimalen Pfad 9

20 Algorithmus zur dynamischen Optimierung (Variante ): Schritt I (Rückwärtsrechnung) v * n+(x n+ ) := for all x n+ X n+ For = n downto do For all x X do v * (x ) := min u U (x ) {g (x,u ) + v * +(f (x,u ))} ; z * (x ) := argmin u U (x ) {g (x,u ) + v * +(f (x,u ))} ; Schritt II (Vorwärtsrechnung) x * := x a ; For = to n do x * + := f (x *,z(x * )) ; Vorgehen erfordert keine speziellen Voraussetzungen an die Gestalt der Funktionen g und f!

21 Beispiel : Einfaches Lager- und Liefer-System Einfaches Lager für einen Warentyp, das periodisch beliefert wird und aus dem periodisch ausgeliefert wird Planung / Verfolgung des Lagersystems für n = 4 Perioden beschränkte Lagerkapazität: max Stück Lagerkosten: vernachlässigt initiale Lagerbelegung: leer beschränkte Belieferungskapazität: max Stück / Periode Belieferungskosten saisonal schwankend, aber bekannt, in Periode : q / Stück q =7, q =9, q 3 =, q 4 = feste Auslieferungsmengen Stück / Periode mit Auslieferung aus Lager oder direkt aus Anlieferung Auslieferungskosten: vernachlässigt Gesucht ist optimale Politik d.h. Entscheidungsfolge bzgl Belieferungsmengen u Stück / Periode die zu Lagerzuständen x Stück zu Beginn Periode führt die die Nebenbedingungen wahrt und die minimale Kosten u q +u q +u 3 q 3 +u 4 q 4 verursacht

22 Formalisierung: Steuerbereiche grob U (x ) {,,} (=,...,4) könnten zustandsabhängig begrenzt werden durch volles Lager Zustandsbereiche grob X ={,,} (=,...,4) davon abweichend begrenzt Initialzustand X ={} sinnvoller Endzustand X 5 ={} Zustands-(Transformations-)Funktionen (x + =) f (x,u ) = x + u - (=,...,4) Kostenfunktionen g (x,u ) = u q I.a. tritt ganz X als Menge möglicher Endzustände auf! Randbed: v* n+ (x n+ )= (=,...,4) Zustandsbereiche endlich Veranschaulichung des Problemraums mittels attributierten Digraphen möglich Darstellung der (diversen) Funktionen im Verfahrensverlauf mittels Tabellen sinnvoll

23 Veranschaulichung des Problemraums Nicht erreichbar: Lagerbegrenzung N.E.: Anfangszustand /8 / /9 / /4 /8 / /4 / / Nicht erreichbar: Lagerbegrenzung 3 4 x u/g N.E.: Endzustand /7 /9 / / k: Periode Durchführung: Bellman sche Funktionalgleichungsmethode mit { } * * Schlüsselbeziehung: v (x ) min g (x, u ) + v [f(x, u )] = u U (x + ) 3

24 Rückwärtsentwicklung, Periode 4 x 4 u 4 x 5 =f 4 (x 4,u 4 ) v* 5 (x 5 ) g 4 (x 4,u 4 ) v 4 (x 4,u 4 ) z* 4 (x 4 ) - q 4 = * * 3 Lager muss bei Periode 5 leer sein! also für Periode 4 zwei mögliche Zustände mit eweils optimalen Politiken unzulässiger Bereich optimale Werte Zur Erinnerung: g (x,u ) = u q q =7, q =9, q 3 =, q 4 = 4

25 Rückwärtsentwicklung, Periode 3 x 3 u 3 x 4 =f 3 (x 3,u 3 ) v* 4 (x 4 ) g 3 (x 3,u 3 ) v 3 (x 3,u 3 ) z* 3 (x 3 ) - 3 unzulässiger Bereich optimale Werte q 3 = q 3 =4 q 3 = Periode 4 erlaubt nur Zustände und * 4 * * Zur Erinnerung: g (x,u ) = u q q =7, q =9, q 3 =, q 4 = 5

26 Rückwärtsentwicklung, Periode x u x 3 =f (x,u ) v* 3 (x 3 ) g (x,u ) v (x,u ) z* (x ) - 3 unzulässiger Bereich optimale Werte q =9 q =8 q =9 q =8 Periode 3 erlaubt Zustände,, 3 8* 9 8* 9* Zur Erinnerung: g (x,u ) = u q q =7, q =9, q 3 =, q 4 = 6

27 Rückwärtsentwicklung, Periode : x u x =f (x,u ) v* (x ) g (x,u ) v (x,u ) z* (x ) - 8 q = q =4 3* unzulässiger Bereich optimale Werte Periode erlaubt nur Zustände und Zur Erinnerung: g (x,u ) = u q q =7, q =9, q 3 =, q 4 = Vorwärtsentwicklung: x * = u * = x * = u * = x * 3= u * 3= x * 4= u * 4= x * 5= optimale Politik: (,,,) und optimale Zustandsfolge: (,,,,) optimales Ergebnis v * () = 3 7

28 Veranschaulichung der algorithmischen Lösung Damit optimale Politik bekannt optimal für P (x ), auf optimaler Entscheidungsfolge optimal für P (x ), nicht auf optimaler Entscheidungsfolge Nicht erreichbar: Lagerbegrenzung N.E.: Anfangszustand /4 /7 /8 /9 /8 /9 Nicht erreichbar: Lagerbegrenzung / / 3 4 x u/g / /4 / / N.E.: Endzustand / / k: Periode 8

29 Beispiel : Spielproblem Verkaufsplanung Annahmen des Beispiels praktisch nicht voll motivierbar Planung der Verkaufsmengen für Typ von Gut dessen Verfügbarkeitsmenge kontinuierlich anwächst dessen Verkauf i. w. von erzielbaren Erlösen bestimmt ist Planung / Verfolgung des Verkaufssystems in Perioden für n = 3 Perioden Gut sei kontinuierlich teilbar (kein Stückgut, sondern z.b. Öl,Gas) => Verfügbarkeits-, Verkaufsmengen kontinuierlich Verkaufsmenge e Periode u R + ME in Periode Verkauf erfolgt unmittelbar nach Beginn Periode 9

30 Verfügbarkeitsmenge wächst (irgendwie) im Verlauf der Periode mit Faktor a (hier: a=) mit Verfügbarkeitsmenge x R + ME zu Beginn Periode => offensichtlich u x Zustandsfunktionen (x + =) f (x,u ) = a (x -u ) für =,,3 Anfangsbestand sei x = erzielbare Erlöse g (x,u ) GE in Periode wachsen unterlinear mit Verkaufsmenge, aber in eder Periode identisch gemäßg (x,u ) = u für =,,3 Gesucht: optimale Politik besteht aus Entscheidungen bzgl Verkaufsmengen u ME in Periode führt zu Beständen x ME zu Beginn Periode wahrt die Nebenbedingungen erreicht maximale Erlöse u + u + u 3 3

31 Formalisierung. Steuerbereiche U (x ) = [,x ] für =,,3 Zustandsbereiche X ={}, X =R + für =,3,4 Zustands-(Transformations-)Funktionen (x + =) f (x,u ) = a (x -u ) für =,,3 Kostenfunktionen g (x,u ) = u für =,,3 Im Gegensatz zu den bisherigen Beispielen kontinuierlicher Zustandsraum und Entscheidungsraum! Durchführung Bellman sche Funktionalgleichungsmethode angepasst an Maximierung und Problem v = * (x ) max = u max x { } * u g (x, u ) v [f(x, u )] U (x ) + + { } * u + v [(x - u )] + 3

32 Einige Vorüberlegungen: w(u):= [u] + [c(x-u)] mit c > und x fest z(x) := u + und u + = max [w(u); u x] w(u) strikt konkav über [,x] => Extremstelle in [,x] ist Maximum w Bestimmung der Extremstelle durch Nullsetzen der ersten Ableitung: sqrt((c+)x) c ( = ) w (u) = u c(x u) + x c u= c(x u) u = c + + x x(c+ ) x w(u ) = + c = (c + )x c+ c+ x/(c+) u sqrt(u) sqrt(c(x-u)) sqrt(u)+sqrt(c(x-u)) 3

33 Rückwärtsentwicklung: Periode 3: vereinbarungsgemäß ist v* 4 (x 4 )= und daher v* 3 (x 3 )=max u3 x { u 3 3 +} v* 3 (x 3 )= x 3 z* 3 (x 3 )=x 3 (zu Ende alles verkaufen) Periode : v* (x )=max u x { u + [(x -u )]} Maximalstelle? aus Vorüberlegungen, für c=, v* (x )= 3x z* (x )=x /3 Periode : v* (x )=max u x { u + [6(x -u )]} Maximalstelle? aus Vorüberlegungen, für c= 6 v* (x )= 7x z* (x )=x /7 Vorwärtsentwicklung: x * = u * =/7 x * =(x * -u * )=/7 u * = x * /3 = 4/7 x * 3=(x * -u * )=6/7 u * 3= x * 3 = 6/7 x * 4=(x * 3 -u * 3)= optimale Politik (/7,4/7, 6/7) optimale Zustandsfolge (,/7,6/7,) optimales Ergebnis v* ()= 7 =,65 33

34 Ausblick Eine Reihe weiterer Aspekte wären noch zu betrachten: Aufwandsbetrachtungen wg Rucksackproblem ist exponentieller Aufwand zu erwarten wodurch entsteht der Rechenaufwand? n Stufen, e Stufe X Zustände mit Verzweigungsgrad U Binäres Rucksackproblem: für ganzzahlige Werte, X={,,...,A}, Entscheidung binär, Algorithmus ist pseudopolynomial: O(nA) Speicherplatzbedarf: n X Entscheidungen z*, für Stufen Werte v* Verallgemeinerungen bzgl Verknüpfungsoperationen bzgl stochastischer Modelle Anwendungen Inhalt des nächsten Abschnitts Tricks, um Anwendungsprobleme geeignet zu betrachten, so dass diese passend formalisierbar sind bekannte / typische Anwendungen, Real-World Examples... Detaillierte Informationen z.b. in B. Bertsekas Kurs Dynamic Programming am MIT ( 34

35 8.4 Stochastische dynamische Programmierung Bisher untersucht Deterministische dynamische Optimierung System wird über endlichen Planungszeitraum aus n Perioden untersucht, wo zu Beginn von Periode Systemzustand x herrschte, begrenzt auf Zustandsbereich Z mit x Z (Benennungsänderung X Z) mit bekanntem Anfangszustand x =x a und Z ={x } wo in Periode Entscheidung u getroffen wurde, begrenzt auf (zustandsabhängigen) Steuerbereich U (x ) und u U (x ) wo aus Zustand x und Entscheidung u nächster Zustand x + resultierte gemäß x + =f (x,u ) Kosten / Erlöse g resultierten gemäß g (x,u ) Einführung probabilistischer / stochastischer Annahmen in Modelle dient (formalisierter) Beherrschung von problemspezifischen Unsicherheiten (aufwandsreduzierender) Einführung von Unsicherheiten in die Problemstellung 35

36 Entscheidung u auf Basis von Zustand x getroffen, führt (im Rahmen der Modellbeschreibung) nicht zu eindeutigem Folgezustand x + sondern zu einem der erlaubten Folgezustände x + Z + Motivierende Betrachtungen In Bsp könnten Auslieferungsmengen statt konstant als schwankend angenommen sein, wobei die Ursache des Schwankens entweder tatsächlich unbekannt (Unsicherheit) oder nicht detailliert beschrieben (Aufwandsreduktion) Belieferungskosten statt e Periode zu q /Stück fest als schwankend angenommen sein, wobei die Ursache des Schwankens entweder tatsächlich unbekannt (Unsicherheit) oder nicht detailliert beschrieben (Aufwandsreduktion) Analog in Bsp Verfügbarkeitsmengen schwankend (z.b. wg Ausschuss) erzielbare Erlöse nicht präzise sondern in Grenzen schwankend 36

37 Unter stochastischen Annahmen wird erreichter Folgezustand x + erfasst durch Zufallsvariable x +, deren Verteilung die Regelmäßigkeiten des Schwankens /Häufigkeiten/Wahrscheinlichkeiten der realisierten Folgezustände x + Z + beschreibt wo bei endlichem / abzählbarem Zustandsbereich Z + Verteilung charakterisiert (z.b.) durch Menge bedingter Wahrscheinlichkeiten wo bei kontinuierlichem Zustandsbereich Z + Verteilung charakterisierbar (z.b.) durch (bedingte) Dichtefunktion werden resultierende Kosten/Erlöse erfasst durch erweiterte Funktion g (x,u,x + ), d.h. zusätzlich von realisiertem Folgezustand abhängig) bzw. als Zufallsvariable G mit zugehöriger (bedingter) Verteilung {PG (g x,u )} bzw fg (g x,u ) falls Z + diskret bzw kontinuierlich andere Möglichkeit: gemeinsame Verteilung (G,X + ) 37

38 Bellman sche Funktionalgleichung Unter diesen Annahmen (Ziel: Bellman sche Fktgl.) ist der minimal Zielfunktionsbeitrag der Perioden,...,n von realisiertem Zustand x zu Beginn Periode startend ebenfalls als Zufallsvariable V* (x ) zu charakterisieren, mit ihrer Verteilung und ihrem Erwartungswert E[V* (x )] setzt sich der Erwartungswert des minimalen Zielfunktionsbeitrags (Perioden,...,n) von Zustand x startend, bei Realisierung eines Folgezustands (additiv) zusammen gemäß g (x,u,x + )+E[V* (x + )] (Folgezustände treten gemäß Verteilung auf) ergibt sich die Bellman sche Funktionalgleichung analog zur Ableitung der deterministischen Form bei diskreter Zustandsbereich Z + E[ V * ( x )] = min {( g ( x, u, x) E[ V * ( x)] ) PX ( x x, u )} u U ( x ) x Z

39 Spezialfall der stochastisch dynamischen Entscheidungsprozesse: Markov sche Entscheidungsprozesse mit endlichem Zustandsraum und Steuerbereich Zustandsraum X = {,...,m} und Steuerbereich U(i) = {u i,...,u isi } (i =,...,m) Sei x =i Zustand zu Beginn von Periode System geht zu Beginn von Periode + mit Wahrscheinlichkeit p ik (u iσ ) in Zustand x + =k bei Entscheidung u iσ über es gilt für die Übergangswahrscheinlichkeiten p k (u iσ ): m p = ( u = für alle i X und u iσ U(i) k ik iσ ). Übergangswahrscheinlichkeiten hängen nur vom Zustand und der gefällten Entscheidung ab (homogener Markov scher Entscheidungsprozess) Erwartete Kosten der Entscheidung u iσ in Zustand i: E = m ( g( i, uiσ )) k = pik ( ui ) g( i, u σ iσ, k) 39

40 g(i,u iσ,k) Kosten, die anfallen, wenn in Zustand i Entscheidung u iσ zu einem Zustandsübergang nach k führt Belman sche Funktionsgleichung: { m } k v (i) min E(g(i, u )) p (u )v (k) = + i = * * σ=,...,s iσ ik iσ + Sei σ * (i) ein Entscheidung σ, für den das Minimum v * (i) angenommen wird (also eine optimale Entscheidung im Zustand i für Periode ) Bestimmung von σ * (i) und v * (i): Auswertung der Funktionsgleichung rückwärts von = n bis ausgehend von v * n+(i) = für i =,...,m Anschließende Vorwärtsberechnung von = bis n ermittelt die optimale Politik und die dadurch auftretenden Zustandswahrscheinlichkeiten (keine eindeutige Zustandsfolge!) Vorgehen im Prinzip analog zum deterministischen Fall 4

41 Erweiterung des Beispiels von Folie -3 Zus. Annahme mit Wahrscheinlichkeit.5 wird ein Teil in der Periode ausgeliefert und mit Wahrscheinlichkeit.5 wird kein Teil ausgeliefert Endzustand am Ende der vierten Periode kann damit nicht gefordert werden! Folgende Graphik zeigt nur die optimalen Entscheidungen in einem Zustand in der Form u/g Optimale Politik abhängig von der Nachfrage (d.h. situationsabhängig entscheiden) /4 (.5) () / / () (5) / / () () / / /9 / / (.75) () (7) () () () () 4

42 Bisherige Betrachtung fokusierte auf einen endlichen Planungshorizont und betrachtete den akkumulierten Gewinn oder die akkumulierten Kosten Oft sollen Gewinne/Kosten über einen unendlichen Planungshorizont untersucht werden, dann ist das bisherige Vorgehen offensichtlich nicht anwendbar, da Gewinne/Kosten unendlich wären unendliche Zustandssequenzen analysiert werden müssten Alternative Interpretation von Kosten/Gewinn: Erwartungswert pro Schritt Gewinne werden durch Diskontierungsfaktor α < geschmälert d.h. Gewinn x in k Perioden ist etzt nur α k xwert Analysemethoden: Lineare Programmierung Politikiteration 4

43 Bestimmung des Erwartungswerts pro Schritt: v* (i) sind die minimalen Kosten im Zustand i nach Schritten c (i) = v* (i) / Grundlagen zur Bestimmung optimaler Politiken: Man kann zeigen (ohne dass wir es tun werden), dass lim c + (i) = c + (i)= E(C + ) und E(C + ) sind die minimalen erwarteten Kosten des Markov schen Entscheidungsproblems mit unendlichem Planungshorizont sind eine stationäre optimale Politik σ + = (σ + (),...,σ + (m)) existiert, so dass bei Wahl von Entscheidung σ + (i) in Zustand i bei einem unendlichen Planungszeitraum die erwarteten Kosten E(C + ) auftreten E(C + ) und σ + erfüllen die Gleichung mit m m k= ki + k σ (k) k= m E(C) = π (k)e(g(i,u )) + stationäre Lösung π (i) = π(k)p (u ) und π (k) = Annahme stationäre Lösung existiert ( irreduzibler Markov-Prozess) k= i σ (i) 43

44 Darstellung als lineares Programm: Sei y iσ (i {,...,m}, σ {,...,s i }) die Wahrscheinlichkeit im Zustand i zu sein und Entscheidung σ zu treffen Es gilt (lineare Nebenbedingungen): m m s i i= i= σ= s i π (i) = y =. und m Zielfunktion: s i iσ y = y p ( σ) iσ iσ i σ= i= σ= Außerdem muss y iσ gelten m s i min y E(g(i, u )) i= σ= iσ iσ Mittels Simplex- Algorithmus lösbar Variablenzahl: Σ i=,..m s i Aus dem bisher gesagten folgt, dass für die optimale Lösung y iσ = für genau ein σ und für alle anderen ρ {,...,s i } \ {σ} y iρ = 44

45 Lösung mittels Politikiteration: Für eine Politik σ = (σ(),..,σ(m)) gilt m i σ(i) k= ik i σ(i) G( σ) + v(i) = E(g(i, u )) + p (u )v(k) (i =,..., m) wobei m m k= k σ(k) i= ik i σ(i) = π π = π G( σ ) E(g(k,u )) (k) und (k) p (u ) (i) Erläuterung des Zusammenhangs für eine feste Politik σ Für große n gilt v (i) n G( σ) + v(i) n und damit auch v(i) n v() n v(i) v() Eingesetzt in die rekursive Beziehung ergibt sich (Vorsicht, es wird rückwärts von n aus gerechnet): m v(i) n = E(g(i,u iσ)) + p k ik(u i σ(i) )v n (k) = m ng( σ) + v(i) = E(g(i,u iσ)) + p k ik(u i σ(i) )((n )G( σ ) + v(k)) = m G( σ) + v(i) = E(g(i, u )) + p (u )v(k) iσ k= ik i σ(i) 45

46 Ausprobieren aller möglichen Politiken führt zu einem Algorithmus mit Aufwand Πs i (inakzetabel) Besser schrittweise Verbesserung der Politik. starte mit einer Politik σ = (σ(),...,σ(m)) T wähle eine gute Näherungspolitik oder wähle σ(i) so dass E(g(i,u iσ(i) ) minimal. berechne die zugehörigen Werte v = (v(),...,v(m)) T v ist die Lösung des linearen Gleichungssystems m i σ(i) k= ik i σ(i) G( σ) = E(g(i,u )) + p (u )v(k) v(i) (i =,...,m) wobei v(m) = gesetzt wird (sonst keine eindeutige Lsg.) 3. bestimme verbesserte Politik σ aus der folgenden Minimierung i ( m ) k= min E(g(i, u )) + p (u )v(k) σ '(i) =,...,s i σ'(i) ik i σ'(i) für i =,...,m 4. Falls σ =σ optimale Politik erreicht, sonst σ=σ und fahre bei. fort (es gilt dann G(σ ) < G(σ)) 46

47 Analyse der Kosten bei Multiplikation mit Diskontierungsfaktor α < (spätere Kosten sind positiv) Bellman sche Funktionsgleichungen: { } m + E( g( i, u )) + α p ( u ) v ( k + v ( i) = minσ =,..., si iσ k = ik iσ ) mit v + (i) = für i =,..., m Ziel: Ermittlung einer optimalen Politik, so dass bei einem unendlichen Planungshorizont lim n v + n(i) minimiert wird (durch Diskontierung bleiben Kosten endlich!) Mögliche Lösungsmethoden: Wertiteration Politikiteration 47

48 Wertiteration: Man kann zeigen (ohne dass wir es tun werden), dass lim v + (i) = v + (i) und v + (i) die minimalen diskontierten erwarteten Kosten des Markov schen Entscheidungsproblems mit unendlichem Planungshorizont sind eine stationäre optimale Politik σ + = (σ + (),...,σ + (m)) existiert, so dass bei Wahl von Entscheidung σ + (i) in Zustand i bei einem unendlichen Planungszeitraum die erwarteten Kosten v + = (v +,...,v + m) auftreten v + und σ + erfüllen die Gleichungen v + m + ( i) = E( g( i, u + )) + α + i i k = pik ( u ) v ( k) σ ( ) iσ ( i) 48

49 Werteiteration (schrittweise Approximation der optimalen Kosten):. Initialisiere v + (i) = für alle i =,...,m. Bestimme für eden Zustand: }( m ) { k v + (i) min E(g(i, u )) p (u )v + n = (k) σ (i),...,s i σ (i) +α = ik i σ (i) n n i n n und speichere gewählte Politik σ Falls für vorgegebenes ε>: (v + n(i) - v + n-(i))/ v + n(i) <ε für alle i =,...,m, setze v + = v + n und σ + = σ + n Einige Bemerkungen zum Verhalten des Algorithmus: Die optimale Politik muss nicht erreicht werden Auch wenn das Abbruchkriterium erfüllt ist, kann die gefundene Lösung noch weit vom Optimum entfernt sein. Die Iterationen sind sehr effizient realisierbar, da keine Gleichungssysteme zu lösen sind. 49

50 Politikiteration: Idee (auf Basis des Wissens, dass eine optimale Politik existiert):. starte mit einer Politik σ = (σ(),...,σ(m)) T wähle eine gute Näherungspolitik oder wähle σ(i) so dass E(g(i,u iσ(i) )) minimal. berechne die zugehörigen Werte v = (v(),...,v(m)) T v ist die Lösung des linearen Gleichungssystems m ( ) m k v( i) = E( g( i, ui i) )) + σ α = pik ( uiσ ( i ) v( k) ( i =,..., 3. bestimme verbesserte Politik σ mit zugehörigen Werten v ( v) neue Politik σ wird aus der folgenden Minimierung bestimmt i m i σ'(i) k= ik i σ'(i) E(g(i,u )) + α p (u )v(k) = min E(g(i, u )) +α p (u )v(k) ( m ) k= σ=,...,s iσ ik iσ Falls σ =σ wurde die optimale Politik σ + erreicht σ + wird immer nach endlich vielen Iterationen erreicht ) 5

51 Einige Bemerkungen zum Abschluss Politikiteration sollte verwendet werden, wenn eine gute initiale Politik bekannt ist der Zustandsraum relativ klein ist Werteiteration sollte verwendet werden, wenn der Zustandsraum sehr groß ist der resultierende Markov-Prozess nicht (immer) irreduzibel ist Weiter Möglichkeiten Lineare Programmierung (als Erweiterung der Vorgehensweise bei der Berechnung erwarteter Kosten) Hybride Ansätze als Mischung von Wert- und Politikiteration 5