Markovsche Entscheidungsprozesse - Teil III Der erwartete Gesamtgewinn. Universität Siegen

Transkript

1 Markovsche Entscheidungsprozesse - Teil III Der erwartete Gesamtgewinn Jan Müller Universität Siegen Sommersemester 2009

2 Inhaltsverzeichnis 1 Das Gesamtgewinn-Kriterium Die Existenz des erwarteten Gesamtgewinns Die Optimalitätsgleichung Identifikation von optimalen Strategien Existenz von optimalen Strategien Positive Modelle Die Optimalitätsgleichung Identifikation von optimalen Strategien Negative Modelle Die Optimalitätsgleichung Identifikation und Existenz von optimalen Strategien II

3 1 Das Gesamtgewinn-Kriterium Bei der Betrachtung von Markovschen Entscheidungsprozessen (MDP) spielt die Frage der zu wählenden Strategie eine zentrale Rolle. Man sucht eine optimale Strategie und ist somit interessiert an folgenden Fragen: 1. Gibt es eine optimale Strategie? 2. Wie kann man eine solche Strategie finden? 3. Welchen Gewinn liefert diese Strategie bzw. welchen Wert hat der MDP? Bei diesen Fragen geht es zum einen um Existenzaussagen, zum anderen aber auch um den Vergleich von verschiedenen Strategien. Wann ist eine Strategie besser oder schlechter als eine andere? Im Verlauf des Prozesses treten immer wieder Gewinne (positiv oder negativ) auf, die letztlich die Unterschiede zwischen zwei Strategien ausmachen. Einerseits können diese Gewinne auf den Startzeitpunkt diskontiert werden, um einen aktuellen Wert der Strategie zu erhalten (Teil II). Andererseits kann man einen undiskontierten, erwarteten Gesamtgewinn als Vergleichskriterium heranziehen. Es werden also alle auftretenden Gewinne in ihrer tatsächlichen Höhe aufsummiert. Dieses sogenannte Gesamtgewinn-Kriterium wird hier vorgestellt. Wenn es in den ersten Schritten darum geht, Aussagen über die Existenz und Eindeutigkeit von optimalen Strategien herzuleiten, dann kann man versuchen, einen ähnlichen Weg wie im Fall diskontierter Modelle einzuschlagen. Abgesehen von einem Diskontierungsfaktor λ handelt es sich um den gleichen Ansatz. Beim Beweis der entsprechenden Aussagen in Teil II sind einige Resultate von Bedeutung: 1. Die Operatoren L und L sind Kontraktionen auf V. 2. (I λp d ) 1 existiert und ist positiv. 3. Für v V und π Π MR gilt lim n λn 1 Pπ n v(s) = lim λ n 1 Es π (v(x n )) = 0 für alle s S. (1.1) n Als wichtige Voraussetzung für diese Ergebnisse gab es die Einschränkung von λ auf das Intervall [0, 1). Die hier vorgestellten Modelle entsprechen den diskontierten Modellen mit Diskontierungsfaktor λ = 1, sie erfüllen also nicht die Voraussetzungen, um die obigen Ergebnisse übernehmen zu können. Somit kann nicht dieselbe Vorgehensweise gewählt werden. Im Folgenden wird S endlich oder abzählbar sowie j S p(j s, a) = 1 für a A s vorausgesetzt. 1

4 1.1 Die Existenz des erwarteten Gesamtgewinns Da die hier betrachteten Modelle nicht endlichstufig sind, handelt es sich beim Gesamtgewinn, wie die folgende Definition zeigt, um eine unendliche Reihe. Definition 1.1 (Gesamtgewinn). Sei π Π HR und N <. Dann ist der erwartete Gewinn der Strategie π mit Start im Zustand s zum Zeitpunkt N definiert durch v π N(s) := E π s { N 1 t=1 r(x t,y t ) }. Der erwartete Gesamtgewinn einer Strategie ist v π (s) := E π s { } r(x t,y t ). (1.2) t=1 Der Wert eines MDP unter diesem Kriterium ist dann v (s) := sup v π (s). π Π HR Das Ziel ist es nun, diesen Wert zu bestimmen und eine Strategie zu finden, deren erwarteter Gesamtgewinn gleich (oder in einer ε-umgebung von) v ist. Wünschenswert wäre ein Darstellung des erwarteten Gesamtgewinns in der Form v π (s) = lim vπ N(s), (1.3) um eine Strategie zu suchen, die einen gewissen Wert erreichen soll. Damit diese Darstellung möglich ist, muss geklärt werden, ob Erwartungswert und Limes in (1.2) vertauscht werden dürfen. Da ein Beispiel konstruiert werden kann, so dass lim sup vn(s) π > lim inf vπ N(s) für alle s S gilt, müssen weitere Annahmen getroffen werden, damit v π wohldefiniert ist. Dazu wird der Gesamtgewinn in einen Positiv- und einen Negativteil zerlegt: Sei r + (s, a) := max (r(s, a), 0) r (s, a) := max ( r(s, a), 0) und 2

5 und definiere damit v π +(s) := lim Eπ s v π (s) := lim Eπ s { N 1 t=1 { N 1 r + (X t,y t ) } } r (X t,y t ). t=1 Da r + und r gerade so gewählt wurden, dass sie nicht-negativ sind, existieren die obigen Grenzwerte. Daher kann der erwartete Gesamtgewinn einer Strategie π in Abhängigkeit vom Anfangszustand s mit Hilfe dieser Definitionen als v π (s) =v π +(s) v π (s) dargestellt werden. Nun genügt es, die Endlichkeit von einem der beiden Summanden vorauszusetzen, um die Wohldefiniertheit von v π zu garantieren: Annahme 1.2. Sei π Π HR und s S. Dann ist entweder v π +(s) oder v π (s) endlich. Somit ist (1.3) eine zulässige Darstellung von v π. Die beiden Möglichkeiten, die Annahme zu erfüllen, liefern auf natürliche Weise eine Fallunterscheidung. Die beiden entstehenden Modelle (positives und negatives Modell) finden bei unterschiedlichen Problemen ihre Anwendung und unterscheiden sich auch in den erzielten theoretischen Ergebnissen, den benötigten Voraussetzungen und den verwendeten Beweistechniken. In Kapitel 2 werden positive Modelle und in Kapitel 3 negative Modelle vorgestellt. Beide Modelle greifen auf die folgenden, allgemeineren Resultate zurück. und 1.2 Die Optimalitätsgleichung In diesem Abschnitt wird gezeigt, dass der Wert eines MDP unter dem Gesamtgewinn- Kriterium eine Lösung der Optimalitätsgleichung ist. Hinzu kommen einige nützliche Eigenschaften, die u.a. die Menge der zu untersuchenden Strategien deutlich einschränken. Teilweise sind diese aus dem diskontierten Modell bekannt. Proposition 1.3. Unter der Annahme 1.2 gilt v (s) := sup v π (s) = sup v π (s) für alle s S. π Π HR π Π MR Werden diese Suprema angenommen, so folgt daraus nicht die Existenz einer optimalen, zufälligen markovschen Strategie, da es möglich ist, dass für jedes s S eine andere Strategie π Π MR das Supremum erreicht. In Teil II wurde ein auch für λ = 1 gültiges Lemma gezeigt, das die Einschränkung auf deterministische markovsche Entscheidungsregeln ermöglicht: 3

6 Lemma 1.4. sup {r d + P d v} = sup {r d + P d v} für alle v V. d D MR d D MD Mit Hilfe dieser beiden Resultate lässt sich nun die Hauptaussage des Abschnitts formulieren, die auch die Grundlage für die weiteren Schritte ist. Satz 1.5. Sei Annahme 1.2 erfüllt. Dann ist der Wert eines MDP, v, eine Lösung der (Optimalitäts-)Gleichung v = sup {r d + P d v} =: Lv. d D MD Beweis. Die Aussage folgt aus den beiden Ungleichungen v Lv und v Lv. Sei ε> 0 beliebig und π Π HR eine Strategie mit v π v εe (ε-optimale Strategie). Aus der Definition von v folgt v r d + P d v π für alle d D MD v sup {r d + P d v π } d D MD sup {r d + P d v } εe, da π ε optimale Strategie d D MD = Lv εe v Lv, da ε> 0 beliebig. Wähle s S fest und ε > 0 beliebig. Dann folgt mit Proposition 1.3, dass eine Strategie π =(d 1,d 2,... ) Π MR Π HR mit v π (s) v (s) ε existiert. Dabei hängt π möglicherweise von s ab. Sei nun π =(d 2,d 3,... ). Dann gilt: v (s) ε r d1 (s)+p d1 v π (s) r d1 (s)+p d1 v (s) sup {r d (s)+p d v (s)} d D MR = sup {r d (s)+p d v (s)} d D MD v (s) Lv (s), da ε> 0 beliebig v Lv Dieser Satz ist auch für allgemeine Zustandsräume gültig, also nicht nur für den hier relevanten, endlichen oder abzählbaren Fall. Die Anwendung auf ein Modell mit einer einzigen Entscheidungsregel d ergibt 4

7 Korollar 1.6. Sei d D MR. Dann ist v = v d eine Lösung der Gleichung v = r d + P d v =: L d v. Da P d eine stochastische Matrix ist, die Zeilensummen also 1 sind, gilt sup d D MD {r d + P d (v + ce)} = v + ce für einen beliebigen Faktor c R. Die Optimalitätsgleichung stellt also keine eindeutige Charakterisierung des Wertes eines MDPs dar. Die Optimalitätsgleichung lässt sich in Komponentenschreibweise als { } v(s) = sup a A s r(s, a)+ j S p(j s, a)v(j) darstellen. Wird in dieser Gleichung das Supremum über A s angenommen, so lässt sich die Optimalitätsgleichung (wieder in Vektorschreibweise) ausdrücken als v = max d D MD {r d + P d v} =: Lv. Im Gegensatz zum diskontierten Fall handelt es sich bei L und L nicht um Kontraktionen, was die Anwendung des Banachschen Fixpunktsatzes verhindert. Einige nützliche, eher technische Eigenschaften liefert das folgende Lemma. Lemma 1.7. (a) Für beliebige u, v V mit u v gilt Lu Lv und Lu Lv. (b) Für c R und v V gilt L (v + ce) =Lv + ce. (c) Sei (v n ) V, n N, eine monoton wachsende Folge von Funktionen, die punktweise gegen v V konvergiert. Dann gilt lim L dv n = L d v für alle d D MD. n Beweis. (a) Für beliebiges ε> 0 existiert eine Entscheidungsregel d D MD, so dass Lu r d + P d u + εe r d + P d v + εe Lv + εe gilt. Da ε> 0 beliebig gewählt wurde, folgt die Behauptung. (b) Klar, da P d eine stochastische Matrix ist. (c) Folgt aus dem Satz über monotone Konvergenz. 5

8 1.3 Identifikation von optimalen Strategien Bei der weiteren Betrachtung erweisen sich Entscheidungsregeln mit einer besonderen Eigenschaft als hilfreich. Definition 1.8. Eine Entscheidungsregel d D MD heißt konservierend, wenn gilt. r d + P d v = v Wenn eine konservierende Entscheidungsregel für eine weitere Periode angewendet wird, ändert sich der erwartete Gesamtgewinn nicht. Er bleibt beim (optimalen) Wert v. Wegen sup {r d + P d v } = sup {r d + P d v } = Lv = v d D MR d D MD lässt sich die Menge der in Frage kommenden Entscheidungsregeln auf die konservierenden Entscheidungsregeln in D MD beschränken. Als Folgerung aus Satz 1.5 wird nun ein Zusammenhang zwischen optimalen Strategien und Lösungen der Optimalitätsgleichung formuliert. Satz 1.9. Sei π Π HR optimal. Dann ist v π eine Lösung der Optimalitätsgleichung. Im diskontierten Fall wurde gezeigt, dass die Existenz einer konservierenden Entscheidungsregel eine hinreichende Bedingung für die Optimalität der zugehörigen stationären Strategie ist. Hier handelt es sich dabei jedoch nur um eine notwendige Bedingung, die mit einer zusätzlichen Voraussetzung zu einer hinreichenden Bedingung ergänzt werden kann. Satz (a) Sei d optimal. Dann ist d konservierend. (b) Wenn d D MD konservierend ist und gilt, dann ist d optimal. lim sup Pd N v (s) 0 für alle s S (1.4) Beweis. (a) Aus der Optimalität folgt, dass r d + P d v = r d + P d v d. Nach Korollar 1.6 ist v d eine Lösung der Optimalitätsgleichung, also r d + P d v d = v d. Daraus folgt mit der Optimalität die Behauptung. 6

9 (b) Da d eine konservierende Entscheidungsregel ist, lässt sich v für beliebiges N als v = n=0 P n 1 d r d + Pd N v darstellen. Wähle s S und ε> 0. Für N hinreichend groß ist der erste Term der rechten Seite durch v d (s)+ε beschränkt. Wegen (1.4) lässt sich der zweite Term der rechten Seite durch ε nach oben abschätzen. Zusammen ergibt dies v (s) v d (s)+2ε. Daraus folgt v (s) =v d (s), da ε> 0 beliebig. Die Voraussetzung (1.4) kann zu lim sup Es d {v (X N+1 )} 0 umgeformt werden. Entscheidungsregeln, die diese Eigenschaft haben, führen das System langfristig in Zustände, in denen die Chance auf positive zukünftige Gewinne klein ist. Diese Bedingung war im diskontierten Fall implizit durch (1.1) erfüllt, so dass dies dort auf alle Entscheidungsregeln zutraf. In negativen Modellen ist diese Voraussetzung wegen v 0 trivialerweise gegeben. 1.4 Existenz von optimalen Strategien Abschließend wird nun die Frage der Existenz von optimalen Strategien untersucht. Dazu wird neben Existenzaussagen für diskontierte Modelle auch das folgende technische Lemma benötigt. Lemma Es gelte Annahme 1.2. Sei (λ n ) eine nicht-fallende Folge von Diskontierungsfaktoren, die gegen 1 konvergiert. Dann gilt v π (s) = lim n v π λ n (s) für alle s S, π Π HR. Satz Seien S und A s endlich. Dann existiert eine stationäre, deterministische, optimale Strategie. Beweis. Für jedes λ mit 0 λ< 1 existiert eine stationäre, optimale Strategie für das diskontierte Modell (vgl. Teil II). Sei (λ n ) eine monotone Folge, die gegen 1 konvergiert. Da D MD endlich ist (wegen S und A s endlich), existiert eine Teilfolge (λ nk ) und eine Entscheidungsregel d, so dass v (d ) λ nk = v λ nk für k =1, 2,... 7

10 Aus dem vorherigen Lemma folgt dann für eine beliebige Strategie π Π HR und s S v π (s) = lim k v π λ nk (s) lim Somit ist (d ) eine optimale Strategie. (d ) v λ k nk (s) =v (d ) (s). 2 Positive Modelle In diesem Kapitel werden ausschließlich positive Modelle betrachtet. Darunter versteht man Modelle, die neben den bisherigen Voraussetzungen auch die folgenden beiden Annahmen erfüllen: Annahme 2.1. (a) v π +(s) < für alle Zustände s S und Strategien π Π HR. (b) Für jeden Zustand s S existiert mindestens eine Aktion a A s mit r(s, a) 0. Unter diesen Annahmen ist garantiert, dass der erwartete Gesamtgewinn wohldefiniert ist. Annahme 2.1(a) stellt einen der beiden möglichen Fälle aus Annahme 1.2 dar. Annahme 2.1(b) bedeutet, dass es in jedem Zustand möglich sein soll, einen positiven Gewinn zu erzielen bzw. zumindest einen Verlust zu vermeiden. Gesucht ist nun eine Strategie, die diese Gewinne und damit auch den erwarteten Gesamtgewinn maximiert. Im Gegensatz zu dieser Fragestellung aus dem Bereich der Gewinnmaximierung wird im nächsten Kapitel ein Modell für Probleme der Kostenminimierung vorgestellt. 2.1 Die Optimalitätsgleichung Bisher konnte lediglich gezeigt werden, dass der Wert des MDP eine Lösung der Optimalitätsgleichung ist, aber wegen der fehlenden Eindeutigkeit dieser Lösung ist man an einer weiteren Charakterisierung der Lösung interessiert. Einige Eigenschaften positiver Modelle lassen sich mit Hilfe der Menge beschreiben. Proposition 2.2. (a) L0 0. V + := {v : S R : v 0 und v(s) < für alle s S} (b) Es existiert eine Entscheidungsregel d D MD mit v d 0. (c) v 0. (d) L : V + V +. (e) Sei d D MD beliebig. Dann gilt r d 0 in jedem rekurrenten Zustand von P d. 8

11 Beweis. (a) Nach Annahme 2.1(b) existiert eine Entscheidungsregel d D MD mit r d 0. L0 = sup {r d + P d 0} = sup {r d } r d 0. d D MD d D MD (b) Es gilt v d = (P d ) n 1 r d für alle d D MD. Da nach Annahme 2.1(b) eine Entscheidungsregel d D MD mit r d v (d ) 0. 0 existiert, ist (c) Folgt aus (b), da v v (d ) 0. (d) Nach Lemma 1.7(a) ist L monoton steigend, nach Teil (a) gilt L0 0 und aus Annahme 2.1(a) folgt die Beschränktheit. (e) Sei s ein rekurrenter Zustand von P d und r d (s) > 0. Dann ist die Anzahl der Eintritte in den Zustand s unter der Strategie d unendlich, es gilt also { } v+ d (s) =Es d r + (X t,y t ) =. Dies widerspricht 2.1(a) und damit folgt die Behauptung. t=1 Teil (e) dieser Proposition ist eine hinreichende Bedingung für die Gültigkeit von Annahme 2.1(a), falls S endlich ist. Für eine abzählbare Menge von Zuständen werden weitere Bedingungen benötigt. Um v als minimale Lösung der Optimalitätsgleichung identifizieren zu können, wird folgender Satz benötigt, der für v eine Beschränkung nach oben liefert. Satz 2.3. Wenn ein v V + mit v Lv existiert, dann gilt v v. Beweis. Sei π =(d 1,d 2,... ) Π MR. Nach Voraussetzung gilt dann v Lv = sup {r d + P d v} r d + P d v für alle d D MR. d D MR Durch mehrfache Anwendung dieser Ungleichung erhält man v r d1 + P d1 v r d1 + P d1 r d2 + P d1 P d2 v Pπ n 1 r dn + Pπ N v = v π N+1 + P N π v. 9

12 Da v V +, gilt P N π v 0 und damit v v π N+1 für alle N. Daraus folgt v vπ für alle zufälligen markovschen Strategien. v sup π Π MR v π = v. Mehrere der bisher erzielten Resultate gemeinsam ergeben nun die zentrale Aussage über v : 1. Wenn man eine Lösung der Optimalitätsgleichung gefunden hat, dann ist diese größer oder gleich v (Satz 2.3 auf den Fall Lv = v angewendet). 2. v ist eine Lösung der Optimalitätsgleichung (Satz 1.5). 3. v 0 (Proposition 2.2(c)) und liegt damit in V +. Satz 2.4. (a) v ist die kleinste Lösung von v = Lv in V +. (b) v d ist die kleinste Lösung von v = L d v in V + für eine Entscheidungsregel d D MR. Im diskontierten Fall wird analog zur oberen Schranke (Satz 2.3) auch eine untere Schranke für v bereitgestellt. Dies ist hier nicht ohne eine zusätzliche Bedingung möglich: Satz 2.5. (a) Wenn ein v V + mit v Lv und lim sup existiert, dann gilt v v. Es π {v(x N )} = lim sup Pπ N v(s) = 0 für alle π Π MD (2.1) (b) Sei Lv = v und (2.1) sei erfüllt. Dann gilt v = v. Beweis. (a) Wähle ε> 0 beliebig und sei (ε i ) eine positive Folge mit i=1 ε i <ε. Aus der Voraussetzung v Lv folgt die Existenz einer Entscheidungsregel d N D MD, so dass v r dn + P dn v + ε N e für alle N gilt. Mit Hilfe von Lemma 1.7 und der Anwendung von L folgt daraus, dass eine Strategie π =(d 1,d 2,... ) Π MD existiert mit v P n 1 π r dn + P N π v + ε i e für alle N. i=1 10

13 Nun folgt der Übergang zum Grenzwert und die Verwendung der zweiten Voraussetzung: N 1 v lim Pπ N r dn + lim sup Pπ N v + εe v π + εe v + εe. Wegen ε> 0 beliebig folgt die Behauptung. (b) Folgt unmittelbar aus (a). 2.2 Identifikation von optimalen Strategien Auch für positive Modelle lässt sich ein Zusammenhang zwischen der optimalen Strategie und der Optimalitätsgleichung herstellen: Satz 2.6. (a) Eine Strategie π Π HR ist genau dann optimal, wenn Lv π = v π. (b) Wenn d D MD konservierend ist und dann ist d optimal. Beweis. (a) Dies ist gerade Satz 1.9. lim sup Pd N v (s) = 0 für alle s S, Nach Voraussetzung gilt Lvπ = v π. Daraus folgt mit Satz 2.3, dass v π v. Aus der Definition von v folgt dann, dass π optimal sein muss. (b) Folgt direkt aus Satz 1.10(b). Zur iterativen Bestimmung des Wertes eines MDP wird der Algorithmus des folgenden Satzes angewandt. Satz 2.7. In einem positiven Modell sei v 0 = 0 und v n+1 = Lv n. Dann konvergiert v n punktweise monoton gegen v. Beweis. (Skizze) 11

14 Wegen Monotonie (Lemma 1.7) und Positivität (Proposition 2.2) von L ist (v n ) monoton wachsend. Es gibt eine Strategie π, so dass v n = v π n für alle n. Es gilt lim n vn (s) =v(s) für alle s S, also punktweise Konvergenz. Mit Hilfe der Monotonie von L erhält man Lv v. L d v n v Lv für alle n und d D MD. Wegen Lemma 1.7(c) folgt daraus Lv = Somit ist v eine Lösung von Lv = v. Es bleibt zu zeigen, dass v = v gilt. Man erhält v π + εe v und damit v v. sup L d v v Lv. d D MD Satz 2.4(a) besagt, dass v die kleinste Lösung der Optimalitätsgleichung ist, also folgt die Behauptung. 3 Negative Modelle In Bezug auf Markovsche Entscheidungsprozesse ist von einem negativen Modell die Rede, wenn r d 0für alle deterministischen markovschen Entscheidungsregeln gilt. Eine Beschränkung des Werts wie in positiven Modellen (v π +(s) < für alle s S und π Π HR ) existiert hier in anderer Form: Ist v π = für alle π Π HR, dann bietet das Gesamtgewinn- Kriterium keine Möglichkeit, Strategien miteinander zu vergleichen und andere Kriterien wären geeigneter. Um die Vergleichbarkeit zu gewährleisten, muss dafür gesorgt werden, dass nicht alle v π = sind: Annahme 3.1. Es existiert eine Strategie π Π HR, so dass v π (s) > für alle Zustände s S. 12

15 Die typische Anwendung für negative Modelle ist die Kostenminimierung. r(s, a) wird dabei als Aufwand verstanden. Es wird also eine Strategie gesucht, die das System so schnell wie möglich in Zustände überführt, deren Kosten gleich Null sind. Die Vorgehensweise in diesem Kapitel ist analog zu positiven Modellen. Unterschiede zeigen sich bei den Existenzaussagen und den Algorithmen: Die Existenz optimaler Strategien kann unter schwächeren Voraussetzungen gezeigt werden als es bei positiven Modellen der Fall ist. Diese zu finden ist jedoch schwieriger, da die Konvergenz der Iterationen gegen v nicht garantiert ist. 3.1 Die Optimalitätsgleichung Ähnlich wie V + wird nun eine Menge von Funktionen definiert, aus der die Lösung der Optimalitätsgleichung stammen wird: V := {v : S R : v(s) 0für alle s S}. Mit Hilfe dieser Definition lassen sich einige Eigenschaften negativer Modelle formulieren: Proposition 3.2. (a) L0 0. (b) v d 0 für alle d D MD. (c) v 0. (d) L : V V. (e) Sei d D MD beliebig. Wenn v d (s) > für alle s S, dann ist r d =0in jedem rekurrenten Zustand von P d. Der Beweis verläuft analog zum Beweis von Proposition 2.2. Um v als größte Lösung der Optimalitätsgleichung beschreiben zu können, wird zunächst wieder eine untere Schranke benötigt. Satz 3.3. Sei v V mit v Lv. Dann gilt v v. Beweis. Sei ε> 0 beliebig und (ε n ) mit ε n <ε. Analog zum Beweis von Satz 2.5 existiert eine Strategie π =(d 1,d 2,... ) Π MD, so dass v P n 1 π r dn + P N π v + ε n e für alle N P n 1 π r dn + P N π v + εe für alle N P n 1 π r dn + εe für alle N,da v 0. Der Übergang zum Grenzwert für N liefert nun v π + εe v und damit v v. 13

16 Da v eine Lösung der Optimalitätsgleichung ist und voriger Satz zeigt, dass alle Lösungen der Optimalitätsgleichung kleiner oder gleich v sind, ist v die größte Lösung der Optimalitätsgleichung: Satz 3.4. (a) v ist die größte Lösung von v = Lv in V. (b) Für d D MR ist v d die größte Lösung von v = L d v in V. Unter einer Zusatzbedingung kann neben der unteren auch eine obere Schranke angegeben werden. Proposition 3.5. (a) Wenn ein v V mit v Lv und lim sup Es π {v(x N )} = lim sup Pπ N v(s) = 0 für alle s S und π Π MR (3.1) existiert, dann gilt v v. (b) Sei v V mit v = Lv und es gelte Bedingung (3.1), dann gilt v = v. Beweis. (a) Wähle π =(d 1,d 2,... ) Π MR. Aus der Voraussetzung Lv v folgt mit der Definition von L, dass P n 1 π r dn + P N π v v für alle N. Die Grenzwertbetrachtung für N liefert mit Hilfe von (3.1) die Behauptung. (b) Folgt aus Teil (a) und Satz Identifikation und Existenz von optimalen Strategien Die Identifikation von optimalen Strategien für negative Modelle entspricht der Vorgehensweise in diskontierten Modellen. Die Vereinfachung gegenüber den positiven Modellen liegt in der Voraussetzung v 0. Daraus ergibt sich nämlich lim sup P N d v (s) 0für eine konservierende Entscheidungsregel d D MD und alle s S. Diese zusätzliche Bedingung musste bei positiven Modellen erfüllt sein, damit die aus einer konservierenden Entscheidungsregel abgeleitete Strategie optimal ist. Satz 3.6. Wenn δ D MD konservierend ist, dann ist δ optimal. Beweis. Die Aussage ist mit obiger Begründung wegen Satz 1.10 klar. 14

17 Der folgende von diskontierten Modellen bekannte Satz stellt die Existenz einer optimalen stationären deterministischen Strategie unter verschiedenen Bedingungen sicher. Satz 3.7. Sei S diskret und eine der folgenden Bedingungen sei erfüllt: (a) A s ist endlich für alle s S. (b) A s ist kompakt, r(s, a) ist stetig in a für alle s S und p(j s, a) ist stetig in a für alle j S und s S. (c) A s ist kompakt, r(s, a) ist rechtsseitig stetig in a für alle s S und p(j s, a) ist linksseitig stetig in a für alle j S und s S. Dann existiert eine optimale deterministische stationäre Strategie. Abschließend erhält man auf recht einfache Weise (im Vergleich zu positiven Modellen) den folgenden Satz. Satz 3.8. Wenn eine optimale Strategie existiert, dann existiert eine optimale deterministische stationäre Strategie. Beweis. Sei π Π HR eine optimale Strategie. π lässt sich als (δ, π ) darstellen, wobei δ D MR die für den ersten Zeitpunkt anzuwendende Entscheidungsregel ist. Anschließend sind die Entscheidungen gemäß der Strategie π Π HR zu treffen. v π = L δ v π L δ v π, = r δ + P δ v π { sup rd + P d v π } d D MR { = sup rd + P d v π } d D MD = Lv π da L monoton wachsend ist = v π, da π eine optimale Strategie ist. Daraus folgt, dass das Supremum angenommen wird von einer Entscheidungsregel δ D MD, für die somit r δ + P δ v π = v π gilt. Diese Entscheidungsregel ist also konservierend und (δ ) ist daher nach Satz 3.6 optimal. 15