Viskositätslösungen von Hamilton Jacobi Bellman Gleichungen eine Einführung

Transkript

1 Viskositätslösungen von Hamilton Jacobi Bellman Gleichungen eine Einführung Vortrag im Seminar Numerische Dynamik von Kontrollsystemen Wintersemester 4/5 Lars Grüne Mathematisches Institut Universität Bayreuth 9544 Bayreuth, Germany 9. Oktober 24 leicht korrigierte Version vom Einleitung Das Konzept der Viskositätslösungen für partielle Differentialgleichungen wurde von dem US Amerikaner Michael G. Crandall und dem Franzosen Pierre Louis Lions in den 98er Jahren eingeführt, siehe [3], [9]. Lions, Jahrgang 956, erhielt unter anderem für diese Erfindung im Jahre 994 die Fields Medaille, die als höchste Auszeichnung im Bereich der Mathematik gilt. Eine der wesentlichen Motivationen für die Entwicklung dieses Konzeptes waren die Hamilton Jacobi Bellman Gleichungen, eine Klasse von partiellen Differentialgleichungen, die in der optimalen Steuerung auftreten. In diesem Vortrag wird das Konzept am Beispiel dieser Gleichungen und ebenfalls motiviert durch die optimalen Steuerung eingeführt und erläutert. 2 Optimale Steuerung Um das Konzept der Viskositätslösungen einzuführen, betrachten wir zunächst ein Prototyproblem der optimalen Steuerung, das diskontierte optimale Steuerungsproblem, das aus der Vorlesung Numerische Dynamik von Kontrollsystemen [6] bereits gut bekannt ist. Crandall, Jahrgang 94, war zu diesem Zeitpunkt bereits zu alt für die Fields Medaille, die nur bis zum Alter von 4 Jahren vergeben wird. Es ist also müßig, darüber zu spekulieren, ob er sie auch verdient hätte.

2 2 LARS GRÜNE Definition 2. i Ein Kontrollsystem in kontinuierlicher Zeit T = R im R d, d N, ist gegeben durch die gewöhnliche Differentialgleichung d xt = fxt, ut, dt wobei f : R d U R d ein parameterabhängiges stetiges Vektorfeld und U R l ist. Für jede Kontrollfunktion u U := {u : R U u ist messbar und essentiell beschränkt} und jeden Anfangswert x bezeichnen wir die Lösung xt von mit x = x mit Φt, x, u. ii Für eine stetige Funktion g : R d U R und einen Parameter δ > definieren wir das diskontierte Funktional auf unendlichem Zeithorizont als Jx, u := e δt gφt, x, u, ut dt. 2 Das optimale Steuerungsproblem lautet nun: Bestimme die optimale Wertefunktion vx := sup Jx, u. Zur Vereinfachung der Darstellung machen wir die folgende Annahmen: A Der Kontrollwertebereich U sei kompakt. A2 Es existieren M f, L f >, so dass das Vektorfeld f die Ungleichungen fx, u M f und fx, u fx 2, u L R x x 2 für alle x, x, x 2 R d, und alle u U erfüllt A3 Es existieren M g, L g >, so dass die Funktion g die Ungleichungen gx, u M g und gx, u gx 2, u L g x x 2 für alle x, x, x 2 R d und alle u U erfüllt. Unter diesen Voraussetzungen existiert nach dem Satz von Carathéodory [6, Satz.8] zu jedem Paar x, u R d U eine eindeutige Lösung Φt, x, u für alle t R und die optimale Wertefunktion v ist stetig, sogar Hölder stetig, d.h. es gilt vx vx 2 C x x 2 γ für geeignete C, γ >, vgl. [6, Satz 2.6]. Zudem erfüllt v das Bellman sche Optimalitätsprinzip, d.h. für jedes x R d und jedes T > gilt die Gleichung { T } vx = sup e δt gφt, x, u, ut dt + e δt vφt, x, u, siehe [6, Satz 2.7]. Darüber hinaus ist v für jedes T > durch diese Gleichung eindeutig bestimmt [6, Satz 2.8].

3 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 3 3 Die Hamilton Jacobi Bellman Gleichung Wir kommen nun zu der partiellen Differentialgleichung, mit der wir uns in diesem Vortrag hauptsächlich beschäftigen wollen. Dies ist die Hamilton Jacobi Bellman HJB Gleichung, die definiert ist als δvx + inf { Dvx fx, u gx, u} =. 3 Hierbei und im Folgenden bezeichnet das euklidische Skalarprodukt im R d. Oft wird 3 als δvx + Hx, Dvx = geschrieben mit H : R d R d R, Hx, p = inf { p fx, u gx, u}. Die Funktion H wird hierbei Hamilton Funktion genannt. Satz 3. Gegeben sei ein optimales Steuerungproblem aus Definition 2. mit optimaler Wertefunktion v. Dann gilt: Ist die optimale Wertefunktion v differenzierbar in x R d, so erfüllt v die Hamilton Jacobi Bellman Gleichung 3 in diesem Punkt. Beweisskizze: Das Optimalitätsprinzip besagt, dass für alle T > die Gleichung { T } vx = sup e δt gφt, x, u, ut dt + e δt vφt, x, u gilt. Durch Umstellen der Terme erhält man { vx e δt vφt, x, u inf T T T } e δt gφt, x, u, ut dt =. Da v nach Annahme in x differenzierbar ist, folgt damit für T { d inf δvx Dvx dτ Φτ, x, u d τ } τ= dτ e δt gφt, x, u, ut dt =. τ= Mit einem geschickten Grenzübergang für T, dessen Einzelheiten wir hier nicht ausführen wollen 2, sieht man, dass das Infimum im Limes für T, nicht für festes T >! tatsächlich über konstante Kontrollfunktionen u u U genommen werden kann. Für konstante Kontrollen gilt aber d d τ dτ Φτ, x, u = fx, u und τ= dτ e δt gφt, x, u, ut dt = gx, u τ= und damit die Behauptung. 2 Im zweiten Teil des Beweises von Satz 5. ist dieser Grenzübergang detailliert ausgeführt.

4 4 LARS GRÜNE Die HJB Gleichung kann als infinitesimale Version des Optimalitätsprinzips verstanden werden. Leider ist dieser Satz auf viele praktische Probleme nicht anwendbar, da die optimale Wertefunktion i.a. nicht differenzierbar ist. Als Beispiel betrachten wir ein optimales Inversitionsmodell aus dem Artikel [7], das durch das Kontrollsystem und die Ertragsfunktion ẋ t = x 2 t σx t ẋ 2 t = u x gx, x 2, u = k x + k 2 x 4 c x 2 c 2 2 x2 2 α 2 u2 gegeben ist für eine weitergehende Diskussion dieses Beispiele siehe auch [6]. Mit den Parametern σ =.25, k = 2, k 2 =.7, c =.75, c 2 = 2.5 und α = 2 sowie der Diskontrate δ =.4 ergibt sich das in Abbildung dargestellte numerisch berechnete Ergebnis, in dem man deutlich eine Nichtdifferenzierbarkeitslinie der optimalen Wertefunktion erkennt Abbildung : Wertefunktion für das Investitionsmodell 4 Viskositätslösungen Will man die HJB Gleichung sinnvoll für nicht differenzierbare optimale Wertefunktionen verwenden, so muss man einen verallgemeinerten Lösungsbegriff einführen, mit dem man auch im Falle der Nichtdifferenzierbarkeit eine brauchbare Definition erhält. Dieser Lösungsbegriff sollte zum einen so allgemein sein, dass er auch anwendbar ist, wenn die Ableitung Dvx nicht für alle x R d existiert dies ist unser Hauptziel. Zum anderen sollte er aber auch so eng gefasst sein, dass man nicht zu viele mögliche Lösungen der HJB Gleichung erhält im Idealfall sollte die optimale Wertefunktion die einzige, also

5 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 5 eindeutige Lösung sein. Z.B. liefert die naheliegende Verallgemeinerung, eine Funktion v als Lösung zu bezeichnen, wenn sie 3 in allen Differenzierbarkeitspunkten erfüllt, i.a. keine eindeutige Lösung: Neben der Wertefunktion können weitere Funktionen existieren, die 3 in diesem Sinne erfüllen. Der Schlüssel zur Definition des geeigneten verallgemeinerten Lösungsbegriffs der Virkositätslösung liegt in einer geeigneten Verallgemeinerung der Ableitung. Wir erinnern dazu zunächst an den klassischen Ableitungsbegriff: Eine Funktion w : R d R heißt differenzierbar in x R d, wenn ein p R d existiert, so dass gilt wx wx p x x lim = 4 x x x x Wenn solch ein p R d existiert, so ist dies der eindeutig bestimmte Gradient Dwx von w in y. 3 Die Gleichung 4 ist offensichtlich die Konjunktion der beiden Ungleichungen wx wx p x x lim sup 5 x x x x wx wx p x x lim inf 6 x x x x Für eine reellwertige Funktion w, die stetig aber nicht unbedingt differenzierbar ist, gibt es Punkte, in denen 4 für kein p R d erfüllt ist, trotzdem können entweder 5 oder 6 für bestimmte Vektoren p R d erfüllt sein. Beispiel 4. Betrachte die Funktion w : R R, wx = x, die in x = nicht differenzierbar ist. Die Ungleichung 6 ist aber erfüllt für alle p [, ]. Aus diesem Grunde ist die folgende Definition sinnvoll: Definition 4.2 Sei w : R d R stetig und x R d. Dann ist das Superdifferential von w im Punkte x definiert durch D + wx := {p R d p erfüllt 5}. 7 Analog ist das Subdifferential von w im Punkte x definiert durch D wx := {p R n p erfüllt 6}. 8 Abbildung 2 veranschaulicht einige Elemente von Super links bzw. Subdifferentialen rechts. Man rechnet leicht nach, dass D + wx und D wx konvex und abgeschlossen sind. Mit Hilfe des Super- und Subdifferentials werden wir nun die Viskositätslösung der partiellen Differentialgleichung 3 definieren. 3 Um die Notation einfach zu halten unterscheiden wir hier bei den Ableitung nicht zwischen Zeilen und Spaltenvektoren.

6 6 LARS GRÜNE w w x x Abbildung 2: Elemente von Super links und Subdifferentialen rechts Definition 4.3 Eine stetige Funktion w : R d R heißt Viskositätslösung von 3, falls gilt: δwx + Hx, p für alle x R d und alle p D + wx 9 und δwx + Hx, p für alle x R d und alle p D wx Die Funktion w heißt Viskositäts Unterlösung, wenn w die Bedingung 9 erfüllt und Viskositäts Oberlösung, wenn gilt. Diese Art der Definition der Viskositätslösung ist recht anschaulich, da der Zusammenhang zu den klassischen Lösungen von 3 offensichtlich ist. Zur Durchführung von Beweisen und zur Verallgemeinerung auf andere Arten partieller DGLen empfiehlt sich aber eine andere Definition, die auf der folgenden Beobachtung beruht. Lemma 4.4 Sei w : R d R stetig, x R d und p R d. Dann sind äquivalent: i p D + wx [bzw. p D wx ]. ii Es existiert ein ϕ C R d, R mit Dϕx = p, so dass w ϕ ein nicht notwendigerweise striktes lokales Maximum [bzw. Minimum] in x annimmt. Beweis: i ii: Sei p D + wx wx wx, also lim sup p x x x x x x. Dann gibt es auf einer Umgebung N = Nx von x eine auf N \ {x } stetig differenzierbare Funktion und auf ganz N stetige Funktion ε mit εx = und wx wx p x x x x εx. Um die Existenz dieser Funktion zu beweisen, betrachten wir die Ringe um x, die gegeben sind durch R n := Bx, 2 \ Bx n,. Die linke Seite von ist auf allen Ringen R 2 n+ n beschränkt durch Schranken r n. Diese können so gewählt werden, dass lim n r n = gilt, da der Limes superior der linken Seite von für x x kleiner oder gleich Null ist. Wir können so also eine Treppenfunktion x r n, x R n definieren, die in x durch

7 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 7 stetig fortgesetzt werden kann. Durch differenzierbares Abschneiden zwischen den einzelnen Treppenstufen kann so die oben angegebene Funktion ε konstruiert werden. Die Ungleichung kann nun umformuliert werden zu wx wx p x x εx x x 2 Setzt man nun ϕx := wx +p x+εx x x, so ist ϕ differenzierbar mit Dϕx = p. Wegen 2 kann man nun abschätzen wx ϕx = wx wx p x ε x x p x = wx ϕx. Diese Abschätzung gilt für alle x N, also hat w ϕ ein lokales Maximum in x. Da die Funktion ϕ differenzierbar auf ganz R d fortgesetzt werden kann, folgt ii. ii i: Sei ϕ C R d, R so, dass w ϕ ein lokales Maximum in x besitzt. Dann gilt auf einer Umgebung N von x wx ϕx wx ϕx, also wx wx ϕx ϕx. Wenn wir ϕ in x als Taxlorreihe entwickeln und das erste Glied betrachten, so erhalten wir auf N: wx wx Dϕx x x + o x x. Für x x ergibt sich somit wx wx Dϕx x x x x o x x x x, und daher auch wx wx Dϕx x x o x x lim sup lim =, x x x x x x x x weswegen Dϕx D + wx gilt. Der Beweis für D wx läuft in beiden Richtungen analog. Wegen dieser Äquivalenz kann man Viskositätslösungen auch wie folgt definieren. Definition 4.5 Eine stetige Funktion w : R d R heißt Viskositätslösung von 3, wenn für alle ϕ C R d, R gilt: w ϕ nimmt in x R d ein lokales Maximum an = δwx + Hx, Dϕx w ϕ nimmt in x R d ein lokales Minimum an = δwx + Hx, Dϕx. Falls w die erste Bedingung erfüllt, so heißt w Viskositäts Unterlösung, falls die zweite Bedingung gilt, so heißt w Viskositäts Oberlösung.

8 8 LARS GRÜNE Die Funktionen ϕ in dieser Definition werden Testfunktionen genannt. In vielen Fällen ist diese Testfunktionsformulierung bei Beweisen praktischer. Z.B. lässt sich mit Testfunktionen leicht nachweisen, dass klassische Lösungen und Viskositätslösungen kompatibel sind, wie der folgende Satz zeigt. Satz 4.6 Ist w C R d, R eine klassische Lösung von 3, d.h. δwx + Hx, Dwx = für alle x R d, dann ist w auch eine Viskositätslösung von 3. Ist umgekehrt w eine Viskositätslösung von 3 und in x R d differenzierbar, so gilt δwx + Hx, Dwx =. Beweis: Es genügt die folgende Aussage zu zeigen: Ist w in y R n differenzierbar, so gilt D + wy = D wy = {Dwy }. Damit folgt der Satz direkt aus der Definition der Viskositätslösungen. Zum Beweis der behaupteten Aussage zeigen wir beide Inklusionen. Aus der Definition folgt sofort, dass Dwy D + wy, D wy gilt. Umgekehrt sei p D + wx und w differenzierbar in x. Dann folgt mit dem Lemma 4.4 die Existenz einer Funktion ϕ C R d, R mit Dϕx = p, so dass w ϕ ein lokales Minimum in x annimmt. Wegen der Differenzierbarkeit von w in x ist auch w ϕ in x differenzierbar und es gilt Dw ϕy =, also Dwx = Dϕx. Also ist p = Dwx. Da dies auch für jedes weitere Element p D + wx und der Gradient eindeutig ist, folgt die Behauptung. Die Aussage für D wx folgt analog. Bemerkung 4.7 Historisch hat sich der Begriff der Viskositätslösungen wie folgt entwickelt: Für kleine ε > betrachten wir die Gleichung wobei der Laplace Operator durch δv ε x + Hx, Dv ε x ε v ε x =, 3 v = TrD 2 v = d 2 x 2 i= i v gegeben ist. Der Term ε vx wird hierbei Viskosität genannt, da er in der Modellierung von Flüssigkeiten durch partielle Differentialgliechungen gerade diese physikalische Bedeutung besitzt. Aus der Theorie der elliptischen partiellen Differentialgleichungen weiß man, dass 3 für jedes ε > eine klassische zwei mal stetig differenzierbare Lösung v ε besitzt. Unter den Bedingungen A A3 konvergiert diese für ε gerade gegen die optimale Wertefunktion v, die Funktionen v ε bilden also eine Approximation von v, die unter dem Namen Methode der verschwindenden Viskosität bekannt ist. Dies motiviert den Namen Viskositätslösung.

9 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 9 5 Existenz und Eindeutigkeit In diesem Abschnitt formulieren und beweisen wir das Hauptresultat dieses Vortrags, nämlich dass die optimale Wertefunktion die eindeutige Viskositätslösung der Hamilton Jacobi Bellman Gleichung 3 ist. Die Beweise wurden mit einigen Modifikationen aus [] übernommen. Wir zeigen zunächst, dass die optimale Wertefunktion eine Viskositätslösung ist. Satz 5. Unter den Voraussetzungen A A3 ist die optimale Wertefunktion v des optimalen Steuerungsproblems aus Definition 2. eine Viskositätslösung der Hamilton Jacobi Bellman Gleichung 3. Beweis: Der Beweis dieses Satzes folgt der Beweisskizze von Satz 3., bei der hier nun der Grenzübergang für T detailliert ausgeführt wird. Zudem müssen wir den Beweis in zwei Punkten an die Definition der Viskositätslösungen anpassen: erstens werden wir Testfunktionen ϕ an Stelle der Funktion v selbst verwenden und zweitens müssen wir, statt die Gleichung 3 in einem Schritt zu zeigen, beweisen, dass v sowohl Ober als auch Unterlösung ist. Wir zeigen dazu, dass die beiden Teile von Definition 4.5 erfüllt sind und beginnen mit dem zweiten: Für alle ϕ C R d, R und alle x R d für die v ϕ ein lokales Minimum in x besitzt, gilt δvx + Hx, Dϕx. Sei dazu ein solches ϕ und x gegeben. Ohne Einschränkung können wir vx = ϕx wählen, ansonsten ersetzen wir ϕ durch ϕy := ϕy + vx ϕx. Für beliebige konstante Kontrollen ut u und Zeiten t > folgt aus dem Optimalitätsprinzip vx t e δτ gx u τ, udτ + e δt vx u t, mit x u t := Φt, x, u. Da vx ϕx = ein lokales Minimum ist, folgt wobei N eine geeignete Umgebung von x ist. vy ϕy für alle y N, Wegen der Beschränktheit von f existiert ein t x u t N, d.h. es gilt für t, t >, so dass für alle t, t gilt ϕx = vx t t e δτ gx u τ, udτ + e δt vx u t e δτ gx u τ, udτ + e δt ϕx u t,

10 LARS GRÜNE also Für t ergibt sich also t t e δτ gx u τ, udτ + e δt ϕx u t ϕx e δτ gx u τ, udτ + e δt ϕx u t ϕx. t gx, u δϕx + Dϕx fx, u δϕx gx, u Dϕx fx, u vx = ϕx δvx gx, u Dϕx fx, u. Da diese Abschätzung für alle u U gilt, folgt inf {δvx gx, u Dϕ fx, u} = δvx + Hx, Dϕx, womit die gewünschte Ungleichung bewiesen ist. Wir zeigen nun den ersten Teil von Definition 4.5: Für alle ϕ C R d, R und alle x R d für die v ϕ ein lokales Maximum in x besitzt, gilt δvx + Hx, Dϕx. Sei dazu wiederum ein solches ϕ und x gegeben, wobei wir wie oben vx = ϕx annehmen können. Dann gilt vy ϕy für alle y N = Nx. Um zu zeigen, dass δvx + Hx, Dϕx erfüllt ist, konstruieren wir ein u U mit δvx gx, u Dϕx fx, u. 4 Nach dem Optimalitätsprinzip existiert eine Folge u n n N U mit vx /n n 2 e δτ gφτ, x, u n, u n τdτ + e δ/n vφ/n, x, u n. Für alle hinreichend großen n gilt dabei Φ/n, x, u n N. Also gilt vx = ϕx und vφ/n, x, u n ϕφ/n, x, u n und damit also ϕx n 2 ϕx e δ n ϕφ n, x, u n e δτ gφτ, x, u n, u n τdτ + e δ n ϕφ n, x, u n, e δτ gφτ, x, u n, u n τdτ n 2.

11 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG Mit dem Hauptsatz der Differential- und Integralrechnung und nach Multiplikation mit n erhalten wir n δϕφτ, x, u n DϕΦτ, x, u n fφτ, x, u n, u n τ gφτ, x, u n, u n τ e δτ n. Der Integrand δϕ + Dϕ f + g ist hierbei eine Lipschitz stetige Funktion in Φ gleichmäßig für alle u n τ, es sei L die zugehörige Lipschitz Konstante. Wegen der Beschränktheit von f gilt die Abschätzung x Φτ, x, u n M f τ für alle u n U. Damit erhalten wir n Weiterhin gilt n δϕx Dϕx fx, u n τ gx, u n τ e δτ dτ n + LM f 2n. = n δϕx Dϕx fx, u n τ gx, u n τ e δτ dτ n δϕx Dϕx fx, u n τ gx, u n τ dτ δϕx Dϕx fx, u n τ gx, u n τ e δτ dτ. Wegen lim n n e δτ dτ = und der gleichmäßigen Beschränktheit des Vorfaktors auf N U existiert eine Folge d n n N mit lim n d n = und n δϕx Dϕx fx, u n τ gx, u n τ dτ d n. 5 Nun können wir das u U konstruieren, das die Ungleichung 4 erfüllt. Betrachte dazu g n := n gx, u n τdτ, f n := n fx, u n τdτ.

12 2 LARS GRÜNE Für diese Werte gilt f n, g n co{fx, u, gx, u u U}, wobei co die konvexe Hülle bezeichnet. Da U kompakt ist und f und g stetig sind, ist diese konvexe Hülle ebenfalls kompakt. Daher existiert eine konvergente Teilfolge f nk, g nk mit lim k f n k, g nk = f, g co{fx, u, gx, u u U}. Insbesondere folgt mit Grenzübergang n in 5 δϕx Dϕx f g. Da f, g co{fx, u, gx, u u U} existieren α i, i =, 2,..., l mit α i, l α i = und i= Damit gilt = = g = l l α i gx, u i, f = α i fx, u i. i= i= δϕx Dϕx f g l δϕx Dϕx α i fx, u i i= l α i gx, u i i= l α i δϕx Dϕx fx, u i gx, u i i= min i=,...,l δϕx Dϕx fx, u i gx, u i. Wählen wir nun i {,..., l}, so dass dieses Minimum angenommen wird und setzen u = u i, so folgt δϕx Dϕx fx, u gx, u und damit die gesuchte Ungleichung aus Teil 2 von Definition 4.5. Nun wissen, wir, dass die optimale Wertefunktion v die Gleichung 3 tatsächlich im Viskositätssinne löst. Dies ist aber noch nicht genug, denn es könnte ja noch weitere Funktionen geben, die 3 ebenfalls lösen aber mit unserem optimalen Steuerungsproblem gar nichts zu tun haben. Wir benötigen also ein Eindeutigkeitsresultat. Im dem folgenden Satz werden wir zum einen eine typische Form der Eindeutigkeitsaussage für Viskositätslösungen beweisen und zum anderen eine typische Beweistechnik kennen lernen. Die Form der Aussage nennt man Vergleichsprinzip comparison principle, und sie besagt, dass eine Viskositäts Oberlösung immer größer oder gleich einer Viskositäts Unterlösung ist. Die Beweistechnik nennt man Variablenverdopplung und sie dient dazu, aus den betrachteten Ober und Unterlösungen geeignete Testfunktionen zu konstruieren, mit denen man dann Definition 4.5 ausnutzen kann.

13 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 3 Satz 5.2 Es gelten die Bedingungen A A3 und es seien v, v 2 : R d R stetig und beschränkt. Ist nun v eine Viskositäts Unterlösung von 3 und v 2 eine Viskositäts Oberlösung von 3, so gilt v x v 2 x für alle x R d. Beweis: Zum Beweis zeigen wir die Ungleichung sup v x v 2 x. 6 x R d Wir wählen dazu einen Punkt x, in dem das Supremum 6 approximativ angenommen wird. Sei dafür < η und wähle x = x η R d mit v x v 2 x sup x R d {v x v 2 x} η. Für < ε, < β und hx := log + x 2 /2 definieren wir Ψ = Ψ ε,β durch Ψ : R d R d R Hierfür gilt die Ungleichung x, y v x v 2 y x y 2 2ε βhx + hy. Ψx, x = v x v 2 x 2βhx sup x R d {v x v 2 x} η 2βhx. Dies ist die oben erwähnte Verdopplung der Variablen, da wir in v und v 2 nun verschiedene Variablen x und y verwenden. Dies wird uns erlauben, aus der Funktion Ψ geeignete Testfunktionen für Definition 4.3 zu konstruieren. Hierfür ist nun der Term βhx + hy wichtig: Dieser wurde gerade so gewählt, dass er für wachsende x, y unbeschränkt wächst 4. Zusammen mit der Beschränktheit von v und v 2 und der Stetigkeit von Ψ sorgt dies dafür, dass Ψ ein globales also insbesondere lokales Maximum Ψx ε, y ε mit x ε, y ε aus einer beschränkten Umgebung B r besitzt, wobei r von β aber nicht von ε abhängt. Dieses Maximum wollen wir nun in Definition 4.3 verwenden. Um am Ende zur einer brauchbaren Abschätzung zu kommen, benötigen wir, dass x ε und y ε nicht zu weit auseinander liegen. Zu diesem Zweck dient der Term x y 2 /2ε in Ψ, den wir nun ausnutzen: Da wegen der Maximumseigenschaft Ψx ε, y ε Ψx, y für alle x, y R d gilt, folgt und damit x ε y ε 2 ε Ψx ε, x ε + Ψy ε, y ε 2Ψx ε, y ε = 2Ψx ε, y ε + 2v x ε 2v 2 y ε 2βhx ε + hy ε 4 Tatsächlich könnte man statt hx auch jede andere unbeschränkt wachsende und differenzierbare Funktion verwenden, die spezielle logarithmische Wahl dient lediglich dazu, dass sich die Ableitung Dhx = x/ + x 2 später sehr bequem abschätzen lässt.

14 4 LARS GRÜNE Ψx ε, x ε Ψy ε, y ε + 2v x ε 2v 2 y ε 2βhx ε + hy ε = v x ε v y ε + v 2 x ε v 2 y ε 7 also 2 sup x R d v x + 2 sup x R d v 2 x =: C, x ε y ε Cε, 8 wobei C unabhängig von ε ist, da diese Konstante ja nur von den Schranken an v und v 2 abhängt. Setzen wir 8 in 7 ein, so erhalten wir wegen der gleichmäßigen Stetigkeit von v und v 2 auf der kompakten Menge B r auch für ε. x ε y ε 2 ε Betrachte jetzt die Abbildungen x Ψx, y ε = v x v 2 y ε + x y ε 2 2ε v x ε v y ε + v 2 x ε v 2 y ε 9 + βhx + hy ε } {{ } =: ϕ x y Ψx ε, y = v 2 y v x ε x ε y 2 2ε βhx ε + hy } {{ } =: ϕ 2 y Diese Abbildungen nehmen ihr Maximum bzw. Minimum in x = x ε bzw. y = y ε an. Da v und v 2 Viskositäts Unterlösungen bzw. Oberlösungen sind, folgt aus Definition 4.5 H x ε, v x ε, Dϕ x ε und H y ε, v 2 y ε, Dϕ 2 y ε. mit Dϕ x ε = x ε y ε ε Definieren wir so erhalten wir + βdhx ε und Dϕ 2 y ε = x ε y ε ε w := x ε y ε, p := βdhx ε und q := βdhy ε ε δv x ε + Hx ε, w + p δv 2 y ε Hy ε, w + q = δv x ε + inf { w + p fx ε, u gx ε, u} δv 2 y ε inf { w + q fy ε, u gy ε, u} }{{} inf { w+q fy ε,u gy ε,u} δv x ε δv 2 y ε βdhy ε. + inf { w + p fx ε, u fy ε, u gx ε, u + p + q fy ε, u + gy ε, u}

15 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 5 woraus mit A2 und A3 δv x ε v 2 y ε L f w x ε y ε + L f p x ε y ε + L g x ε y ε + p + q M f =: γ ε folgt. Für den ersten Summanden gilt nun nach 9 L f w x ε y ε = L f x ε y ε 2 ε, für ε, der zweite lässt sich wegen Dhx = x/ + x 2 und 8 durch L f p x ε y ε L f β Cε abschätzen, für den dritten gilt ebenfalls wegen 8 L g x ε y ε L g Cε und der vierte erfüllt wiederum wegen Dhx p + q M f 2βM f. Insgesamt folgt also lim sup ε γ ε 2βM f. Also gilt für alle < η Für ε folgt daraus sup {v x v 2 x} Ψx, x + η + 2βhx x R d Ψx ε, y ε + η + 2βhx v x ε v 2 y ε + η + 2βhx γ ε δ + η + 2βhx sup {v x v 2 x} 2βM f + η + 2βhx x R d und damit die gewünschte Ungleichung 6, wenn wir zuerst β und dann η gegen Null streben lassen beachte, dass x von η abhängt, weswegen die Reihenfolge der Limesbildung wichtig ist. Wir kommen nun zum Hauptresultat dieses Vortrags, dem Existenz- und Eindeutigkeitssatz für die Lösung der Hamilton Jacobi Bellman Gleichung 3. Satz 5.3 Unter den Voraussetzungen A A3 ist die optimale Wertefunktion v des optimalen Steuerungsproblems aus Definition 2. die eindeutige beschränkte und stetige Viskositätslösung der Hamilton Jacobi Bellman Gleichung3. Beweis: Satz 5. besagt, dass die optimale Wertefunktion v eine Viskositätslösung ist; zudem ist v beschränkt und Hölder stetig und damit insbesondere stetig. Wenn w eine weitere beschränkte und stetige Viskositätslösung ist, so ist v insbesondere eine Unterlösung und w eine Oberlösung, so dass mit dem Vergleichsprinzip Satz 5.2 v w folgt. Da andererseits v auch eine Oberlösung und w eine Unterlösung ist, folgt aus dem Vergleichsprinzip auch w v und damit v = w, also die Eindeutigkeit.

16 6 LARS GRÜNE 6 Stochastische Optimale Steuerung In diesem Abschnitt wollen wir in aller Kürze und ohne Beweise auf stochastische optimale Steuerungsprobleme eingehen, da diese in einigen der folgenden Seminarvorträge eine Rolle spielen werden. Für Details siehe z.b. den Artikel [2] oder die Monographie [4]. Viele optimale Steuerungsprobleme z.b. in der Ökonomie aber nicht nur dort sind stochastischer Art, d.h., statt einer kontrollierten deterministischen gewöhnlichen Differentialgleichung betrachtet man eine stochastische Differentialgleichung SDG im Sinne von Ito mit Kontrolle, also dxt = axt, utdt + bxt, utdw t, wobei W t ein m dimensionaler Wiener Prozess ist, der der Modellierung von Unsicherheiten, z.b. in einem Aktienkurs dient. Hierbei ist a : R d U R d und b : R d U R d m. Bei stochastischen Problemen darf die Kontrolle vom Zufall abhängen, d.h., die Kontrollfunktion ut = ut, ω wird abhängig vom Pfad des zu Grunde liegenden stochastischen Prozesses W t gewählt, der wiederum mittels ω Ω parametrisiert wird. Da man nun für einen festen Anfangswert x und eine feste Kontrolle u nun keine eindeutige Lösung Φt, x, u mehr erhält, sondern eine vom Zufall abhängige Menge Xt, x, u, ω, ω, ω Ω, hinge auch das Funktional Jx, u, würde man es wie oben definieren, vom Zufall ab. Statt also über eine feste Lösungskurve zu integrieren, definiert man das Funktional im stochastischen Fall als Erwartungswert, also als [ ] Jx, u = E e δt gxt, x, u, ut dt. Dann kann man die optimale Wertefunktion analog zu oben als definieren. vx = sup Jx, u Die zugehörige Hamilton Jacobi Bellman Gleichung kann man nun formal ganz analog wie im Beweis von Satz 3. herleiten, nämlich durch Aufstellen des Optimalitätsprinzips [ T ] vx = sup E e δt gxt, x, u, ut dt + e δt vxt, x, u, Umstellen der Terme und Division durch T [ vx e δt inf E vxt, x, u T T T ] e δt gxt, x, u, ut dt = und Grenzübergang für T. Hierbei muss man allerdings die Ableitungsregel entlang von Lösungen stochastischer Differentialgleichungen berücksichtigen, die durch das Ito Lemma auch Ito Formel genannt gegeben ist, siehe [8, Gleichung 4.6], eine eindimensionale Version findet sich auch in [5, Lemma 4.2]. Durch diese Formel tritt im Limes wie z.b. auch in der bekannten Black Scholes Gleichung die zweite Ableitung von v auf.

17 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 7 Berücksichtigt man diese Regeln, so erhält man die folgende Hamilton Jacobi Bellman Gleichung für v. δvx + inf { 2 Trbx, ubx, ut D 2 vx Dvx ax, u gx, u} =. 2 Diese wird oft in der Form δvx + Hx, Dvx, D 2 vx = geschrieben mit H : R d R d R d d R, Hx, p, Q = inf { 2 Trbx, ubx, ut D 2 Q p fx, u gx, u}. Die Funktion H wird wiederum Hamilton Funktion genannt. Eine weitere Form, diese Gleichung zu schreiben, erhält man, wenn man den Differentialoperator Lx, u := d 2 d σ i,j x, u + a i x, u 2 x i x j x i i,j= mit σx, u = bx, ubx, u T R d d definiert. Mit etwas Rechnung sieht man, dass 2 äquivalent als geschrieben werden kann. i= δvx + inf { Lx, uvx gx, u} = Wir können also festhalten: Für stochastische optimale Steuerungsprobleme ist die zugehörige Hamilton Jacobi Bellman Gleichung 2 eine Gleichung zweiter Ordnung, d.h., es treten zweite Ableitungen der Wertefunktion auf. Aus diesem Grund macht die anschauliche Definition der Viskositätslösungen aus Definition 4.2 keinen Sinn mehr, da sie keine Verallgemeinerung der zweiten Ableitung liefert. Die Definition 4.3 hingegen lässt sich leicht verallgemeinern, indem man Testfunktionen aus C 2 R d, R verwendet. Mit dieser Definition lässt sich dann auch Satz 5.3 auf das stochastische Problem übertragen. Bemerkung 6. Mit Hilfe von 2 können wir nun auch den aus der Gleichung 3 kommenden Approximationen v ε eine Bedeutung im Rahmen der optimalen Steuerung geben. Tatsächlich ist 3 nichts anderes als die Hamilton Jacobi Bellman Gleichung zum stochastischen optimalen Steuerungsproblem mit und d dimensionalem Wiener Prozess. ax, u = fx, u und bx, u = ε Id R d

18 8 LARS GRÜNE 7 Anwendungen Abschließend wollen einige Antworten auf die Frage andeuten, wofür der ganze Aufwand mit den Viskositätslösungen eigentlich betrieben wird. Über die innermathematische Motivation, also die Entwicklung einer eleganten geschlossenen Lösungstheorie für Hamilton Jacobi Bellman Gleichungen hinaus, gibt es eine Reihe praktischer Vorteile, die dieses Konzept liefert. Im Folgenden wollen wir einige dieser Gründe aufführen: i Verifikation: Manchmal kann man durch intuitive, physikalische oder ökonomische Überlegungen Kandidaten für optimale Wertefunktionen heuristisch herleiten. Während es i.a. fast unmöglich ist, diese durch direkte Anwendung der Definition der optimalen Wertefunktion zu testen, ist es normalerweise einfach zu überprüfen, ob ein gegebenes v eine Viskositätslösung der Hamilton Jacobi Bellman Gleichung ist. Hiermit kann man dann formal beweisen oder widerlegen, dass das heuristisch erhaltene v gerade die optimale Wertefunktion ist. ii Erweiterung der mathematischen Methoden: Durch den Übergang von der optimalen Steuerung zur HJB Gleichung und zurück hat man ungleich mehr mathematische Methoden zur Verfügung. So kann man z.b. Regularitätseigenschaften von v wie die Stetigkeit oft einfacher über die Wertefunktion beweisen, während man z.b. Grenzübergänge für paramaterabhängige Probleme oft leichter mittels der HJB Gleichung betrachten kann. iii Numerik: Zwar kann man für deterministische Probleme numerische Verfahren auch ohne Kenntnis der HJB Gleichung entwickeln z.b. die in [6] besprochene Methode der dynamischen Programmierung, allerdings erhält man selbst für diese Methode durch direkte Betrachtung der HJB Gleichung z.b. bessere Abschätzungen des Diskretisierungsfehlers. Für stochastische Probleme ist man in der Konvergenzanalyse entsprechender numerischer Verfahren i.a. auf Viskositätslösungen angewiesen. iv Algorithmen: Viele klassische numerische Methoden z.b. die klassische Methode der finiten Differenzen aber auch modernere Verfahren wie die sogenannten ENO und WENO Schemata oder fast marching methods lassen sich auf HJB Gleichungen anwenden und stehen dadurch der optimalen Steuerung zur Verfügung. Aber auch die Methode der dynamischen Programmierung, die sich direkt aus dem Optimalitätsprinzip erhalten lässt, kann von der HJB Gleichung profitieren. So sind z.b. die in [6] besprochenen Fehlerschätzer und adaptiven Gitterstrategien durch Übertragung entsprechender Algorithmen für andere Typen partieller Differentialgleichungen entstanden. Literatur [] M. Bardi and I. Capuzzo Dolcetta, Optimal Control and Viscosity Solutions of Hamilton-Jacobi-Bellman equations, Birkhäuser, Boston, 997.

19 VISKOSITÄTSLÖSUNGEN EINE EINFÜHRUNG 9 [2] M. G. Crandall, H. Ishii, and P.-L. Lions, User s guide to viscosity solutions of second order partial differential equations, Bull. Amer. Math. Soc. N.S., , pp. 67. [3] M. G. Crandall and P.-L. Lions, Viscosity solutions of Hamilton Jacobi equations, Trans. Amer. Math. Soc., , pp. 42. [4] W. H. Fleming and M. H. Soner, Controlled Markov processes and viscosity solutions, Springer Verlag, New York, 993. [5] L. Grüne, Modellierung mit Differentialgleichungen. Vorlesungsskript, Universität Bayreuth, lgruene/modellierung3/. [6], Numerische Dynamik von Kontrollsystemen. Vorlesungsskript, Universität Bayreuth, lgruene/ndks4/. [7] J. L. Haunschmied, P. M. Kort, R. F. Hartl, and G. Feichtinger, A DNS curve in a two state capital accumulation model: a numerical analysis, Journal of Economic Dynamics & Control, 23, pp [8] P. E. Kloeden and E. Platen, Numerical Solution of Stochastic Differential Equations, Springer Verlag, Heidelberg, rd revised and updated printing, 999. [9] P.-L. Lions, Generalized solutions of Hamilton Jacobi equations, Pitman, London, 982.