Viskositätslösungen von Hamilton Jacobi Bellman Gleichungen eine Einführung

Transkript

1 Viskositätslösungen von Hamilton Jacobi Bellman Gleichungen eine Einführung Lars Grüne Seminar Numerische Dynamik von Kontrollsystemen Wintersemester 04/05

2 Viskositätslösungen Anfang der 1980er Jahre von Michael G. Crandall und Pierre Louis Lions eingeführt Verallgemeinerter Lösungsbegriff für partielle Differentialgleichungen, die keine differenzierbaren Lösungen besitzen Motivation: Hamilton Jacobi Bellman Gleichungen aus der optimalen Steuerung In diesem Vortrag geben wir eine Einführung am Beispiel des diskontierten optimalen Steuerungsproblems

3 Diskontierte optimale Steuerung Bestimme die optimale Wertefunktion v(x) = sup u U J(x, u) für J(x, u) := 0 e δt g(φ(t, x, u), u(t)) dt, δ > 0 und Φ(t, x, u) Lösung des Kontrollsystems ẋ(t) = f(x(t), u(t)) mit Anfangswert Φ(0, x, u) = x R d und Kontrollfunktion u U = {u : R U messbar}, U R l kompakt

4 Das Bellman sche Optimalitätsprinzip Für alle T > 0 gilt v(x) = sup u U { T 0 e δt g(φ(t, x, u), u(t)) dt + e δt v(φ(t, x, u)) }. hierdurch ist v eindeutig bestimmt (Kontraktionsargument) ist Ausgangspunkt für numerische Approximation (dynamische Programmierung) liefert die Basis für die Hamilton Jacobi Bellman Gleichung

5 Die Hamilton Jacobi Bellman Gleichung Wenn v in x R d differenzierbar ist, so gilt die Hamilton Jacobi Bellman (HJB) Gleichung δv(x) + inf { Dv(x) f(x, u) g(x, u)} = 0 u U

6 Die Hamilton Jacobi Bellmanas Gleichung Beweisskizze: Aus dem Optimalitätsprinzip erhält man inf u U { v(x) e δt v(φ(t, x, u)) 1 T T T 0 e δt g(φ(t, x, u), u(t)) dt }{{}}{{} δv(x) Dv(x) f(x, u) g(x, u) } = 0. für T 0 δv(x) + inf { Dv(x) f(x, u) g(x, u)} = 0 u U (HJB) ˆ= infinitesimale Version des Optimalitätsprinzips

7 Die Hamilton Jacobi Bellman Gleichung δv(x) + inf { Dv(x) f(x, u) g(x, u)} = 0 u U Wir schreiben diese partielle Differentialgleichung kurz als mit δv(x) + H(x, Dv(x)) = 0 H(x, p) := inf { p f(x, u) g(x, u)} u U Problem: Im Allgemeinen sind optimale Wertefunktionen nicht differenzierbar

8 Beispiel Optimales Investment Problem [Haunschmied/Kort/Hartl/Feichtinger 2003] K = I σk İ = u Ziel: maximiere den diskontierten Cashflow 0 e δt g(k(t), I(t), u(t))dt, mit g(k, I, u) = k 1 K K 1 + k 2 K 4 + c 1I + c 2 2 I2 α 2 u2

9 Optimale Wertefunktion

10 Verallgemeinerte Lösungen Ziel: Definiere Lösungen der Gleichung (HJB) für nicht differenzierbare v δv(x) + H(x, Dv(x)) = 0 Erste Idee: verlange die Erfüllung von (HJB) nur für solche x R d, in denen Dv(x) existiert die optimale Wertefunktion erfüllt (HJB) Problem: es gibt i.a. noch viele weitere Funktionen, die (HJB) in diesem Sinne erfüllen keine Eindeutigkeit der Lösung

11 Verallgemeinerte Lösungen Ziel: Definiere Lösungen der Gleichung (HJB) für nicht differenzierbare v δv(x) + H(x, Dv(x)) = 0 Zweite Idee: verlange die Erfüllung von (HJB) nur für solche x R d, in denen Dv(x) existiert und modifiziere (HJB) geeignet für die sonstigen x

12 Super und Subdifferential Erinnerung: w : R d R heißt differenzierbar in x R d, wenn Dw(x) := p R d existiert, so dass gilt lim y x w(y) w(x) p (y x) y x = 0 Def.: Das Superdifferential von w in x R d ist definiert durch D + w(x) := { p R d lim inf y x w(y) w(x) p (y x) y x Das Subdifferential von w in x R d ist definiert durch D w(x) := { p R d lim sup y x w(y) w(x) p (y x) y x 0 0 } }

13 Super und Subdifferential w w x x Elemente des Super und Subdifferentials Beobachtung: falls w in x differenzierbar ist, gilt D + w(x) = D w(x) = {Dw(x)}

14 Viskositätslösungen, Definition 1 Eine stetige Funktion w : R d R heißt Viskositätslösung von (HJB), falls gilt: δw(x) + H(x, p) 0 für alle x R d und alle p D + w(x) und δw(x) + H(x, p) 0 für alle x R d und alle p D w(x) w heißt Viskositäts Unterlösung, wenn die erste Bedingung gilt w heißt Viskositäts Oberlösung, wenn die zweite Bedingung gilt

15 Viskositätslösungen und klassische Lösungen Satz: Eine differenzierbare Funktion w : R d R ist genau dann eine klassische Lösung von (HJB) wenn sie eine Viskositätslösung ist Beweisskizze: Im differenzierbaren Fall gilt D + w(x) = D w(x) = {Dw(x)} und damit δw(x) + H(x, Dw(x)) = 0 { δw(x) + H(x, p) 0 p D w(x) δw(x) + H(x, p) 0 p D + w(x)

16 Viskositätslösungen, äquivalente Definition Dies ist recht anschauliche Verallgemeinerung des klassischen Lösungsbegriffe. Besser geeignet für Beweise ist aber eine äquivalente Definition, die auf der folgenden Beobachtung beruht: Sei w : R d R stetig, x R d und p R d. Dann sind äquivalent: (i) (ii) p D + w(x) [bzw. p D w(x)]. Es existiert ein ϕ C 1 (R d, R) mit Dϕ(x) = p, so dass w ϕ ein (nicht notwendigerweise striktes) lokales Maximum [bzw. Minimum] in x annimmt.

17 Viskositätslösungen, Definition 2 Eine stetige Funktion w : R d R heißt Viskositätslösung von (HJB), wenn für alle Testfunktionen ϕ C 1 (R d, R) gilt: w ϕ nimmt in x R d ein lokales Maximum an δw(x) + H(x, Dϕ(x)) 0 w ϕ nimmt in x R d ein lokales Minimum an δw(x) + H(x, Dϕ(x)) 0. w heißt Viskositäts Unterlösung, wenn die erste Bedingung gilt w heißt Viskositäts Oberlösung, wenn die zweite Bedingung gilt

18 Der Name Viskositätslösungen Die HJB Gleichung kann approximiert werden durch δv ε (x) + H(x, Dv ε (x)) ε v ε (x) = 0, mit dem Laplace Operator v = TrD 2 v = d i=1 2 x 2 i v Diese (gleichmäßig elliptische) PDGL hat eine klassische Lösung v ε C 2 (R d, R) für die v ε v für ε 0 gilt ε v ε (x) wird in der Physik Viskosität genannt, die Approximation v ε v heißt Methode der verschwindenden Viskosität Dies ist der Grund für den Namen Viskositätslösung

19 Existenzsatz Satz: Die optimale Wertefunktion v des diskontierten optimalen Steuerungsproblems ist eine Viskositätslösung von (HJB). Beweisskizze: Wir müssen zeigen, dass v sowohl Viskositäts Unterlösung als auch Oberlösung ist. Wir skizzieren die Oberlösungseigenschaft, für die Unterlösung argumentiert man ähnlich.

20 Beweisskizze des Existenzsatzes Wir wählen ϕ C 1 (R d, R), so dass w ϕ in x ein lokales Minimum besitzt. O.B.d.A. können wir v(x) = ϕ(x) annehmen, womit für y nahe x die Ungleichung v(y) ϕ(y) folgt. Aus dem Optimalitätsprinzip folgt dann für hinreichend kleine T > 0 ϕ(x) = v(x) = sup u U T 0 e δt g(φ(t, x, u), u(t))dt + e δt v(φ(t, x, u)) sup u U T 0 e δt g(φ(t, x, u), u(t))dt + e δt ϕ(φ(t, x, u))

21 Beweisskizze des Existenzsatzes Umstellen der Terme liefert inf u U { ϕ(x) e δt ϕ(φ(t, x, u)) T 1 T T 0 e δt g(φ(t, x, u), u(t)) dt } 0. Grenzübergang T 0 ergibt dann δϕ(x) + inf { Dϕ(x) f(x, u) g(x, u)} 0, u U was wegen v(x) = ϕ(x) gerade die Oberlösungseigenschaft ist. δv(x) + H(x, Dϕ(x)) 0

22 Existenzsatz Dies zeigt, dass die optimale Wertefunktion tatsächich eine Viskositätslösung von (HJB) ist Insbesondere wissen wir damit, dass eine Viskositätslösung von (HJB) existiert Allerdings könnten weitere Viskositätslösungen existieren, die mit unserem optimalen Steuerungsproblem nichts zu tun haben. Um dies auszuschließen, benötigen wir ein Eindeutigkeitsresultat In der Theorie der Viskositätslösungen wird ein solches Resultat typischerweise als soganntes Vergleichsprinzip formuliert, in dem Unter und Oberlösungen verglichen werden.

23 Vergleichsprinzip Satz: Es seien f und g beschränkt und Lipschitz stetig in x glm. in u. Weiterhin sei v 1 eine stetige und beschränkte Viskositäts Unterlösung von (HJB) und v 2 eine stetige und beschränkte Viskositäts Oberlösung von (HJB). Dann gilt v 1 (x) v 2 (x) für alle x R d. Korollar: Die optimale Wertefunktion v ist die eindeutige stetige und beschränkte Viskositätslösung von (HJB). Beweis des Korollars: Jede Viskositätslösung ist per Definition Ober und Unterlösung. Für jede weitere Lösung ṽ gilt also nach dem Vergleichsprinzip v ṽ und ṽ v und damit Gleichheit.

24 Beweisskizze des Vergleichsprinzip Zu zeigen: sup x R d v 1 (x) v 2 (x) 0 Ansatz Verdopplung der Variablen : Für festes η > 0 und variables ε > 0 konstruiere Ψ ε (x, y) = v 1 (x) v 2 (y) F ε (x, y) mit (i) sup x R d v 1 (x) v 2 (x) sup x,y R d Ψ ε (x, y) + η (ii) das Supremum über Ψ ε ist ein Maximum, das im Punkt (x ε, y ε ) angenommen wird die Funktionen ϕ 1 (x) := v 1 (x) Ψ ε (x, y ε ), ϕ 2 (y) := v 2 (y) + Ψ ε (x ε, y) sind Vergleichsfunktionen für v 1 bzw. v 2 in x = x ε bzw. y = y ε δv 1 (x ε )+H(x ε, Dϕ 1 (x ε )) 0, δv 2 (y ε )+H(y ε, Dϕ 1 (y ε )) 0 (iii) aus diesen Ungleichungen folgt lim sup ε 0 Ψ ε (x ε, y ε ) η

25 Beweisskizze des Vergleichsprinzip Dies funktioniert mit mit Ψ ε (x, y) = v 1 (x) v 2 (y) x y 2 2ε β(h(x) + h(y)) h C 1 (R d, R), h(x) für x. Für hinreichend kleines β erhalten wir (i) sup x R d v 1 (x) v 2 (x) sup x,y R d Ψ ε (x, y) + η

26 Beweisskizze des Vergleichsprinzip Ψ ε (x, y) = v 1 (x) v 2 (y) x y 2 2ε β(h(x) + h(y)) Wegen der unbeschränkten Negativität von β(h(x) + h(y)) nimmt Ψ ε sein Maximum in einem Punkt (x ε, y ε ) an, also gilt (ii). Die Maximalstelle (x ε, y ε ) liegt dabei in einer unabhängig von ε beschränkten Menge (dafür sorgt β(h(x) + h(y))) Wegen des Terms x y 2 /(2ε) gilt damit x ε y ε Cε und lim ε 0 x y 2 2ε = 0

27 Beweisskizze des Vergleichsprinzip Mit diesen Ungleichungen und den Vergleichsfunktionen ϕ 1 (x) := v 1 (x) Ψ ε (x, y ε ), ϕ 2 (y) := v 2 (y) + Ψ ε (x ε, y) erhält man aus den Viskositätslösungs Ungleichungen δv 1 (x ε ) + H(x ε, Dϕ 1 (x ε )) 0, δv 2 (y ε ) + H(y ε, Dϕ 1 (y ε )) 0 für hinreichend kleines β > 0 die gewünschte Eigenschaft (iii) lim sup ε 0 Ψ ε (x ε, y ε ) η sup x R d v 1 (x) v 2 (x) 2η Behauptung, da η > 0 beliebig

28 Stochastische optimale Steuerung Bestimme die optimale Wertefunktion v(x) = sup u U J(x, u) für J(x, u) := E [ 0 e δt g(x(t, x, u), u(t)) dt ], δ > 0 und X(t, x, u) Lösung des stochastischen Kontrollsystems dx(t) = a(x(t), u(t))dt + b(x(t), u(t))dw t mit X(0, x, u) = x R d, W t = m dim. Wiener Prozess und u U = {u : R U messbarer stoch. Prozess}, U R l kompakt

29 Das Bellman sche Optimalitätsprinzip Für alle T > 0 gilt v(x) = sup u U E [ T 0 e δt g(x(t, x, u), u(t)) dt + e δt v(x(t, x, u)) ]. Dieses Prinzip ist völlig analog zum deterministischen Fall, es kommt lediglich der Erwartungswert hinzu Die daraus resultierende Hamilton Jacobi Bellman Gleichung sieht allerdings anders aus

30 Die Hamilton Jacobi Bellmanas Gleichung Herleitung: Aus dem Optimalitätsprinzip erhält man inf E u U [ v(x) e δt v(x(t, x, u)) T }{{} δv(x) Dv(x) a(x,u) 1 2 Tr(b(x,u)b(x,u)T D 2 v(x)) T 1 T 0 e δt g(x(t, x, u), u(t)) dt }{{} g(x, u) ] = 0. für T 0, da bei der Ableitung entlang X das Ito Lemma berücksichtigt werden muss δv(x)+inf u U { 1 2 Tr(b(x,u)b(x,u)T D 2 v(x)) Dv(x) a(x,u) g(x,u)}=0

31 Die Hamilton Jacobi Bellman Gleichung δv(x)+inf u U { 1 2 Tr(b(x,u)b(x,u)T D 2 v(x)) Dv(x) a(x,u) g(x,u)}=0 Wir schreiben diese partielle Differentialgleichung kurz als mit δv(x) + H(x, Dv(x), D 2 v(x)) = 0 H(x, p, Q) := inf u U { 1 2 Tr(b(x, u)b(x, u)t Q) p a(x, u) g(x, u)}

32 Viskositätslösungen Das Viskositätslösungsdefinition mittels Testfunktionen lässt sich leicht auf (shjb) verallgemeinern: Eine stetige Funktion w : R d R heißt Viskositätslösung von (shjb), wenn für alle Testfunktionen ϕ C 2 (R d, R) gilt: w ϕ nimmt in x R d ein lokales Maximum an δw(x) + H(x, Dϕ(x), D 2 ϕ(x)) 0 w ϕ nimmt in x R d ein lokales Minimum an δw(x) + H(x, Dϕ(x), D 2 ϕ(x)) 0. Existenz und Eindeutigkeit wie im deterministischen Fall

33 Anwendungen Abgesehen von ihrer mathematischen Eleganz, hat die Viskositätslösungstheorie eine ganze Reihe praktischer Anwendungen: Verifikation optimaler Wertefunktionen Größerer Vorrat an mathematischen Techniken zur Analyse optimaler Steuerungsprobleme, aber auch umgekehrt zur Analyse partieller Differentialgleichungen Analyse und Konstruktion numerischer Schemata

34 Literatur M. Bardi and I. Capuzzo Dolcetta, Optimal Control and Viscosity Solutions of Hamilton-Jacobi-Bellman equations, Birkhäuser, Boston, Sehr ausführliche Monographie über deterministische Probleme W. H. Fleming and M. H. Soner, Controlled Markov processes and viscosity solutions, Springer Verlag, New York, Monographie über stochastische Probleme, mit einer ausführlichen Einführung in deterministische Probleme M. G. Crandall, H. Ishii, and P.-L. Lions, User s guide to viscosity solutions of second order partial differential equations, Bull. Amer. Math. Soc. (N.S.), 27 (1992), pp Überblicksartikel über stochastische HJB Gleichungen M. G. Crandall and P.-L. Lions, Viscosity solutions of Hamilton Jacobi equations, Trans. Amer. Math. Soc., 277 (1983), pp Die ursprüngliche Arbeit, in der Viskositätslösungen eingeführt wurden.