3. Das Reinforcement Lernproblem

3. Das Reinforcement Lernproblem 1. Agierender Agent in der Umgebung 2. Discounted Rewards 3. Markov Eigenschaft des Zustandssignals 4. Markov sche Entscheidung 5. Werte-Funktionen und Bellman sche Optimalität F. Schwenker Reinforcement Learning 29

Agent und Umgebung - das Bild Agent State Reward Action s t r t a t r t+1 Environment s t+1 F. Schwenker Reinforcement Learning 30

Aktion-Zustand-Reward Agent führt eine Aktion a t aus. Umwelt ändert hierdurch ihren Zustand s t und erteilt dem Agenten einen Reward r t R, s t und r t werden vom Agenten wahrgenommen. Agent führt nächste Aktion a t+1 aus. S die Menge der Zustände (diskret/endlich) A die Menge der Aktionen (diskret/endlich) A(s t ) Menge der Aktion die im Zustand s t möglich sind. Zeit ist diskret, d.h. t = 1, 2, 3,.... F. Schwenker Reinforcement Learning 31

Der Agent führt die Aktion gemäß einer Strategie/Taktik/Vorgehensweise (policy) aus, bezeichnet mit π t. π t (s, a) ist hier die Wahrscheinlichkeit, dass die Aktion a t = a ausgeführt wird, falls der Zustand s t = s war. Reinforcement Lernverfahren adaptieren direkt oder indirekt die policy π t des Agenten. Agent soll die in der Zukunft zu erwartenden Rewards maximieren, also den mittleren Reward 1 T T i=t+1 r i maximieren. Problem: T = ist möglich F. Schwenker Reinforcement Learning 32

Discounted Rewards Wie könnnen die (in der Zukunft) zu erwartenden Rewards maximiert werden? In einigen Anwendungen ist ein endlicher Zeithorizont T bekannt (z.b. beim Tic-Tac-Toe). In diesen Fällen sind die Rewards bis zur Zeit T zu berücksichtigen. Also einfach den Mitterlwert berechnen. In vielen Fällen ist T a priori unbekannt (auch im Verlauf der Zeit nicht), sondern es ist möglicherweise erst kurz vor Schluss T zu schätzen (kontinuierlich durchgeführte Aufgaben). Für diese Aufgabe nehmen wir T = an. Dann kann aber kein Erwartungswert berechnet werden. F. Schwenker Reinforcement Learning 33

Ausweg: Rewards in der weiteren Zukunft abschwächen mit Konstante γ [0, 1] und dann R t = γ i r t+1+i i=0 γ < 1, so konvergiert R t bei beschränkten Rewards (geometrische Reihe anwenden). γ = 0, so wird nur r t+1 berücksichtigt. γ = 1, so muss T < sein. Je näher γ bei 1, desto stärker werden die weit in der Zukunft liegenden Rewards berücksichtigt. F. Schwenker Reinforcement Learning 34

Wir betrachten also die Summe der discounted Rewards R t = T γ i r t+1+i i=0 Also Grenzfälle können T = oder γ = 1 auftreten, aber nicht beide zusammen. F. Schwenker Reinforcement Learning 35

Markov Eigenschaft Als Zustand der Umgebung kann natürlich alles aufgefasst werden, was der Agent wahrnehmen kann. Dies können einfache Sensorwerte sein oder irgendeine symbolische Repräsentation einer Belegtheitskarte eines Raumes oder Gebäudes. Für den Aufbau einer solchen Karte sind umfangreiche sensorische Eingaben zuverarbeiten. Wir nehmen an, dass der Zustand den der Agent wahrnehmen kann, alle für die Aufgabe relevanten Ereignisse der Vergangenheit enthält. Beispiel: Die Positionen der Figuren zu einem Zeitpunkt t geben die vollständige Information über den bisherigen Spielverlauf. Wie diese Stellung zustande kam, kann natürlich nützlich sein, für die Berechnung des optimalen nächsten Zuges ist diese Information nicht nötig. Der aktuelle Zustand wird betrachtet, nicht der Weg dort hin! F. Schwenker Reinforcement Learning 36

Im Allgemeinen basiert die Bestimmung von Zustand und Reward auf Wahrscheinlichkeiten der Form prob{s t+1 = s, r t+1 = r s t, a t, r t, s t 1, a t 1, r t 1,..., s 0, a 0 } (1) Markov Eigenschaft: Die Ausgabe der Umgebung hängt nur ab von a t, der letzten Aktion des Agent, sowie von s t, dem letzten Zustand der Umgebenung: prob{s t+1 = s, r t+1 = r s t, a t } (2) Wir sagen das Zustandssignal hat die Markov-Eigenschaft, gdw. (1) gleich (2) ist für alle s und r und für alle Vergangenheiten s t, a t, r t, s t 1, a t 1, r t 1,..., s 0, a 0. Wir nehmen diese Markov-Eigenschaft des Zustandssignals immer an, in diesem Fall sagen wir auch, das Umgebung und RL-Aufgabe die Markov- Eigenschaft erfüllen. F. Schwenker Reinforcement Learning 37

Markov sche Entscheidung Reinforcement-Aufgabe mit der Markov-Eigenschaft wird auch als Markovscher Entscheidungsprozess (MDP=Markov decision process) bezeichnet. Falls A und S endlich sind, auch als finiter MDP. Hiermit beschäftigen wir uns. Ein endlicher MDP ist definiert durch A und S und die Dynamik der Umgebung. Gegeben a A und s S, die Wahrscheinlichkeit des nächsten Zustands s ist P a s s = prob{s t+1 = s s t = s, a t = a} Dieses sind die Übergangswahrscheinlichkeiten. F. Schwenker Reinforcement Learning 38

Gegeben a A und s S, sowie der nächste Zustand s S der Erwartungswert für den nächsten Reward ist R a s s = E{r t+1 s t = s, a t = a, s t+1 = s } Durch P a s s und R a s s sind die wichtigsten Größen in einem endlichen MDP repräsentiert. Die präzise Verteilung der Rewards um die Erwartungswerte geht allerdings verloren. F. Schwenker Reinforcement Learning 39

Werte-Funktionen Policy des Agenten wird bezeichnet mit π t. Es ist π t (s, a) die Wahrscheinlichkeit, dass die Aktion a t = a ausgeführt wird, falls der Zustand s t = s vorlag. Der Wert eines Zustands s bzgl. der Policy π, bezeichnet mit V π (s), ist der Erwartungswert von R t = γ i r t+1+i, mit γ (0, 1] i=0 falls der Agent die Aktionen gemäß π ausführt, wobei er im Zustand s beginnt, also { V π (s) = E π Rt s t = s } { = E π γ i r t+1+i s t = s } i=0 F. Schwenker Reinforcement Learning 40

V π Wertfunktion der Zustände (state-value function for policy) π. Der Wert der Aktion a im Zustand s bzgl. Strategie π ist der Erwartungswert von R t falls der Agent im Zustand s die Aktion a ausführt und dann gemäß der Strategie π vorgeht, also { Q π (s, a) = E π {R t s t = a, a t = a} = E π γ i r t+1+i s t = s, a t = a } Q π Wertfunktion der Aktionen (action-value function for policy) π. V π und Q π können gelernt werden, beispielsweise durch Mittelwertbildung über die gesammelten Rewards. Dabei werden im Fall der Schätzung von V π Mittelwerte für jeden Zustand s gebildet (S endlich) und im Fall von Q π Mittelwerte für jede einzelne Aktionen a (A endlich). Für viele Zustände und/oder Aktionen müssen V π und Q π durch adaptive Abbildungen (z.b. neuronale Netze) gelernt. i=0 F. Schwenker Reinforcement Learning 41

Bellman Gleichung Die Wertfunktion V π erfüllen rekursive Bedingungen zwischen den Zuständen s und den Folgezuständen: V π (s) = E π {R t s t = s} } = E π {r t+1 + γ γ i r t+2+i s t = s = a i=0 π(s, a) s P a ss ( { }) R a ss + γe π γ k r t+2+k s t+1 = s k=0 = a π(s, a) s P a ss (R a ss + γv π (s )) V π ist eindeutige Lösung der Bellman Gleichung, sie ist Grundlage für Algorithmen zum Lernen von V π (entsprechende Gleichung gilt für Q π ). F. Schwenker Reinforcement Learning 42

Backup Diagramme (a) s (b) s,a a r s' r s' a' (a) die Situation für V π ; (b) die Situation für Q π Ausgehend von Zustand s kann der Agent Aktionen a ausführen (hier 3) Hierauf geht die Umgebung in Folgezustände über (hier 2), gleichzeitig wird ein Reward r erteilt. V π (s) durch Mittelung über alle möglichen Aktionen a und alle möglichen Folgezustände s. Über die Pfade in diesen Bäumen werden die Werte von Zuständen zur Aktualisierung der Werte vorherige Zustände propagiert. F. Schwenker Reinforcement Learning 43

Beispiel Gridworld A A' +10 (a) B +5 B' Actions 3.3 8.8 4.4 5.3 1.5 1.5 3.0 2.3 1.9 0.5 0.1 0.7 0.7 0.4-0.4-1.0-0.4-0.4-0.6-1.2-1.9-1.3-1.2-1.4-2.0 (b) Agent bewegt sich im 2D-Gitter. Mögliche Aktionen sind Bewegungen nach Nord, Süd, West, Ost. F. Schwenker Reinforcement Learning 44

Aktionen werden zufällig und mit gleicher Wahrscheinlichkeit gewählt (random policy π). Reward ist 1, falls der Agent eine Aktion ausführt, die ihn hinaus befördern würde. In diesem Fall bleibt der Agent allerdings auf seiner Position im Grid. In den Zuständen (Zellen im Grid) A und B. Hier wird ein Reward von 10 bzw. 5 erteilt und zwar für alle Aktionen. Diese bringen den Agenten in den Zustand A bzw. B. Alle anderen Aktion erzielen Reward 0. Für γ = 0.9 ist V π in (b) dargestellt. Im unteren Bereich haben die Zustände negative Werte V (s). V π (A) ist das Maximum, allerdings V π (A) < 10, dagegen V π (B) > 5. Warum? F. Schwenker Reinforcement Learning 45

Optimale Wertfunktionen Für ein RL Problem suchen wir nach einer Strategie π für die der erwartete Reward (Return) möglichst groß ist. Die Menge der Strategien Π = {π π policy auf S A} ist teilweise geordnet durch π π gdw V π (s) V π (s) für alle s S Es gibt mindestens eine optimale policy π, möglicherweise gibt es mehrere optimale policies, diese haben aber alle die gleiche Zustandswertfunktion, nämlich die optimale Zustandswertefunktion V. Diese ist definiert durch V (s) = max π V π (s) F. Schwenker Reinforcement Learning 46

Alle optimalen policies π haben auch gleiche optimale Aktionswertefunktion Q, definiert durch Q (s, a) = max π Qπ (s, a) Für ein Paar aus Zustand und Aktion (s, a) gibt die Funktion Q (s, a) den erwarteten Return für die Aktion a im Zustand s an und nachfolgend die optimale policy angewendet wird, somit besteht der Zusammenhang zwischen Q und V : Q (s, a) = E {r t+1 + γv (s t+1 ) s t = s, a t = a} V ist die Wertefunktion einer optimalen policy π, somit erfüllt V die Bellman-Gleichung. F. Schwenker Reinforcement Learning 47

Die Bellman-Gleichung für V : V (s) = max a = max a = max a = max a = max a = max a Q π (s, a) E π {R t s t = s, a t = a} E π E π { } γ k r t+k+1 s t = s, a t = a { k=0 r t + γ } γ k r t+k+2 s t = s, a t = a k=0 E {r t + γv (s t+1 ) s t = s, a t = a} s P a ss (R a ss + γv (s )) F. Schwenker Reinforcement Learning 48

Die Bellman-Gleichung für Q : { } Q (s, a) = E r t+1 + γ max Q (s t+1, a ) s t = a, a t = a a = ) Pss (R a a ss + γ max Q (s, a ) s a (a) s (b) s,a max a r s' max r s' a' F. Schwenker Reinforcement Learning 49

Falls die Dynamik der Umgebung bekannt ist, dh. falls P a ss und R a ss bekannt sind, so besteht das Gleichungssystem für V aus S (nichtlinearen) Gleichungen mit S Unbekannten. Dieses kann prinzipiell auch gelöst werden. Falls V bekannt ist, so folgt daraus sehr einfach eine optimale policy. Im Zustand s ist π (s, a ) mit a = arg max s P a ss (R a ss + γv (s )) A B +5 22.0 24.4 22.0 19.4 17.5 19.8 22.0 19.8 17.8 16.0 +10 B' 17.8 19.8 17.8 16.0 14.4 16.0 17.8 16.0 14.4 13.0 A' 14.4 16.0 14.4 13.0 11.7 a) gridworld b) V* c) π* F. Schwenker Reinforcement Learning 50