Monte Carlo Methoden

Transkript

1 Monte Carlo Methoden im Verstärkungslernen [Spink] Bryan Spink 2003 Ketill Gunnarsson [ [email protected] ], Seminar zum Verstärkungslernen, Freie Universität Berlin [ ]

2 Einleitung Im Algemeinen ist eine Monte Carlo Methode eine stochastische Methode um Systeme zu untersuchen Ungefähr 100 Jahre alt Der Name ist inspiriert von den Casino-Roulleten in Monte Carlo

3 Beispiel Bestimmung von PI Berechnen die Fläche und benutzen: F = πr 2 Messen die Fläche indirekt Aus [Woller]

4 Beispiel Aus [Woller]

5 Monte Carlo Methoden in R.L. Benutzt um optimale Policy zu bestimmen. Erzeugen Episoden. Lernt von Erfahrung (kein Model notwendig). Nur für episodische Probleme definiert Ein Lern-Schritt erfolgt erst nach durchlaufen einer Episode Laufzeit hängt nicht von der Gesamtanzahl der Zustände ab

6 Wiederholung s ist ein Zustand. a ist eine Aktion. Ein Reward ist die aktuelle Belohnung eines Zustands. V(s), oder Q(s,a) ist die zukunftige Belohnung die wir nach s oder (s,a) erwarten. Policy π, sagt welche aktion wir auführen sollen.

7 Optimale Policy Ziel: Optimal für gierige Policy bestimmen Wir nähern uns an die optimale Policy indem wir unsere Werte-Funktion nach und nach verbessern (optimieren). Annahmen: Optimistische Anfangswerte Unendliche Episoden

8 Zustands Werte-Funktionen V(s) Wollen V π (s) bestimmen. Idee: das Wert eines Zustands s ist die durchnittliche Belohnung die man erhällt, nachdem man s besucht hat.

9 V π (s) bestimmen: First Visit MC Wollen V(s) einschätzen, mit gegebener Policy P. Algorithmus: P = gegebene Policy V = Eine Zustands Werte-Funktion Reward(s) = leere Liste, für alle Zustände s While (true) { Eine Episode mit P generieren Für jeden Zustand s in der Episode: B = Reward nachdem wir s zum ersten mal besucht haben Füge B zu Reward(s) hinzu V(s) = Durchschnitt( Reward(s) )} Aus [Sutton]

10 Backup diagram Update von V(s) erfolgt erst am Ende der Episode Zustand s Endzustand Aus [Sutton]

11 Q(s,a) : Aktion-Zustands Werte-Funktion Problem: Wollen policy auswerten (z.b. gierig) aber es gibt kein model. model nicht vorhanden -> Aktion-Zustands Paare statt Zustände bewerten: Q(s,a)

12 Monte Carlo Control Erhalten Annäherung an die optimale Policy (greedy) indem wir: Werte-Funktion in Bezug auf P verbessern, und P in Bezug auf die Werte-Funktion verbessern Aus [Sutton]

13 Monte Carlo Control: Exploring Starts Aus [Sutton]

14 On-Policy Bestimmung Optimistische Anfangswerte: Lösung: Verändern die Policy in eine stochastische Policy ( ε-gierig ). Jede aktion hat somit eine W.keit > 0 ausgewählt zu werden (soft policy) Unendliche Episoden Lösung: Setzten voraus dass wir nach jeder Episode eine bessere Policy haben. Dann kann man Episoden ausführen bis eine bestimmte genauigkeit erreicht ist.

15 ε-gierig On-Policy Monte Carlo Control Aus [Sutton]

16 Inkrementelle Implementierung MC kann inkrementell implementiert werden um Speicher zu sparen Benutzen gewichtete Belohnungen (Returns): Aus [Igel] Nicht inkrementell inkrementell

17 Quellen [Spink] Monaco, Bryan Spink [link checked ] [Woller] The Basics of Monte Carlo Simulations, University of Nebraska-Lincoln, Physical Chemistry Lab (Chem 484), by lab TA Joy Woller, Spring [link checked ] [Igel] Folien von Dr. Christian Igel, Institut für Neuroinformatik, Lehrstuhl für theoretische Biologie, Ruhr-Universität Bochum, Bochum,Germany. WS0304.pdf [link checked ] [Sutton] Reinforcement Learning:An Introduction, Richard S. Sutton and Andrew G. Barto, MIT Press, Cambridge, MA, 1998, A Bradford Book. [link checked ]