Optimierendes Lernen (Reinforcement Learning) - Adaptive Verfahren für dynamische Optimierungsprobleme. VE 1: Einführung

Transkript

1 Optimierendes Lernen (Reinforcement Learning) - Adaptive Verfahren für dynamische Optimierungsprobleme VE 1: Einführung Prof. Dr. Martin Riedmiller Machine Learning Lab Albert-Ludwigs-Universitaet Freiburg riedmiller@informatik.uni-freiburg.de Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 1

2 Organisatorisches Prof. Dr. Martin Riedmiller Raum 00009, Geb. 079 Sprechstunde: Donnerstag Uhr kein Skript - Folien über unsere Webseite Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 2

3 Termine WS 2009/ Vorlesung Dienstag, Uhr, Donnerstag, Uhr, Übung Di, 11.15, im Wechsel (nach Ankündigung) Teilnahme an Übungen Voraussetzung für Prüfung (mind. 50 %) Sonstiges: Praktikum (Machine Learning for Simulated Soccer) Implementation und Evaluation von Reinforcement Lernverfahren im RoboCup optional: Teilnahme an der Reinforcement Learning Competition Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 3

4 Ziel der Vorlesung Einführung des Lernproblem-Typs Optimierendes Lernen - Reinforcement Learning Einführung in die mathematischen Grundlagen für ein selbständig lernendes System Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 4

5 Ziel der 1. Einheit Motivation, Definition und Abgrenzung Gliederung Beispiele Lösungsansätze Maschinelles Lernen Optimierendes Lernen (Reinforcement Learning) Überblick Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 5

6 Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 6

7 Beispiel Backgammon Kann ein Programm selbständig Backgammon lernen? Lernen aus Erfolg (Sieg) und Mißerfolg (Niederlage) Neuro-Backgammon: Weltmeisterniveau (Tesauro, 1992) Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 7

8 Beispiel Stabbalancierer (Regelungstechnik) Kann ein Programm selbständig balancieren lernen? Lernen aus Erfolg und Mißerfolg Neuronale RL Regler: Störungen, Ungenauigkeiten, unbekanntes Systemverhalten, Nichtlinearitäten,... (Riedmiller et.al. ) Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 8

9 Beispiel Roboterfußball Können Programme selbständig lernen zu kooperieren? Lernen aus Erfolg und Mißerfolg Kooperative RL Agenten: Komplexität, verteilte Intelligenz,... (Riedmiller et.al. ) Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 9

10 Beispiel: Autonome (z.b. humanoide) Roboter Aufgabe: Bewegungssteuerung ähnlich wie beim Menschen (Gehen, Laufen, Fussballspielen, Radfahren, Skifahren,...) Eingabe: Bild der Videokamera Ausgabe: Steuersignale an die Gelenke Probleme: sehr komplex Konsequenzen von Aktionen schwer einschätzbar Störungen / Rauschen Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 10

11 Beispiel: Labyrinth (engl. Maze) Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 11

12 Das Agenten-Konzept.? Agent Sensoren Aktoren. Ziel. [Russell and Norvig 1995, page 33] An agent is anything that can be viewed as perceiving its environment through sensors and acting upon that environment through effectors. Keine prinizpiell andere Lösungsmethodik sondern konzeptionelle Vereinfachung Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 12

13 Lösungsansätze der Künstlichen Intelligenz (KI) Planen / Suchen (z.b. A, Backtracking) Deduktion (z.b. Logische Programmiersprachen, Prädikatenlogik) Expertensysteme (z.b. Regelwissen generiert von Experten) Fuzzy-Regelsysteme (Unscharfes Schliessen) Genetische Algorithmen (Evolvierung von Lösungen) Maschinelles Lernen (z.b. Reinforcement Lernen) Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 13

14 Typen des Lernens (bei Menschen) Lernen von einem Lehrer Strukturieren von Objekten Lernen aus Erfahrung Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 14

15 Typen des Maschinellen Lernens (ML) Lernen mit Lehrer Überwachtes Lernen (Supervised Learning): Beispiele von Eingabe / (Ziel-)Ausgabe. Zielsetzung: Generalisierung (i.a. nicht nur Auswendiglernen). Strukturierung / Erfassung von Zusammenhängen Unüberwachtes Lernen (Unsupervised learning, Clustering): Zielsetzung: Zusammenfassen von ähnlichen Datenpunkten, z.b. zur Vorverarbeitung. Lernen durch Belohnen / Bestrafen Optimierendes Lernen (Reinforcement Learning): Lernvorgabe: Spezifikation des zu erreichenden Ziels (bzw. zu vermeidender Ereignisse).... Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 15

16 Maschinelles Lernen: Zutaten 1. Typ des Lernproblems (gegeben / gesucht) 2. Repräsentation des gelernten Lösungswissens Tabelle, Regeln, lineare Abbildung, neuronales Netz, Lösungsverfahren (beobachtete Daten Problemlösung) (heuristische) Suche, Gradientenabstieg, Optimierungsverfahren,... Also nicht: für dieses Problem brauche ich ein neuronales Netz Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 16

17 Schwerpunkt der Vorlesung: Optimierendes Lernen es wird keine Information über eine Lösungsstrategie vorausgesetzt selbständiges Erlernen einer Lösungsstrategie durch geschicktes Ausprobieren von Lösungen ( Trial and Error ) größte Herausforderung an ein lernendes System Repräsentation des Lösungswissens mithilfe eines Funktionsapproximators (z.b. Tabellen, Lineare Modelle, Neuronale Netze usw.) Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 17

18 RL am Beispiel autonomer Roboter schlecht: Beschädigung (Sturz,...) gut: Aufgabe erfolgreich erledigt besser: schnell / wenig Energie / glatte Bewegungen/... Optimierung! Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 18

19 Optimierendes Lernen - Reinforcement Learning (RL) auch: Lernen aus Bewertungen, Selbständiges / Autonomes Lernen, Neuro Dynamic Programming Definiert einen Lerntypus und nicht eine Methode! Zentrales Merkmal: Bewertendes Trainingssignal - z.b. gut / schlecht RL mit unmittelbarer Bewertung: Bandit-Problem / Automatentheorie Entscheidung Bewertung Beispiel: Parameter für einen Wurf in einen Basketballkorb Zeitliche verzögerung (delayed RL) Entscheidung, Entscheidung,..., Entscheidung Bewertung wesentlich schwerer; interessant, da vielseitig einsetzbar Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 19

20 Zeitlich verzögertes RL Entscheidung, Entscheidung,..., Entscheidung Bewertung Beispiel: Robotik, Regelungstechnik, Spiele (Schach, Backgammon) Grundproblem: temporal credit assignment Basisarchitektur: Actor-Critic System Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 20

21 Mehrstufige Entscheidungsprobleme...? s 0 s 1 s 2 s s N N-1 Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 21

22 Actor Critic Actor-Critic System (Barto, Sutton, 1983) External reward Internal Critic s World Actor? Actor: In Situation s wähle Aktion u (Strategie π : S U) Critic: Verteilung des externen (Gesamt-) Signals auf einzelne Aktionen Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 22

23 Reinforcement Learning 1959 Samuel s Checker-Player (Dame): TD-Verfahren 1968 Michie und Chambers: Boxes 1983 Barto, Sutton s AHC/ACE, 1987 Sutton s TD(λ) Anfang der 90-er: Zusammenhang von Dynamischen Programmieren (DP) und RL: Werbos, Sutton, Barto, Watkins, Singh, Bertsekas DP - klassisches Optimierungsverfahren (späte 50er: Bellman) zu hoher Aufwand bei größeren Aufgabenstellungen Vorteil: saubere mathematische Formulierung, Konvergenzaussagen 2000 Policy Gradient Verfahren (Sutton et. al, Peters et. al,...) 2005 Fitted Q (Batch DP Verfahren) (Ernst et. al, Riedmiller,..) seither viele Beispiele von erfolgreichen zumindest praxisnahen Anwendungen Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 23

24 Weitere Beispiele Gebiet Eingabe Ziel Beispiel Ausgabe (Aktionen) Spiele Brettsituation Gewinnen Backgammon, Schach gültiger Zug Robotik Sensorwerte Sollwert Pendel, Roboterfußballl RT Stellgröße Reihenfolge- Zustand Gewinn Fertigungsstrasse, Mobilfunkne planung Kandidat Benchmark Zustand Zielposition Labyrinth Richtung Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 24

25 . Ziel: Selbständig lernendes System Ziel Sensoren Agent Aktoren.. Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 25

26 Vorgehensweise - Grobskizze Formulierung des Lernproblems als Optimierungsaufgabe Lösung durch Lernen basierend auf Optimierungsverfahren des Dynamischen Programmierens Schwierigkeiten: sehr großer Zustandsraum Prozessverhalten unbekannt Einsatz approximativer Verfahren (z.b. Verwendung neuronaler Netze) Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 26

27 Gliederung 1. Teil: Einführung (1) 2. Teil: Dynamisches Programmieren (2-4) Markov sche Entscheidungsprobleme, Rückwärts DP, Value Iteration, Policy Iteration 3. Teil: Approximatives DP / Optimierendes Lernen (5-10) Monte Carlo Methoden, stochastische Approximation, TD(λ), Q-learning 4. Teil: Fortgeschrittene Methoden des Optimierenden Lernens (11) Policy Gradient Methoden, Hierarchische Methoden, POMDPs, Relationales Reinforcement Lernen 5. Teil: Anwendungen des Optimierenden Lernens Roboterfussball, Pendel, RL-Competition Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 27

28 Weitere Veranstaltungen zum Thema Machine Learning for Simulated Soccer Vorlesung mit Praktikum Robot Learning (freiwillige) AG MidSize-Liga RoboCup (freiwillige) AG Simulationsliga RoboCup Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 28

29 References [1] D. P. Bertsekas and J.N. Tsitsiklis. Neuro Dynamic Programming. Athena Scientific, Belmont, Massachusetts, [2] A. Barto and R. Sutton. Reinforcement Learning. MIT Press, Cambridge, Massachusetts, [3] M. Puterman. Markov Decision Processes: Discrete Stochastic Dynamic Programming. John Wiley and Sons, New York, [4] L.P. Kaelbling, M.L. Littman and A.W. Moore. Reinforcement Learning: A survey. Journal of Artificial Intelligence Research, 4: , 1996 WWW: Prof. Dr. Martin Riedmiller, Maschinelles Lernen, Universität Freiburg Optimierendes Lernen (Reinforcement Learning) 1 29