Combining Manual Feedback with Subsequent MDP Reward Signals for Reinforcement Learning W. Bradley Knox und Peter Stone

Transkript

1 Combining Manual Feedback with Subsequent MDP Reward Signals for Reinforcement Learning W. Bradley Knox und Peter Stone Informatik FB 20 Knowlegde Engineering Yasmin Krahofer 1

2 Inhalt Problemstellung MDP TAMER Kombinationsmethoden Experimente Ergebnisse Fazit Quellen Informatik FB20 Knowledge Engineering Yasmin Krahofer 2

3 Problemstellung Lernende Agenten gehen mehr und mehr von der Forschung ins reale Leben über Probleme: 1. Nicht alle Endbenutzer haben Fachkenntnisse 2. Manche Trainingsdaten sind kostspielig, erbringen aber keine gute Leistung Informatik FB20 Knowledge Engineering Yasmin Krahofer 3

4 Nicht alle Endbenutzer haben Fachkenntnisse In realer Welt kann nicht jeder Mensch programmieren Soll dennoch in der Lage sein, einem Agenten ein gewünschtes Verhalten beizubringen Informatik FB20 Knowledge Engineering Yasmin Krahofer 4

5 Kostspielige Trainingsdaten mit geringer Leistung Sie sollen reduziert werden Wenn möglich komplett weglassen Informatik FB20 Knowledge Engineering Yasmin Krahofer 5

6 Wichtige Begriffe Markov Decision Process TAMER Informatik FB20 Knowledge Engineering Yasmin Krahofer 6

7 Wichtige Begriffe Markov Decision Process TAMER Informatik FB20 Knowledge Engineering Yasmin Krahofer 7

8 Markov Decision Prozess MDP Wofür? MDP Funktionsweise MDP Reward Eigenschaften des MDP Informatik FB20 Knowledge Engineering Yasmin Krahofer 8

9 MDP Wofür? Wahrscheinlichkeitsberechnung Schlägt nächsten Zustand vor Informatik FB20 Knowledge Engineering Yasmin Krahofer 9

10 MDP Funktionsweise 1. Zu jedem Zeitpunkt befindet sich Prozess in einem Zustand s s Informatik FB20 Knowledge Engineering Yasmin Krahofer 10

11 MDP Funktionsweise 1. Zu jedem Zeitpunkt befindet sich Prozess in einem Zustand s 2. In Zustand s sind ein oder mehrere Aktionen verfügbar s Informatik FB20 Knowledge Engineering Yasmin Krahofer 11

12 MDP Funktionsweise 1. Zu jedem Zeitpunkt befindet sich Prozess in einem Zustand s 2. In Zustand s sind ein oder mehrere Aktionen verfügbar 3. Eine Aktion a wird gewählt s Informatik FB20 Knowledge Engineering Yasmin Krahofer 12

13 MDP Funktionsweise 1. Zu jedem Zeitpunkt befindet sich Prozess in einem Zustand s 2. In Zustand s sind ein oder mehrere Aktionen verfügbar 3. Eine Aktion a wird gewählt 4. Nachfolgende Zeitpunkt bewegt sich Prozess in Zustand s und liefert den dazugehörigen Reward s s s s Informatik FB20 Knowledge Engineering Yasmin Krahofer 13

14 MDP Reward Als Signal genutzt Drückt Belohnung, von Zustand s in Zustand s, zu gelangen aus Fehlerlos Informationsarm z.t. Verzögert Informatik FB20 Knowledge Engineering Yasmin Krahofer 14

15 Eigenschaften des MDP s abhängig von aktuellem Zustand s und Aktion a Unabhängig von davor gewählten Aktionen Informatik FB20 Knowledge Engineering Yasmin Krahofer 15

16 Wichtige Begriffe Markov Decision Process TAMER Informatik FB20 Knowledge Engineering Yasmin Krahofer 16

17 TAMER Was ist TAMER? Wie funktioniert TAMER? Bisherige Ergebnisse von TAMER Schlussfolgerungen Informatik FB20 Knowledge Engineering Yasmin Krahofer 17

18 Was ist TAMER? Teaching Agents Manually via Evaluative Reinforcement Framework Agenten können interaktiv geformt werden Informatik FB20 Knowledge Engineering Yasmin Krahofer 18

19 Wie funktioniert TAMER? Menschlicher Trainer gibt positives oder negatives Feedback Signal An Hand der Signale wird Human Reinforcement Function Ĥ erstellt TAMER wählt Aktion auf Grund von Ĥ Informatik FB20 Knowledge Engineering Yasmin Krahofer 19

20 Bisherige Beobachtungen von TAMER Sample Komplexität wird reduziert Gewährleistung einer guten Policy Laien können Agenten zu gewünschtem Verhalten trainieren Agenten lernen in einem MDP ohne Reward Function Informatik FB20 Knowledge Engineering Yasmin Krahofer 20

21 Überlegungen Human Reinforcement Signal: informationsreich und fehleranfällig MDP Reward: informationsarm und fehlerlos Kombination des Human Reinforcement Signals und des MDP Reward Informatik FB20 Knowledge Engineering Yasmin Krahofer 21

22 Problem bei der Umsetzung Kombination von Reinforcement Algorithmen mit TAMER TAMER ist mit Reward Function nicht kompatibel! Informatik FB20 Knowledge Engineering Yasmin Krahofer 22

23 Kombinationsmethoden Ziel: Etablierung von Kombinationsmethoden für TAMER und RL Algorithmen Erforschung verschiedener Wege, um sie umzusetzen Informatik FB20 Knowledge Engineering Yasmin Krahofer 23

24 Kombinationsmethoden SARSA(λ) als Reinforcement Learning Algorithmus Q Function wird erstellt Q Function wird aktualisiert Q Function betrachtet zuvorgegangen Wege (Aktionssequenzen) Informatik FB20 Knowledge Engineering Yasmin Krahofer 24

25 Kombinationsmethoden Aktion a Zustand s Ĥ(s,a) R(s,a) Q(s,a) Parameter weight wird dekrementiert constant bleibt konstant Informatik FB20 Knowledge Engineering Yasmin Krahofer 25

26 1 R (s,a) = R(s,a) + (weight * Ĥ(s,a)) Reward Signal wird durch die Summe von sich und einem Anteil der Human Reinforcement Function ersetzt Anteil der Reinforcement Function nimmt ab somit auch ihr Einfluss Vorhersage des Menschen wird mit der Zeit unbedeutender Informatik FB20 Knowledge Engineering Yasmin Krahofer 26

27 2 f = f.append(ĥ(s,a)) Annahme, dass die Q Function über einen Feature Vector erlernt wird Fügt zu sich selbst zusätzlich noch die Information der Human Reinforcement Function hinzu Information kann vom Reinforcement Learning Algorithmus, je nach Bedarf, mehr oder weniger genutzt werden Informatik FB20 Knowledge Engineering Yasmin Krahofer 27

28 3 Q(s,a) (constant * Ĥ(s,a)) Q Function so trainieren, dass sie sich an einen Anteil von Ĥ(s,a) annähert Q wird mit 0 initialisiert Ĥ wird als Q Function behandelt Informatik FB20 Knowledge Engineering Yasmin Krahofer 28

29 4 Q (s,a) = Q(s,a) + constant * Ĥ(s,a) Ähnlich wie 1 Statt MDP Reward wird Q Function benutzt Ĥ(s,a) nimmt nicht ab Informatik FB20 Knowledge Engineering Yasmin Krahofer 29

30 5 A = A ᴜ argmax a [Ĥ(s,a)] Fügt zu der Menge der möglichen Aktionen die Aktion hinzu, welche der TAMER Agent wählen würde Mindestens zwei optimale Aktionen stehen zur Verfügung Informatik FB20 Knowledge Engineering Yasmin Krahofer 30

31 6 a = argmax a [Q(s,a) + weight * Ĥ(s,a)] Ein Anteil der Human Reinforcement FunctionĤwird zur Q Function während der Aktionsauswahl hinzugefügt Der Anteil der Human Reinforcement FunctionĤnimmt mit der Zeit ab Informatik FB20 Knowledge Engineering Yasmin Krahofer 31

32 7 P (a = argmax a [Ĥ(s,a)]) = p p ist eine fixe Wahrscheinlichkeit Entweder wählt Reinforcement Learning Algorithmus die nächste Aktion aus oder TAMER Agent wählt die nächste Aktion aus, während der Reinforcement Learning Algorithmus überwacht und aktualisiert Anfangs wird die Aktion von Ĥ gewählt Gegen Ende vom RL-Algorithmus Informatik FB20 Knowledge Engineering Yasmin Krahofer 32

33 8 R (s t,a) = R(s,a) + constant * (Ф(s t ) Ф(s t-1 )) Ф(s) = max a H(s,a) H wird über Potentialfunktion Ф genutzt Potentialfunktion Ф gibt an, welches die optimale Aktion a im Zustand s ist Aktueller Zustand und Zustand aus Zeitschritt davor wird betrachtet Je größer die Abweichung desto größer der Einfluss Informatik FB20 Knowledge Engineering Yasmin Krahofer 33

34 Experimente - Randbedingungen SARSA(λ) als Reinforcement Algorithmus Mountain Car Umgebung Zwei Human Reinforcement Functions Ĥ 1 : durchschnittliche Funktion Ĥ 2 : beste Funktion Zwei Parameter Sets Optimistisch: Initialisierung von Q = 0 Pessimistisch: Initialisierung von Q = -120 constant und weight Auswahl der besten Parameter Informatik FB20 Knowledge Engineering Yasmin Krahofer 34

35 Erfolgskriterien 1. Höheres Level der Endperformanz der Kombinationstechnik ist größer als RL Algorithmus oder TAMER alleine 2. MDP Reward ist nach mehreren Lernepisoden (> 500) größer als RL Algorithmus oder TAMER alleine Informatik FB20 Knowledge Engineering Yasmin Krahofer 35

36 1. Höhere Endperformanz Optimistische Initialisierung 1 Nur mit Q= Informatik FB20 Knowledge Engineering Yasmin Krahofer 36

37 1. Höhere Endperformanz Optimistische Initialisierung Pessimistische Initialisierung Nur mit Q= Informatik FB20 Knowledge Engineering Yasmin Krahofer 37

38 1. Höhere Endperformanz Optimistische Initialisierung Pessimistische Initialisierung Nur mit Q=0 2, 5 Schlechtesten Ergebnisse Informatik FB20 Knowledge Engineering Yasmin Krahofer 38

39 1. Höhere Endperformanz Optimistische Initialisierung Pessimistische Initialisierung Nur mit Q=0 2, 5 8 Schlechtesten Ergebnisse Etwas verbessert Informatik FB20 Knowledge Engineering Yasmin Krahofer 39

40 1. Höhere Endperformanz Optimistische Initialisierung Pessimistische Initialisierung Nur mit Q=0 2, 5 8 3,4,6,7 Schlechtesten Ergebnisse Etwas verbessert Besten Ergebnisse Informatik FB20 Knowledge Engineering Yasmin Krahofer 40

41 2. Höherer Reward Verbesserungen mit beiden Initialisierungen 1,6, Informatik FB20 Knowledge Engineering Yasmin Krahofer 41

42 2. Höherer Reward Verbesserungen mit beiden Initialisierungen 1,6,7 Verbessert sich auch etwas Informatik FB20 Knowledge Engineering Yasmin Krahofer 42

43 2. Höherer Reward Verbesserungen mit beiden Initialisierungen 1,6,7 Verschlechterungen Verbessert sich auch etwas Nicht unbedingt besser als SARSA(λ) Geringe Verbesserung unter einer der beiden H Funktionen Schlechter als SARSA(λ) alleine Informatik FB20 Knowledge Engineering Yasmin Krahofer 43

44 Beste Höhere Endperformanz Höherer Reward 3,4,6,7 1,6, Informatik FB20 Knowledge Engineering Yasmin Krahofer 44

45 Beste Höhere Endperformanz Höherer Reward 3,4,6,7 1,6, Informatik FB20 Knowledge Engineering Yasmin Krahofer 45

46 Fazit Zwei erkennbare Muster 1. Wird die Q Funktion am Anfang manipuliert, führt das zu einer schlechteren Performanz Informatik FB20 Knowledge Engineering Yasmin Krahofer 46

47 Fazit Zwei erkennbare Muster 1. Wird die Q Funktion am Anfang manipuliert, führt das zu einer schlechteren Performanz 2. Wenn der Agent sanft in eine Richtung geleitet wird und der Einfluss von Ĥ mit der Zeit reduziert wird, führt das zu einer guten Performanz Informatik FB20 Knowledge Engineering Yasmin Krahofer 47

48 Ziel Etablierung von Kombinationsmethoden für TAMER und RL Algorithmen Erforschung verschiedener Wege, um sie umzusetzen Informatik FB20 Knowledge Engineering Yasmin Krahofer 48

49 Frage Ziel: Etablierung von Kombinationsmethoden für TAMER und RL Algorithmen Erforschung verschiedener Wege, um sie umzusetzen Erreicht, ja oder nein? Informatik FB20 Knowledge Engineering Yasmin Krahofer 49

50 Erreicht, ja oder nein? Jein Guter Ansatz Informatik FB20 Knowledge Engineering Yasmin Krahofer 50

51 Erreicht, ja oder nein? Jein Guter Ansatz Spiele (Schach, Backgammon, etc.) ja Informatik FB20 Knowledge Engineering Yasmin Krahofer 51

52 Erreicht, ja oder nein? Jein Guter Ansatz Spiele (Schach, Backgammon, etc.) ja Erkennung (Gesichtsdetektion) ja Informatik FB20 Knowledge Engineering Yasmin Krahofer 52

53 Erreicht, ja oder nein? Jein Guter Ansatz Spiele (Schach, Backgammon, etc.) ja Erkennung (Gesichtsdetektion) ja Roboter (Operationen) nein Informatik FB20 Knowledge Engineering Yasmin Krahofer 53

54 Erreicht, ja oder nein? Jein Guter Ansatz Spiele (Schach, Backgammon, etc.) ja Erkennung (Gesichtsdetektion) ja Roboter (Operationen) nein Für komplexe Anwendungen noch nicht genügend erforscht Informatik FB20 Knowledge Engineering Yasmin Krahofer 54

55 Quellen html er-knox.pdf Informatik FB20 Knowledge Engineering Yasmin Krahofer 55