ASIM Fachgruppentreffen STS/GMMS

Größe: px

Ab Seite anzeigen:

Download "ASIM Fachgruppentreffen STS/GMMS"

Caroline Brinkerhoff
vor 5 Jahren
Abrufe

1 ASIM Fachgruppentreffen STS/GMMS Modellbasiert lernende Steuerung für Gelenkarmroboter FG Computational Engineering and Automation Georg Kunert, M.Eng. Prof. Dr.-Ing. Thorsten Pawletta Heilbronn, 09. März 2018

2 FG CEA - HOCHSCHULE WISMAR Agenda Motivation Reinforcement Q-Learning Erweiterung zum Reinforcement Q-Learning Generierung einer Robotersteuerung aus Q-Learning Zusammenfassung/Ausblick

3 FG CEA - HOCHSCHULE WISMAR 3 Motivation Stand heute: Je Problem eine Steuerung Problem wird von Ingenieur gelöst und eine spezifische Lösung umgesetzt Ansatz: Je Problemklasse eine Steuerung

4 FG CEA - HOCHSCHULE WISMAR 4 Reinforcement Learning Zustandsänderung durch Agenten (Aktion) Rückgabe eines Folgezustandes Bewertung durch Umgebung (Belohnung)

FG CEA - HOCHSCHULE WISMAR Q-Learning am Beispiel Türme von Hanoi Q-Learning Lernalgorithmus: Reinforcement Q-Learning Beispielanwendung: Türme von Hanoi Anfangszustand

5 FG CEA - HOCHSCHULE WISMAR Q-Learning am Beispiel Türme von Hanoi Q-Learning Lernalgorithmus: Reinforcement Q-Learning Beispielanwendung: Türme von Hanoi Anfangszustand Zielzustand Greedy-Zug: Q(s,a)=R(s,a)+ α max(q(a,:)) mit: a - Index des Folgezustandes s - Index des aktuellen Zustandes Q - Lernmatrix R - Belohnungsmatrix α Lernrate 5

6 FG CEA - HOCHSCHULE WISMAR Q-Learning am Beispiel Türme von Hanoi 6 s - Index des aktuellen Zustandes Q - Lernmatrix R - Belohnungsmatrix α - Lernrate

7 FG CEA - HOCHSCHULE WISMAR Q-Learning am Beispiel Türme von Hanoi 6

8 FG CEA - HOCHSCHULE WISMAR Q-Learning am Beispiel Türme von Hanoi 6

9 FG CEA - HOCHSCHULE WISMAR Q-Learning am Beispiel Türme von Hanoi 6

10 FG CEA - HOCHSCHULE WISMAR 7 Q-Learning am Beispiel Türme von Hanoi State Exploration

11 state FG CEA - HOCHSCHULE WISMAR Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R 8

12 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q Q(s,a) = R(s,a) + alpha * max(q(a,:));

13 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(1,4) = * 0; Doppelpunkt entspricht der Matlab-Notaion Q(, : ) Alle Elemente der Zeile() der Q-Matrix

14 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(4,7) = * 0;

15 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q 1 Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(7,9) = * 0;

16 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q 1 Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(1,4) = * 0;

17 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q 0,8 1 Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(4,7) = * 1;

18 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q 0,8 1 Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(7,9) = * 0;

19 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q 0,64 0,8 1 Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(1,4) = * 0.8;

20 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q 0,64 0,8 1 Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(4,7) = * 1;

21 state state FG CEA - HOCHSCHULE WISMAR 8 Q-Learning am Beispiel Türme von Hanoi Lernphase (stochastisch) Belohungsmatrix R Lernmatrix Q 0,64 0,8 1 Q(s,a) = R(s,a) + alpha * max(q(a,:)); Q(7,9) = * 0;

22 FG CEA - HOCHSCHULE WISMAR 9 Erweitertes Reinforcement Q-Learning

23 FG CEA - HOCHSCHULE WISMAR 10 Erweitertes Q-Learning s - Index des aktuellen Zustandes Q - Lernmatrix R - Belohnungsmatrix α - Lernrate

24 FG CEA - HOCHSCHULE WISMAR Erweitertes Q-Learning 11 s - Index des aktuellen Zustandes Q - Lernmatrix R - Belohnungsmatrix α - Lernrate

25 FG CEA - HOCHSCHULE WISMAR 12 Erweitertes Q-Learning Q-Matrix mit Nullen zurücksetzen for 1 to Anzahl(Zustände) for 1 to Anzahl(Zeilen der Q-Matrix) for 1 to Anzahl(Spalten der Q-Matrix) Q(state,)=R(state, ) + α max(q(, : )) end for end for end for Doppelpunkt entspricht der Matlab-Notaion Q(, : ) Alle Elemente der Zeile() der Q-Matrix

26 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

27 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

28 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

29 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

30 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

31 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

32 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

33 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

34 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

35 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

36 state state FG CEA - HOCHSCHULE WISMAR 13 Erweitertes Q-Learning Lernphase Belohungsmatrix R Lernmatrix Q

37 state FG CEA - HOCHSCHULE WISMAR 14 Erweitertes Q-Learning Lernphase Lernmatrix Q

38 FG CEA - HOCHSCHULE WISMAR 15 Generierung einer Robotersteuerung

39 FG CEA - HOCHSCHULE WISMAR Generierung einer Robotersteuerung 16

40 FG CEA - HOCHSCHULE WISMAR 17 Generierung einer Robotersteuerung Entwicklung der Datenstruktur A

41 FG CEA - HOCHSCHULE WISMAR 18 Generierung einer Robotersteuerung Entwicklung der Datenstruktur A

42 FG CEA - HOCHSCHULE WISMAR Generierung einer Robotersteuerung Rahmenprogramm der Robotersteuerung 19 Anz_Steine = 4; Trumhoehe = [Anz_Steine,0,0]; //Auf erstem Stab sind vier Steine P(:,1) = [422,211,263,-135,0-110]; // erste Ablageposition P(:,2) = [622,211,263,-135,0,-90]; // zweite Ablageposition P(:,3) = [822,211,263,-135,0,-70]; // dritte Ablageposition A = RF_QL_TvH(Anz_Steine); //Lernalgorithmus - globale Variablenübergabe Doppelpunkt entspricht der Matlab-Notaion Q(, : ) Alle Elemente der Zeile() der Q-Matrix

43 FG CEA - HOCHSCHULE WISMAR Generierung einer Robotersteuerung Rahmenprogramm der Robotersteuerung 19 for k=1 to Anzahl(Zeilen von A) if Umweg_noetig(Turmhoehe) //mittlerer Turm darf nicht umgefahren werden umwegp = Umweg_berechnen(A,k); rmove(r(1),umwegp); end //pick PickPos = P(A(k,1),:); // Pickposition wird anhand der A-Liste ermittelt rmove(r(1),pickpos); grapper( close ); //Greifer schließen Doppelpunkt entspricht der Matlab-Notaion Q(, : ) Alle Elemente der Zeile() der Q-Matrix

44 FG CEA - HOCHSCHULE WISMAR Generierung einer Robotersteuerung Rahmenprogramm der Robotersteuerung 20 end for if Umweg_noetig(Turmhoehe) //mittlerer Turm darf nicht umgefahren werden umwegp = Umweg_berechnen(A,k); rmove(r(1),umwegp); end //place PlacePos = P(A(k,2),:); // Placeposition wird anhand der A-Liste ermittelt rmove(r(1),a(k,2); grapper( open ); //Greifer oeffnen Trumhoehe = TurmhoehenBerechnung(); Doppelpunkt entspricht der Matlab-Notaion Q(, : ) Alle Elemente der Zeile() der Q-Matrix

45 FG CEA - HOCHSCHULE WISMAR 21 Generierung einer Robotersteuerung

46 FG CEA - HOCHSCHULE WISMAR 22 Zusammenfassung/Ausblick Maschinelles Lernen kann zur Generierung einer Robotersteuerung genutzt werden Lernen in der virtuellen Umgebung Anpassung in der realen Umgebung Erweiterung des Reinforcement Learning Beschleunigung von diesem Lernverfahren Ein Programm für eine Problemklasse Kombination von maschinellen Lernverfahren Anwendung von maschinellen Lernverfahren in komplexen Anwendungen

47 FG CEA - HOCHSCHULE WISMAR 24 Quellen (1) Wojciech Samek, Thomas Wiegand, Klaus-Robert Müller: Explainable EXPLAINABLE ARTIFICAL INTELLIGENCE: UNDERSTANDING, VISUALIZING AND INTERPRETING DEEP LEARNING MODELS, ITU Journal: ICT Discoveries, Special Issue No1 (2017) Forschungsgruppe CEA ( ) Gunner Maletzki : Rapid Control Prototyping komplexer und flexibeler Robotersteuerungen auf Basis des SBC-Ansatzes; Dissertation, Universität Rostock/Hochschule Wismar (2013)

48 FG CEA - HOCHSCHULE WISMAR 25 Quellen (2) Birger Freymann, Thorsten Pawletta, Sven Pawletta: Multi-Robotersteuerung mit variablen Interaktionsprinzipien auf Basis des Simulation Based Control Frameworks an dem Discrete Event System Specification Formalismus. In: Proc. of ASIM-Treffen STS/GMMS, ARGSIM Report AR 50, ARGSIM/ASIM Pub. Vienna/Austria pp (DOI: / RG ) (2015) MathWorks: Introducing Maschine Learning ( ) Ethem Alpaydin: MACHINE LEARNING : the new AI; MIT Press essential; ISBN (2016)

49 FG CEA - HOCHSCHULE WISMAR 26 Quellen (3) Toby Segaran: Kollektive Intelligenz analysieren, programmieren und nutzen; O Reilly Verlag; ISBN (2008) Kyle I S Harrington: INTRODUCING TO MACHINE LEARNING AND DATA MINING, ( ) Oliver Kramer, Computational Intelligence - Eine Einführung; DOI / (2009)

Ähnliche Dokumente

Real-time reinforcement learning von Handlungsstrategien für humanoide Roboter

Real-time reinforcement learning von Handlungsstrategien für humanoide Roboter von Colin Christ 1 Aufgabenstellung Entwicklung einer Applikation zur Demonstration von RL für humanoide Roboter Demonstration: