Learning to Optimize Mobile Robot Navigation Based on HTN Plans

Transkript

1 Learning to Optimize Mobile Robot Navigation Based on HTN Plans lernen Betreuer: Freek Stulp Hauptseminar Intelligente Autonome Systeme (WiSe 2004/05) Forschungs- und Lehreinheit Informatik IX 8. Dezember 2004

2 Learning to Optimize Mobile Robot Navigation Based on HTN Plans lernen Überblick Probleme Rhino Überblick Probleme Rhino bei Robotern HTNs HTN in der Praxis lernen Künstliche Neuronale Netze & Model Trees in der Praxis

3 Probleme lernen Überblick Probleme Rhino Vermittlung: Abstrakte Pläne, Low-Level Aktionen Effektiv planen lernen

4 Das Rhino Navigationssystem lernen Überblick Probleme Rhino Robust Navigation Planning Bekommt Ziele Erstellt Navigationsstrategien Local Control Übersetzt Navigationsaufgaben in Motorkommandos Reagiert auf dynamische Hindernisse

5 HTN Pläne lernen HTN Pläne HTN: Praxis Hierarchischer Aufbau Pläne als Objekte Elementare und Zusammengesetzte Pläne Planexpansion Lazy Expansion

6 für einen HTN Plan lernen HTN Pläne HTN: Praxis Zur TU Garching fahren Mit dem Auto zur TU fahren 1. Ins Auto steigen 2. Mit dem Auto zur TU fahren Über die Autobahn 1. Auf die A99 fahren 2. Auf die A9 fahren 3. Ausfahrt Garching-Nord nehmen 4. Auto am Parkplatz parken Über Landstraßen Aussteigen Mit dem MVV zur TU fahren

7 für einen HTN Plan lernen HTN Pläne HTN: Praxis Zur TU Garching fahren Mit dem Auto zur TU fahren... Mit dem MVV zur TU fahren 1. Zur S-Bahn Station gehen Zu Fuß gehen Mit dem Fahrrad fahren 2. Nach Garching fahren 1. Mit der S5 zum Marienplatz fahren 2. Mit der U6 nach Garching-Hochbrück fahren 3. Mit dem Bus nach Garching fahren Linie 291 nehmen Verstärker der Linie 291 nehmen Linie 630 nehmen

8 Das HTN lernen HTN Pläne HTN: Praxis MDPgoto(x, y) Expandiert durch ApproachPoint(x, y, d) Expandiert durch SetTarget(x, y, d) TurnTo(x, y), SetTarget(x, y, d) MoveBackward(30), SetTarget(x, y, d) TurnToFree(), MoveForward(d), TurnTo(x, y), SetTarget(x, y, d)

9 lernen 1. MDPgoto(400, 400) Expandiert 2. ApproachPoint(310, 310, 2) Expandiert 3. SetTarget(310, 310, 2) Schwebend HTN Pläne HTN: Praxis SetTarget 1. MDPgoto(400, 400) Expandiert 2. ApproachPoint(310, 310, 2) Expandiert 3. SetTarget(310, 310, 2) Schwebend 4. MoveBackwards(5) Schwebend

10 lernen lernen Die Situation Neuronale Netze HTN Pläne Abstrakte Pläne Konkretisiert durch Expansion Wahl der Expansion? Lernen Die Situation Künstliche Neuronale Netze & Model Trees

11 Situationseigenschaften lernen Die Situation Neuronale Netze Distanz bis zum ersten Hindernis Verfügbarer Platz an derzeitiger Position Verfügbarer Platz an Zielposition Minimal verfügbarer Platz auf dem Weg Durchschnittlich verfügbarer Platz a. d. Weg Krümmung des Weges Differenz zwischen maximal und minimal verfügbarem Platz auf dem Weg Länge des Pfades

12 Künstliche Neuronale Netze lernen w 1, j w i, j Σ Die Situation Neuronale Netze Merkmale Klasse

13 lernen Die Situation Neuronale Netze Knoten: Attribute Kanten: Belegungen Blätter: Funktionswert/Klasse Pfade: Horn-Formeln ( X 0 X 1... X n 1 X 0 )

14 lernen Die Situation Neuronale Netze Nein Nein Geld reicht für einen besseren Computer Ja Ja Bilder pro Sekunde in Spielen < > 25 Nein Genügt aufrüsten? Ja Laut Wie laut ist der Computer? Mittel Leise Ja Nein Ja Lautstärke kann gedämmt werden Nein Nein Ja Ja Nein

15 lernen Die Situation Neuronale Netze Konstruktion Gute vs schlechte Bäume Model Trees Vorteile: Verständliche Regeln

16 e gelernter Regeln lernen Die Situation Neuronale Netze ( (Bilder pro Sek. In Spielen = 18) (Geld reicht für besseren Computer = Ja) (Genügt aufrüsten = Nein) (Lautstärke kann gedämmt werden = Ja) (Wie laut ist der Computer = Leise) ) IF (Geld reicht für besseren Computer = Ja) AND (Bilder pro Sekunde in Spielen >= 15) AND (Bilder pro Sekunde in Spielen <= 25) AND (Genügt aufrüsten = Nein) THEN Neuen Computer Kaufen = Ja

17 e gelernter Regeln lernen Die Situation Neuronale Netze IF (pathcurvature < 1.05) AND (NOT crossesdoor) AND (pathlength >= 110.0) AND (pathlength < 130.0) THEN Duration = 1 / * pathlength

18 Praxis lernen Zielpunkte, gewählt durch Standard-Expansion Zielpunkte, gewählt durch Expansion nach Training

19 Praxis lernen Hand-Optimierte Regeln: Rücken zum Ziel, wenig Platz => zuerst drehen Platz nimmt ab => Ziel nur 1 Meter voraus Viel Platz, geringe Krümmung => 4 Meter voraus Performanz: ca 31 % besser Gelernte Regeln Lernphase: Exploration => Model Trees Planung: Geschätzte Zeit = Negativer Reward Expansion: Regel mit größtem Reward zuerst Performanz: ca 42 % besser

20 lernen Optimierungen Detailliertere HTNs Optimierte Klassifikation... Hier unbehandelte Themen Dynamische Umgebungen Unüberwachtes Lernen...

21 Learning to Optimize Mobile Robot Navigation Based on HTN Plans lernen Danke für die Aufmerksamkeit :-)