Seminar im Grundstudium: Motion-Tracking in der Robotik

Transkript

1 Seminar im Grundstudium SS2007 Seminar im Grundstudium: Motion-Tracking in der Robotik Lehrstuhl für Hardware-Software-Co-Design Universität Erlangen-Nürnberg Stefan Wildermann 1

2 Überblick - Ziele Ziele: Einblick in die Welt der Robotik Gemeinsame Entwicklung einer Anwendung zum Motion Tracking Lernen, wie wissenschaftliche Themen vorbereitet, bearbeitet und präsentiert werden Stefan Wildermann 2

3 Überblick - Ablauf Ablauf: Vorbesprechung: Einteilung der Gruppen Nächstes Mal: Einführung / Vorstellung der Schnittstellen 1. Hälfte: In Gruppen sollen kleine Programmieraufgaben durchgeführt werde 2. Hälfte: Vorträge der Gruppen über die bearbeiteten Themen Erstellen eines kurzen Handouts (1-2 Seiten), das die wichtigsten Punkte zusammenfasst Stefan Wildermann 3

4 Motion-Tracking Verwendung des Roboters Kurt3D, der mit einem 3D- Laserscanner ausgestattet ist Ziel: Tracking von Personen mit Hilfe des Laserscanners Laserscanner tastet eine Ebene parallel zum Fußboden auf ca. 32 cm Höhe ab Erkennen von Beinpaaren im Laserscan Verfolgung der Positionen der gefundenen Personen über die Zeit Darstellung und Visualisierung der beobachteten Personen Stefan Wildermann 4

5 Systemaufbau Bewegungsvorhersage Wissen Anchoring Tracking Schnittstelle GUI Personenerkennung im Laserscan Stefan Wildermann 5

6 Personenerkennung Laserscanner liefert die Koordinaten der Punkte einer Ebene Segmentierung der Punkte benachbarte Punkte gehören zu einem Segment Erkennen solcher Segmente, die Beine darstellen Identifizierung von Beinpaaren Stefan Wildermann 6

7 Systemaufbau Bewegungsvorhersage Wissen Anchoring Tracking Schnittstelle GUI Personenerkennung im Laserscan Stefan Wildermann 7

8 Anchoring Assoziation Zuordnung eines in früheren Messzyklen beobachteten Objektes zu einem aktuell gemessenen Objekt Das Gesehene muss mit den Daten im Gedächtnis verknüpft werden Instanz von Person Name: Franz Position: da vorne Geschwindigkeit: langsam Stefan Wildermann 8

9 Methodik Das Tracking lässt sich in folgende Verarbeitungsschritte unterteilen: Prädiktion Vorhersage der zukünftigen Position anhand bekannter Info und physikalischer oder mathematischer Gesetzmäßigkeiten Assoziation Zuordnung eines in früheren Messzyklen beobachteten Objektes zu einem aktuell gemessenen Objekt Korrektur Gewichtete Zusammenführung von Prädiktion und aktueller Messung Mehr Gewichtung der Prädiktion glättet die Ergebnisse stärker Mehr Gewichtung der Messung reagiert schneller auf Veränderungen der Messwerte Stefan Wildermann 9

10 Systemaufbau Prädiktion Korrektur Bewegungsvorhersage Wissen Anchoring Tracking Schnittstelle GUI Personenerkennung im Laserscan Stefan Wildermann 10

11 Bewegungsvorhersage Zustand einer Person zum Zeitpunkt t Position y Geschwindigkeit Vorhersage des neuen Zustandes Korrektur entsprechend den Messungen x Stefan Wildermann 11

12 Bewegungsvorhersage Prädiktion und Korrektur y x Stefan Wildermann 12

13 Bewegungsvorhersage Messung Vorhersage Stefan Wildermann 13

14 Systemaufbau Prädiktion Korrektur Bewegungsvorhersage Wissen Anchoring Tracking Schnittstelle GUI Personenerkennung im Laserscan Stefan Wildermann 14

15 Schnittstelle - GUI Verschiedene Mensch-Maschinen- Schnittstellen, z.b. Shell GUI Sprachsteuerung Gestenerkennung hier GUI, z.b. mit Java Swing / Java SWT OpenGL Stefan Wildermann 15

16 Beispiel: Laserscan: Punktewolke einer 2D Ebene Stefan Wildermann 16

17 Beispiel: Detektion von Beinpaaren im Laserscan Stefan Wildermann 17

18 Beispiel: Detektion von Linien (blau) Tracking von Personen Stefan Wildermann 18

19 Einteilung der Gruppen Gruppe1: Laserscanner Gruppe2: Anchoring Gruppe3: Bewegungsvorhersage Gruppe4: Schnittstelle Stefan Wildermann 19

20 Gruppen Gruppe 1: Laserscanner Applied Computer Science Group Uni Bielefeld /ags/ai/projects/biron/tracking/legs/laserleg.html Freyer, Zell Robust real-time pursuit of persons with a mobile robot using multisensor fusion, 2000 Xavier, Pacheco, Castro, Ruano, Nunes Fast Line, Arc/Circle and Leg Detection from Laser Scan Data in a Player Driver, 2005 Nguyen, Martinelli, Tomatis, Siegwart A Comparison of Line Extraction Algorithms using 2D Laser Rangefinder for Indoor Mobile Robots, 2005 Stefan Wildermann 20

21 Gruppen Gruppe 2: Anchoring Coradeschi, Saffiotti An introduction to the anchoring problem, 2003 Kleinehagenbrock, Lang, Fritsch, Lömker, Fink, Sagerer Person Tracking with a Mobile Robot based on Multi- Modal Anchoring, 2003 Stefan Wildermann 21

22 Gruppen Gruppe 3: Bewegungsvorhersage Hettler, Bewegungsvorhersage, in Virtual environments: Seminar, Uni Karlsruhe, 2003 Perse, Pers, Kritan, Kovacic, Vuckovic, Physic-Based Modelling of Human Motion using Kalman Filter and Collision Avoidance Algorithm, 2005 Kohler Using the Kalman Filter to track human interactive motion Modelling and Initialization of the Kalman Filter for translational motion, 1997 Stefan Wildermann 22

23 Gruppen Gruppe 4: Schnittstelle Java Swing - Tutorial OpenGL für Java OpenGL The Redbook Rogalla, Ehrenmann, Zollner, Becher, Dillmann, Using gesture and speech control for commanding a robot assistant, 2002 Stefan Wildermann 23

24 Termin Stefan Wildermann 24

25 Termin Stefan Wildermann 25

26 Kontakt Dozenten: Prof. Dr.-Ing. Teich (Inf12) Dr.-Ing. Marcus Bednara (Fraunhofer IIS) Joachim Falk (Inf12) Stefan Wildermann (Inf12) Weitere Fragen bitte an: Stefan Wildermann 26