Seminar im Grundstudium: Motion-Tracking in der Robotik

Transkript

1 Seminar im Grundstudium SS2007 Seminar im Grundstudium: Motion-Tracking in der Robotik Lehrstuhl für Hardware-Software-Co-Design Universität Erlangen-Nürnberg Stefan Wildermann 1

2 Ziel Detektieren und Tracken von Person Mitdrehen Stefan Wildermann 2

3 Roboteransteuerung Problem: Sobald der Roboter seine Richtung ändert, stimmen das lokale Koordinatensystem des Roboters (+ Laserscanners) und das golbale Weltkoordinatensystem nicht mehr überein. Translation und Rotation des Laserscans bzw. der detektierten Objekte notwendig Stefan Wildermann 3

4 Systemaufbau Sehen Objekterkennung Bewegungserkennung Anchoring Gedächtnis Bewegungsvorhersage und Tracking Robotersteuerung Handeln Tracking Stefan Wildermann 4

5 Laserscanner SICK Laser Measurement System 200 arbeitet nach Phasenlaufzeitverfahren: Distanz= Δt c 2 5

6 Laserscanner Rotationsspiegel, der den Lichtstrahl umlenkt Ebene von 180 lässt sich abtasten (2D Scan) 6

7 Objekt-/Bewegungserkennung (Gruppen 1&2) Teilaufgaben: Laserdaten sammeln: laser.laserclient laser = new laser.laserclient(" ", 4444); [...] laser.scan scan = laser.getscan(); Personen finden: public interface ObjectDetector implementieren Visualisierung mittels GUI Stefan Wildermann 7

8 Objekt-/Bewegungserkennung (Gruppen 1&2) package: detection public interface ObjectDetector Vector findfeatures( Scan scan ) throws Exception; Sucht im Laserscan nach bestimmten Merkmalen (abgeleitet von abstrakter Klasse Feature) z.b. Linien; Kreisbögen; Segment, das sich bewegt hat Vector findobjects( Vector features ) throws Exception; Klassifiziert diese Merkmale als Person oder etwas anders Stefan Wildermann 8

9 Anchoring (Gruppe 3) Teilaufgaben: Einarbeitung in die Roboteransteuerung: Kurt3D Studienarbeit von Igor Kats Kommunikation über TCP/IP (Socket) Anchoring von gemessenen und gespeicherten Daten public class tracking.anchoring Steuerung des Kurt3D anhand der Daten Stefan Wildermann 9

10 Anchoring (Gruppe 3) public class tracking.anchoring Objekte aus dem Laserscan werden mit den Objekten aus dem Gedächtnis (Memory) assoziiert Neue Personen sollen erkannt und ins Gedächtnis aufgenommen werden Bereits erkannte Personen werden getrackt Für diesen Zweck wird ein Bewegungsmodell eingesetzt (Gruppe 4) Stefan Wildermann 10

11 Bewegunsvorhersage, Tracking (Gruppe 4) Teilaufgaben: Laden der Bewegungspattern (siehe TrackIt.java) Implementierung des Kalman Filters: public interface tracking.motionmodel Visualisieren des Trackings mittels GUI Stefan Wildermann 11

12 Bewegunsvorhersage, Tracking (Gruppe 4) public interface tracking.motionmodel Generelles Interface für ein Bewegungsmodell Das Modell muss einerseits Positionen basierend auf vorangegangenen Positionen vorhersagen können (Prediction) Ebenso müssen neue Messungen zur Verbesserung der Vorhersage eingearbeitet werden (Time Update) TrackedObject predict( TrackedObject object, Date timestamp ) liefert eine Schätzung der Position von object zum Zeitpunkt timestamp zurück Stefan Wildermann 12

13 Bewegunsvorhersage, Tracking (Gruppe 4) TrackedObject timeupdate( TrackedObject object, DetectedObject measurement, Date timestamp ) Verknüpft die Messung aus dem Laserscan measurement und die vorhergesagte Position von object liefert somit eine verbesserte Schätzung der Position der Person Stefan Wildermann 13

14 Packages: Hilfsklassen graphics Klassen zum Erstellen von 2D-Szenen gui Klassen für GUI zur Anzeige von 2D-Szenen benötigt JOGL-Bibliothek ( math Klassen für Matrizen und Vektoren mit einigen Standardoperationen (Addition, Subtraktion, Determinante, Invertieren,...) laser Klassen für die Kommunikation mit dem Laserscanner Stefan Wildermann 14

15 Laserserver starten Verbindung mit Roboter über SSH > ssh -X Server starten >./laserserver/bin/server Stefan Wildermann 15

16 GUI verwenden packages: graphics, gui //GUI erzeugen: MyGUI gui = new MyGUI("Motion Tracker"); //Neue Szene erzeugen MyScene scene = new MyScene(); //Kreis erstellen Circle circle = new Circle( 100, 50, 80, //Kreis zur Szene hinzufügen scene.addcircle(circle); //Szene anzeigen gui.setscene(scene); new Color(255, 255, 255)); Circle Line Point Steuerung: Cursor-Tasten; Zoom In: A; Zoom Out: Y; Stefan Wildermann 16

17 Roboteransteuerung Roboteransteuerung erfolgt über Sockets IP: Port: Stefan Wildermann 17

18 Eclipse einrichten lib/jogl.jar in den Java Build Path hinzufügen Project -> Properties -> Java Build Path -> add External JARs Vor Ausführen den Pfad zur Library angeben Run -> Run -> Arguments -Djava.library.path=<Pfad zur Library> Stefan Wildermann 18