Handdetektion in einem kameragesteuerten Robotersystem durch Auswertung digitaler Bilddaten in Echtzeit

Transkript

1 Handdetektion in einem kameragesteuerten Robotersystem durch Auswertung digitaler Bilddaten in Echtzeit Medien- und Kommunikationsinformatik

2 Agenda Einführung Motivation Anforderungen Zielsetzung Projektumgebung Robotersystem Kamera, Cell/B.E., Roboterarme Programmzyklus

3 Agenda Problematik/Herausforderung Auswahl geeigneter Verfahren Realisierung Projektergebnisse

4 Motivation Bedienung von Maschinen mit Gefahrenbereichen für Menschen Insbesondere: Gefahr der Verletzung der Handgliedmaßen Menschliche Reaktionszeit zu lang Beispiele: Kreissägen, Stanzmaschinen

5 Anforderungen Prävention solcher Unfälle: Automatisches Erkennen einer Gefahrensituation durch die Maschine Angemessene Reaktion der Maschine Echtzeitanforderung für das Erkennen u. die Reaktion => Möglichkeit: Integration einer kameragesteuerten Handdetektion in die Automatik der Maschine

6 Zielsetzung der Arbeit Integration einer Handdetektion in ein bestehendes Robotersystem (ballspielende Spielzeugroboter) Auswertung der Bilddaten einer Kamera auf in das Spielfeld eindringende Hände Wenig fehlerhafte Erkennungen (Spielfluss)

7 Zielsetzung der Arbeit Detektion der Hand auf möglichst vielen eingehenden Bildern (Echtzeit) Auswahl geeigneter Filter Auswahl echtzeitfähiger Algorithmen

8 Projektumgebung Bestehendes Robotersystem Ballspielende Roboterarme Studentenprojekt der IBM Deutschland Research & Development GmbH Balldetektion (Kamera über dem Spielfeld, Haarlike Filter => OpenCV)

9 Roboteranwendung 4 Roboterarme Gegenseitiges Zuspiel Spielregel: Roboter, der dem Ball am nächsten ist, spielt den Ball in die Mitte des Spielfeldes Quelle: Eigene Aufnahme

10 Die Kamera Kamera liefert Bilder Bestimmung der Ballposition Handdetektion Kameramodell: MvBlueCougar-S (Matrix Vision GmbH) Quelle: products/hardware/family/sc/mvbluecougar/ mvbluecougar-s_e_ MR.pdf Gigabit-Ethernet Industriekamera (Graustufenbilder)

11 Die Roboterarme Typ: Lynx 6 5 Freiheitsgrade Basisdrehung Schulterbewegung Ellenbogenbewegung Handgelenkbewegung Handgelenkdrehung Greifer zu Schaufel umfunktioniert Quelle: eigene Aufnahme

12 Cell/B.E. IBM Blade Server QS 21 Kooperation: Sony, Toshiba und IBM Quelle: technology cell pdf PowerXCell PB 7May2008 pub.pdf

13 Programmzyklus (1 Zyklus max. 50 ms) Aufbau Modular Quelle: eigene Grafik

14 Problematik Grauwertbilder => Hautfarbenerkennung nicht möglich Prüfung auf Bewegung nicht möglich => Bewegung im System (Bälle, Roboter) Wechselnder Initialisierungszustand der Kamera Konflikt bei Wahl der Algorithmen (Echtzeit vs. Qualität)

15 Ausgewählte Verfahren Viola & Jones-Verfahren zur Detektion von Objekten (opencv Haar-like Filter) Automatische Auswertung der Histogrammdaten Schwellwertberechnung: Binarisierung der Bilder

16 Viola & Jones-Verfahren 2001 veröffentlicht Paul Viola und Micheal Jones Statistisches Lernverfahren zur Bestimmung der Merkmale (Features) eines Objekttyps Basierend auf AdaBoost (Adpatic Boosting)

17 Viola & Jones-Verfahren Simple Struktur der Features Repräsentativen Wert für Umgebung des Features finden Mehrere Klassifizierer pro Bild -> Anordnung in Kaskaden (AdaBoost) Quelle: eigene Grafik nach [Bra08] und [Rie08]

18 Viola & Jones-Verfahren Objektdetektion mit Viola & Jones: Aufteilung des Bildes in Teilfenster Annahme: nicht alle Teilfenster sind mit gleichem Aufwand zu klassifizieren Kaskadenstufen mit ansteigender Komplexität

19 Binarisierung von Grauwertbildern Binäre Bilddarstellung (0 => schwarz, 255 => weiß) Schwellwertbestimmung Globaler Schwellwert: gesamtes Bild Lokaler Schwellwert: Bildausschnitt => mehrere Schwellwerte pro Bild Quelle: Eigene Aufnahme

20 Verfahren zur Schwellwertbestimmung Basis für alle Verfahren: Histogramm Schwellwert = Mittelwert der beiden Maxima im Histogramm = Minimum zwischen den beiden Maxima

21 Verfahren zur Schwellwertbestimmung Verfahren von Otsu (1979): Erfinder: Nobuyuki Otsu Häufig eingesetztes Verfahren Aufteilung des Histogramms in zwei Klassen (Objekt- und Hintergrundklasse) Test für alle möglichen Schwellwerte im Histogramm beginnend bei 0 Klasse1: 0 bis t Klasse2: t+1 bis 255

22 Verfahren zur Schwellwertbestimmung Schwellwert t: Streuung innerhalb der Klassen möglichst klein Streuung zwischen den Klassen möglichst groß

23 Implementation 3 hintereinandergeschaltete Filter Negiertes Eingangsbild Filter 1 (Auswertung Histogrammdaten): Erstes Maximum 35 % des zweiten Maximums es kann eine Hand im Spielfeld sein Erstes Maximum > 35 % des zweiten Maximums Auftreten einer Hand ausgeschlossen

24 Implementation Filter 2: Binarisierung des Bildes Aufteilung des Eingangsbildes in 14 x 14 Quadrate Quadrat enthält mehr schwarze Pixel: Quadrat ist schwarz Quadrat enthält mehr weiße Pixel: Quadrat ist weiß Betrachtung immer 9 nebeneinander liegender Pixel: min. 5 Quadrate sind schwarz => evtl. Hand

25 Implementation Filter 3: opencv Haar-like Filter (Viola & Jones-Verfahren) angelernter Klassifizierer Training: ca Bilder mit positiven Beispielen => binarisierte negierte Bilder von Händen ca Bilder mit negativen Beispielen (nur negiert)

26 Implementation Eingangsbilder für die Filter Quelle: Eigene Bilder Positives Beispiel für das Training des Klassifizierers Quelle: Eigenes Bild

27 Projektergebnisse Detektionsrate: 93 % (unter getesteten Bedingungen) Fehlerhafte Detektionen: z.b. helle Kaffeebecher Durchschnittliche Verarbeitungszeit bei Ausführung aller drei Filter: 11,303 ms Wirkt nur bei Händen mit hellem Erscheinungsbild

28 Quellen [Bra08] [Gra04] [IBM08] [MV08] [Pol05] [Rie08] Bradski, Gary; Kaehler, Adrian, Learning OpenCV, O Reilly Media, Inc., CA (USA) 2008 Grabner, Helmut, Autodetektion mit AdaBoost (Magisterarbeit), ICG, Technische Universität Graz 2004 IBM Corporation, PowerXCell 8i Processor, IBM Matrix Vision GmbH, Datenblatt mvbluecougar-s, Matrix Vision GmbH 2008, Poltavets, Volodymyr; Wildt Graziani, Eduardo; Kunzonzila Nzuzi, Darcy; Projekt Bildsegmentierung, FH Köln WS 05/06 Riemer, Kolja, Gesichtsdetektion mit Time-of-Flight-Kameras (Diplomarbeit), Universität zu Lübeck 2008

29 Vielen Dank! Fragen? Anregungen?