Kalibrierungsfreie Bildverarbeitungsalgorithmen. echtzeitfähigen Objekterkennung im Roboterfuÿball. Thomas Reinhardt Nao-Team HTWK. 26.

Transkript

1 zur echtzeitfähigen Objekterkennung im Roboterfuÿball Thomas Reinhardt Nao-Team HTWK Hochschule für Technik, Wirtschaft und Kultur Leipzig 26. Februar 2011

2 Gliederung

3 YCbCr- Helligkeitskomponente (Luminanz, Y) zwei Farbkomponenten U und V

4 Typisches Kamerabild

5 Eigenschaften der Feldfarbe Eigenschaften des Feldbodens: grün gefärbt -> Cr-Komponente, statistisch oft die meisten Pixel im Bild Zusammenhängend und meist homogen

6 Detektion des dominanten Farbtones Berechnung eines Cr-Histogramms von wenigen Samplepixeln Quatisierung auf 64 Werte

7 Testdatenbank Cr-Wert mit höchstem Wert im Histogramm bestimmen (Cr max )

8 Thomas Reinhardt rot fürnao-team alle Pixel HTWK mit Cr Kalibrierungsfreie max Cr xy Bildverarbeitungsalgorithmen < 15 Bodenerkennung

9 Zweites Beispiel

10 Thomas Reinhardt rot fürnao-team alle Pixel HTWK mit Cr Kalibrierungsfreie max Cr xy Bildverarbeitungsalgorithmen < 15 Fehlerkennung

11 Histogramm

12 Histogramm

13 Lösung Gewichtung der Histogrammwerte nach Cr-Wert Kleinere Werte im Cr-Kanal -> kräftigeres Grün Gewichtung: g = max(0,128 Cr xy ) 2

14 besseres Histogramm

15 Thomas Reinhardt rot fürnao-team alle Pixel HTWK mit Cr Kalibrierungsfreie max Cr xy Bildverarbeitungsalgorithmen < 15 besseres Resultat

16 Verwendung von Cb und Y bisher: nur von Cr-Kanal Problem: blaues Tor wird als grüner Boden erkannt Lösung: Erstellung der (ungewichteten) Histogramme für Cb- und Y-Kanal Nur Pixel betrachtet, für die bereits Cr max Cr xy < maxdistance gilt Finden von Cb max und Y max

17 Endgültige Klassikation von Bodenpixeln Grüner Boden, wenn: Cr max Cr xy < maxdistance Cr Cb max Cb xy < maxdistance Cb Y max Y xy < maxdistance Y

18 Thomas Reinhardt Nao-Team rot HTWK für alle Pixel Kalibrierungsfreie mit Bildverarbeitungsalgorithmen Ergebnis

19 Methoden um maxdistance festzulegen Richtwert, um maxdistance Cr einzustellen? Idee: Verteilung der Dierenzen zu Cr max für alle Pixel des Bildes betrachten

20 Histogramm der Dierenzen

21 gemitteltes Histogramm der Dierenzen C r konstant auf 15 setzen (guter Wert für alle Testbilder) Alternative: Schwellwert zur Trennung bestimmen mit Otsu-Schwellwertverfahren (ggf. riskant)

22

23 Scanlines (16 px spacing)

24 Kantendetektion im Y-Kanal entlang der Scanlines Detektor für grün->heller und heller->grün Auftrennung der Scanlines an diesen Kanten: Erstellung von homogenen, Pixelketten

25 Grünerkennung zunächst: Grünsegmente erkennen (da Linie immer zwischen zwei grünen Flächen) Alle Pixelketten als grünes Feld markieren, für die gilt: mehr als 50% der verketteten Pixel werden als grün klassiziert

26 Grünerkennung Liniensegmente detektieren: grün-linie-grün gegensätzliche Gradientenrichtungen der Kanten

27 Grünerkennung aus einem LinienSegment zwei Linienkanten bestimmen jeweils Winkel dieser Kante berechnen

28 Gruppierung der Liniensegmente 1. Durchlauf: Nachbarzuordnung für nahgelegene Liniensegmente gleicher Ausrichtung 2. Durchlauf: zusammenhängende Linienstücke zu nden

29 Kreisbogen-Erkennung Kreisbogen erkennen: Aufteilung zusammenhängender Segmente in zwei Gruppen (left,right) Ausgleichsgerade für beide Gruppen Winkel der Ausgleichsgerade bestimmen (Winkel gröÿer als Schwellwert -> Kreisbogen)

30 Ergebnisse

31 Netz vom Tor Zählen von nicht zugeordneten Linien-Segmenten Anzahl > Schwellwert > Netz vom Tor

32 Feldgrenze bestimmen Feldgrenze verläuft über den obersten Punkten der erkannten Grünsegmente

33 Problem Problem: benachbartes Feld in Sicht Lösung: Bestimmung möglicher Feldgrenzenpunkte RANSAC-Line tting dieser Punkte -> ergibt maximale Höhe der Feldgrenze

34 Ballerkennung

35 Filterung

36 grobe Koordinate berechnen

37 grobe Koordinate berechnen

38 Sternenförmige Scanlines

39 Kreismatching mit RANSAC

40 Ergebnisse

41 Ergebnisse

42 wo das Tor suchen? über der Feldgrenze -> mehrere horizontale Scanlines Blau-Gelb -> U-Komponente analysieren

43 horizontale Dierenzen benachbarter Pixel berechnen

44 Dierenzen aufsummieren

45 Video goaldetection_edgelter.avi :)

46 non-maximum-suppression, um Torkandidaten zu nden Filterung durch Gradientenrichtung, Torpfostenposition, Verhältnis Höhe/Breite

47 Performance Algorithmus Feldfarben-Erkennung Liniensegment-Erkennung Linienfusion Ballerkennung Memcopy 640x480 YCbCr Zeit in ms < 1 ms 5-10ms 1-18ms 1-2ms 3ms 12ms Gesamtzeit (noch) über 33ms, reicht nicht ganz für 30 fps Darum: Beim Balltracking keine Linien/

48 Testdatenbank 600 Bilder mit Information über Ballposition, Torposition, Feldgrenzen und Horizont Automatische Tests möglich

49 Algorithmus positiv falsch positiv Ballerkennung 98,7% 0% 95,1% 4% In Realität: Ballerkennung erkennt trotzdem hin und wieder nicht existente Bälle : 4% falsch positiv sind fast ausschlieÿlich Schiedsrichterhosen :)

50 Hosen

51 Ende des Vortrages Fragen?! :)