Effiziente Java Implementierung von echtzeitfähiger, stabiler Farbsegmentierung mittels k nächste Nachbarn

Transkript

1 Effiziente Java Implementierung von echtzeitfähiger, stabiler Farbsegmentierung mittels k nächste Nachbarn Christian Schellewald Wiesbaden, den 5. November 2010 Hochschule RheinMain

2 Übersicht Motivation (Anwendungen) Segmentierung/Klassifizierung k nächste Nachbarn Algorithmus Effiziente Datenstruktur (kd Baum) Implementierung 2/35

3 Segmentierung Hintergrund Objekt = Boot Ziel: sinnvolle Bereiche finden Zerlegung des Bildes in Bereiche Farbinformationen sind oft hilfreich3/35

4 Anwendungsbereiche Automatisierung Bildersuche Erkennung von Verkehrszeichen Wichtiger Vorverarbeitungschritt: (Farb ) Segmentierung 4/35

5 Farbsegmentierung Ziel: Gleichfarbige Flächen zusammenfassen, um Objekte im Bild einfacher zu erkennen und Ihre Position zu bestimmen. Segmentierung => Klassifizierung 5/35

6 Klassifizierung Ordnet jedem Kandidaten eine Klasse zu Anhand von Merkmalen wird entschieden, zu welcher Klasse ein Objekt gehört. Nucleus Segmentation In vielen Bereichen wichtig Beispiele: Medizinische Anwendung (EKG, Bilder von Zellen) (Madhloom et al. 2010) => gesund, gefährdet, erkrankt (NASA Korsika, 2001) Handschrifterkennung Fernerkundung (Kartierung) Wälder Gewässer Nutzfläche Klassen Kandidaten (MNIST Database of Handwritten digits) 6/35

7 Repräsentation von Objekten n quantitative Merkmale (features) des zu klassifizierenden Objekts durch Vektoren im Merkmalsraum beschreiben x ℝ n 16x16 Grauwertbild Das ganze Bild als Vektor interpretieren Hochdimensionaler Vektor (n=256) 7/35

8 Beispiel: 3D Merkmalsraum Bild 3D Farbraum (RGB) Pixel durch RGB Farbwerte (rot,grün,blau) beschreiben 255 x= x= x= /35

9 Klassifizierungsverfahren Überwachte Verfahren Unüberwachte Verfahren (supervised learning) Einteilung anhand von Stichproben Anzahl der Klassen wird vorgegeben (unsupervised learning) Klassen ergeben sich durch Analyse des Merkmalsraums Cluster Analyse/Ballungsanalyse (Mean shift, EM Algorithmus, Graphenbasiert...) k nächste Nachbarn Klassifizierung Beispiel basiertes Lernen 9/35

10 k nächste Nachbarn Klassifikation? Klassenzuordnung unter Berücksichtigung = seiner k nächsten Nachbarn 2x 3x Lernen: Abspeichern der Trainingsbeispiele 10/35

11 k nächste Nachbarn Klassifikation Merkmalsraum Trainingsdaten Klasse 1 Klasse 2 zu Klassifizieren k=1 Rauschanfällig! Klassen /Entscheidungsgrenze 11/35

12 k nächste Nachbarn Klassifikation Merkmalsraum Trainingsdaten Klasse 1 Klasse 2 zu Klassifizieren k=3 12/35

13 k nächste Nachbarn Klassifikation Merkmalsraum Trainings Set... KNN 13/35

14 k nächste Nachbarn Algorithmus Naive Implementierung: Berechnen der Abstände des zu klassifizierenden Pixels zu allen Trainingsbeispielen und einsortieren bzw. merken der k nächsten Nachbarn. Die mehrheitlich auftretende Klasse dem zu klassifizierenden Beispiel zuordnen. Für alle Pixel: O n pixel n trainingsdaten Effizienter realisierbar durch eine geschicktere Wahl der Datenstruktur. 14/35

15 Baum Datenstruktur nutzen Trainingsdaten in Baum Struktur anordnen 3D beliebig dimensional KD Baum/KD Tree (Erweiterter Binärbaum) (modified Wikipedia Image) Octree (8 Baum) Hauptunterschied: Split Dimension (x1, x2, x3...) 15/35

16 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen 16/35

17 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich /35

18 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich 18/35

19 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich 19/35

20 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich 20/35

21 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich 21/35

22 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich 22/35

23 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich G A B C D E A,B,C,D,E,F oder G? F 23/35

24 KD Baum Beispiel (KD Tree) 2D Punkte in beliebiger Reihenfolge in KD Baum einordnen Split Dimension: (x,y) : x Vergleich (x,y) : y Vergleich F Einfluss der Reihenfolge? 24/35

25 KD Baum Beispiel (KD Tree) Reihenfolge bestimmt die Baumstruktur Mögliche Verbesserungen: Rebalancierung (Vergleiche: AVL Bäume,Tiefe log(n) ) Splitstrategie ändern (Teilräume möglichst ausgeglichen) 25/35

26 Nächsten Nachbarn finden Schematik zum Auffinden des nächsten Nachbarn 1. Blattposition (leaf node) für 2. Radius/Abstand zu finden bestimmen 3. Rekursiv Suchregionen ausschlieβen und ggf. nächsten Nachbarn updaten Details: KD Tree Tutorial, A.W. Moore 26/35

27 Nächste Nachbarn finden Üblicherweise müssen nur wenige Knoten besucht werden Ungünstige Datenanordnung (KD Tree Tutorial, A.W. Moore) 27/35

28 k nächste Nachbarn finden Modifizierte Version des nächsten Nachbarn: Suchen innerhalb der Kugel, deren Radius durch den bisher k't nächsten Nachbarn bestimmt ist. Solange noch keine k Nachbarn gefunden wurden => unendlicher Radius 28/35

29 Java Implementierung Prototypische Implementierung: Benutzeroberfläche (GUI): Swing (Java2): import javax.swing.* Erweitert AWT (Abstract Windowing Toolkit) Webcam: JMF (Java Media Framework) 29/35

30 Klassen Diagramm knncolorsegmentationgui Lernen, Segmentieren ImageSegmentation Minimales Benutzerinterface: Schalter, Maus EasyCam Zugriff auf die Kamera: grabbufferedimage() KDTree KD Tree Implementierung von Simon D. Levy (Basiert auf dem Tutorial von A.W. Moore) 30/35

31 KDTree Details zur Benutzung der KDTree Klasse (von Simon D. Levy) kd = new KDTree<Integer>(3); 3D Baum kd.insert(rgbvector, classidx ); Lernphase nbrs = kd.nearest(buildrgbvector(pixelcolor), k); k Nachbarn finden 31/35

32 Speedup Die Klassifizierung kann für alle möglichen (RGB ) Farbwerte vorberechnet und in einer Look Up Tabelle gespeichert werden hashtable = new Hashtable<Integer,Integer>(); if( hashtable.containskey(new Integer(pixelcolor)) ) { Hybrid Methode : classidx=(int)hashtable.get( new Integer(pixelcolor)); Nicht vorberechnete } Werte in Look Up else Tabelle aufnehmen { classidx=langsameoderbaumklassifizierung(pixelcolor); hashtable.put( new Integer(pixelcolor), new Integer(classidx) ); } 32/35

33 Modifikationsvorschläge 3 Vorberechnung für alle 256 Farben durchführen HSV Farbraum (Farbton,Sättigung,Helligkeit) Abstandsfunktion modifizieren d x, y = n gi x i y i 2 1 Handschriftliche Zahlen klassifizieren. 33/35

34 Zusammenfassung Vielseitiger Klassifizierungsalgorithmus: knn k dimensionale Bäume => Nächste Nachbarn Suche Look Up Tabellen 34/35

35 Literatur Digitale Bildverarbeitung, B.Jähne (2005) An introductory tutorial on kd trees Andrew W. Moore (1991) /35