Beschleunigung von Bild-Segmentierungs- Algorithmen mit FPGAs

Transkript

1 Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Algorithmen mit FPGAs Vortrag von Jan Frenzel Dresden,

2 Gliederung Was ist Bildsegmentierung? Warum FPGAs? Ansätze der Algorithmen Ausgewählte Algorithmen Graph Cut Segmentation K-Means Level Set Method Zusammenfassung Folie Nr. 2 von 44

3 WAS IST BILDSEGMENTIERUNG? Folie Nr. 3 von 44

4 Bildsegmentierung Vorgang: im Bild Abschnitte/Teile erkennen (Segmente) Ziele: Vorverarbeitung für Bilderkennung (Trennen von Vorder-/Hintergrund, Objekterkennung) Datenkompression Folie Nr. 4 von 44

5 WARUM FPGAS? Folie Nr. 5 von 44

6 Grundlagen der Verwendung von FPGAs Anforderungen für eingebettete Systeme: Real-Zeit-Anforderung, aber große Datenmenge Hardware nötig Geringe Energieaufnahme Folie Nr. 6 von 44

7 ANSÄTZE DER ALGORITHMEN Folie Nr. 7 von 44

8 Ansätze der Algorithmen Reduzieren von Segmentierungsproblem auf andere Probleme Abhängig von Zielstellung Folie Nr. 8 von 44

9 Ansatz Merkmale Beispiel Clustering Zusammenfassung von benachbarten Pixeln mit gleichen Eigenschaften K-Means Kanten-Erkennung Graph-Partitionierung Erkennen starker Intensitätsunterschiede Pixel Knoten, Nachbarschaft Kanten, Kantengewichte, Graph-Algorithmen Graph Cut Segmentation Modellbasierte Algorithmen Partielle Differentialgleichungen Neuronale Netze Modelle (Gleichungen, die Pixel in Abhängigkeit zu Nachbarn bzw. zu vorherigen Werten bewerten (bei iterativen Alg.)) Ableiten einer Lösung aus Differentialgleichungen Lernphase, Anwendungsphase Level Set Method Folie Nr. 9 von 44

10 AUSGEWÄHLTE ALGORITHMEN Folie Nr. 10 von 44

11 Graph Cut Segmentation Semiautomatisch (grobe Unterscheidung zu Beginn nötig) Graph basiert Min-Cut-/Max-Flow-Problem Ziel: Zerlegung des Bildes in Vorder-/ Hintergrund Folie Nr. 11 von 44

12 Bilder von: [1] Folie Nr. 12 von 44

13 Folie Nr. 13 von 44

14 Erzeugen eines Graphen aus den Pixeln Folie Nr. 14 von 44

15 Senke t (entspricht Hintergrund) Zusätzliche Knoten für Hintergrund und Vordergrund, Kantengewichte entsprechen Kapazitäten im Max- Flow-Problem Quelle s (entspricht Vordergrund) Folie Nr. 15 von 44

16 Senke t Hintergrund Objekt Quelle s Folie Nr. 16 von 44

17 Senke t Quelle s e(u) Überschuss h(u) Höhe cf(u,v) Rest-Kapazität (u nach v) Bild von: [1] Folie Nr. 17 von 44

18 Push-Relabel-Methode Push-Operation: verschiebe min(e(u), cf(u,v)) von u nach v Bedingungen: cf(u,v)>0; h(u)=h(v)+1; u aktiv Relabel-Operation: verändere h(u), sodass push-operation möglich wird Bedingungen: kein push(u,v) möglich; u aktiv Folie Nr. 18 von 44

19 Bild von: [1] Folie Nr. 19 von 44

20 Bild von: [1] Fenster (192x128 Pixel) 64 Pixel werden gleichzeitig verarbeitet Folie Nr. 20 von 44

21 Bild von: [1] Aktivierung von anderen Pixeln während Verarbeitung Problematisch sind (b) und (c): Neu- Verarbeitung der vorangegangenen Spalte bzw. Zeile Folie Nr. 21 von 44

22 K-Means Clustering-Algorithmus Ziel: Zerlegung des Bildes in K Cluster Folie Nr. 22 von 44

23 Bilder von: [4] 8 Cluster Folie Nr. 23 von 44

24 Folie Nr. 24 von 44

25 Setze Clusterzentren beliebig Folie Nr. 25 von 44

26 Ordne Pixel den Clusterzentren zu, welche am ähnlichsten sind Folie Nr. 26 von 44

27 Bilde neue Clusterzentren aus Pixeln des Clusters Folie Nr. 27 von 44

28 Bild von: [4] Folie Nr. 28 von 44

29 Bild von: [4] Folie Nr. 29 von 44

30 Level Set Method Ableitung des Lösungsverfahrens aus Differentialgleichung Ziel: Finden einer geschlossenen Kurve um die Objekte (ähnlich zu Kantenerkennung) Folie Nr. 30 von 44

31 Bilder von: [5] Folie Nr. 31 von 44

32 Bild von: [5] Folie Nr. 32 von 44

33 Bild von: [5] Folie Nr. 33 von 44

34 Bild von: [5] Folie Nr. 34 von 44

35 Iterationsschrittweite (für n 1) Helligkeits-Gradient Folie Nr. 35 von 44

36 Bild von: [5] Folie Nr. 36 von 44

37 Bild von: [5] Folie Nr. 37 von 44

38 ZUSAMMENFASSUNG Folie Nr. 38 von 44

39 Algorithmus Graph-Cut K-Means Level-Set- Methode Ansatz Bestimmen des minimalen Schnittes eines gewichteten Graphen Update von gewählten Clusterzentren und Zuordnung von Pixeln Annäherung einer geschlossenen Kurve an Kontur durch Ebenen Ziel Trennung Vordervon Hintergrund Partitionierung in Cluster anhand der Farbkomponenten ARM Versatile (ARM926) Finden der Kontur der Objekte Hardware Xilinx XC6VLXI30T (Virtex 6) Xilinx XC4VLXI60 (Virtex 4) Taktfrequenz der 201.1MHz 200 MHz MHz Schaltung Peak-Performance (32 Iterationen) (101 bzw. (in fps) 31 Iterationen) Auflösung 600x450, 640x x240, 352x x480 Folie Nr. 39 von 44

40 Zusammenfassung Stark unterschiedliche Algorithmen für unterschiedliche Anforderungen Beschleunigung möglich, aber abhängig von Algorithmus Einfache Datenstruktur, iterative Algorithmen Entwurf mit FPGAs möglich Folie Nr. 40 von 44

41 Quellen [1] D. Kobori, T. Maruyama. An acceleration of a graph cut segmentation with FPGA. Field Programmable Logic and Applications (FPL), nd International Conference on. IEEE, S [2] Y. Y. Boykov, M-P. Jolly. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Computer Vision, ICCV Proceedings. Eighth IEEE International Conference on. vol. 1. IEEE, S [3] M. Estlick, M. Leeser, J. Theiler, J. J. Szymanski. Algorithmic Transformations in the Implementation of K-means Clustering on Reconfigurable Hardware. Proceedings of the 2001 ACM/SIGDA ninth international symposium on Field programmable gate arrays. ACM, S Folie Nr. 41 von 44

42 Quellen [4] T.-W. Chen, C.-H. Sun, J.-Y. Bai, H.-R. Chen, S.-Y. Chien. Architectural Analyses of K-Means Silicon Intellectual Property for Image Segmentation, Circuits and Systems, ISCAS IEEE International Symposium on. IEEE, S [5] H. Tsuyama, T. Maruyama. An FPGA acceleration of a level set segmentation method, Field Programmable Logic and Applications (FPL), nd International Conference on. IEEE, S [6] S. Osher, J. A. Sethian. Fronts propagating with curvature-dependent speed: Algorithms based on Hamilton-jacobi formulations", Journal of Computer Physics, vol. 79, S Folie Nr. 42 von 44

43 Vielen Dank für die Aufmerksamkeit! Folie Nr. 43 von 44

44 Fragen / Diskusion Folie Nr. 44 von 44