3D-Punktkorrelation auf Basis von 2D-Bildern auf einer FPGA-Plattform

Transkript

1 Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI Entwurfssysteme, Diagnostik und Architektur 3D-Punktkorrelation auf Basis von 2D-Bildern auf einer FPGA-Plattform Verteidigung zur Diplomarbeit Simon Willeke Dresden,

2 Gliederung 1 Einleitung 2 Grundlagen 3 FPGA Entwurf 5 Ergebnisse 6 Diskussion Folie 2 von 34

3 1 Einleitung 3D Scanning: viele Verfahren Beispielanwendungen Computer Vision: Kinect, autonome Navigation Kooperation mit Wissenschaftlern vom Institut für angewandte Optik, Friedrich Schiller Universität Jena Optische Hochpräzisions-3D-Vermessung Großer Beleg: Analyse Hardwarebeschleunigungspotential Folie 3 von 34

4 1 Einleitung Aufgabenstellung Implementierung der 3D-Punktkorrelation auf dem FPGA Erstellung einer Programmbibliothek für Linux Evaluierung unter relevanten Parametrierungen Folie 4 von 34

5 2 Grundlagen Motivation Pixelgenaue Tiefeninformation keine Approximation von Objektkanten (Bild) Fensterkorrelation [2] Fensterkorrelation schon in Hardware implementiert Neuentwicklung: Punktkorrelation Punktkorrelation [2] Folie 5 von 34

6 2 Grundlagen Aufbau Messvolumen 2 Kameras (8bit Grauwerte) Projektion zeitveränderlicher statistischer Muster Laser-Speckles (Bild) Diaprojektor Aufnahme und Auswertung einer Sequenz von Stereobildern: Stereobildsequenz Kamera 1 Messobjekt Laser Kamera 2 Folie 6 von 34

7 2 Grundlagen Folie 7 von 34

8 2 Grundlagen Basisalgorithmus Suche nach homologen Punkten Pixel im linken und rechten Bild zeigen selben Objektpunkt Berechnung mittels normalisierter Kreuzkorrelation ρ ρ liegt zwischen -1,0 und 1,0 Zwei Punkte sind homolog, wenn ρ > 0,8 Objektpunkt nur von einer Kamera sichtbar Schwellwert wird nicht erreicht Triangulation Kamera 1 Kamera 2 Pixel (x, y) Pixel (x, y ) Folie 8 von 34

9 2 Grundlagen Verbesserung der Performance Punktsuche im ganzen Bild dauert sehr lange Beschränkung auf Epipolarlinien bei bekannten Kameraparametern Rektifizierung zur Verbesserung der Cachenutzung und Pipelinebarkeit der Speicherzugriffe (Burst-Zugriff) [3] Folie 9 von 34

10 2 Grundlagen Zusammenfassung des Algorithmus Rektifizierung Punktkorrelation Normalisierung Punktsuche ρ x, y, x ', y ' = N (g x, y,s g x, y ) (g x', y', s g x', y' ) s=1 N (g x, y, s g x, y ) 2 s=1 N s=1 (g x ', y ', s g x', y' ) 2 Triangulation Folie 10 von 34

11 3 FPGA Entwurf Überblick Host Kommunikationsinterface Bildcache Rektifizierung Punktsuche Normalisierung Zeilencache DRAM Steuerlogik externer DRAM Folie 11 von 34

12 3 FPGA Entwurf Rektifizierung Festkomma-Arithmetik Pipelines Projektive Transformation 3x2 Matrix-Vektor-Multiplikation Division (Newton-Raphson Verfahren) Bikubische Interpolation 4 horizontale Interpolationen (parallel) 1 vertikale Interpolation Folie 12 von 34

13 3 FPGA Entwurf Rektifizierung Festkomma-Arithmetik Pipelines Projektive Transformation 3x2 Matrix-Vektor-Multiplikation Division (Newton-Raphson Verfahren) Bikubische Interpolation 4 horizontale Interpolationen (parallel) 1 vertikale Interpolation Folie 13 von 34

14 3 FPGA Entwurf Rektifizierung Festkomma-Arithmetik Pipelines Projektive Transformation 3x2 Matrix-Vektor-Multiplikation Division (Newton-Raphson Verfahren) Bikubische Interpolation 4 horizontale Interpolationen (parallel) 1 vertikale Interpolation Folie 14 von 34

15 3 FPGA Entwurf Rektifizierung Festkomma-Arithmetik Pipelines Projektive Transformation 3x2 Matrix-Vektor-Multiplikation Division (Newton-Raphson Verfahren) Bikubische Interpolation 4 horizontale Interpolationen (parallel) 1 vertikale Interpolation Folie 15 von 34

16 3 FPGA Entwurf Rektifizierung Festkomma-Arithmetik Pipelines Projektive Transformation 3x2 Matrix-Vektor-Multiplikation Division (Newton-Raphson Verfahren) Bikubische Interpolation 4 horizontale Interpolationen (parallel) 1 vertikale Interpolation Folie 16 von 34

17 3 FPGA Entwurf Rektifizierung Festkomma-Arithmetik Pipelines Projektive Transformation 3x2 Matrix-Vektor-Multiplikation Division (Newton-Raphson Verfahren) Bikubische Interpolation 4 horizontale Interpolationen (parallel) 1 vertikale Interpolation Folie 17 von 34

18 3 FPGA Entwurf Normalisierung DRAM Ausgabe liefert 8 Bursts je 6 Pixel Parallele Festkomma-Arithmetik Pipelines je Pixel Mittelwert: Akkumulation und Konstantenmultiplikation Inverse Quadratwurzel: iteratives Newton Verfahren n x, y, s = (g x, y,s g x, y ) N s=1 (g x, y, s g x, y ) 2 Normalisierte Grauwerte weiter zum Zeilencache Folie 18 von 34

19 3 FPGA Entwurf Punktsuche und Zeilencache Suche homologe Punktpaare mit maximaler Korrelation Einfach in Hardware, aber: hohe Zugriffsparallelität erforderlich 48 Worte je Takt N ρ x, y, x ', y ' = s =1 (n x, y, s n x ', y', s ) Speicherorganisation schlecht auf BlockRAM abbildbar Folie 19 von 34

20 3 FPGA Entwurf Punktsuche und Zeilencache Suche homologe Punktpaare mit maximaler Korrelation Zur Erinnerung: Einfach in Hardware, aber: hohe Zugriffsparallelität erforderlich 48 Worte je Takt N ρ x, y, x ', y ' = s =1 (n x, y, s n x ', y', s ) Speicherorganisation schlecht auf BlockRAM abbildbar: Schreibvorgang Folie 20 von 34

21 3 FPGA Entwurf Punktsuche und Zeilencache Suche homologe Punktpaare mit maximaler Korrelation Zur Erinnerung: Einfach in Hardware, aber: hohe Zugriffsparallelität erforderlich 48 Worte je Takt N ρ x, y, x ', y ' = s =1 (n x, y, s n x ', y', s ) Speicherorganisation schlecht auf BlockRAM abbildbar: Lesevorgang Folie 21 von 34

22 5 Ergebnisse Rekonstruktionen je Sekunde Rekonstruktionen je Sekunde erreichbar ,47 Vergleich Software: 2 Rekonstruktionen Mit PCIe bis zu 34 Rekonstruktionen 120 Ethernet stellt Flaschenhals dar Teilmodule gut parallelisierbar 100 Weitere Beschleunigung durch größere FPGAs möglich Hz Verfeinerung der Punktzuordnung (Subpixelrefinement) 40 34,68 schlecht für FPGA geeignet in Software sehr effizient ,98 Software 11,34 Virtex6 mit Ethernet Virtex6 mit PCIe (geschätzt) Virtex7 (geschätzt) Folie 22 von 34

23 Quellen [1] S. Willeke. Untersuchung der auf hochparallelen Plattformen. Großer Beleg, Technische Universität Dresden, Fakultät Informatik, Institut für Technische Informatik, November [2] P. Albrecht et al. (1998): Improvement of the Spatial Resolution of an optical 3-D measurement Procedure, IEEE Transactions on Instrumentation and Measurement, Vol. 47. No. 1, February [3] www2.informatik.hu-berlin.de/cv/index.php?menu=teaching& submenu=overviewteaching&mode=overviewteaching [4] T. Luhmann. Nahbereichsphotogrammetrie. Grundlagen, Methoden und Anwendun-gen. Herbert Wichmann Verlag, Heidelberg, [5] M. Schaffer, M. Grosse, R. Kowarschik. High-speed pattern projection for three-dimensional shape measurement using laser speckles. Applied Optics, 49(18): S , Juni Folie 23 von 34

24 Folie 24 von 34

25 Anhang Rektifizierung Bildcache Projektive Transformation Interpolation Interpolation Interpolation Interpolation Interpolation Folie 25 von 34

26 Anhang Rektifizierung Folie 26 von 34

27 Anhang Normalisierung DRAM Output MAC MAC MAC MAC MAC MAC MAC MAC FIFO Register Register Register Register Register Register Register Register Normalisierung Normalisierung Normalisierung Normalisierung Normalisierung Normalisierung Normalisierung Normalisierung Zeilencache Folie 27 von 34

28 Anhang Normalisierung Sub FIFO Mult Iterativ Newton Akkumulator Register<1> x2 Add Mult Mult Mult Register<3> Sub Mult Register<2> 0 gleich Null? Mux Folie 28 von 34