GPU-friendly multi-view stereo reconstruction using surfel representation and graph cuts

Transkript

1 GPU-friendly multi-view stereo reconstruction using surfel representation and graph cuts Rico Jonschkowski Seminar 3D Rekonstruktion SoSe 2011 Verantstalter: Prof. Raúl Rojas, Fabian Wiesel FU Berlin, Montag, 27. Juni 2011

2 Begriffsklärung Eine Depth Map ist ein Bild in dem jeder Pixel die Distanz der abgebildeten Oberfläche zur Kamera darstellt. Multi-View Depth Maps sind mehrere Depth Maps eines Objektes aus verschiedenen Perspektiven. Ein Voxel (Volumetric Picture Element) ist das dreidimensionale Analogon zu einem Pixel. Ein Surfel (Surface Element) S_x,n ist ein planarer Patch mit Position x und Orientierung n. Ein Graph cut ist eine Partitionierung eines Graphen in zwei Untergraphen (hier: Innen und Außen). Die Kanten zwischen den Untergraphen entsprechen der Oberfläche des Objektes. Seminar 3D Rekonstruktion,

3 Einleitung Dieses Paper beschäftigt sich mit dem Multi-view stereo problem, d.h. der Berechnung der dreidimensionalen Form eines Objektes auf Basis mehrerer kalibrierter Bilder aus verschiedenen Perspektiven. Seminar 3D Rekonstruktion,

4 Einleitung Die Idee dieses Ansatzes ist die Kombination einer flexiblen surfelbasierten Repräsentation der Form mit einer globalen Optimierung durch Graph Cuts. Durch die Parallelisierbarkeit aller Schritte ist eine sehr effektive Implementierung auf der GPU möglich. Diese benötigt weniger als zwei Prozent der Laufzeit der CPU-Implementierung. Seminar 3D Rekonstruktion,

5 Algorithmus im Überblick Seminar 3D Rekonstruktion,

6 Algorithmus im Überblick (1) Durch lokales Stereo-Matching aus Bildern von verschiedenen Standpunkten werden Multi-View Depth Maps erzeugt. (2) Die Initialen Surfelkandidaten mit den entsprechenden Supporting Images werden erstellt, indem die Multi-View Depth Maps über alle Surfels an regelmäßig verteilten Positionen mit vordefinierten Richtungen abstimmen. (3) Die Surfelkandidaten werden verbessert, sodass diese fotokonsistent zu ihren Supporting Images sind. (Hierbei kann es viele Outlier geben). (4) Die besten Surfel aus den Surfelkandidaten werden durch globale Optimierung auf Basis von Graph Cuts ausgewählt. (5) (optional) Es wird ein Surface Model (z.b. Polygonnetz aus Dreiecken) aus den besten Surfels erstellt oder Bilder werden direkt mit Hilfe einer punktbasierten Methode gerendert. Seminar 3D Rekonstruktion,

7 (1) Multi-View Depth Maps erzeugen Aus N Bildern mit Kalibrierung I_1,..., I_N werden N Multi- View Depth Maps D_1,, D_N mithilfe der SAD oder NCC Metrik erstellt. SAD (Sum of Absolute Differences) Die Absoluten Differenzen an jedem Pixel werden für das betrachtete Fenster aufsummiert. NCC (Normalized Cross Correlation) Das Fenster wird als Vektor betrachtet und normalisiert. Dazu wird die mittlere Helligkeit subtraiert und durch die Standardabweichung dividiert. Die Metrik entspricht dem Skalarprodukt der normalisierten Vektoren. Seminar 3D Rekonstruktion,

8 (1) Multi-View Depth Maps erzeugen Dabei werden für jede View die nächsten M (vorgeschlagen werden 4) Views betrachtet, um die Matching Costs zu berechnen. So erhält man 4 Matching Cost Arrays. Diese werden mithilfe eines Parzen Filters zusammengefügt, indem die Anzahl der lokalen Optima gezählt wird, die in ein Voxel fallen. Die Tiefe wird durch eine lokale Winner-Take-All Optimierung an jedem Pixel bestimmt, indem die Tiefe mit den geringsten Matching Costs ausgewählt wird. Seminar 3D Rekonstruktion,

9 (2) Initiale Surfelkandidaten erstellen Aus den Multi-View Depth Maps D_i werden durch Voting die initialen Surfelkandidaten erstellt. Dazu werden für jede Position in einem 3D Grid die Surfel mit den 6 Richtungen entlang der Koordinatenachsen betrachtet. Seminar 3D Rekonstruktion,

10 (2) Initiale Surfelkandidaten erstellen Voting: Ein Surfel bekommt eine Stimmen von D_i, wenn er sichtbar von der Kamera aus ist (v*e_k > cos(pi/3)). der Abstand vom Surfel zur Kamera ähnlich zum Abstand entsprechend der Depth Map ist. Surfel mit min. 2 Stimmen werden initiale Surfelkandidaten. Zu ihnen werden die Supporting Images gespeichert. Das sind die Bilder zu den Depth Maps, die für die Surfel abgestimmt haben. Seminar 3D Rekonstruktion,

11 (3) Surfelkandidaten verbessern Position und Orientierung der initialen Surfelkandidaten werden so angepasst, dass sie fotokonsistent zu ihren Supporting Images sind. Dadurch wird der Surfel S_x,n zu S_x',n' verändert, wobei x' auf der Geraden durch den Punkt x mit Richtung n liegen muss. Seminar 3D Rekonstruktion,

12 (3) Surfelkandidaten verbessern Brute-Force werden für 5 Positionen und 50 Orientierungen die Supporting Images auf die Surfel projeziert und für die Bilder paarweise die Fotokonsistenz berechnet (NCC- oder SAD-Metrik). Die Variante des Surfels mit der höchsten Fotokonsistenz wird ausgewählt. Danach wird die Orientierung mit dem Downhill Simplex Algorithmus noch einmal kontinuierlich verbessert. Seminar 3D Rekonstruktion,

13 (3) Surfelkandidaten verbessern Der Downhill-Simplex-Algorithmus findet ein lokales Minimum im n-dimensionalen Raum. Dabei werden die n+1 bisher besten der gefundenen Lösungen als Eckpunkte eines Simplex betrachtet. (a) Die Kosten an den Punkten werden berechnet und der beste und schlechteste Punkt bestimmt. (b) Der schlechteste Punkt wird durch einen neuen Punkt ersetzt. Diese beiden Schritte werden iteriert, bis das Ergebnis gut genug ist. Seminar 3D Rekonstruktion,

14 (3) Surfelkandidaten verbessern Downhill-Simplex-Algorithmus Schritt (b) im Detail: Reflektiere den schlechtesten Punkt am Mittelpunkt der übrigen Punkte. Wenn dieser Punkt besser als alle anderen Punkte ist, expandiere ihn noch weiter in diese Richtung. Wenn der expandierte Punkt besser als alle anderen Punkte ist, ersetze den schlechtesten durch den expandierten Punkt. (Ende) Ansonsten ersetze den schlechtesten durch den reflektierten Punkt. (Ende) Wenn der reflektierte Punkt zumindest besser als der zweitschlechteste Punkt ist, ersetze den schlechtesten durch den reflektierten Punkt. (Ende) Ansonsten Wenn der reflektierte Punkt besser ist, als der schlechteste ersetze den schlechtesten durch den reflektierten Punkt. Kontraiere den aktuell schlechtesten Punkt zum Mittelpunkt. Wenn dieser besser ist, als der bisher schlechteste, ersetze den schlechtesten Punkt durch den kontraierten. (Ende) Ansonsten Komprimiere den Simplex durch heranrücken aller Punkte an den besten Punkt. (Ende) Seminar 3D Rekonstruktion,

15 (3) Surfelkandidaten verbessern Nach Schritt 3 gibt es noch folgende Probleme: Noise Fehlende Regularisierung Outlier Um diese zu beseitigen wird in Schritt 4 eine globale Optimierung angewandt (Graph Cuts). Seminar 3D Rekonstruktion,

16 (4) Die besten Surfel auswählen Konstruktion des Graphen Der 3D-Raum wird in Würfel unterteilt, wobei jeder Würfel einem Knoten des Graphen entspricht. Alle benachbarten Knoten werden mit gerichteten Kanten (n- Links) verbunden. Jedem n-link wird (wenn möglich) ein Surfel zugeordnet, dessen Position zwischen den verbundenen Knoten liegt und dessen Orientierung den gerichteten Kanten ähnelt. Die Kanten werden entsprechend der durchschnittlichen Fotokonsistenz des Surfels gewichtet. Jeder Knoten wird mit Source und Sink durch ungerichtete Kanten (t-links) verbunden. Seminar 3D Rekonstruktion,

17 (4) Die besten Surfel auswählen Für die Gewichtung der t-links w_i wird ein Voting für jeden Knoten i durchgeführt, um herauszufinden, ob inner- oder außerhalb des Objektes ist. Dazu werden die 6 Surfel um jeden Punkt x_i betrachtet: N_out++, wenn Surfel zu x_i zeigt N_in++, wenn Surfel von x_i weg zeigt psi(x_i) = N_out N_in = 1 4 = 3 w_i = lambda*psi(x_i) Seminar 3D Rekonstruktion,

18 (4) Die besten Surfel auswählen Nun berechnet man den Minimal Cut im Graphen und erhält damit die Kanten zwischen diesem Cut mit den ihnen zugeordneten Surfels, die also die Grenze von Innen und Außen darstellen. Für Kanten ohne entsprechende Surfel werden neue Surfel mit der Richtung der Kanten erzeugt. Die Richtung wird dann mit den benachbarten Surfels gemittelt. Das Ergebnis ist eine dichte Surfelrepräsentation der 3D Oberfläche. Seminar 3D Rekonstruktion,

19 Anwendung In dieser Abbildung sieht man noch einmal beispielhaft eines der Ausgangsbilder (links) und die berechnete 3D- Rekonstruktion. Seminar 3D Rekonstruktion,

20 Anwendung In dieser Abbildung sind die Orientierungen der Surfel nach den einzelnen Schritten farblich dargestellt. Seminar 3D Rekonstruktion,

21 Anwendung Links sieht man die initialen Surfel nach Schritt 2. In der Mitte sind die verbesserten Surfel nach Schritt 3 dargestellt. Wie man sieht, gibt es hier sehr viele Outlier. Rechts ist das Ergebnis nach Schritt 4 zu erkennen. Seminar 3D Rekonstruktion,

22 Anwendung Die Genauigkeit des Algorithmusses ist mittelhoch, wobei keine Algorithmen deutlich besser sind und nur Furukawa3 auf allen getesteten Datensätzen besser abschneidet. Die Ungenauigkeit beim Sparse Datensatz kommt daher, dass wegen der wenigen Views nicht genug initiale Surfel erstellt werden. Seminar 3D Rekonstruktion,

23 Anwendung Die Vollständigkeit der Rekonstruktion ist zufriedenstellend. Seminar 3D Rekonstruktion,

24 Anwendung Die Laufzeit ist verglichen mit den anderen Ansätzen gering. Von den schnelleren Algorithmen erzeugen nur Zach2 und Vu Ergebnisse von vergleichbarer Qualität. Seminar 3D Rekonstruktion,

25 Fazit Der vorgestellte Ansatz kann sich demnach mit den aktuell verwendeten Methoden für das Multi-View Stereo Problem messen. Er verbindet eine qualitativ gute Rekonstruktion durch die globale Optimierung auf der flexiblen Surfelrepräsentation der 3D-Form mit einer hohen Parallelisierbarkeit, wodurch eine sehr effektive Implementierung auf der GPU möglich ist. Seminar 3D Rekonstruktion,

26 Quellen J.A. Nelder, R. Mead, A simplex method for function minimization, The Computer Journal 7 (4) (1965) G. Vogiatzis, C. Hernandez, P. Torr, R. Cipolla. Multi-view stereo via volumetric graph-cuts and occlusion robust photo-consistency. IEEE Transactions on Pattern Analysis and Machine Intelligence. 29 (12) (2007) Ju Yong Chang, Haesol Park, In Kyu Park, Kyoung Mu Lee, and Sang Uk Lee GPU-friendly multi-view stereo reconstruction using surfel representation and graph cuts. Comput. Vis. Image Underst. 115 (5) (2011) Seminar 3D Rekonstruktion,