3D-Segmentierung in Bilderwelten Frank Nagl Paul Grimm Fachhochschule Erfurt E-Mail: frank.nagl@fh-erfurt.de 16. Workshop Farbbildverarbeitung, ZBS, Ilmenau
Worum geht es? 2
Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 3
Bilderwelten-Video 4
Photo Tourism Fotosammlungen von Flickr.com [PhotoTourism2006] Kommerzielle Variante von Microsoft www.photosynth.net 5
Segmentierung in Bilderwelten [Goesele2010] 6
3D-Segmentierungen Automated 3D Segmentation of Lung Fields in Thin Slice CT Exploiting Wavelet Preprocessing [Korfiatis2007] Facial Reconstruction of Egyptian Mummy Senu [Danjou 2006] 7
Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 8
Übersicht Grundlage: Bilderwelten-Viewer, Rekonstruktionspunkte (RP), ausgewähltes Bild 1. Rückprojektion der 3D-RPs auf das Bild RP-Map 2. Bildung eines Voronoi-Diagramms aus der RP-Map 3. Verschieben der einzelnen Segmente des Originalbildes entsprechend den Voronoi-Zellen = 3D-Segment-Bild 9
Rückprojektion der 3D-RPs Projektion der 3D-RPs auf das Bild RP-Map Abstand Kamera und RP im 3D-Raum Distanzwert Kodierung der Pixel der RP-Map mit Distanzwert (R = Vorkomma-, GB = Nachkommastellen) 10
Bildung des Voronoi-Diagramms Grundidee: Verwenden der RP-Map 11
Erweitern des Algorithmus Kantendetektion des Originalbildes Einzeichnen der Kanten in RP-Map Kanten als zusätzliche Abbruchbedingung 12
Erstellen des 3D-Segmentbildes Verschieben der einzelnen Segmente an kodierten Distanzwert in den Voronoi-Zellen Anpassen an perspektivische Projektion 13
Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 14
Voronoi-Diagramme - Video 15
3D-Segmentbild 16
Varianten 17
Occlusion-Handling 18
Implementierungsdetails Bilderwelten-Viewer DotNet-Framework (C#) MS XNA 3.1 (4.0) [XNA2009] Structure-From-Motion-Algorithmus [Bundler2009] Projektion der 3D-RPs und Kodierung des Distanzwertes in RP-Map als 24Bit-Bitmap Rot-Kanal: Vorkommastellen des Distanzwertes Gün-Kanal: 1. und 2. Nachkommastelle Blau-Kanal: 3. und 4. Nachkommastelle 19
Projektion der 3D-RPs fmm Brennweite (in mm) f Brennweite (in Px) R Rotationsmatrix t Translationsvektor (1) Umrechnung der Brennweite in Px (2) Konvertierung der Weltkoordinaten von X (=RP) in Kamerakoordinaten (3) Perspektivische Division (4) Überführung in Pixelkoordinaten 20
Shaderbasierte Bildverarbeitung Als 32Bit-Textur in HLSL-Shader Erstellen des Voronoi-Diagramms aus RP-Map Ping-Pong-Texturing Kantendetektion Sobel, Canny, Hough Bildvorverarbeitungsschritte Entzerrung 21
Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 22
Zusammenfassung Grundlage: Bilderwelten-Viewer, Rekonstruktionspunkte (RP), ausgewähltes Bild 1. Rückprojektion der 3D-RPs auf das Bild RP-Map 2. Bildung eines Voronoi-Diagramms aus der RP-Map 3. Verschieben der einzelnen Segmente des Originalbildes entsprechend den Voronoi-Zellen = 3D-Segement-Bild 23
Ausblick Erweiterung der Kantendetektion Polygondetektion Regionenbasierte 2D-Segmentierung Ausbau des Verdeckungskonzeptes in Bilderwelten / MR-Anwendungen 24
Quellen [Bundler2009] Noah Snavely: Bundler. Structure from Motion for Unordered Image Collections. http://phototour.cs.washington.edu/bundler/. 2008. [Danjou 2006] Danjou, M., Yoshimura, S., Tateishi, A., Itabashi, S., Masunaga, Y., Koiso, K., et al. (2006). Facial reconstruction of Egyptian mummy "Senu." ACM SIGGRAPH 2006 Research posters on - SIGGRAPH '06, 22(3). New York, USA: ACM Press. [Goesele2009] Goesele, M., Ackermann, J., Fuhrmann, S., Haubold, C., Klowsky, R., Darmstadt, T., et al. (2010). Ambient point clouds for view interpolation. ACM Transactions on Graphics, 29(4), 1. [Korfiatis2007] Panayiotis, Korfiatis; Spyros, Skiadopoulos; Philippos, S., & Christina, Kalogeropoulou; Lena, C. (2007). Automated 3D segmentation of lung fields in thin slice CT exploiting wavelet preprocessing. In Proceedings of the CAIP 2007 (pp. 237-244). Springer Verlag Berlin- Heidelberg [PhotoTourism2006] Snavely, N.; Seitz, S. M. & Szeliski, R. Photo tourism: Exploring photo collections in 3D. SIGGRAPH Conference Proceedings, ACM Press, 2006, 835-846 [XNA2009] Microsoft. XNA Creators Club Online. http://creators.xna.com/en-us/xnags_islive. 2009. 25
Danke für die Aufmerksamkeit. 26