3D-Segmentierung in Bilderwelten

Transkript

1 3D-Segmentierung in Bilderwelten Frank Nagl Paul Grimm Fachhochschule Erfurt Workshop Farbbildverarbeitung, ZBS, Ilmenau

2 Worum geht es? 2

3 Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 3

4 Bilderwelten-Video 4

5 Photo Tourism Fotosammlungen von Flickr.com [PhotoTourism2006 ] Kommerzielle Variante von Microsoft 5

6 Segmentierung in Bilderwelten [Goesele2010] 6

7 3D-Segmentierungen Automated 3D Segmentation of Lung Fields in Thin Slice CT Exploiting Wavelet Preprocessing [Korfiatis2007] Facial Reconstruction of Egyptian Mummy Senu [Danjou 2006] 7

8 Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 8

9 Übersicht Grundlage: Bilderwelten-Viewer, Rekonstruktionspunkte (RP), ausgewähltes Bild 1. Rückprojektion der 3D-RPs auf das Bild RP-Map 2. Bildung eines Voronoi-Diagramms aus der RP-Map 3.Verschieben der einzelnen Segmente des Originalbildes entsprechend den Voronoi-Zellen = 3D-Segment-Bild 9

10 Rückprojektion der 3D-RPs Projektion der 3D-RPs auf das Bild RP-Map Abstand Kamera und RP im 3D-Raum Distanzwert Kodierung der Pixel der RP-Map mit Distanzwert (R = Vorkomma-, GB = Nachkommastellen) 10

11 Bildung des Voronoi-Diagramms Grundidee: Verwenden der RP-Map 11

12 Erweitern des Algorithmus Kantendetektion des Originalbildes Einzeichnen der Kanten in RP-Map Kanten als zusätzliche Abbruchbedingung 12

13 Erstellen des 3D-Segmentbildes Verschieben der einzelnen Segmente an kodierten Distanzwert in den Voronoi-Zellen Anpassen an perspektivische Projektion 13

14 Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 14

15 Implementierungsdetails Bilderwelten-Viewer DotNet-Framework (C#) MS XNA 3.1 (4.0) [XNA2009] Structure-From-Motion-Algorithmus [Bundler2009] Projektion der 3D-RPs und Kodierung des Distanzwertes in RP-Map als 24Bit-Bitmap Rot-Kanal: Vorkommastellen des Distanzwertes Gün-Kanal: 1. und 2. Nachkommastelle Blau-Kanal: 3. und 4. Nachkommastelle 15

16 Projektion der 3D-RPs w Bildbreite ccd CCD-Chip der Kamera (in mm) fmm Brennweite (in mm) f Brennweite (in Px) R Rotationsmatrix t Translationsvektor (1) Umrechnung der Brennweite in Px (2) Konvertierung der Weltkoordinaten von X (=RP) in Kamerakoordinaten (3) Perspektivische Division (4) Überführung in Pixelkoordinaten 16

17 Shaderbasierte Bildverarbeitung Als 32Bit-Textur in HLSL-Shader Erstellen des Voronoi-Diagramms aus RP-Map Ping-Pong-Texturing Kantendetektion Sobel, Canny, Hough Bildvorverarbeitungsschritte Entzerrung 17

18 Voronoi-Diagramme - Video 18

19 3D-Segmentbild 19

20 3D-Segmentbild 20

21 Varianten 21

22 Occlusion-Handling 1 22

23 Occlusion-Handling 2 23

24 Gliederung Motivation State-Of-The-Art Konzept Umsetzung und Ergebnisse Zusammenfassung und Ausblick 24

25 Zusammenfassung Rückprojektion der 3D-RPs RP-Map Voronoi-Diagramm aus der RP-Map Verschieben der einzelnen Segmente / Voronoi- Zellen 3D-Segment-Bild 25

26 Ausblick Erweiterung der Kantendetektion Polygondetektion Regionenbasierte 2D-Segmentierung Ausbau des Verdeckungskonzeptes in Bilderwelten / MR-Anwendungen 26

27 Segmentbasierte Darstellung

28 Quellen [Bundler2009] Noah Snavely: Bundler. Structure from Motion for Unordered Image Collections [Danjou 2006] Danjou, M., Yoshimura, S., Tateishi, A., Itabashi, S., Masunaga, Y., Koiso, K., et al. (2006). Facial reconstruction of Egyptian mummy "Senu." ACM SIGGRAPH 2006 Research posters on - SIGGRAPH '06, 22(3). New York, USA: ACM Press. [Goesele2009] Goesele, M., Ackermann, J., Fuhrmann, S., Haubold, C., Klowsky, R., Darmstadt, T., et al. (2010). Ambient point clouds for view interpolation. ACM Transactions on Graphics, 29(4), 1. [Korfiatis2007] Panayiotis, Korfiatis; Spyros, Skiadopoulos; Philippos, S., & Christina, Kalogeropoulou; Lena, C. (2007). Automated 3D segmentation of lung fields in thin slice CT exploiting wavelet preprocessing. In Proceedings of the CAIP 2007 (pp ). Springer Verlag Berlin- Heidelberg [PhotoTourism2006] Snavely, N.; Seitz, S. M. & Szeliski, R. Photo tourism: Exploring photo collections in 3D. SIGGRAPH Conference Proceedings, ACM Press, 2006, [XNA2009] Microsoft. XNA Creators Club Online

29 Danke für die Aufmerksamkeit. Das Entscheidende ist, niemals aufzuhören, Fragen zu stellen. (Albert Einstein) 29

30 Ergebnis Ohne Verdeckung Mit Verdeckung 30

31 Transparency-Image-Mode

32 Photo Tourism Bilderwelt aus Fotos von Flickr.com 32

33 Varianten Voronoi-Diagramm 33