3D-unterstützte Bildmanipulation

Größe: px

Ab Seite anzeigen:

Download "3D-unterstützte Bildmanipulation"

Heini Bach
vor 6 Jahren
Abrufe

1 3Dunterstützte Vortragender: Betreuer: Sebastian Schäfer Datum:

2 1. Kurze Zusammenfassung des Themas. 3Dunterstützte 2. Manipulation von Bildern und MultiView Stereo. 3. State of the Art Aktuelle Verfahren zur und MVS. 4. Konzept und Praktische Implementierung des Verfahrens. 5. und Vorführung von ThreeDUB Folie 1 von 19

3 1. Ansatz Das Manipulieren von Bildern hat eine lange Tradition. Seit der Computergrafik, werden Algorithmen zur entwickelt. Beschränken sich auf 2D! Aktuelle Forschung: Aus Bildern ein 3DModell erstellen. MultiView Stereo (MVS) MVS ist keine im klassischen Sinn. Ist es möglich MVS für die zu nutzen? 3Dunterstützte Folie 2 von 19

4 2. Manipulation von Bildern Das Verändern von Bildern: Entfernen, Hinzufügen oder Verfälschen des Inhalts. 3Dunterstützte Lenin, Kamenew und Trotzki, Oben: Original. Unten: Fälschung. Fonda Speaks to Vietnam Veterans, Oben: Originalbilder. Unten: Manipulation. Klavs Bo Christensen, Haiti, Oben: Original. Unten: Manipulation. Folie 3 von 19

5 2. MultiView Stereo Automatisch ein 3DModell aus vielen verschiedenen Bildern eines Objektes generieren. 3Dunterstützte Kamerakalibrierung Zusammenführen von Bildfeatures Punktwolken im Raum 3DModell Bilder: Carlos Hernández (mi.eng.cam.ac.uk/~ch394/research.html) Folie 4 von 19

3. State of the Art Füllen von Löchern Löcher werden mit Patches aus dem Restbild gefüllt.

Cipolla (2005): Hole Filling Through Photomontage. Links: Inputbild. Rechts: Manipulation. A.

Toyama (2004): Region Filling and Object Removal by Exemplarbased Image Inpainting.

6 3. State of the Art Füllen von Löchern Löcher werden mit Patches aus dem Restbild gefüllt. 3Dunterstützte M. Wilczkowiak, G. Brostow, B. Tordoff and R. Cipolla (2005): Hole Filling Through Photomontage. Links: Inputbild. Rechts: Manipulation. A. Criminisi, P. Perez and K. Toyama (2004): Region Filling and Object Removal by Exemplarbased Image Inpainting. Oben: Originalbild und Inputbild. Unten: Schritte zur fertigen Manipulation. J. Hays and A. Efros (2007): Scene Completion using Millions of Photographs. Oben: Original und Inputbild. Unten: Drei Vorschläge des Algorithmus. Folie 5 von 19

dargestellt. Vorstufe von MultiView Stereo.

7 3. State of the Art Organisation von Bildern In Phototourism und Photosynth werden die Bilder in ihrem räumlichen Zusammenhang dargestellt. Vorstufe von MultiView Stereo. 3Dunterstützte Quelle: photosynth.net Qelle: phototour.cs.washington.edu/applet/index.html Folie 6 von 19

3. State of the Art MultiView Stereo Verschiedene Ansätze von Goesele, Hernández und Furukawa.

Inputbild, Depthmap, 3DModell der Depthmap und fertiges 3DModell. C. Hernández Esteban and F.

Inputbilder, visuelle Hülle, 3DModell und texturiertes 3DModell. Y. Furukawa and J.

8 3. State of the Art MultiView Stereo Verschiedene Ansätze von Goesele, Hernández und Furukawa. 3Dunterstützte M. Goesele, N. Snavely, B. Curless, H. Hoppe and S.M. Seitz (2007): MultiView Stereo for Community Photo Collection. Inputbild, Depthmap, 3DModell der Depthmap und fertiges 3DModell. C. Hernández Esteban and F. Schmitt (2004): Silhouette and Stereo Fusion for 3D Object Modeling. Inputbilder, visuelle Hülle, 3DModell und texturiertes 3DModell. Y. Furukawa and J. Ponce (2007): Accurate, Dense, and Robust MultiView Stereopsis. Inputbild, Features, initiale Patches, PatchModell und fertiges 3DModell. Folie 7 von 19

3. State of the Art Texturen Fotos auf das Modell projizieren. Mappingbereiche maximieren und deren Anzahl minimieren. Neue Textur zusammensetzen.

Scopigno (2002): Acquiring, Stitching and Blending Diffuse Appearance Attributes on 3D Models.

9 3. State of the Art Texturen Fotos auf das Modell projizieren. Mappingbereiche maximieren und deren Anzahl minimieren. Neue Textur zusammensetzen. Mappinggrenzen anpassen. 3Dunterstützte C. Rocchini, P. Cignoni, C. Montani and R. Scopigno (2002): Acquiring, Stitching and Blending Diffuse Appearance Attributes on 3D Models. Oben: 3DModell, Foto mit Mappingpatch und texturiertes Modell. Unten: Textur. M. Callieri, P. Cignoni and R. Scopigno (2002): Reconstructing Textured Meshes from Multiple Range+RGB Maps. Links: Texturiertes Modell. Rechts: Inputbilder und fertige Textur. Folie 8 von 19

10 4. Konzept Ziel Eine Software, die folgenden Programmablauf beinhaltet: 3Dunterstützte Folie 9 von 19

11 4. Konzept Ziel Eine Software, die folgenden Programmablauf beinhaltet: 3Dunterstützte Folie 9 von 19

12 4. Konzept Ziel Eine Software, die folgenden Programmablauf beinhaltet: 3Dunterstützte Folie 9 von 19

13 4. Konzept Ziel Eine Software, die folgenden Programmablauf beinhaltet: 3Dunterstützte Folie 9 von 19

14 4. Konzept PoPEYE und ThreeDUB PoPEYE: Entwickelt von Prof. Dr. Grimm an der FH Erfurt. Visualisierung eines Raumes und Einbinden virtueller Raumausstattung für Präsentationszwecke. Integration von MVS und in PoPEYE unter dem Namen ThreeDUB. 3Dunterstützte Folie 10 von 19

15 4. Thumbnails und Fake Texturen Tools für zusätzliche Navigationsmöglichkeiten und für den besseren über die Szene. 3Dunterstützte Folie 11 von 19

16 4. Masken Können für PMVS benutzt werden, um selektiv Objekte der Szene zu rekonstruieren. Tools zum Zeichnen, Berechnen, Speichern und Darstellen der Masken in ThreeDUB. 3Dunterstützte Folie 12 von 19

17 4. PMVS Furukawas PMVS Software (PatchBased MultiView Stereo): Kommandozeilenprogramm. Parameter über ThreeDUB definierbar. Output: PatchModell und 3DModell im ply Format. Weiterverarbeitung notwendig um damit arbeiten zu können. 3Dunterstützte Folie 13 von 19

18 4. PatchModell PMVSOutput: Für jedes Bild: Anzahl der Patches. Position. Normale. MatchA Parameter. Jeder Patch kann eindeutig berechnet und dargestellt werden. Darstellungsoptionen in realtime einstellbar. 3Dunterstützte Folie 14 von 19

19 4. 3DModell PMVSOutput: Untexturiertes ply Modell. Texturieren! Normalen berechen. Bilder aufprojizieren. Visibilität berechen. Modell aufbrechen. Modell in neuem Format ( dub ) zwischenspeichern. Darstellungsoptionen in realtime einstellbar. 3Dunterstützte Folie 15 von 19

20 4. Editieren der Modelle Import / Export Funktion im obj Format. Manipulation in externer Software. Alternativ: Tool zum Löschen von Patches / Vertices in ThreeDUB. Basierend auf Masken, einzeln oder per Markierung. 3Dunterstützte Folie 16 von 19

21 4. Editieren der Bilder Zwei Möglichkeiten: Verlauf Poisson Cloning Zeichnen der zu verändernden Region. Vorschau und Anpassen des manipulierten Bildes. Speichern des s als jpg Bild. 3Dunterstützte Folie 17 von 19

22 5. 3Dunterstützte funktioniert! Zwei Beispiele rechts: Verlauf Poisson Cloning Allerdings noch Einschränkungen aufgrund der Qualität der 3D Rekonstruktion! 3Dunterstützte Folie 18 von 19

23 5. Ausblick Einige Details der Implementierung können noch optimiert werden. Primäre Ansatzpunkte: Texturierung des 3DModells optimieren. Vor allem Farbanpassung der Mappinggrenzen und Erstellen einer einzelnen Textur. Einbindung von PMVS2. Neuer Release von Furukawa vor wenigen Tagen! Allgemeiner Programmablauf funktioniert und eröffnet neue Möglichkeiten für die. 3Dunterstützte Folie 19 von 19

24 Vielen Dank für Ihre Aufmerksamkeit.

Ähnliche Dokumente

Automatisierte Objektaufnahme für Bilddatenbanken

Automatisierte Objektaufnahme für Bilddatenbanken - Vortrag zum Farbworkshop 2008 - Wolfram Hans, Dietrich Paulus {hans, paulus}@uni-koblenz.de Institut für Computervisualistik Universität Koblenz-Landau