Dynamically Reparameterized Light Fields

Transkript

1 Dynamically Reparameterized Light ields Aaron Isaksen Leonard McMillan Steven J. Gortler MIT LCS Computer Graphics Group GDV Seminar 2000 Präsentation: Simon Schirm Betreuer: Stephan Würmlin Übersicht Image Based Rendering Zwei Methoden: Lightfield, Lumigraph Nachteile der bisherigen Methoden Neue Parametrisierung Anwendungen der neuen Parametrisierung Resultate Zukunft... Meine Meinung

2 Image Based Rendering Bilder als Rendering Grundlage Reduktion des Definitionsbereiches der Plenoptischen unktion (Parameterisierung) Ray-Database Rekonstruktion von Bildern aus der Ray-DB mit iltern Lightfield (Levoy, Hanrahan 1996) ZWEI METHODEN Parametrisierung mit Hilfe von 2 Ebenen (Lightslab) Unschärfeartefakte bei Abweichung von der Exit Plane deshalb vorallem für Outside-in Ansichten geeignet t v Entrance Plane s Exit Plane u s u

3 Lumigraph (Gortler, Grzeszczuk, Szeliski, Cohen 1996) Parametrisierung gleich wie bei Lightfield: Entrance Plane, Exit Plane (Lightslab) Korrektur der Unschärfeartefakte bei Abweichung eines Objektes von der Exit Plane (Depth-corrected Lumigraph) benötigt Geometrie der Szene (Depthmap) ZWEI METHODEN u z s Nachteile der bisherigen Methoden Objekt nicht auf der Exit Plane unscharf oder geometrische Information nötig Ray-DB sollte keine Schärfeninformation enthalten Rendering ohne geometrische Information ist erwünscht

4 Dynamically Reparameterized Light ields Intuitive Steuerung der Tiefenschärfe wie bei echten Kameras variable Blendeinstellung variable ocal Surfaces multiple ocal Surfaces Parametrisierung (u, v) (f,g) Data Cameras Camera Surface C ocal Surface

5 Mapping unktion NEUE PARAMETRISIERUNG ür jede diskrete Kamera wird eine Mapping-unktion definiert Ms, t : (f,g) (u, v) (u, v) M s, t = Ps,t o T (s, t) C r (f,g) T P t : (f,g) s, : (X, Y, Z) (X,Y, Z) (u, v) Ray-DB Query: inde Bestimme Schnittpunkte mit C, Diskretisiere Bestimme (s, t) nach M tˆ ( (f,g) ) ŝ, (ŝ, tˆ) Diskretisiere (u, v) nach (û, vˆ ) rˆ NEUE PARAMETRISIERUNG gegeben r r : (s, t,f,g) (ŝ, tˆ,f,g) (ŝ, tˆ, u, v) rˆ : (ŝ, tˆ, û, vˆ) (ŝ, tˆ) (u, v) (s, t) C r (f,g)

6 Anwendungen der neuen Parametrisierung variable Blendeinstellung diskrete künstliche Blendöffnung variable ocal Surfaces Translation, Rotation beliebige lächen multiple ocal Surfaces Diskrete künstliche Blendöffnung Diskretisierung auf der Camera Surface 1) durch einen Wert: ( s, t) (ŝ, tˆ ) t s Unstetigkeiten bei Nearest-Neighbour-Verfahren

7 DISKRETE KÜNSTLICHE BLENDÖNUNG Diskretisierung auf der Camera Surface 2) Interpolation durch die vier nächstgelegenen Punkte: t s Diskretisierung auf der Camera Surface 3) Linearkombination der Punkte, die sich in einem bestimmten Radius befinden: DISKRETE KÜNSTLICHE BLENDÖNUNG M ( (f,g) wird mehrmals ausgewertet ŝ,tˆ mit dem Radius wird die Blendweite gesteuert (Stetigkeit vs. Tiefenschärfe) )

8 DISKRETE KÜNSTLICHE BLENDÖNUNG Übereinstimmung der Strahlenwerte: Nichtübereinstimmung der Strahlenwerte: Grössere Blende, stärkere Divergenz der Strahlenwerte: Blendöffnung DISKRETE KÜNSTLICHE BLENDÖNUNG Beispiel einer grossen Blendöffnung: ocal Surface ganz hinten, Blendöffnung gross ocal Surface durch Baum C C

9 Variation der ocal Surface Verschieben der ocal Surface (Runtime) nicht parallele ocal Surfaces nicht planare ocal Surfaces parametrisierte läche (Surface Patch) Veränderung der ocal Surface ( ) beinflusst die Ray-DB nicht M T s, t = Ps,t o T : (f,g) (X,Y, Z) ändert sich VARIATION DER OCAL SURACE ocal Surface durch Baum, elsen und Hügelspitze

10 Multiple ocal Surfaces Scene kann an beliebig vielen Orten scharf gehalten werden 2 ocal Surfaces: Durch Stier, Durch Bildschirm Nächstgelegene ocal Surface sollte verwendet werden MULTIPLE OCAL SURACES ür jede ocal Surface wird eine Bewertungs-Map berechnet (σ-map) ür einen Strahl r wird die ocal Surface mit grösstem σ auf dem Schnittpunkt gewählt (linear in Anzahl ocal Surfaces) r σ σ 2 3 σ 4 σ 1

11 MULTIPLE OCAL SURACES Bestimmung von σ σ ist Mass für Distanz von ( f,g) zu einem sichtbaren Objekt Bestimmen von σ ohne geometrische Information (vermeiden der Suche nach Korrespondenzen) Verwenden der Strahlen, die durch f,g) (Radiance-unktion) ( gehen ( f,g) C MULTIPLE OCAL SURACES Punkt liegt auf Oberfläche (glatte Radiance-unktion) Punkt liegt im Raum (Radiance-unktion enthält hohe requenzen)? Punkt verdeckt (hohe requenzen)

12 MULTIPLE OCAL SURACES Glattheit der Radiance-unktion ist das Mass für σ σ-map vorne σ-map hinten Problem: hohe requenzen in der Radiance-unktion können auch von Verdeckung stammen MULTIPLE OCAL SURACES

13 Resultate astechtzeitrender (1 fps), für die Beispiel-Lightfields bei Blendöffnung mit 4 Kameras Echzeitrenderer, wenn die ocal Surface eine Ebene ist (auf erhältlicher PC-Hardware) Ermöglichung von tiefen Szenen, ohne Geometrie Echtzeitkontrolle über ocusverhältnisse in den Bildern Multiple ocal Surfaces für viel Schärfe ohne Geometrie Zukunft... Kompression der Ray-DB wie bei anderen Arbeiten ehlerbehebung bei mehreren ocal Sufaces (hohen requenzen in der Radiance-unktion verursacht durch Verdeckung oder Leerraum?) Nutzung der Reparametrisierung für einen Depth-Vision Algorithmus Autofokus Algorithmus wie bei echten Kameras

14 Meine Meinung Paper bietet verallgemeinernde Theorie über ocus in Lightfields (Lightfield, Depth-corrected Lumigraph) Herauskitzeln von lexibilität bei den recht unflexiblen Lightfields Intuitive Analogie zu echten Kameras Technical Report enthält mathematische Ungenauigkeiten, die aber in einem späteren Bericht berichtigt wurden. Die Demos weisen eine Unschönheit auf: Ghosting Gegenmassnahmen werden zwar erläutert, aber nicht ergriffen