Interaktive. mit der GPU

Transkript

1 Interaktive Augmentierte Bildsynthese mit der GPU 17. Vorlesung Photorealistische Computergrafik Thorsten Grosch

2 Einleitung Bisher Korrekte Erweiterung von Fotos möglich mit differentiellem Rendering Erweiterung dauert Minuten Stunden Heute Interaktive Erweiterung mit der GPU Augmented Image Synthesis - 2 -

3 Differentielles Rendering Alle Lichtpfade ändern, die von virtuellem Objekt betroffen sind, und reale Pixel korrigieren Vereinfachung für GPU Nur virtuellen Schatten zeichnen Änderung im indirekten Licht (real virtuell) ignorieren T. Grosch - 3 -

4 Erste Versuche [Kanbara et al. 2002] [Haller et al. 2003] [Agusanto et al. 2004] T. Grosch - 4 -

5 Interaktive Erweiterung [Loscos et al. 99] Hierarchisches Radiosity Line-Space Hierarchie Final Gathering Alles auf CPU, trotzdem interaktive Framerate (1 2 fps) T. Grosch - 5 -

6 Foto Erweiterung mit Grafik Hardware Erste Arbeit zu Echtzeit Echtzeit -Erweiterung Erweiterung mit GPU: Simon Gibson & Alan Murta : Interactive Rendering with Real-World Illumination (2000) T.Grosch - 6 -

7 Bestimmung der Lichtquellen für den optimalen Schatten Punktlichtquellen aus HDR Light Probe ermitteln, so daß Schatten eines Objekts bestmöglich dargestellt wird Zunächst aufwändige Vorberechnung des echten Schattens eines einfachen Objekts, z.b. einer Kugel Optimierungsverfahren bestimmt die beste Position und Intensität der (8) Hardware Lichtquellen, so daß der Schatten möglichst ähnlich aussieht T.Grosch - 7 -

8 Animation Foto Erweiterung (5 10 fps) Beleuchtung mit 8 Lichtquellen (Shadow Maps) Diffuse & Spekulare EnvMap T.Grosch - 8 -

9 Bewegung im Raum Die Light Probe liefert nur die korrekte Beleuchtung für einen Punkt im Raum Je weiter man sich von der Light Probe Position entfernt, so ungenauer wird die Beleuchtung Da die 3D Geometrie rekonstruiert wurde, kann man die Pixel der Light Probe auf die Geometrie mappen Zur effizienten Beleuchtung kann der sog. Irradiance Volume verwendet werden T. Grosch - 9 -

10 3D Modell aus Patches Mapping der Light Probe Pixel auf (grobes) 3D Modell Mittelwert pro Patch bestimmen Simon Gibson 2003 T. Grosch

11 Einfache Beleuchtung für bewegtes virtuelles Objekt Für jedes Polygon des virtuellen Objekts Licht von allen Patches einsammeln Nachteil: Zeitaufwändig, kein interaktives Bewegen des virtuellen Objekts möglich Light Probe Virtuelles Objekt T.Grosch

12 Irradiance Volume [Greger et al. 1998] Vorberechnung der Beleuchtungsstärke für verschiedene Punkte und Richtungen im Raum Einfaches 3D Gitter, pro Gitterpunkt einige Richtungen der Normalen Insgesamt 5D Gitter, Interpolation Position & Richtung Hoher Speicheraufwand, aber SH-Kompression möglich Normalenvektoren ae e e T.Grosch

13 Interpolation Irradiance Volume 5-fach Interpolation 1. Interpolation Richtung ( θ, ϕ) 2. Interpolation Position (x,y,z) Polygon mit Normale Grobe, aber schnelle Beleuchtung an jeder Position im Raum Nachteil: Interpolationsfehler z.b. Gitterpunkt in Schrank Dunkle Werte werden nach außen interpoliert T.Grosch

14 Irradiance Volume [Greger et al. 1998] T.Grosch

15 Helligkeit der Schatten [Gibson et al. 2003] Szene in Patches unterteilen Leuchtdichte der wichtigen Lichtquellen vorberechnen & speichern Fehlende Helligkeit im Schatten pro Lichtquelle vorberechnen & speichern 1 2 z.b. 2 Patches werden als Sender ausgewählt Sender L Empfänger L i j = ρ L j i F ji 1 L 1 1 L 2 1 L 3 1 L L 1 L 2 L 3 L 4 Empfängerpatches speichern Anteil des Lichts von den Senderpatches T.Grosch

16 Vorberechnung wichtiges Licht Abziehen der (interpolierten) gespeicherten Werte von Hintergrundbild im Schatten des virtuellen Objekts 1 2 Beispiel: Virtuell L Pixel = L Pixel 1 2 L 3 L3 2 L 2 1 L 3 2 L 3 1 L 4 Variante differentielles Rendering (Gibson 03) Keine Lichtsimulation Nur Schatten, keine Änderung im indirekten Licht T.Grosch

17 Schatten Schatten generieren: Für alle Lichtquellen i Zeichne Schatten als Shadow Map i L j Zeichne Hintergrund mit i Subtraktion von Hintergrundpixel i L j Schatten weiss Hintergrund mit Lij Schatten mit Lij * = Simon Gibson 2003 Foto Schatten mit Lij Schatten im Bild Überlagerung mehrerer harter Schatten ergibt weichen Schatten - = T.Grosch

18 Beispiele [Gibson et al. 2003] Raytracing Echter Tisch T.Grosch

19 Video, Gibson et al Gibson et al. : Rapid shadow generation in real-world lighting environments EGSR03 T.Grosch

20 Nicht nur Fotos Fotos zeigen nur einen kleinen Ausschnitt des Raums Wenn man z.b. virtuelle Möbel bewegt, so will man auch in andere Bereiche einsehen T. Grosch

21 Erweiterung für Panorama Bilder [Grosch 2004] Foto erweitern mit Grafik Hardware Panorama Betrachter (QuicktimeVR) PanoAR: Panorama Betrachter mit Interaktionen Virtuelle Objekte Neue Lichtquellen Materialänderungen Kamera bewegen T.Grosch

22 Wie funktioniert Panorama Viewer? Light Probe aufnehmen Konvertierung in LatLong Environment Map Als Textur für Kugel verwenden Perspektivische i Kamera in Kugel θ ϕ LatLong Textur T.Grosch

23 Rekonstruktion 3D Rekonstruktion wie bei Einzelbildern mit zusätzlicher Kamerarotation Unterteilung der Umgebung in Patches, Rekonstruktion der Reflexionsgrade (inverses Radiosity, Mittelwert pro Objektgruppe bilden) T.Grosch

24 Beleuchtung virtuelles Objekt Vorberechnung der Helligkeiten der wichtigen Lichtquellen, Subtraktion im Schatten [Gibson 2003] Verbesserung Licht der wichtigen Lichtquellen (N = 32) im Vertex Program berechnen Keine Interpolationsfehler Irradiance Volume nur für unwichtiges Umgebungslicht Interpolationsfehler fallen hier nicht so stark auf T.Grosch

25 Wichtige Lichtquellen Die N Patches mit max. Lichtstrom Direktes Licht von einem Patch T. Grosch

26 Irradiance Volume Gesamtes Licht Nur unwichtiges Licht: Irradiance Volume wird von allen Patches, außer den N wichtigen, gebildet Geringe Interpolationsfehler T.Grosch

27 Irradiance Volume Gesamtes Licht Nur unwichtiges Licht: Irradiance Volume wird von allen Patches, außer den N wichtigen, gebildet Geringe Interpolationsfehler T.Grosch

28 Schatten real virtuell Einfach nur virtuelle Schatten zeichnen und vom realen Bild abziehen führt zu falscher Darstellung, falls man sich schon in einem realen Schatten befindet (Leuchtdichte wird doppelt abgezogen) Einfacher Irradiance Volume Daher werden zwei 0/1 Schattenbilder generiert: 1. Alle Schatten (real und virtuell) 2. Nur die realen Schatten Die Differenz dieser beiden Bilder liefert nur noch die neuen Schatten Doppelter Schatten Trennung der beiden Irradiance Volumes Nur neue Schatten T.Grosch

29 Reale Schatten auf virtuellem Objekt (vereinfacht) Unverschattete Beleuchtung 01 Schattenbild Verschattete Beleuchtung * = * = + Lichtquelle 1 Lichtquelle 2 Beleuchtetes Objekt Irradiance Volume 01 Maske für virtuelles Objekt Hintergrund mit (N) Schatten Objekt vor Hintergrund + = T.Grosch

30 Video Virtuelles Objekt T.Grosch

31 Einfügen neuer Lichtquellen Typische Lichtquellen in der Computergraphik I( θ, ϕ) θ e d Reale Lichtquelle: Lichtstärke- Verteilungskurve (LVK) Spot Pointlight ρ e I( θ, ϕ) L e = ρe π I( θ, ϕ)cosθe 2 d Lichtstärke für alle Richtungen In Tabelle gespeichert Konvertierung in float Cube Map (schneller Zugriff) T.Grosch

32 Direktes Licht der LVK in Echtzeit Fragment Program: Unverschattete Beleuchtung durch neue Lichtquelle 01 Maske mit Schatten der neuen Lichtquelle * = Auf Hintergrundbild addieren (Licht ist additiv) L Pixel = L Pixel + L Direkt Maske T.Grosch

33 Video neue Lichtquelle T.Grosch

34 Material ändern Rekonstruierter Wert Änderung ρ Benutzerwert ρ ρ ρ L ρ ρ ρ = E L = E = L π π ρ ρ L Pixel = L ρ Pixel Direkte Materialänderung kann einfach visualisiert werden: Patches werden mit Änderung gezeichnet: ρ R / ρr L Pixel = L Pixel ρ G / ρg ρ B / ρb T.Grosch

35 Color Bleeding Indirektes Licht wird z.z. auf CPU berechnet kleine Szene, einige 100 Patches, Sekunden Alle Patches mit geändertem Material versenden Delta-Radiosities Empfänger Patches speichern resultierende Leuchtdichte Änderungen ΔB ΔL ΔB s = B s B s ΔL ρe ΔLe = ΔB π Patches werden gezeichnet mit (Gouraud Shading) Addition auf Hintergrundbild L Pixel = L Pixel + ΔL s F es T.Grosch

36 Video Materialänderung T.Grosch

37 Lücken füllen Einige Bereiche der Geometrie sind auf Light Probe Bild nicht sichtbar Bei der Geometrie Rekonstruktion werden die Polygone zu Materialgruppen zusammengefasst Rekonstruierter Reflexionsgrad wird in nicht-sichtbare Bereiche kopiert Mit bekanntem Reflexionsgrad lässt sich Helligkeit in unsichtbarem Bereich abschätzen (Radiance Estimate) Durch Iteration ti lassen sich die Werte weiter verbessern ρ ρ T.Grosch

38 Bewegung der Kameraposition Projektion der LatLong Environment Map auf Geometrie im Fragment Program: 3D Position pro Pixel bekannt (über Texturkoordinate) Umrechnung ( x, y, z ) ( θ, ϕ ) im Fragment Program Zugriff mit ( θ, ϕ) auf LatLong Textur T.Grosch

39 Projektion im Fragment Program θ ϕ ( θ, ϕ ) d ( x, y, z) ( x, y, z) ( θ, ϕ) : Aktuelles Pixel Tiefenvergleich mit omni-directional depth map Falls echter Abstand größer: Darstellung Radiance Estimate d =? d Textur T.Grosch

40 Video T.Grosch

41 Diminished Reality [Schilling 06] Textursynthese auf rekonstruierten Reflexionsgraden Neubeleuchtung des rekonstruierten Bereichs Schatten der N wichtigen Lichtquellen korrigieren T. Grosch

42 Augmentierung bewegter Live Bilder Ziel Bewegte Kamera Zeitlich und räumlich variierendes Licht Korrekte Darstellung bewegter virtueller Objekte mit interaktiver Geschwindigkeit Voraussetzung Reale Geometrie und Materialien sind bekannt Testszenario für realen Raum: Cornell Box Augmentierte Bildsynthese

43 Zeitlich variierendes Licht HDR Video Kamera mit Weitwinkelobjektiv Aufnahme Umgebungslicht g Interaktive Beleuchtung virtuelles Objekt mit Grafik Hardware Hauptproblem: Nur distante t Beleuchtung Gevilux HDRC IMS Chips virtuell real [Havran et al. 2005] Augmentierte Bildsynthese

44 Nahfeld Probleme Eine Kamera reicht nicht aus, da Lichtverteilung räumlich variiert Objektposition Kameraposition? Einfacher Ansatz: Viele Kameras im Raum Zu teuer Stattdessen: Kamera nimmt Tageslicht außen auf Nahfeld: Licht innen simulieren Augmentierte Bildsynthese

45 Räumliche Lichtverteilung Klassische Lichtsimulationsverfahren: Realistisch, aber nicht echtzeitfähig [Goral et al. 1984] [Kajiya 1986] [Jensen 1995] Radiosity Path Tracing Photon Mapping Echtzeit-Verfahren: Grafik Hardware -nur Punktlichtquellen -langsam bei vielen Lichtquellen [Ramamoorthi et al. 2001] [Sloan et al. 2002] [Greger et al. 1998] Precomputed Radiance Transfer Irradiance Volume -meistens Fernfeld - statisch -keine harten Schatten - Interpolationsfehler - kein Schatten Augmentierte Bildsynthese

46 Kombinierter Ansatz Außen messen innen simulieren Direktes Tageslicht und Schatten mit Grafik Hardware Indirektes Licht mit dynamischem Irradiance Volume Diskretisierungsfehler kaum sichtbar Precomputed Radiance Transfer Ansatz Annahmen Licht außen ist distant Nur diffuse Materialien Keine Lichtquellen im Raum Augmentierte Bildsynthese

47 Direktes Licht von außen Punktlichtquellen über inv. CDF-Sampling bestimmen (32 64) Kamerabild [Gibson et al. 2003] - Direktes Licht im Schatten = Nächste Lichtquelle Pro Lichtquelle Echtzeit-Schatten mit Grafik Hardware Direktes Licht in Schatten abziehen [Grosch 2005] Augmentierte Bildsynthese

48 Sampling Probleme Da die HDR Kamera das Tageslicht aufnimmt, landen die meisten Samples in der Sonne Oft kommt Licht durch ein Fenster in den Raum Falls das virtuelle Objekt nicht vom direkten Sonnenlicht beleuchtet wird, so sind viele Samples nutzlos Das Fenster schneidet einen kleinen Teil der Hemisphäre aus, das Fenster ist also ähnlich zu einer Flächenlichtquelle Sinnvoller ist es, nur die Bereiche auszuwählen, die zur Beleuchtung des virtuellen Objekts beitragen T. Grosch

49 Sampling Probleme Um das virtuelle Objekt wird eine Bounding Sphere gelegt Konservative Abschätzung Für jede der 4 Fensterkanten wird die Tangentialebene an die Kugel berechnet Jede Ebene beschreibt einen Innen und einen Außen Teil Im Kamerabild werden nur die Pixel innerhalb ausgewählt Auf diesem reduzierten Kamerabild wird die inverse CDF Methode angewandt T. Grosch

50 Sampling Probleme 1. ohne Fenster Auswahl Zu wenige VPLs brauchbar 2. Rejection Sampling Keine zeitliche Kohärenz 3. mit Fenster Auswahl Bestes Sampling T. Grosch

51 Sampling Probleme Video T. Grosch

52 Indirekte Lichtverteilung im Raum Vorberechnung Unterteilung der Hemisphäre vor Fenster in N Regionen Berechnung einer Basis Simulation (Radiosity) für jeden Emitter Berechnung eines Basis Irradiance Volume für jede Basis Simulation 1 2 N Augmentierte Bildsynthese

53 Indirekte Lichtverteilung im Raum (2) Darstellung Licht verhält sich additiv und linear Der Irradiance Volume ist eine Linearkombination der Basis Irradiance Volumes 1 2 N + Augmentierte Bildsynthese

54 Irradiance Volume Visualisierung Messaufbau Änderungen im indirekten Licht können in Echtzeit dargestellt werden: ~5ms Aktualisierungszeit 3 für Gitter 8 Geringer Speicherverbrauch SH Kompression mit 9 Koeffizienten Augmentierte Bildsynthese

55 Ergebnisse [Grosch, Eble, Müller 2007] VRST Nur direktes Licht 2. Nur indirektes Licht aus Irradiance Volume 3. Summe Augmentierte Bildsynthese

56 Ergebnisse [Grosch, Eble, Müller 2007] VRST 2007 ~15 fps, GeForce 8800 Marker Tracking: [Kato et al. 1999] Augmentierte Bildsynthese

57 Snapshots aus Video T. Grosch

58 Näherung für indirektes Licht 3 virtuelle Teapots in PBRT Path Tracing Bild eingefügt Diskretisierungsfehler kaum sichtbar Komplett mit PBRT gerendert Augmented Image Synthesis

59 Näherung für indirektes Licht Virtueller Teapot in echter Cornell Box Echter Teapot in echter Cornell Box (mit 3D Drucker hergestellt) Augmented Image Synthesis

60 Aktuelles Projekt: IPAR Interacting with Fotomontagen Photorealistic Augmented Reality Kai Rohmer Gemeinsames Projekt mit Prof. Dachselt, TU Dresden Einsatz von mobilen Geräten und Pico- Projektoren

61 Zusammenfassung Echtzeit-Erweiterung mit GPU Viele Punktlichtquellen mit Shadow Mapping Dynamischer Irradiance Volume Übersicht: [Jacobs & Loscos 2004] : Classification of illumination methods for mixed reality Offene Probleme Nahfeld realer Lichtquellen Dynamische Geometrie Diese Woche, Freitag 17.1., 13:00, Raum 335 Vortrag von Philipp Lensing (TU Ilmenau): LightSkin: Globale Echtzeit-Beleuchtung für Virtual und Augmented Reality Augmented Image Synthesis