Instant Radiosity. 14. Vorlesung. Thorsten Grosch

Transkript

1 Instant Radiosity 14. Vorlesung Photorealistische Computergrafik Thorsten Grosch

2 Einleitung Was wir bisher können Globale Beleuchtungsverfahren auf der CPU Ray Tracing, Radiosity, Photon Mapping, Korrekt, aber langsam Shader Programmierung Schnelle Schatten Heute Umformulierung des Globalen Beleuchtungsproblems, so dass eine Berechnung mit interaktiver Geschwindigkeit (> 1fps) auf der GPU möglich ist T. Grosch - 2 -

3 Instant Radiosity [Keller 1997] Idee: Indirektes Licht wird durch viele virtuelle Punktlichtquellen (VPLs) beschrieben Designer verwenden diese Idee manchmal z.b. rote Lichtquelle von Hand auf rote Wand setzen, um Color Bleeding zu simulieren Hier allerdings automatische und korrekte Verteilung der VPLs Keine Patches, kein Meshing, Annäherung an globale Beleuchtungssimulation Weiche Schatten / indirektes Licht Nur diffuse Oberflächen Für Echtzeitanwendungen ausgelegt Die Bezeichnung VPL ist nicht wirklich korrekt, da hier eigentlich kleine Flächenlichtquellen (Lambert Emitter) verwendet werden, die Bezeichnung VPL ist aber gängig

4 Instant Radiosity Zwei Schritte 1. Verteilung der VPLs aus der Lichtquelle ähnlich zu Photon Mapping Meistens auf der CPU 2. Zeichnen der Szene mit allen VPLs als Lichtquellen GPU T. Grosch - 4 -

5 Instant t Radiosity Ablauf bau Wähle N Positionen auf (Flächen-)Lichtquelle aus φ T. Grosch - 5 -

6 Ablauf Betrachte jeden Punkt als Punktlichtquelle (bzw. kleinen Lambert Emitter) Beleuchte Szene von jedem Punkt aus φ φ VPL = N φvpl I VPL( θ ) = cosθ π T. Grosch - 6 -

7 Ablauf Von einer bestimmten Anzahl von Punkten aus wird ein Strahl ( Lichtpartikel ) tik in die Szene verfolgt vgl. Photon Mapping, Richtung wird z.b. über cos-verteilung bestimmt T. Grosch - 7 -

8 Ablauf- VPLs Platziere Punktlichtquelle (Virtual Point Light, VPL) an Trefferpunkt Die VPL erhält die Objektfarbe φ = ρ VPL φ VPL T. Grosch - 8 -

9 Ablauf Nutze jede VPL zur Beleuchtung der Szene Licht und Schatten z.b. Shadow Volume oder Shadow Map mit HemiCube φ θ ) = π VPL I VPL( ( cosθ T. Grosch - 9 -

10 Ablauf Von einer bestimmten Anzahl (Russian Roulette mit ) von VPLs wird idein Strahl hlin die Szene verschossen (Cosinus-Verteilung) il Am Schnittpunkt wird eine neue VPL erstellt Beleuchtungsvorgang wird wiederholt ρ φ VPL φ VPL = ρ T. Grosch

11 Direktes Licht T. Grosch

12 Indirektes Licht 1. Indirektion 2. Indirektion T. Grosch

13 Ergebnisse N=10 N=20 N=40 T. Grosch

14 Rendering der VPLs Die Beleuchtung durch eine VPL wird jeweils einzeln durchgeführt, d.h. für jede VPL wird die Szene neu gerendert und nur diese VPL ist dann aktiv 1 Jedes dieser Bilder trägt zum Gesamtergebnis bei N Bilder werden gewichtet aufsummiert Ähnlich h einer Monte-Carlo Integration* ti Jedes Rendern einer VPL entspricht einer Stichprobe *Genauer gesagt kommt die Methode des Instant Radiosity aus dem Bereich der Quasi Monte-Carlo Methoden. Bei diesen werden Zufallszahlen durch sogenannte low-discrepancy Sequenzen ersetzt (Hammersley, Halton, ), welche eine bessere Konvergenzrate ermöglichen als reine Zufallszahlen. T. Grosch

15 Erzeugung der Zufallszahlen Bisher immer durch einfache rand()-funktion Auch mit Stratification können evtl. noch Klumpen entstehen Besser sind sog. Quasi-Monte-Carlo Methoden T. Grosch

16 Quasi Monte Carlo Halton-Sequenz (N-dimensional) ξ m = ( h m), h ( m), h ( m),..., h ( )) 2( 3 5 p m N h r (m): radical inverse Bitmuster von m (zu Basis r) an Dezimalpunkt spiegeln h 2 (26 10 )= h 2 ( )= =11/32 h 3 (19 10 )= h 3 ( )= =11/27 p N : N-te Primzahl Liefert gleichverteilte Zufallszahlen Beliebige Länge der Sequenz möglich Bessere Verteilung als Stratification T. Grosch

17 Halton Sequenz: Beispiel (1D) i Bitmuster gespiegelt h2(i) = 1/ = 1/ =1/2+1/4 1/ = 1/ =1/2 + 1/ =1/4 + 1/ h2(4) h2(2) h2(6) h2(1) h2(5) h2(3) h2(7) T. Grosch

18 Beispiel Halton Sequenz 2D z.b. Position auf der Lichtquelle wählen Das i-te von N Partikeln, das von der Lichtquelle aus verschossen wird, startet auf Position p = ( h2 ( i), h3 ( i)) der Flächenlichtquelle Die ersten 100 Punkte der 2D-Halton Sequenz T. Grosch

19 Halton Sequenz Halton-Sequenz (N-dimensional) ξ m = ( h ( m ), h ( m ), h ( m ),..., h ( m ) ) 2( 3 5 p m Gleichverteilung: N Höherwertige Bits ändern sich schneller als niederwertige Zunächst werden alle Intervalle 2 -k besucht bevor die Intervalle 2 -(k+1) besucht werden Option: Hammersley-Sequenz (N-dimensional) 1. Koordinate regulär, danach Halton Sequenz ζ = m ( m N, h ( m), h ( m), h ( m),..., h ( )) / p m N (siehe auch PBRT Buch) T. Grosch

20 Anzahl Virtual Point Lights Wie viele Partikel werden jeweils weiterverfolgt? Durchschnittlicher Reflexionsgrad der gesamten Szene bestimmen ρ K = = ρ k 1 d, k K A k = 1 k Von N Startpartikeln auf der Lichtquelle werden ρn N ρ als indirekte 2 als inindirekte usw. Lichtquellen genutzt bzw. weiterverfolgt A k T. Grosch

21 Anzahl Virtual Point Lights ρ = 0.55 [Oliver Knoll] T. Grosch

22 Beleuchtung durch VPLs Jede VPL hat die max. Lichtstärke I VPL = φ VPL Beleuchtungsstärke an p durch VPL ergibt sich aus: cosθ cosθ VPL E( p) I = p p p p 2 VPL VPL Artefakte können entstehen, falls 2 p p sehr klein ist VPL Mögliche Lösung: Clamping auf Minimalabstand Aber: Licht geht verloren π ρ L( p) = E( p) π [PBRT] T. Grosch

23 Schatten der VPLs Jede VPL wirft einen (indirekten) Schatten Hier können Shadow Maps oder Shadow Volumes verwendet endet werden Problem bei Shadow Volumes Langsam bei vielen VPLs Problem bei Shadow Maps Nur für Spotlicht Hemicube 5 x Rendern Halbraum mit einer Projektion abtasten T. Grosch

24 Hemisphärische Projektion z.b. Lambert Projektion -z 1. Projektion auf Halbkugel 2. senkrechte Projektion Fischauge Abbildung des gesamten 1 Halbraums auf Kreisfläche Kann als Vertex Program 2 implementiert werden, aber y Nicht-lineare Projektion x x Gerade Linie wird zu gebogener 1 Linie in Projektion 1. y = y Grafik Hardware zeichnet nur + + gerade Linien (!) x y z z z Geometrie muß tesseliert werden (speziell in Nähe der Kamera) 2. mit z = 0 z = z x Vertex Problem: Kein Tiefenvergleich mehr funktioniert der Tiefenvergleich T. Grosch

25 Hemisphärische Projektion Transformation 1 & 2 durch Modelview Projektion auf glortho setzen Clipping von gewünschtem Bereich [-1,1] 1] x [-1,1] 1] x [n, f] -z 1 Vertex Shadow Mapping y Hier ist der Vergleich mit der echten Distanz genauer als z-wert x einfach nur den zu nehmen 1. y = z Alternativ-Projektionenti Paraboloid 2. z = 0 [Heidrich & Seidel 1998] Single Plane [Sillion 1995] mit z = z x y z 2 x y z x Problem: Kein Tiefenvergleich mehr funktioniert der Tiefenvergleich T. Grosch

26 Hemisphärische Projektion Wände zu niedrig i tesseliert t Wände hoch h tesseliert t T. Grosch

27 Shadow Map Atlas Mehrere Shadow Maps in einer Textur Kein Texturwechsel nötig Viewport pro VPL anpassen Bsp: Einfache Cornell Box mit 64 VPLs 512 x 512 Atlas 8 x 8 = 64 Shadow Maps 64 x 64 Pixel pro Shadow Map T. Grosch

28 Rendering Die Verteilung der VPLs in der Szene erfordert einen simplen Ray-Tracer Die Beleuchtung durch die VPLs kann mit Hilfe von Ray- Tracing, aber auch mit Scan-Line Rendering (OpenGL) geschehen OpenGL Für jede VPL Punktlichtquelle mit Hilfe von gllightfv( ) definieren Schatten z.b. mit Hilfe von Shadow-Mapping Szene rendern 1 Bild mit gewichten N Bilder aufaddieren (z.b. mit Hilfe des Accumulation-Buffers) T. Grosch

29 Rendering auf modernen e GPUs Stichwort Deferred shading Szene nur einmal in verschiedene Texturen rendern Weltkoordinaten Normalen Material Beleuchtung im Bildraum (also auf den Texturen) durchführen Beleuchtung somit unabhängig von der Szenenkomplexität T. Grosch

30 Deferred Shading [Hargreaves] [Klint] T. Grosch

31 Instant Radiosity Ergebnis [Keller] T. Grosch

32 Erweiterung: eteu Bidirektionales Instant Radiosity [Segovia et al. 2006] Verteilung der VPLs abhängig von der Betrachterposition Interessant vor allem wenn mehrere Indirektionen notwendig T. Grosch

33 Erweiterung: Dynamische Lichtquelle [Laine et al. 2007] Statische ti Szene mit einer bewegten Lichtquelle Idee: Existierende i VPLs mit ihren Shadow Maps wiederverwenden d Nur wenige VPLs löschen und neu erzeugen pro Bild Zeitlich köhärent (kein Flackern), aber evtl. leicht zeitverzögert T. Grosch

34 Ergebnis [Laine, Saransaari, Kontkanen, Lehtinen, Aila, EGSR 2007] 49 fps, Dreiecke Aber: keine dynamischen Objekte T. Grosch

35 Imperfect Shadow Maps 1 Tobias Ritschel 1 Thorsten Grosch 2 Min. H. Kim 1 Hans-Peter Seidel 3 Carsten Dachsbacher 2 Jan Kautz MPI Informatik 1 University College London 2 University Stuttgart 3 Siggraph Asia 2008 T. Grosch

36 Motivation Bisher haben wir nur statische Geometrie betrachtet Falls sich ein Objekt bewegt, müssen alle Shadow Maps neu berechnet werden Die Generierung der Shadow Maps ist der langsamste Teil im Instant Radiosity Verfahren Wie bekommt man schnelle Shadow Maps? T. Grosch

37 Mit/ohne indirektem Licht Lokale Beleuchtung Globale Beleuchtung T. Grosch

38 Dynamische Szene Indirekte Sichtbarkeit ändert sich Frame t Frame t+1 Direct light Direct light Indirekter Schatten Kein indirekter Schatten T. Grosch

39 Instant Radiosity (One bounce) Direct light Indirect light VPL VPL VPL Virtual point light T. Grosch

40 Instant Radiosity in Sponza Scene Hier sind 30 VPLs. Für gute Qualität braucht man ca T. Grosch

41 Indirektes Licht und Schatten Erste Beobachtung Indirektes Licht ist oft weich und ändert sich nur langsam Die indirekten Schatten sind meistens weich, nur selten harte Schattenkanten Erste Idee Verwende Shadow Maps mit niedriger Auflösung (z.b. 64 x 64) zur Beschleunigung In vielen Fällen ist der Fehler kaum wahrnehmbar Dummerweise wird die Simulation dadurch kaum schneller T. Grosch

42 Beispiel Rechnung Wir verwenden z.b VPLs, jede mit einer Shadow Map mit 32 x 32 Auflösung Ein 3D Modell mit Polygonen Somit benötigen wir ~100 Millionen Transformationen (die gesamte Szene muß für jede VPL transformiert werden) Aufgrund der niedrigen Auflösung werden ca.100 Polygone auf das gleiche Texel abgebildet (100 x overdraw) vereinfachtes 3D Modell Punkt-basiertes Modell, da Punkte am schnellsten mit der Grafik Hardware gezeichnet werden könnn T. Grosch

43 Imperfect Shadow Maps Beobachtungen: Shadow Maps mit geringer Qualität (imperfect) sind ausreichend für viele, sich überlagernde, VPLs Shadow Map mit niedriger Auflösung (32 x 32) Vereinfachte Geometrie (Punkte) Vier Schritte 1. VPL Generierung 2. Punkt-basierte Shadow Maps 3. Pull-push (Lücken füllen) 4. Shading T. Grosch

44 Step 1 Step 2 Step 3 Step 4 VPL Generierung Point based Shadow Maps Pull push Shading T. Grosch

45 Step 1: VPL Generierung Nur eine diffuse Reflexion Die erste Indirektion ist perzeptuell die wichtigste, höhere Indirektonen können oft durch einen Ambienten Term abgeschätzt werden (und sind oft schwieriger zu berechnen) Die VPLs können in diesem Fall auch direkt auf der GPU mit sog. Reflective Shadow Maps bestimmt werden [Dachsbacher 2006] Zunächst wird eine Cube Map aus Sicht der Lichtquelle gezeichnet und ein Deep Framebuffer angelegt (Position, Normale und direktes Licht) Das direkte Licht wird als Dichtefunktion zur VPL Generierung verwendet (inverse CDF) Position und Normal Buffer werden zur Positionierung und Orientierung e der VPL verwendet e T. Grosch

46 Step 1: VPL generation [Dachsbacher 2006] No direct light No VPLs! Direct light VPLs! T. Grosch

47 Step 1 Step 2 Step 3 Step 4 VPL generation Punkt-basierte Shadow Maps Pull push Shading T. Grosch

48 Step 2: Punkt-basierte Shadow Maps Ziel: ca Shadow Maps müssen pro Frame neu generiert werden Bei einem Polygonmodell dauert das ca. 500ms ( Sponza, 70k polys) Mit einem Punktmodell wird es ca. 10 x schneller, wobei die Qualität akzeptabel bleibt T. Grosch

49 Step 2: Punkt-basierte Shadow Maps Classic Imperfect Imperfect Smaller points Less points T. Grosch

50 Step 2: Punkt-basierte Shadow Maps Vorverarbeitung: Gleichverteilte Punkte auf der Oberfläche der Szene ~8000 Punkte pro VPL Andere Punktmenge pro VPL verwenden Anderer Fehler in jeder Shadow Map gleicht sich aus, wenn viele VPLs sich überlagern Zur Laufzeit: Deformiere die Punkte bei dynamischer Geometrie VPL / Depth map T. Grosch

51 Step 2: Punkt-basierte Shadow Maps Frame t Frame t+1 Punkte werden gespeichert als Dreiecks-Index und Texturkoordinaten Kann on-the-fly deformiert werden T. Grosch

52 Step 2: Punkt-basierte Shadow Maps Paraboloid Shadow Maps Nur ein Render-Pass (besser als 5 bei Hemi-Cube) Paraboloid Mapping ist eine nichtlineare Projektion Gerade Linien werden zu Kurve wird nicht von der GPU unterstützt Problematisch bei Dreiecken, speziell im Nahbereich Wir zeichnen nur Punkte korrekte Abbildung T. Grosch

53 Step 1 Step 2 Step 3 Step 4 VPL generation Point based Shadow Maps Pull push Shading T. Grosch

54 Pull-Push Push Die Punkt-basierten Shadow Maps enthalten viele Löcher Dadurch entstehen viele Lücken im Schatten Idee: Löcher im Bildraum füllen aus den Tiefenwerten der Nachbarpixel Wird bei Point-Rendering eingesetzt und in der Bildverarbeitung (kleine Fehler im Bild entfernen) Bildpyramide Löcher verschiedener Größe Pull Schritt Berechne den Mittelwert der definierten Pixel und gehe eine Ebene nach oben (niedrigere Auflösung) Push Schritt Fülle die Lücken und gehe zu nächst-höherer Auflösungsstufe T. Grosch

55 Step 3: Pull-Push Beispiel Shadow Maps und rück-projizierte Punkte 2D 3D Classic Without pull push push With pull push push T. Grosch

56 Step 3: Pull-Push Beispiel Schatten Classic Without pull-push With pull-push T. Grosch

57 Step 3: Pull-Push Alle Shadow Maps in einer grossen Textur Ohne pull push Mit pull push T. Grosch

58 Step 1 Step 2 Step 3 Step 4 VPL generation Point based Shadow Maps Pull push Shading T. Grosch

59 Step 4: Shading Direktes Licht wird mit Standard d Beleuchtung berechnet z.b. Spotlicht mit Hi- Res Shadow Map Bild mit indirektem Licht wird aufaddiert (Licht ist additiv) Nur direkt Direkt + Indirekt Nur indirekt T. Grosch

60 Step 4: Shading Beim indirekten Licht wird immer nur eine Teilmenge der VPLs ausgewählt [Segovia et al. 2006] Jedes Pixel wählt eine andere Teilmenge (Interleaved Sampling) z.b. 4 x 4 Pixel Blöcke, jedes Pixel wählt N / 16 VPLs Pixel 1 nimmt VPL 0, 16, 32, Pixel 2 nimmt VPL 1, 17, 33, G Buffer T. Grosch

61 Step 4: Shading Das entstehende Dithering Muster kann durch einen Mittelwert t Filter (4 x 4) im Bildraum entfernt t werden Damit Objektkanten nicht verwischt werden, wird ein Bilateralfilter eingesetzt D.h. Position und Normale des Pixels werden mit Position und Normale des Zentrumspixels vergleichen Nur bei ähnlicher Position und Orientierung wird das Pixel mit in den Filter aufgenommen Meist wird dieser Filter auch separiert (obwohl nicht identisch zu 2D Bilateral Filter) Simple blur Edge aw ware T. Grosch

62 Results: Performance Christo s Sponza 70k faces, dynamic 1024 VPLs 256x256 depth maps 8k points each Breakdown 7 ms VPL generation 44 ms ISM 8 ms Pull push 15 ms Rendering 4 ms G Buffer 11 ms Direct light Total 89 ms frame time 11 frames / s T. Grosch

63 Results: Quality (Path Tracing, hours) T. Grosch

64 Results: Quality (ISM, 11 fps) T. Grosch

65 Results Cornell box horse Christo s Sponza Multiple bounces Complex, local area lights Natural illumination Caustics Timings: Nvidia GeForce 8800 GTX T. Grosch

66 ISM Video T. Grosch

67 Übung 5 Implementierung Instant Radiosity Vorhanden: Verteilung der VPLs mit bekanntem Path Tracer auf CPU Direktes Licht mit Shadow Map Darstellung mit einfachem Tone Mapper Aufgabe: Beleuchtung durch VPLs auf GPU Vertex Program für Hemisphärische Projektion Shadow Map Atlas generieren Schatten pro VPL berechnen Aufwändige Übung, daher 1 Monat Zeit! Aktuelle Grafikkarte benötigt (NVIDIA GF8 aufwärts) Voraussichtlich ab nächstem Jahr neue Rechner in Raum G Bonuspunkte für die erste Umsetzung auf einer ATI Karte T. Grosch

68 Zusammenfassung Instant Radiosity Simulation von indirektem Licht durch virtuelle Punktlichtquellen (VPLs) Verteilung der VPLs meist auf CPU Beleuchtung durch VPLs auf GPU, langsamster Teil ist der Schatten pro VPL Diffuse Szenen Konvergiert gegen korrekte kt Lösung, aber Probleme bei VPLs in der Nähe von Kanten Mit Imperfect Shadow Maps wird die Generierung der Shadow Maps ca. 10x schneller Fehler in Shadow Maps können im Bildraum reduziert werden und sind kaum wahrnehmbar Frohe Weihnachten und Guten Rutsch! Nächste Vorlesung am T. Grosch