Postprocessing. Algorithmen für Computerspiele. Alexander Martin 19. Juli 2010

Transkript

1 Postprocessing Algorithmen für Computerspiele Alexander Martin 19. Juli 2010

2 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

3 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

4 1. Einführung Definition Postprocessing In der allgemeinen Datenverarbeitung: Der Begriff Postprocessing bezeichnet die Nachbearbeitung und Aufbereitung von Ergebnissen einer Computersimulation. Im Bildsynthese Prozess: Der Begriff Postprocessing bezeichnet die Nachbearbeitung und Aufbereitung von gerenderten Bildern durch zusätzliche Bildberechnungen. 4

5 1. Einführung Überblick Postprocessing generierte Bildeffekte Schatten Deferred Shading, Screen Space Ambient Occlusion Kantenglättung Anti Aliasing Fokustiefe Depth of Field, Sharpen Filter, Unsharp Filter Bewegungsunschärfe Motion Blur Helligkeitsunterschiede High Dynamic Range, Bloom Lighting Blendenflecke oder Linsenreflexionen Lens Flares Lichtstreuung Volumetric Light Scattering Kunsteffekte Cel Shading Comic Look, Schraffureffekte, uvm. 5

6 1. Einführung 6

7 1. Einführung Einordnung in den Bildsyntheseprozess gesammelte Informationen Postprocessing zbsp. im OpenGL Pixel Shader 7

8 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

9 2. Deferred Shading Grundlagen Bisherige Probleme in der Licht und Schattenberechnung Aufwändig bei vielen Objekten, Lichtquellen Für jede Lichtquelle wird jedes Objekt gezeichnet Rendercall Worst Case O(nO*nL) Idee ist Deferred Shading verzögertes Schattieren Trennung Geometrieverarbeitung, Lichtberechnung Komplexe Szenen, viele Lichtquellen möglich kein Aufwand für verdeckte Flächen Rendercall Worst Case O(nO+nL) Kein Hardware Anti Aliasing Keine Transparente Objekte 9

10 2. Deferred Shading Deferred Shading grobes Prinzip 2 Phasen + P 1 2 Bildraum Pixel Daten (3D Position, Normale, etc.) sammeln Texturen in Mutliple Render Targets (G Buffer, ) Beleuchtungsberechnung der Szene mit Buffer Daten Globale Beleuchtung bildschirmfüllendes Quadrat als Lichtquelle Lokale Beleuchtung Lokale Lichtquellen mit Lichtvolumen Beleuchtungsmethode anwenden Jedes Pixel beleuchtet/schattiert [Pseudo Code, Deferred Shading Technik] 10

11 2. Deferred Shading 1 2 P [Architektur, Deferred Shading Technik] [Deferred Shading, Geometrieverarbeitung, Architektur] [Deferred Shading, Beleuchtungsphase, Architektur] 11

12 2. Deferred Shading Beispiel Killzone 2 Depth Motion Vector Buffer Buffer Normal Albedo Buffer Buffer Specular Intensity Deferred Composition Buffer Beleuchtung Specular Roughness / Power Target Image with Postprocessing Buffer Fertig 12

13 2. Deferred Shading [S.T.A.L.K.E.R, GSC Game World, 2007] [Crysis, Crytek, 2008] [Killzone 2, Guerrilla Games, 2009] 13

14 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

15 3. Screen Space Ambient Occlusion & ähnliche Grundlage Ambient Occlusion Technik Umgebungsverdeckung Verschattung Simuliert globale Beleuchtung In Engstellen viele diffuse Reflexionen geringere Beleuchtungsstärke Aufhellung durch Umgebungslicht, Verdunklung durch Objekte in Nähe Ungeeignet für bewegliche Geometrien 15

16 3. Screen Space Ambient Occlusion & ähnliche Ambient Occlusion Funktion: Verdeckungswert Gewichtung Integral über Halbkugel Sichtbarkeitsfunktion 16

17 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

18 3. Screen Space Ambient Occlusion & ähnliche Screen Space Ambient Occlusion SSAO Ambient Occlusion in Echtzeit Crytek 2007 Lichtstrahlenverfolgung nicht im 3D ObjektRaum Berechnung im 2D Bildraum mit Tiefen Bild, Kernel Depth Buffer als Approximation der Szenen Szenen Geometrie Tiefenwerte 18

19 3. Screen Space Ambient Occlusion & ähnliche Funktionsweise SSAO Ziel: Verdeckungswert jedes Pixels im Bild Occlusion Buffer Ideales Verfahren In Szene um P eine Kugel mit Radius r legen Über die Kugel integrieren, wie AO Volumen bestimmen, geschnitten mit der Szene Volumen approximieren zur Umgebungsverdeckung in P Ideales Vorgehen viel zu aufwändig 3D Szene P 19

20 3. Screen Space Ambient Occlusion & ähnliche Funktionsweise SSAO Annäherung Depth Buffer und Abtast Kernel Pixel in Bildebene wählen Punkt in Objektebene Kugel um Pixel, Abtast Punkte auf Kugeloberfläche (Kernel) Jeder Abtast Punkt hat eine errechnete Tiefe (Kernel) Vergleich mit Tiefenbild der Szene Abtast Punkte überdeckt oder nicht Verdeckungswert für Pixel anhand Verhältnis Überdeckungen Kernel Abtast Punkt Pixel Bildebene Tiefenbild 20

21 3. Screen Space Ambient Occlusion & ähnliche SSAO Pipeline Tiefenwerte Bildebene (Viewport) Bildebene (Viewport) 21

22 3. Screen Space Ambient Occlusion & ähnliche SSAO Beispiele [Crytek, CryEngine 3] SSAO Aus SSAO Aus SSAO An SSAO An [Avalanche Studios, Just Cause 2] 22

23 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

24 3. Screen Space Ambient Occlusion & ähnliche ähnliche Techniken Hardwarebeschleunigtes AO 2 Phasen (Shanmugamand, Arikan. 2007) 1. Phase Image Space Ansatz (für hohe Detaildichte) Depth Buffer benutzt Nachbarpunkte von P als Verdeckungs Kugeln Jeweils approximierter Verdeckungswert Abhängig von Position und Entfernung der Kugel zu P Verdeckungswerte auf Pixel der Bildebene projiziert Verschattung von Pixel anhand Nachbar Pixel Werte (Kernel) Bildebene P P P 24

25 3. Screen Space Ambient Occlusion & ähnliche 2. Phase Distant Occluder Ansatz (für niedrige Detaildichte) Approximation der Szene in Kugeln Kugeln in Bildebene als Flächen Ambient Occlusion auf Flächen Verdeckungswerte auf Szene übertragen AO 25

26 3. Screen Space Ambient Occlusion & ähnliche ähnliche Techniken Image Enhancement by Unsharp Masking the Depth Buffer (Luft, 2006) Angelehnt an Kunsttechnischen Effekt Schattenwurf/Aufhellung an Objektgrenzen Tiefenwahrnehmung simuliert Idee von Ambient Occlusion! [Dali] [Picasso] [Seurat] 26

27 3. Screen Space Ambient Occlusion & ähnliche Funktionsweise Unsharp Masking the Depth Buffer: Bild Kontrastverstärkung Räumliche Abhängigkeiten von Objekten Lokale Begrenzung in der Anwendung (an Konturen) Verdunkelung Tiefeninformation Phong Shading Verdunkelte Kontur 27

28 3. Screen Space Ambient Occlusion & ähnliche Funktionsweise Unsharp Masking the Depth Buffer: Ableitung der Tiefenfkt. Raum Wichtigkeit Gewichtung Aus [Ergebnis] An 28

29 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

30 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Optische Grundlagen der Schärfedefinition (Schärfentiefe etc.) Circle of Confusion (CoC), der Zerstreuungskreis Fokusebene Objektebene Linse Circle of Confusion (Zerstreuungskreis) Focus Linse Bildebene Objektebene Fokuspunkt Brennpunkt 30

31 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe 5 Arten von DoF Techniken: Diffuses Raytracing über Fokus Linse Accumualations Puffer Techniken Layer Basierte Techniken in Echtzeit als Postprocess Forward Mapped Z Buffer Techniken (Sprites Blending) Punkte nicht in Fokusebene Pixel unscharf (über Pixel Tiefe) Unschärfe Bereich in Frame Buffer schreiben Reverse Mapped Z Buffer Techniken (Texture Mapping) Pixel Unschärfe anhand Tiefen Buffer Differenz 31

32 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe [Just Cause 2] DoF OFF DoF ON [Crysis] 32

33 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

34 4. Fokustiefe und Motion Blur Motion Blur Bewegungsunschärfe Verfahren: Geschwindigkeitsbild der Szene notwendig Depth Buffer, Viewport Projektions Matrix für jedes Frame Pixelpositionen der letzten Frames Differenz der Frame Pixelpositionen Geschwindigkeitsbild, Geschwindigkeitsvektor Abtasten und Mitteln von Pixel Werten in Richtung des Vektors Blur Effekt 34

35 4. Fokustiefe und Motion Blur Motion Blur Bewegungsunschärfe [GTA 4] [Test Driver Unlimited 2] [Killzone 2] [Speed Forge Extreme] 35

36 Inhaltsverzeichnis 1. Einführung Definition Postprocessing Überblick Postprocessing generierte Bildeffekte Einordnung in den Bildsyntheseprozess 2. Deferred Shading Grundlagen 3. Screen Space Ambient Occlusion & ähnliche Techniken Grundlage Ambient Occlusion Technik Screen Space Ambient Occlusion ähnliche Techniken 4. Fokustiefe und Motion Blur Depth of Field Fokustiefe Motion Blur Bewegungsunschärfe 5. Fazit Algorithmen für Computerspiele Postprocessing 19. Juli

37 5. Fazit Zukünftige Entwicklung: Echtzeit Berechnung von Effekten Auf Kosten physikalischer Korrektheit Postprocessing übernimmt mehr Aufgaben Neue Effekte können realisiert werden Bestehende Effekte können verlagert werden Entlastung der restlichen Grafik Pipeline 37

38 Fragen Fragen? 38