(5) (Stereo-)Rendering

Transkript

1 (5) (Stereo-)Rendering Vorlesung Virtuelle Realität und Augmented Reality S. Müller Dank an Dirk Reiners, Sina Konz, Gabriel Zachmann, Andreas Simon KOBLENZ LANDAU

2 Echtzeit-Rendering? Maximal so schnell wie das darstellende Gerät PAL 50 Hz ~ 20ms NTSC 60 Hz ~ 16.6 ms Monitor z.b. 80 Hz ~ 15 ms Für fließende Bewegungen gilt: je schneller, je besser 60 Hertz, 30 hurts Ein Gefühl der Immersion stellt sich ab ca. 10 Hz bzw. 100 ms Latenz ein Besonders kritisch bei der Verwendung eines HMD KOBLENZ LANDAU S. Müller - 2 -

3 Latenz Zur reinen Renderingzeit kommen noch andere Verzögerungen dazu: Sensor Übertragung Auswertung Simulation Rendering Darstellung < 100 ms KOBLENZ LANDAU S. Müller - 3 -

4 Rendering Pipeline Polygon Transformation Beleuchtung Perspektive Clipping Setup Pixelfüllen KOBLENZ LANDAU S. Müller - 4 -

5 Beschleunigung Für spezielle Aufgaben ist Custom-Hardware immer noch schneller als Universalprozessoren Pipelining Parallelisierung Für bestimmte, einfach Aufgaben sehr schnell Z-Buffer (Speicher ist billig) Polygone (einfach weil linear) Relativ inflexibel Nur ein realisierter Algorithmus Nur für die eine Aufgabe brauchbar KOBLENZ LANDAU S. Müller - 5 -

6 Pipelining Polygon Transformation Beleuchtung Perspektive Clipping Setup Pixelfüllen KOBLENZ LANDAU S. Müller - 6 -

7 Parallelisierung Polygon 2 vorne 4-8 hinten (8 Texturen gleichzeitig) Transformation Beleuchtung Perspektive Clipping Setup Pixelfüllen KOBLENZ LANDAU S. Müller - 7 -

8 Parallelisierung Beispiel: infinite Reality (1996) DList cache: 300 MB/s 4 Geometry Engines: 2 GFlops peak 11 M Dreiecke/s (40 pixel, depth-buffered, aa) 1-4 Raster Managers: Prozessoren á 1 MB 800 Mpixel/s (trilinear MipMap, depthbuffered) KOBLENZ LANDAU S. Müller - 8 -

9 Parallelisierung / Pipelining Eine Pipeline ist nur so schnell wie das langsamste Glied Je nach Aufgabe verschiedene Bottlenecks (Lösung: Puffer zwischen den Pipelinestufen) Heute noch häufig Hauptproblem: Pixelfüllen Hohe Auflösungen & Farbtiefen CPU / FP ist schnell geworden Speicher ist billig und langsam KOBLENZ LANDAU S. Müller - 9 -

10 Parallelisierung / Pipelining Die (einfachen) Pipelinestufen können gestört werden durch: Transformationswechsel Beleuchtungswechsel Texturwechsel Solche Wechsel sind oberhalb der Rendering-Pipeline zu vermeiden D.h. vor der Weitergabe an die HW sollten Polygone sortiert werden KOBLENZ LANDAU S. Müller

11 Arbeitsvermeidung Striping Besser als Arbeit schnell zu tun ist Arbeit nicht zu tun Eckpunkte können recycled werden durch zusammenhängende Polygone (Strips) KOBLENZ LANDAU S. Müller

12 Striping 4320 Polygone Eckpunkte 905 Stripes 6127 Eckpunkte KOBLENZ LANDAU S. Müller

13 Arbeitsvermeidung Level of Detail Weit entfernte Objekte müssen nicht so genau gezeichnet werden 5031 Polygone 2447 Polygone 1251 Polygone KOBLENZ LANDAU S. Müller

14 Level Of Detail 5031 Polygone 2447 Polygone 1251 Polygone KOBLENZ LANDAU S. Müller

15 Level Of Detail Verwendung verschieden feiner Versionen (vorberechnet oder zur Laufzeit) Probleme: Automatische Erzeugung Auswahl (z.b. entfernungsgesteuert) Überblenden beim Umschalten KOBLENZ LANDAU S. Müller

16 Arbeitsvermeidung Polygone die im fertigen Bild nicht auftauchen müssen auch nicht durch die Pipeline gejagt werden Wie kann man das schnell feststellen? KOBLENZ LANDAU S. Müller

17 Arbeitsvermeidung View Frustum Culling Schnelle Hardware kann Polygone schneller zeichnen als der Prozessor den Test machen kann Nicht einzelne Polygone sondern ganze Objekte testen Konservativer Test reicht 1 C 0 Im Prinzip Cohen-Sutherland im 3D D A 2 B 3 KOBLENZ LANDAU S. Müller

18 Hierarchisches View Frustum Culling Bei großen Objektzahlen kann man die Anzahl der Tests durch eine Hierarchie minimieren Komplett unsichtbare Teilbäume werden ignoriert, komplett sichtbare nicht getestet KOBLENZ LANDAU S. Müller

19 Völlig Verdeckte Objekte In Szenen mit vielen Wänden sind oft Objekte im View Volume, aber trotzdem nicht sichtbar Wie kann man das effizient testen? KOBLENZ LANDAU S. Müller

20 Völlig Verdeckte Objekte Occlusion Culling Preprocessed: Die Szene in Zellen aufteilen Liste der sichtbaren Objekte / Zelle aufbauen Objekte aus der Liste für die Zelle in der sich der Betrachter aufhält rendern KOBLENZ LANDAU S. Müller

21 Erweiterte Rendering-Pipeline Occlusionculling Objektculling Zustandssortierung Hierarchieculling LOD Selektion Polygon Transformation Perspektive Setup Beleuchtung Clipping Pixelfüllen KOBLENZ LANDAU S. Müller

22 Erweiterte Rendering-Pipeline Jeder Teil der erweiterten Rendering Pipeline kann auch unabhängig bearbeitet werden (MP-Systeme) Für Spezialsysteme können sie auch in HW gegossen werden (z.b. Flugsimulatoren) Für allgemeine Systeme ist das Polygon eine brauchbare Übergangsstelle KOBLENZ LANDAU S. Müller

23 Qualität Texturen Schatten KOBLENZ LANDAU S. Müller

24 Shading Gouraud Shading mit Eckpunktnormalen Gekrümmte Oberflächen können mit Polygonen nur angenähert werden Zur Beleuchtungsberechnung werden die explizit zu spezifizierenden Normalen mit einbezogen, die man auch pro Eckpunkt setzen kann Mittels Interpolation kann aber die Beleuchtungsapproximation besser als die geometrische gemacht werden KOBLENZ LANDAU S. Müller

25 Gouraud Shading KOBLENZ LANDAU S. Müller

26 Transparenzen Transparenz kann durch Mischung der Objekt- und der schon vorhandenen Hintergrundfarbe angenähert werden: Fneu = Fobjekt* + Falt * (1- ) Transparente Objekte müssen zum Schluß und von hinten nach vorne sortiert gerendert werden KOBLENZ LANDAU S. Müller

27 Transparenzen KOBLENZ LANDAU S. Müller

28 Softwarerealisierung Auto Body Türen Rad Verschiedene Applikationen verschiedene Anforderungen Für viele Systeme bewährt: Szenengraph Gerichteter azyklischer Graph Geometrie in den Blättern KOBLENZ LANDAU S. Müller

29 Szenengraph Tr Auto Tr Tr Tr Objektorientierte Struktur mit Knotenklassen und Traversierungsmethoden Erlaubt Attributvererbung von Eltern auf Kinder Transformation das sinnvollste Attribut Body Türen Rad LOD 1 LOD 2 LOD 3 KOBLENZ LANDAU S. Müller

30 Draw-Tree Ablauf: Resultat der oberen Pipeline-Stufen ist ein eigener Baum (Draw Tree) Die Transformationen werden meist per CPU schon auf die Ecken angewendet Der Baum wird bzgl. einer State-Change-Minimierung sortiert Texturen Shader Materialien Die Traversierung des Draw-Trees liefert dann die Polygone, die an die HW übergeben werden KOBLENZ LANDAU S. Müller

31 KOBLENZ LANDAU Stereo Rendering

32 Physiologische Grundlagen interokularer Abstand Disparität der Bilder auf der Netzhaut: -horizontal leicht verschoben -um die vertikale Achse rotiert Bei stereoskopischen Systemen wird dieser Effekt genutzt um einen Tiefeneffekt zu simulieren. KOBLENZ LANDAU S. Müller

33 Stereosysteme Zeitmultiplexe Systeme / Aktive Stereosysteme: Zeitlich versetzte Präsentation der Halbbilder für linkes und rechtes Auge. Zeitparallele stereoskopische Systeme / Passive Stereosysteme: Simultane Präsentation der Halbbilder für linkes und rechtes Auge. KOBLENZ LANDAU S. Müller

34 Stereo Rendering Parallaxe wird am Bildschirm bzw. Display gemessen und bezieht sich auf die Diskrepanz zwischen der Abbildung eines Punktes für das linke und rechte Auge. Horizontale Parallaxe: Positionen von Punkten die erscheinen als würden sie hinter der Projektionsebene liegen (also im Bildschirm) oder vor der Projektionsebene (vor dem Bilschirm) befinden sich für das rechte und linke Auge an unterschiedlichen Stellen der Bildebene. Dieser Abstand wird als horizontale Parallaxe bezeichnet. KOBLENZ LANDAU S. Müller

35 Horizontale Parallaxe Positive Parallaxe : Parallaxenwert > 0 Abgebildeter Punkt liegt hinter der Projektionsebene Projektion des Punktes für das linke Auge liegt links vom tatsächlichen Punkt, und für das rechte Auge rechts vom tatsächlichen Punkt. KOBLENZ LANDAU S. Müller

36 Horizontale Parallaxe Negative Parallaxe: Parallaxenwert < 0 Betrachteter Punkt liegt vor der Projektionsebene Projektion des Punktes für das linke Auge liegt weiter rechts als die Projektion für das rechte Auge KOBLENZ LANDAU S. Müller

37 Horizontale Parallaxe Nullparallaxe: Parallaxenwert = 0 Betrachteter Punkt liegt auf der Abbildungsebene KOBLENZ LANDAU S. Müller

38 Vertikale Parallaxe Vertikale Parallaxe: Projektion der Punkte vertikal verschoben Entspricht einer Verschiebung aus der Bildebene heraus Trägt nicht zur Tiefeninformation bei Führt zu Problemen bei der Bilderkennung und einer unangenehmen Belastung der Augenmuskulatur sollte bei Stereo Rendering vermieden werden KOBLENZ LANDAU S. Müller

39 Stereoskopisches Rendering a.) Modell der konvergierenden Hauptsehstrahlen Toe-In Methode b.) Modell der parallelen Hauptsehstahlen Off-Axis Methode KOBLENZ LANDAU S. Müller

40 Toe-In Methode Zwei symmetrische Frusta mit gluperspective mit identischem Öffnungswinkel Hauptsehstrahlen beider Augen treffen sich im fixierten Blickunkt. Dieses Modell modelliert also die Konvergenz der Augen. Vertikale Parallaxe Inkorrekte Methode KOBLENZ LANDAU S. Müller

41 Off-Axis Methode Modell der parallelen Sehstrahlen: arbeitet mit zwei fiktiven Blickpunkten die Augenabstand haben Diese liegen für das rechte bzw. linke Auge rechts bzw. links vom eigentlichen Blickpunkt. Da die Hauptsehstrahlen parallel verlaufen, sind die Projektionsebenen für beide Augen identisch (d.h. nicht gegeneinander rotiert) woraus folgt das die vertikale Parallaxe hier nicht auftritt Korrektes Modell für Stereo Rendering Off-Axis Methode KOBLENZ LANDAU S. Müller

42 Off-Axis Methode besteht demnach aus zwei parallelen Zentralprojektionen auf eine gemeinsame Projektionsebene. Die Zentren der Projektion stellen die beiden Augpunkte dar. Hierzu benötigt man asymmetrische Kamera-Frusta der Befehl glupespective(...) reicht also hier nicht mehr aus, man benötigt glfrustum( ) Berechnung der Parameter für das linke Auge: w; h: Breite und Höhe des Bildschirms (frei wählbar) d: Abstand des Betrachters zur projection plane (frei wählbar (d>0)) zn; zf: Abstand des Betrachters zur Z-near bzw. Z-far Ebene (frei wählbar, aber >0) Projection Plane ist die Ebene der Zero-Parallaxe Die Bildebene ist nach wie vor bei z-near. KOBLENZ LANDAU S. Müller

43 Off-Axis Methode Berechnung der Parameter für das linke Auge: left Rechnung korrekt, da Auge im Ursprung Das Kamera-Frustum für das linke Auge befindet sich um o/2 nach links verschoben und die linke Seite besitzt eine Breite von (w/2-o/2). tan left zn w 2 o d 2 Durch Projektion dieses Punktes auf die Z-Near- Ebene ergibt sich für left: left = -(w/2-o/2)*zn / d KOBLENZ LANDAU S. Müller

44 Off-Axis Methode Berechnung der Parameter für das linke Auge left = -(w/2-o/2)*zn / d (right analog zu left, Verschiebung nach rechts: positiver Wert) right = (w/2+o/2)*zn / d top = (h/2)*zn / d bottom=(-h/2)*zn / d Berechnung der Parameter für das rechte Auge left = (-w/2-o/2)*zn / d (right analog zu left, Verschiebung nach rechts: positiver Wert) right = (w/2-o/2)*zn / d top = (h/2)*zn / d bottom=(-h/2)*zn / d KOBLENZ LANDAU S. Müller

45 Off-Axis Methode Die Übergabe der Parameter an OpenGL erfolgt mit: // für linkes Auge glmatrixmode(gl_projection); glloadidentity(); glfrustum( ( -w/2.0f + o/2.0f ) * znear / d, ( w/2.0f + o/2.0f ) * znear / d, -h / 2.0f * znear / d, h / 2.0f * znear / d, znear, zfar ); KOBLENZ LANDAU S. Müller

46 Off-Axis Methode Im nächsten Schritt muss vor dem Rendering der 3D-Szene noch die Kamera definiert werden: // für linkes Auge glmatrixmode(gl_modelview); glloadidentity(); // fromx: -o/2, fromy: 0; fromz: d // atx: -o/2 glulookat(-o/2, 0, d, -o/2, 0, 0, 0, 1, 0); Analog führt man die Transformationen für das rechte Auge durch. KOBLENZ LANDAU S. Müller

47 Vorgehensweise Stereo Rendering 1. Initialisierung der GLUT Bibliothek: glutinit(int agrcp, int agrv) // Initialisierung von // GLUT 2. Wählen eines stereoskopischen Pixelformats für das entsprechende Fenster, z.b. : glutinitdisplaymode(glut_rgb GLUT_DOUBLE GLUT_STEREO) GLUT_RGB : für ein Fenster mit RGB-Modus GLUT_DOUBLE : für ein double buffered Fenster GLUT_STEREO : für ein Stereo-Fenster 3. Erzeugen des Fensters: glutcreatewindow(fenstername); KOBLENZ LANDAU S. Müller

48 Vorgehensweise Stereo Rendering glclearcolor( 0.0, 0.0, 0.0, 1.0 ); glclear( GL_COLOR_BUFFER_BIT GL_DEPTH_BUFFER_BIT ); // Linkes Auge // Breite/Höhe float w = 1.0f; float h = 0.5f; // Abstand des Betrachters zur Bildebene static float d = 1.0f; // interokular Abstand static float o = 0.02f; float znear = 0.1f; float zfar = 200.0f; KOBLENZ LANDAU S. Müller

49 Vorgehensweise Stereo Rendering // linkes Auge gldrawbuffer(gl_back_left); glmatrixmode(gl_projection); glloadidentity(); glfrustum( ( -w/2.0f + o/2.0f ) * znear / d, ( w/2.0f + o/2.0f ) * znear / d, -h / 2.0f * znear / d, h / 2.0f * znear / d, znear, zfar ); glmatrixmode( GL_MODELVIEW ); glloadidentity(); glulookat(-o/2, 0, d, -o/2, 0, 0, 0, 1, 0); renderscene(); KOBLENZ LANDAU S. Müller

50 Vorgehensweise Stereo Rendering // rechtes Auge glclear( GL_DEPTH_BUFFER_BIT ); gldrawbuffer(gl_back_right); glmatrixmode(gl_projection); glloadidentity(); glfrustum( ( -w/2.0f - o/2.0f ) * znear / d, ( w/2.0f - o/2.0f ) * znear / d, -h / 2.0f * znear / d, h / 2.0f * znear / d, znear, zfar ); glmatrixmode( GL_MODELVIEW ); glloadidentity(); glulookat(o/2, 0, d, o/2, 0, 0, 0, 1, 0); renderscene(); glflush(); // ausführen der Befehle KOBLENZ LANDAU S. Müller

51 Steuerung Als Eingabeparameter dienen also: Augabstand (kann man messen) z-near und der Abstand zur Zero-Parallaxe (frei wählbar) Durch letzteren steuert man die Parallaxe Vorsichtig wählen! Sonst Hyperstereoeffekt ( die Augen werden auseinander gezogen ) oder Stereoeffekt bricht zusammen KOBLENZ LANDAU S. Müller

52 Stereo Violation Widersprechende Depth-Cues Tritt nur an den seitlichen Rändern auf (nicht oben/unten) KOBLENZ LANDAU S. Müller

53 Depth aliasing Stereoscopic voxel Zahl gibt Parallaxe an Effekt: 2 Punkte gleicher Tiefe können sehr verschiedene Parallaxe produzieren, und Punkte verschiedener Tiefe die gleiche Parallaxe! KOBLENZ LANDAU S. Müller

54 Stereo Rendering Zu beachten (Konz): 1. Maximale Trennung der Bilder = 5% des Abstands zur Bildebene 2. Die negative Parallaxe sollte betragsmäßig nicht den interokularen Abstand überschreiten 3. Für alle Punkte der Szene sollte der Parallax Winkel nicht den Wert von 1,5 Grad überschreiten Zu beachten (Zachmann): 1. Parallaxe nicht zu groß! 1.6 ~ Parallaxe 0.03 Entfernung Proj.wand 2. Einzelnes Objekt lege ZPP durch dessen Mittelpunkt 3. Ganze Szene 1/3 negative Parallaxe, 2/3 positive Parallaxe 4. Halte Objekte mit negativer Parallaxe möglichst in der Mitte KOBLENZ LANDAU S. Müller

55 Projektionsfläche Stereo is "one man show" Warum stimmt ein gerendertes Stereo-Bild nur für 1 Standpunkt? KOBLENZ LANDAU S. Müller