(5) (Stereo-)Rendering Vorlesung Virtuelle Realität und Augmented Reality S. Müller Dank an Dirk Reiners, Sina Konz, Gabriel Zachmann, Andreas Simon KOBLENZ LANDAU
Echtzeit-Rendering? Maximal so schnell wie das darstellende Gerät PAL 50 Hz ~ 20ms NTSC 60 Hz ~ 16.6 ms Monitor z.b. 80 Hz ~ 15 ms Für fließende Bewegungen gilt: je schneller, je besser 60 Hertz, 30 hurts Ein Gefühl der Immersion stellt sich ab ca. 10 Hz bzw. 100 ms Latenz ein Besonders kritisch bei der Verwendung eines HMD KOBLENZ LANDAU S. Müller - 2 -
Latenz Zur reinen Renderingzeit kommen noch andere Verzögerungen dazu: Sensor Übertragung Auswertung Simulation Rendering Darstellung < 100 ms KOBLENZ LANDAU S. Müller - 3 -
Rendering Pipeline Polygon Transformation Beleuchtung Perspektive Clipping Setup Pixelfüllen KOBLENZ LANDAU S. Müller - 4 -
Beschleunigung Für spezielle Aufgaben ist Custom-Hardware immer noch schneller als Universalprozessoren Pipelining Parallelisierung Für bestimmte, einfach Aufgaben sehr schnell Z-Buffer (Speicher ist billig) Polygone (einfach weil linear) Relativ inflexibel Nur ein realisierter Algorithmus Nur für die eine Aufgabe brauchbar KOBLENZ LANDAU S. Müller - 5 -
Pipelining Polygon Transformation Beleuchtung Perspektive Clipping Setup Pixelfüllen KOBLENZ LANDAU S. Müller - 6 -
Parallelisierung Polygon 2 vorne 4-8 hinten (8 Texturen gleichzeitig) Transformation Beleuchtung Perspektive Clipping Setup Pixelfüllen KOBLENZ LANDAU S. Müller - 7 -
Parallelisierung Beispiel: infinite Reality (1996) DList cache: 300 MB/s 4 Geometry Engines: 2 GFlops peak 11 M Dreiecke/s (40 pixel, depth-buffered, aa) 1-4 Raster Managers: 80-320 Prozessoren á 1 MB 800 Mpixel/s (trilinear MipMap, depthbuffered) KOBLENZ LANDAU S. Müller - 8 -
Parallelisierung / Pipelining Eine Pipeline ist nur so schnell wie das langsamste Glied Je nach Aufgabe verschiedene Bottlenecks (Lösung: Puffer zwischen den Pipelinestufen) Heute noch häufig Hauptproblem: Pixelfüllen Hohe Auflösungen & Farbtiefen CPU / FP ist schnell geworden Speicher ist billig und langsam KOBLENZ LANDAU S. Müller - 9 -
Parallelisierung / Pipelining Die (einfachen) Pipelinestufen können gestört werden durch: Transformationswechsel Beleuchtungswechsel Texturwechsel Solche Wechsel sind oberhalb der Rendering-Pipeline zu vermeiden D.h. vor der Weitergabe an die HW sollten Polygone sortiert werden KOBLENZ LANDAU S. Müller - 10 -
Arbeitsvermeidung Striping Besser als Arbeit schnell zu tun ist Arbeit nicht zu tun Eckpunkte können recycled werden durch zusammenhängende Polygone (Strips) 2 3 5 8 9 11 1 3 5 0 1 4 6 7 10 0 2 4 KOBLENZ LANDAU S. Müller - 11 -
Striping 4320 Polygone 12960 Eckpunkte 905 Stripes 6127 Eckpunkte KOBLENZ LANDAU S. Müller - 12 -
Arbeitsvermeidung Level of Detail Weit entfernte Objekte müssen nicht so genau gezeichnet werden 5031 Polygone 2447 Polygone 1251 Polygone KOBLENZ LANDAU S. Müller - 13 -
Level Of Detail 5031 Polygone 2447 Polygone 1251 Polygone KOBLENZ LANDAU S. Müller - 14 -
Level Of Detail Verwendung verschieden feiner Versionen (vorberechnet oder zur Laufzeit) Probleme: Automatische Erzeugung Auswahl (z.b. entfernungsgesteuert) Überblenden beim Umschalten KOBLENZ LANDAU S. Müller - 15 -
Arbeitsvermeidung Polygone die im fertigen Bild nicht auftauchen müssen auch nicht durch die Pipeline gejagt werden Wie kann man das schnell feststellen? KOBLENZ LANDAU S. Müller - 16 -
Arbeitsvermeidung View Frustum Culling Schnelle Hardware kann Polygone schneller zeichnen als der Prozessor den Test machen kann Nicht einzelne Polygone sondern ganze Objekte testen Konservativer Test reicht 1 C 0 Im Prinzip Cohen-Sutherland im 3D D A 2 B 3 KOBLENZ LANDAU S. Müller - 17 -
Hierarchisches View Frustum Culling Bei großen Objektzahlen kann man die Anzahl der Tests durch eine Hierarchie minimieren Komplett unsichtbare Teilbäume werden ignoriert, komplett sichtbare nicht getestet KOBLENZ LANDAU S. Müller - 18 -
Völlig Verdeckte Objekte In Szenen mit vielen Wänden sind oft Objekte im View Volume, aber trotzdem nicht sichtbar Wie kann man das effizient testen? KOBLENZ LANDAU S. Müller - 19 -
Völlig Verdeckte Objekte Occlusion Culling Preprocessed: Die Szene in Zellen aufteilen Liste der sichtbaren Objekte / Zelle aufbauen Objekte aus der Liste für die Zelle in der sich der Betrachter aufhält rendern KOBLENZ LANDAU S. Müller - 20 -
Erweiterte Rendering-Pipeline Occlusionculling Objektculling Zustandssortierung Hierarchieculling LOD Selektion Polygon Transformation Perspektive Setup Beleuchtung Clipping Pixelfüllen KOBLENZ LANDAU S. Müller - 21 -
Erweiterte Rendering-Pipeline Jeder Teil der erweiterten Rendering Pipeline kann auch unabhängig bearbeitet werden (MP-Systeme) Für Spezialsysteme können sie auch in HW gegossen werden (z.b. Flugsimulatoren) Für allgemeine Systeme ist das Polygon eine brauchbare Übergangsstelle KOBLENZ LANDAU S. Müller - 22 -
Qualität Texturen Schatten KOBLENZ LANDAU S. Müller - 23 -
Shading Gouraud Shading mit Eckpunktnormalen Gekrümmte Oberflächen können mit Polygonen nur angenähert werden Zur Beleuchtungsberechnung werden die explizit zu spezifizierenden Normalen mit einbezogen, die man auch pro Eckpunkt setzen kann Mittels Interpolation kann aber die Beleuchtungsapproximation besser als die geometrische gemacht werden KOBLENZ LANDAU S. Müller - 24 -
Gouraud Shading KOBLENZ LANDAU S. Müller - 25 -
Transparenzen Transparenz kann durch Mischung der Objekt- und der schon vorhandenen Hintergrundfarbe angenähert werden: Fneu = Fobjekt* + Falt * (1- ) Transparente Objekte müssen zum Schluß und von hinten nach vorne sortiert gerendert werden KOBLENZ LANDAU S. Müller - 26 -
Transparenzen KOBLENZ LANDAU S. Müller - 27 -
Softwarerealisierung Auto Body Türen Rad Verschiedene Applikationen verschiedene Anforderungen Für viele Systeme bewährt: Szenengraph Gerichteter azyklischer Graph Geometrie in den Blättern KOBLENZ LANDAU S. Müller - 28 -
Szenengraph Tr Auto Tr Tr Tr Objektorientierte Struktur mit Knotenklassen und Traversierungsmethoden Erlaubt Attributvererbung von Eltern auf Kinder Transformation das sinnvollste Attribut Body Türen Rad LOD 1 LOD 2 LOD 3 KOBLENZ LANDAU S. Müller - 29 -
Draw-Tree Ablauf: Resultat der oberen Pipeline-Stufen ist ein eigener Baum (Draw Tree) Die Transformationen werden meist per CPU schon auf die Ecken angewendet Der Baum wird bzgl. einer State-Change-Minimierung sortiert Texturen Shader Materialien Die Traversierung des Draw-Trees liefert dann die Polygone, die an die HW übergeben werden KOBLENZ LANDAU S. Müller - 30 -
KOBLENZ LANDAU Stereo Rendering
Physiologische Grundlagen interokularer Abstand Disparität der Bilder auf der Netzhaut: -horizontal leicht verschoben -um die vertikale Achse rotiert Bei stereoskopischen Systemen wird dieser Effekt genutzt um einen Tiefeneffekt zu simulieren. KOBLENZ LANDAU S. Müller - 32 -
Stereosysteme Zeitmultiplexe Systeme / Aktive Stereosysteme: Zeitlich versetzte Präsentation der Halbbilder für linkes und rechtes Auge. Zeitparallele stereoskopische Systeme / Passive Stereosysteme: Simultane Präsentation der Halbbilder für linkes und rechtes Auge. KOBLENZ LANDAU S. Müller - 33 -
Stereo Rendering Parallaxe wird am Bildschirm bzw. Display gemessen und bezieht sich auf die Diskrepanz zwischen der Abbildung eines Punktes für das linke und rechte Auge. Horizontale Parallaxe: Positionen von Punkten die erscheinen als würden sie hinter der Projektionsebene liegen (also im Bildschirm) oder vor der Projektionsebene (vor dem Bilschirm) befinden sich für das rechte und linke Auge an unterschiedlichen Stellen der Bildebene. Dieser Abstand wird als horizontale Parallaxe bezeichnet. KOBLENZ LANDAU S. Müller - 34 -
Horizontale Parallaxe Positive Parallaxe : Parallaxenwert > 0 Abgebildeter Punkt liegt hinter der Projektionsebene Projektion des Punktes für das linke Auge liegt links vom tatsächlichen Punkt, und für das rechte Auge rechts vom tatsächlichen Punkt. KOBLENZ LANDAU S. Müller - 35 -
Horizontale Parallaxe Negative Parallaxe: Parallaxenwert < 0 Betrachteter Punkt liegt vor der Projektionsebene Projektion des Punktes für das linke Auge liegt weiter rechts als die Projektion für das rechte Auge KOBLENZ LANDAU S. Müller - 36 -
Horizontale Parallaxe Nullparallaxe: Parallaxenwert = 0 Betrachteter Punkt liegt auf der Abbildungsebene KOBLENZ LANDAU S. Müller - 37 -
Vertikale Parallaxe Vertikale Parallaxe: Projektion der Punkte vertikal verschoben Entspricht einer Verschiebung aus der Bildebene heraus Trägt nicht zur Tiefeninformation bei Führt zu Problemen bei der Bilderkennung und einer unangenehmen Belastung der Augenmuskulatur sollte bei Stereo Rendering vermieden werden KOBLENZ LANDAU S. Müller - 38 -
Stereoskopisches Rendering a.) Modell der konvergierenden Hauptsehstrahlen Toe-In Methode b.) Modell der parallelen Hauptsehstahlen Off-Axis Methode KOBLENZ LANDAU S. Müller - 39 -
Toe-In Methode Zwei symmetrische Frusta mit gluperspective mit identischem Öffnungswinkel Hauptsehstrahlen beider Augen treffen sich im fixierten Blickunkt. Dieses Modell modelliert also die Konvergenz der Augen. Vertikale Parallaxe Inkorrekte Methode KOBLENZ LANDAU S. Müller - 40 -
Off-Axis Methode Modell der parallelen Sehstrahlen: arbeitet mit zwei fiktiven Blickpunkten die Augenabstand haben Diese liegen für das rechte bzw. linke Auge rechts bzw. links vom eigentlichen Blickpunkt. Da die Hauptsehstrahlen parallel verlaufen, sind die Projektionsebenen für beide Augen identisch (d.h. nicht gegeneinander rotiert) woraus folgt das die vertikale Parallaxe hier nicht auftritt Korrektes Modell für Stereo Rendering Off-Axis Methode KOBLENZ LANDAU S. Müller - 41 -
Off-Axis Methode besteht demnach aus zwei parallelen Zentralprojektionen auf eine gemeinsame Projektionsebene. Die Zentren der Projektion stellen die beiden Augpunkte dar. Hierzu benötigt man asymmetrische Kamera-Frusta der Befehl glupespective(...) reicht also hier nicht mehr aus, man benötigt glfrustum( ) Berechnung der Parameter für das linke Auge: w; h: Breite und Höhe des Bildschirms (frei wählbar) d: Abstand des Betrachters zur projection plane (frei wählbar (d>0)) zn; zf: Abstand des Betrachters zur Z-near bzw. Z-far Ebene (frei wählbar, aber >0) Projection Plane ist die Ebene der Zero-Parallaxe Die Bildebene ist nach wie vor bei z-near. KOBLENZ LANDAU S. Müller - 42 -
Off-Axis Methode Berechnung der Parameter für das linke Auge: left Rechnung korrekt, da Auge im Ursprung Das Kamera-Frustum für das linke Auge befindet sich um o/2 nach links verschoben und die linke Seite besitzt eine Breite von (w/2-o/2). tan left zn w 2 o d 2 Durch Projektion dieses Punktes auf die Z-Near- Ebene ergibt sich für left: left = -(w/2-o/2)*zn / d KOBLENZ LANDAU S. Müller - 43 -
Off-Axis Methode Berechnung der Parameter für das linke Auge left = -(w/2-o/2)*zn / d (right analog zu left, Verschiebung nach rechts: positiver Wert) right = (w/2+o/2)*zn / d top = (h/2)*zn / d bottom=(-h/2)*zn / d Berechnung der Parameter für das rechte Auge left = (-w/2-o/2)*zn / d (right analog zu left, Verschiebung nach rechts: positiver Wert) right = (w/2-o/2)*zn / d top = (h/2)*zn / d bottom=(-h/2)*zn / d KOBLENZ LANDAU S. Müller - 44 -
Off-Axis Methode Die Übergabe der Parameter an OpenGL erfolgt mit: // für linkes Auge glmatrixmode(gl_projection); glloadidentity(); glfrustum( ( -w/2.0f + o/2.0f ) * znear / d, ( w/2.0f + o/2.0f ) * znear / d, -h / 2.0f * znear / d, h / 2.0f * znear / d, znear, zfar ); KOBLENZ LANDAU S. Müller - 45 -
Off-Axis Methode Im nächsten Schritt muss vor dem Rendering der 3D-Szene noch die Kamera definiert werden: // für linkes Auge glmatrixmode(gl_modelview); glloadidentity(); // fromx: -o/2, fromy: 0; fromz: d // atx: -o/2 glulookat(-o/2, 0, d, -o/2, 0, 0, 0, 1, 0); Analog führt man die Transformationen für das rechte Auge durch. KOBLENZ LANDAU S. Müller - 46 -
Vorgehensweise Stereo Rendering 1. Initialisierung der GLUT Bibliothek: glutinit(int agrcp, int agrv) // Initialisierung von // GLUT 2. Wählen eines stereoskopischen Pixelformats für das entsprechende Fenster, z.b. : glutinitdisplaymode(glut_rgb GLUT_DOUBLE GLUT_STEREO) GLUT_RGB : für ein Fenster mit RGB-Modus GLUT_DOUBLE : für ein double buffered Fenster GLUT_STEREO : für ein Stereo-Fenster 3. Erzeugen des Fensters: glutcreatewindow(fenstername); KOBLENZ LANDAU S. Müller - 47 -
Vorgehensweise Stereo Rendering glclearcolor( 0.0, 0.0, 0.0, 1.0 ); glclear( GL_COLOR_BUFFER_BIT GL_DEPTH_BUFFER_BIT ); // Linkes Auge // Breite/Höhe float w = 1.0f; float h = 0.5f; // Abstand des Betrachters zur Bildebene static float d = 1.0f; // interokular Abstand static float o = 0.02f; float znear = 0.1f; float zfar = 200.0f; KOBLENZ LANDAU S. Müller - 48 -
Vorgehensweise Stereo Rendering // linkes Auge gldrawbuffer(gl_back_left); glmatrixmode(gl_projection); glloadidentity(); glfrustum( ( -w/2.0f + o/2.0f ) * znear / d, ( w/2.0f + o/2.0f ) * znear / d, -h / 2.0f * znear / d, h / 2.0f * znear / d, znear, zfar ); glmatrixmode( GL_MODELVIEW ); glloadidentity(); glulookat(-o/2, 0, d, -o/2, 0, 0, 0, 1, 0); renderscene(); KOBLENZ LANDAU S. Müller - 49 -
Vorgehensweise Stereo Rendering // rechtes Auge glclear( GL_DEPTH_BUFFER_BIT ); gldrawbuffer(gl_back_right); glmatrixmode(gl_projection); glloadidentity(); glfrustum( ( -w/2.0f - o/2.0f ) * znear / d, ( w/2.0f - o/2.0f ) * znear / d, -h / 2.0f * znear / d, h / 2.0f * znear / d, znear, zfar ); glmatrixmode( GL_MODELVIEW ); glloadidentity(); glulookat(o/2, 0, d, o/2, 0, 0, 0, 1, 0); renderscene(); glflush(); // ausführen der Befehle KOBLENZ LANDAU S. Müller - 50 -
Steuerung Als Eingabeparameter dienen also: Augabstand (kann man messen) z-near und der Abstand zur Zero-Parallaxe (frei wählbar) Durch letzteren steuert man die Parallaxe Vorsichtig wählen! Sonst Hyperstereoeffekt ( die Augen werden auseinander gezogen ) oder Stereoeffekt bricht zusammen KOBLENZ LANDAU S. Müller - 51 -
Stereo Violation Widersprechende Depth-Cues Tritt nur an den seitlichen Rändern auf (nicht oben/unten) KOBLENZ LANDAU S. Müller - 52 -
Depth aliasing 2 2 2 2 Stereoscopic voxel 2 2 2 Zahl gibt Parallaxe an Effekt: 2 Punkte gleicher Tiefe können sehr verschiedene Parallaxe produzieren, und Punkte verschiedener Tiefe die gleiche Parallaxe! KOBLENZ LANDAU S. Müller - 53 -
Stereo Rendering Zu beachten (Konz): 1. Maximale Trennung der Bilder = 5% des Abstands zur Bildebene 2. Die negative Parallaxe sollte betragsmäßig nicht den interokularen Abstand überschreiten 3. Für alle Punkte der Szene sollte der Parallax Winkel nicht den Wert von 1,5 Grad überschreiten Zu beachten (Zachmann): 1. Parallaxe nicht zu groß! 1.6 ~ Parallaxe 0.03 Entfernung Proj.wand 2. Einzelnes Objekt lege ZPP durch dessen Mittelpunkt 3. Ganze Szene 1/3 negative Parallaxe, 2/3 positive Parallaxe 4. Halte Objekte mit negativer Parallaxe möglichst in der Mitte KOBLENZ LANDAU S. Müller - 54 -
Projektionsfläche Stereo is "one man show" Warum stimmt ein gerendertes Stereo-Bild nur für 1 Standpunkt? KOBLENZ LANDAU S. Müller - 55 -