Vorlesung Algorithmen für hochkomplexe Virtuelle Szenen

Transkript

1 Vorlesung Algorithmen für hochkomplexe Virtuelle Szenen Sommersemester 2012 Matthias Fischer Vorlesung Matthias Fischer 282

2 Übersicht Motivation und Idee Datenstruktur Sichtbarkeitstest Boxentest Aufbau der Z-Pyramide Verwendung der Z-Pyramide Rendering Kohärenz Hardwareunterstützung Beispiele Matthias Fischer 283

3 Literatur Tomas Akenine-Möller, Eric Haines Real-Time Rendering AK Peters, 2002 Frédo Durand A multidisciplinary survey of visibility SIGGRAPH 2000 course notes:visibility, Problems, Techniques, and Applications auch zu finden im 2.Teil der Dissertation von Durand: Frédo Durand. 3D Visibility: Analytical Study and Applications. PhD thesis, Université Joseph Fourier, 1999 (siehe Web) Daniel Cohen-Or, Yiorgos L. Chrysanthou, Cláudio T. Silva, Frédo Durand A survey of visibility for walkthrough applications IEEE Transactions on Visualization and Computer Graphics, 9(3): , Ned Greene, Michael Kass, Gavin Miller Hierarchical Z-buffer visibility Proc. 20th Conference on Computer Graphics and Interactive Techniques (SIGGRAPH '93), p , Matthias Fischer 284

4 Motivation Motivation Effizientes Frustum Culling berechnen wir mit räumlichen Datenstrukturen (Octree, Loose-Octree)! Effizientes Occlusion Culling berechnen wir mit Potentially Visible Sets (PVS)! Wozu benötigen wir weitere Occlusion-Culling Methoden? Szenen sind von unterschiedlicher Gestalt und Form Methoden sind für unterschiedliche Topologie unterschiedlich wirksam Beispiele. (echte Aufnahmen, keine 3D-Modelle) Matthias Fischer 285

5 Motivation Bäume und Waldszenen Annahme: Zweige, Nadeln und Blätter sind ausmodelliert PVS-System greifen hier nicht Zellen mit beschränkter Sichtbarkeit lassen sich schlecht bilden Stabtree würde sehr groß werden Aggregierte Verdeckung Viele kleine, jeweils wenig verdeckende Objekte ergeben zusammen einen guten Occluder. Matthias Fischer 286

6 Motivation Dynamische Szenen beispielsweise Menschenmassen Objekte ändern ständig Ihre Position Offene Szenen Mit großen Abständen zwischen den Occludern, die von vielen Standpunkten aus eingesehen werden. Eine aggregierte Verdeckung entsteht durch viele kleine Objekte. Matthias Fischer 287

7 Idee Der hierarchische Z-Buffer ist ein Occlusion-Culling Algorithmus. Ziel Rendere nur die sichtbaren Polygone Idee rendere von vorne nach hinten alles was verdeckt ist, brauchen wir nicht zu rendern Das Verfahren ist konservativ, d.h. alle sichtbaren Dreiecke werden auch dargestellt. Matthias Fischer 288

8 Idee Warum ein neuer Z-Buffer? Teile des Algorithmus könnten (sind) durch Implementierung in Hardware beschleunigt werden (worden). Im hierarchischen Z-Buffer sind zwei Ideen vereint: Reduzierung von Redundanzen bei der Sichtbarkeitsabfrage (Abfrage der Z-Werte) Reduzierung von Redundanzen bei der Darstellung von verdeckten Dreiecken Was bedeutet das?... Matthias Fischer 289

9 Idee Reduzierung von Redundanzen bei der Sichtbarkeitsabfrage (Abfrage der Z-Werte) Alle Pixel eines Dreiecks werden gerastert: die Sichtbarkeit wird im Pixel gelöst die Z-Abfrage erfolgt für jedes Pixel Warum wird jeder Z-Wert berechnet, wenn der ganze Smiley bzw. alle seine Dreiecke verdeckt sind? Reicht es nicht, den tiefsten Wert des verdeckenden Zylinders zu kennen??? z Zylinder z Smiley Matthias Fischer 290

10 Idee Reduzierung von Redundanzen bei der Darstellung von Dreiecken Verdeckte Objekte müssen nicht gerendert werden! Ist ein Objekt/Dreieck verdeckt, sind vermutlich auch benachbarte Objekte/Dreiecke verdeckt. Was muss man dazu tun und wissen? Wir müssen eine schnelle Abfrage stellen können, ob Objekte durch bereits gerenderte Objekte verdeckt sind! Matthias Fischer 291

11 Idee Welche Schritte müssen wir durchführen? 1. Aus Sicht des Betrachters von vorne nach hinten rendern, 2. berechnen, wann ein Objekt verdeckt ist, 3. eine einzige Abfrage für möglichst viele Objekte durchführen. Wir versuchen, vorne liegende Objekte zuerst zu rendern und prüfen im Bildraum, ob alle anderen Objekte dahinter liegen Matthias Fischer 292

12 Idee Welche Schritte müssen wir durchführen? 1. Aus Betrachtersicht von vorne nach hinten rendern, 2. berechnen, wann ein Objekt verdeckt ist, 3. eine einzige Abfrage für möglichst viele Objekte durchführen. Ein Objekt ist genau dann verdeckt, wenn sein minimaler Z-Wert größer ist, als der maximale Z-Wert bereits gezeichneter Objekte. bereits gezeichnet noch zu zeichnen z max (Zylinder) z min (Smileygruppe) Matthias Fischer 293

13 Idee Welche Schritte müssen wir durchführen? 1. Aus Betrachtersicht von vorne nach hinten rendern, 2. berechnen, wann ein Objekt verdeckt ist, 3. eine einzige Abfrage für möglichst viele Objekte durchführen. Wir führen nicht eine Abfrage für jedes einzelne Objekt durch, sondern versuchen, eine Abfrage für mehrere Objekte durchzuführen. Ansonsten sind die Abfragen ineffizienter, als das normale Rendering der Objekte durch den Z- Bufferalgorithmus! Matthias Fischer 294

14 Datenstruktur Wie setzen wir die vorgestellten Ideen um? Wir müssen zwei Fragen klären: 1. Mit welcher räumlichen Datenstruktur verwalten wir die Objekte/Dreiecke der virtuellen Szene? 2. Wie führen wir den Sichtbarkeitstest durch? Matthias Fischer 295

15 Datenstruktur Mit welcher räumlichen Datenstruktur verwalten wir die Objekte/Dreiecke der Szene? Wir bauen einen 3D-Octree mit Dreiecken auf, alle Dreiecke liegen so tief wie möglich, d.h. in der tiefsten BBox, die das Dreieck noch vollständig umschließt. Algorithmus Octree Aufbau Beginne mit einem Oktanten (BoundingBox), der alle Dreiecke enthält. Unterteile den Oktanten in 8 gleich große Oktanten und verteile alle Dreiecke darauf, bis weniger als k Dreiecke erreicht sind. (k Parameter, beeinflusst die Laufzeit!) Dreiecke, die nicht in einen der 8 Oktanten gespeichert werden können, werden in dem Elternknoten gespeichert. Matthias Fischer 296

16 Sichtbarkeitstest Wie führen wir den Sichtbarkeitstest durch? Wir testen keine einzelnen Polygone, sondern immer eine Bounding-Box (BBox) des Octree. Die BBox enthält die Dreiecke Ist die BBox unsichtbar, dann sind auch die Polygone in der Box unsichtbar. Matthias Fischer 297

17 Sichtbarkeitstest Wie viele Dreiecke sollte eine BBox enthalten? Die Anzahl der Dreiecke in der BBox allein ist nicht entscheidend, wichtiger ist die Anzahl der Dreiecke in dem Teilbaum unter der BBox. Warum? Wir hoffen auf einen positiven Test (= die BBox ist unsichtbar). Alles in der BBox und im Teilbaum darunter kann dann beim Rendering verworfen werden. Der Test der BBox darf nicht mehr Zeit kosten als das Rendering aller darin enthaltenen Polygone! Matthias Fischer 298

18 Boxentest Boxentest Wir führen eine elementare Testoperation ein: Gegeben ist eine achsenparallele Boundingbox (BBox). Prüfe im Bildraum, ob Teile der Box sichtbar sind. Bool Funktion Boxentest( BBox bb) if (bb ist im Bildraum sichtbar) return true else return false Matthias Fischer 299

19 Boxentest Wie wird der Boxentest durchgeführt? Die BBox kann aus 6x2 Dreiecken modelliert werden: Möglichkeiten Rendere die BBox in extra Puffer: Prüfe, wie viele Pixel sichtbar sind, oder berechne im Bildraum 2D-Boundingbox. Projiziere die 8 Eckpunkte in den Bildraum und berechne davon im Bildraum die 2D Boundingbox. Heute ausschließlich: Unterstützung der Operation in Hardware! (s. u.) Wir betrachten hier auch die ursprünglichen Softwarelösungen, um zu sehen, welcher Aufwand für einen schnellen Test getrieben wurde bzw. welcher Preis hinsichtlich Genauigkeit bezahlt wurde, denn: Dauern die Tests länger, als das Rendern der Dreiecke, dann gewinnt man nichts. Matthias Fischer 300

20 Boxentest Wir prüfen wir, ob Teile der Box unsichtbar sind? Eine Möglichkeit Prüfe pixelweise die Z-Werte der BBox mit den Z-Werten des Z-Buffer. Sind alle Z-Werte der BBox größer, ist sie unsichtbar. Nachteil Es entstehen Kosten in Größe der projizierten BBox (gemessen in Anzahl der dargestellten Pixel). Kann man es besser machen? Z-Pyramide!... unsere zweite Datenstruktur in diesem Rendering. Matthias Fischer 301

21 Aufbau der Z-Pyramide Z-Pyramide Jeweils vier benachbarte Z-Werte des Z-Buffers werden zu einem neuen gröberen Quadranten zusammengefasst. Die Art der Zusammenfassung erfolgt wie in einem regelmäßig aufgebauten Quadtree. Matthias Fischer 302

22 Aufbau der Z-Pyramide Z-Pyramide Wir bilden eine Hierarchie von Z-Werten (am einfachsten sind 2-er Potenzen). An der Spitze der Hierarchie steht ein einziger Z-Wert. In den Blättern sind die Werte des Z-Buffers. Z-Bufferwerte ¼ Auflösung 1/16 Auflösung 1 Wert Matthias Fischer 303

23 Aufbau der Z-Pyramide Z-Pyramide Welcher Wert steht in dem gröberen Quadranten? Immer der Z-Wert, der am weitesten vom Betrachter entfernt ist, d.h. das Maximum der vier Kinder. Nur im Z-Buffer (unterste Ebene) steht der Z-Wert, des am nächsten stehenden Dreiecks! Unterste Ebene der Pyramide, Z-Buffer Höhere Ebenen der Pyramide Matthias Fischer 304

24 Aufbau der Z-Pyramide Wie aktualisieren wir die Z-Werte? Bei jeder Änderung des Z-Buffer (unterste Ebene) wird der Wert in der Pyramide nach oben propagiert. Sobald eine Ebene erreicht wird, bei der sich der Wert im Quadranten nicht mehr ändert, wird die Aktualisierung abgebrochen. Matthias Fischer 305

25 Verwendung der Z-Pyramide Wie verwenden wir die Z-Pyramide? Wir haben den zu testenden Würfel aus 6x2 Dreiecken modelliert. Wir prüfen jede Seite (Polygon = 2 Dreiecke) der zu testenden Octree-Zelle/Boundingbox. Wir testen: die Seiten der Octree BBox, eine Seite sei PolyBBox i für i = 1 6, 2D-BBox ist 2D-Boundingbox der PolyBBox i im Bildraum, Min(PolyBBox i ) = kleinster (nächster) Z-Wert einer Seite PolyBBox i der Octree-BBox. 2D-BBox PolyBBox i von Octree-BBox Matthias Fischer 306

26 Verwendung der Z-Pyramide Wie verwenden wir die Z-Pyramide? Suche den feinsten Level in der Z-Pyramide, in den die 2DBBox gerade noch rein passt. ZP. z sei der dazugehörige Z-Wert. Falls Min PolyBBox i ZP. z ist das Polygon der BBox verdeckt. Objekt passt hier noch rein Matthias Fischer 307

27 Verwendung der Z-Pyramide Was passiert, wenn ein Polygon genau in der Mitte des Bildes liegt? Wir können nur den Z-Wert der gröbsten Level in der Z-Pyramide nehmen. Dies ist nicht besonders wirksam, da es nur den weitesten Z-Wert bereits gerenderter Objekte liefert. Abstieg in die Z-Pyramide nötig. Matthias Fischer 308

28 Verwendung der Z-Pyramide Abstieg in die Z-Pyramide Gehe zum nächst feineren Level in der Z-Pyramide, prüfe, ob das Polygon in allen (überschneidenden) Quadranten verdeckt ist, setze Abstieg rekursiv fort, bis Unsichtbarkeit für alle Quadranten gezeigt ist, oder bis man auf dem feinsten Level sichtbare Pixel gefunden hat. Matthias Fischer 309

29 Verwendung der Z-Pyramide Abstieg in die Z-Pyramide Was ist der Nachteil dieser Vorgehensweise? Für jeden Quadranten muss der minimale Z-Wert des sich überschneidenden Teils des Polygons geprüft werden. Diese Operation ist teuer! Wie können wir das beschleunigen? Matthias Fischer 310

30 Verwendung der Z-Pyramide Abstieg in die Z-Pyramide Wie können wir das beschleunigen? Wir nehmen für die Abfrage des Polygons nur noch den minimalen Z-Wert des gesamten Polygons! Nachteil: Wir finden nicht mehr jede Unsichtbarkeit mit dem minimalen Z-Wert! Falls auf dem untersten Level auch keine Unsichtbarkeit vorliegt, wird das Polygon wieder pixelweise verglichen. (normale scan conversion) Matthias Fischer 311

31 Verwendung der Z-Pyramide Abstieg in die Z-Pyramide Algorithmus Isoccluded(Polygon p, ZPyramide Zp) if (p überschneidet sich nicht mit Zp) return true // Objekt nicht im Quadranten nearz(p); // bestimme minimalen Z-Wert des zu testenden Polygons p if (nearz(p) Zp.z) return true // Objekt ist verdeckt else return (Isoccluded(p, Zp.child[0]) && Isoccluded(p, Zp.child[1]) && Isoccluded(p, Zp.child[2]) && Isoccluded(p, Zp.child[3])) Zp.z nearz(p) Matthias Fischer 312

32 Rendering Rendering Wie rendern wir mit dem Octree und Z-Pyramide die Szene? Wir traversieren den Octree aus Sicht des Betrachters von vorne nach hinten (front-to-back traversal) und prüfen für jede besuchte Octree-BBox mit der Z-Pyramide, ob sie unsichtbar ist. Falls nein, rendern wir alle Polygone des Knotens (der Octreezelle) und traversieren die Kinder. Warum ist von vorne nach hinten wichtig? Was passiert bei umgekehrter Reihenfolge? Matthias Fischer 313

33 Rendering Rendering Algorithmus RenderOctree (OctreeNode N) if (N ist außerhalb Frustum) then return // Octreezelle ist nicht im Sichtkegel if Isoccluded(N, Zp) then return // Octreezelle ist verdeckt, Test erfolgreich! else Rendere OctreeBBox N pixelgenau (scan conversion) if (N ist verdeckt) then return 2 for each Objekt o in OctreeBBox(N) rendere Objekt o aktualisiere Z_Pyramide Zp end for each Kind C von N in front-to-back order RenderOctree(C) end Matthias Fischer 314

34 Kohärenz Kohärenz des Hierarchischen Z-Buffer Z-Pyramide nutzt Bildraum-Kohärenz aus: Ein Polygon mit einem verdeckten Pixel, hat wahrscheinlich auch benachbarte Pixel, die verdeckt sind. Octree-Datenstruktur nutzt Objektraum-Kohärenz aus: Polygone in der Nähe eines verdeckten Polygons sind wahrscheinlich auch verdeckt. Matthias Fischer 315

35 Kohärenz Kohärenz des Hierarchischen Z-Buffer Zeitliche Kohärenz des Hierarchischen Z-Buffer Die meisten Polygone, die im letzten Frame im Z-Buffer standen (bzw. deren Z-Werte), werden auch im nächsten Frame im Z-Buffer stehen. Annahme ist hier, dass die Sichtbarkeitsverhältnisse sich nur wenig von Bild zu Bild ändern. Der Algorithmus läuft schneller (experimentelle Werte Faktor 1,5-2), wenn die Z-Pyramide mit den sichtbaren Objekten des letzten Frame bereits aufgebaut ist und erst anschließend die Traversierung/Rendering des Octree stattfindet. Es sind dann weniger rekursive Schritte in der Hierarchie für unsichtbare Zellen notwendig. Matthias Fischer 316

36 Kohärenz Kohärenz des Hierarchischen Z-Buffer Wie implementieren wir zeitliche Kohärenz? Wir führen eine Liste von Octree-BBoxen, die im letzten Frame sichtbar waren. Vor der Traversierung Rendere zuerst die Octree-BBoxen, die im letzten Frame sichtbar gewesen sind, d.h alle BBoxen aus der Liste. Nimm neue sichtbare BBoxen in die Liste auf. Nach der Traversierung Prüfe alle BBoxen der Liste auf Sichtbarkeit und entferne ggfs. unsichtbare BBoxen aus der Liste. Matthias Fischer 317

37 Hardwareunterstützung Empirische Evaluierung zeigte [Greene, Kass, Miller SIGGRAPH 93] Ohne Hardwareunterstützung ist der Algorithmus nur schwer wirksam. Die Testoperationen sind teuer. Problem Z-Pyramiden und Hierarchien lassen sich schwer in Hardware implementieren. Unterschiedlich lange Berechnungszeiten für den Boxentest erzeugen einen Abriss in der Pipeline. Stattdessen ist zuerst ein einfacher Boxentest in Hardware implementiert worden. Matthias Fischer 318

38 Hardwareunterstützung Boxentests mit Hardwareunterstützung sind unterschiedlich implementiert worden GL_HP_OCCLUSION_TEST GL_NV_OCCLUSION_QUERY GL_ARB_OCCLUSION_QUERY GL_NV_OCCLUSION_QUERY Anfrage ist nicht blockierend mehrere Anfragen können nacheinander gestellt werden gibt die Anzahl der sichtbaren Pixel zurück Möglichkeit zur Approximativen Sichtbarkeit blockiert nicht das gleichzeitige Rendern weiterer Geometrie Matthias Fischer 319

39 Hardwareunterstützung Auch die Idee der Z-Pyramide ist inzwischen durch Hardware unterstützt implementiert worden. Aktuelle Informationen für den Startpunkt einer Suche finden sich hier: Depth In-depth - Emil Persson, AMD Z-Buffer Optimizations - Patrick Cozzi Zu finden unter: CIS 665: GPU Programming and Architecture, University of Pennsylvania, Spring HyperZ, Wikipedia Matthias Fischer 320

40 Beispiele Büro mit 538 Millionen Polygonen. Berechnungstiefe Z-Pyramide Blick auf die gerenderten Zellen des Octree. Matthias Fischer 321

41 Beispiele Die Bilder rechts mit zeitlicher Kohärenz direkt nach dem Frame links gerendert. In rot, neu hinzugekommene Objekte. Matthias Fischer 322

42 Beispiele Modell mit 53 Millionen Polygonen Berechnungstiefe Matthias Fischer 323