(1) 3D Engines. Vorlesung Computergraphik 2 D. Grüntjens Folien: Stefan Rilling / D. Grüntjens KOBLENZ LANDAU

Transkript

1 (1) 3D Engines Vorlesung Computergraphik 2 D. Grüntjens Folien: Stefan Rilling / D. Grüntjens

2 Organisatorisches CG2 und CG3 werden im selben Semester hintereinander gelesen Lehrveranstaltungen CG 2 vom bis CG 3 vom bis Vorlesungen: Do Uhr in E313, Fr Uhr in E114 Übung: Mo 8-10 Uhr in G310 Klausuren CG , Uhr in E313 CG , Uhr in E313

3 Organisatorisches Übungsbetrieb startet am Alle Daten, Materialien etc. unter Veranstaltungsseite CG2 und CG3

4 Organisatorisches Übersicht D Engines 02. Hierarchien 03. Raytracing-Beschleunigungen 04. Beleuchtung 05. Radiosity 06. Buffer Christi Himmelfahrt 07. GPU GPU 2

5 Organisatorisches Übersicht GPU 3 Pfingsten Pfingsten Fronleichnam 10. GPU GPU 5 Wiederholung Klausur

6 Computergrafik 1 war ja ganz nett... Immerhin können wir jetzt einfache Sachen rendern.

7 Aber wie kriegt man denn nun so etwas hin?

8 CG2 - Heute: 3D Engines Top down: Zuerst das große Ganze, dann die Details im Laufe der Vorlesung.

9 3D Engine (engl. Maschine, Motor, Triebwerk) Eine 3D Engine ist eine Softwarekomponente zur Darstellung von 3D Graphik (Renderingsystem) D. h. eine 3D Engine ist eine Sammlung von Klassen und Funktionen Neuerer Begriff für (szenegraphbasierte) Renderingsysteme Eine 3D Engine ist keine Applikation Eine 3D Engine ist keine Spielengine

10 3D-Engine: Einordnung 3D-Engine Programmierer Treiber

11 3D-Engine: Einordnung Low Level Graphik APIs ungeeignet für die Erstellung komplexer Welten Abstraktion der Low-Level Graphik-Schnittstelle Einfaches Beispiel: Drehender Würfel mit Textur in OpenGL Wie lade ich die Textur? Wie repräsentiere ich den Würfel? Wie repräsentiere ich die Rotation? Objektorientierte Datenrepräsentation Daten werden mit Semantik versehen

12 3D-Engine: Abstraktion Bsp. Definition einer Lichtquelle in OpenGL glenable(gl_lighting); glenable(gl_light0); gllightfv(gl_light0, GL_AMBIENT, ambient); gllightfv(gl_light0, GL_DIFFUSE, diffuse); gllightfv(gl_light0, GL_SPECULAR, specular); gllightfv(gl_light0, GL_POSITION, position);

13 3D-Engine: Abstraktion Bsp. Definition einer Lichtquelle im Idealfall (Pseudocode) LightSource l; l.setambientcolor(ambient); l.setdiffusecolor(diffuse); l.setposition(position); l.setmode(spot_light); Objektorientierte Definition Daten haben die erwartete Bedeutung Entsprechende Low-Level Funktionalität wird gekapselt

14 3D-Engine: Semantik Bsp. Low Level Graphik Schnittstelle: Keine Zuordnung der Daten Applikation 3D-Engine Low Level API Raum 3D Objekt Dreiecke Lampe Geometrie Stuhl Materialen Material State Tisch Lichtquellen Texturobjekte Festmahl Eckpunkte Punkt Lichtquellen Spot Transformationsmatritzen gerichtet Semantik & Abstraktion wird mehr

15 3D-Engine: Semantik Mit einer 3D-Engine wird es einfacher, große Systeme zu programmieren. Aber: Immer, wenn Funktionalität gekapselt wird, wird es schwieriger, Spezialwünsche (z. B. komplett neue Verfahren) zu implementieren.

16 3D Engine: Grundsätzlicher Aufbau Resource Management Renderer Szenen Management Core System Schauen wir uns diese Teile im Detail an...

17 3D Engine: Szenen Management Resource Management Renderer Szenen Management Core System Erzeugen & Verwalten von 3D Objekten Verwaltung von Positionen und Orientierungen aller Objekte (Szenengraph) Bestimmt, welche Daten an den Renderer geschickt werden Culling Operationen Paging & Streaming großer Datenmengen Level of Detail

18 Trafo rechter Arm Lokale Koordinatensysteme Rechter Arm glrotatef ((GLfloat) shoulder, 0.0, 0.0, 1.0); Oberarm gltranslatef (1.0, 0.0, 0.0); glscalef (2.0, 0.4, 1.0); gltranslatef (2.0, 0.0, 0.0); glrotatef ((GLfloat) elbow, 0.0, 0.0, 1.0); Unterarm gltranslatef (0.75, 0.0, 0.0); glscalef (1.5, 0.4, 1.0); S. Müller

19 Trafo rechter Arm Weltkoordinaten Rechter Arm glrotatef ((GLfloat) shoulder, 0.0, 0.0, 1.0); Oberarm gltranslatef (1.0, 0.0, 0.0); glscalef (2.0, 0.4, 1.0); gltranslatef (2.0, 0.0, 0.0); glrotatef ((GLfloat) elbow, 0.0, 0.0, 1.0); Unterarm gltranslatef (0.75, 0.0, 0.0); glscalef (1.5, 0.4, 1.0); S. Müller

20 Trafo rechter Arm Beispiel Code glclear (GL_COLOR_BUFFER_BIT); glcolor3f(0,0,0); glloadidentity(); glulookat( 0,0,10, 0,0,0, 0,1,0); Rechter Arm glrotatef ((GLfloat) shoulder, 0.0, 0.0, 1.0); glrotatef ((GLfloat) shoulder, 0.0, 0.0, 1.0); glpushmatrix(); gltranslatef (1.0, 0.0, 0.0); glscalef (2.0, 0.4, 1.0); glutwirecube (1.0); glpopmatrix(); Oberarm gltranslatef (1.0, 0.0, 0.0); glscalef (2.0, 0.4, 1.0);2.0, 0.4, 1.0); gltranslatef (2.0, 0.0, 0.0); glrotatef ((GLfloat) elbow, 0.0, 0.0, 1.0); gltranslatef (0.75, 0.0, 0.0); glscalef (1.5, 0.4, 1.0); glutwirecube (1.0); glflush();(); gltranslatef (2.0, 0.0, 0.0); glrotatef ((GLfloat) elbow, 0.0, 0.0, 1.0);, 0.0, 1.0); Unterarm gltranslatef (0.75, 0.0, 0.0); glscalef (1.5, 0.4, 1.0);1.5, 0.4, 1.0); S. Müller

21 View Frustum Culling

22 Räumliche Aufteilung City Pine Trees Buildings SCS SCS Scene Office Church Tree Factory Schlechte räuml. Aufteilung 9 7 House House City 1 Wichtig ist, daß die Hierarchie der Szene eine räumliche Aufteilung aufweist Tile 1 Tree Church Tile 2 Tile 3 Factory Tile 4 House Tile 5 Tile 6 Tree House Tile 8 Tile 7 Tree Tree Tile 9 Office Tree Gute räuml. Aufteilung (wichtig für Cullingverfahren - z. B. View Frustum Culling) Tree

23 Bounding Volume Hierarchie Für jeden Gruppenknoten wird auch ein Bounding Volume berechnet und abgespeichert Häufig verwendete Möglichkeit: Axis-Aligned Bounding Box Anwendung View-Frustum Culling Strahltests (Selektion etc.) City Church 8 House

24 Beispiel: Octrees Intelligente Szenenaufteilung je nach Dichte von Objekten

25 3D Engine: Szenen Management Resource Management Renderer Szenen Management Core System Dynamische Objekte Müssen bei Bewegung durch die Welt neu in den Szenegraph einsortiert werden Bounding Volumes müssen aktualisiert werden Räumliche Aufteilung des Szenegraphen Quadtrees, Qctrees, BSP, etc. Je nach Art der virtuellen Welt (Gebäude, Landschaften, Städte)

26 State Change Minimierung Beispiel: Rendern von 100 Autos 3 Materialien Pro Auto Hintereinander rendern Metall Gummi Glas 300 State Changes Sortieren nach Materialien 3 State Changes Szenengraphen nach View Frustum Culling umsortieren, um State Changes zu minimieren: Render Tree erstellen View Frustum Culling und Render Tree: CPU!

27 Noch mehr Culling Alles, was nicht sichtbar ist, muss nicht gezeichnet werden View-Frustum-Culling als erster Schritt Innerhalb des View-Frustums können sich Objekte gegenseitig verdecken Occlusion Culling

28 Und noch mehr Culling Backface Culling: Bei massiven Objekten müssen nur die Vorderseiten gerendert werden Backface: Jedes Polygon, dessen Normale von der Kamera wegzeigt (Prüfung durch Skalarprodukt) Beispiel: Hintere Seiten von Würfeln

29 3D Engine: Core System Resource Management Renderer Szenen Management Core System Low-Level Funktionen und Datenstrukturen Mathematiksystem Objektsystem Des Pudels Kern Grundlegende Elemente: Low-Level Funktionen und Datenstrukturen Mathematik System Objektsystem

30 3D Engine: Core System Resource Management Renderer Szenen Management Core System Low-Level Funktionen und Datenstrukturen Mathematiksystem Objektsystem Low-Level Funktionen und Datenstrukturen Container (vector, Listen, assoziative Arrays etc.) Vgl. STL Timer Funktionalität File I/O Speicherverwaltung (C++) Wird normal nicht direkt benutzt Komfort und Sicherheit für den Programmierer

31 3D Engine: Core System Resource Management Renderer Szenen Management Core System Low-Level Funktionen und Datenstrukturen Mathematiksystem Objektsystem Mathematiksystem für grafische Anwendungen Vektor- und Matrix-Algebra Operatoren (+, -, *, /,, ) Normalisieren, invertieren etc. Funktionen (Trigonometrie etc.), Konstanten Rotationen und Orientierungen Rotationsmatritzen, Quaternionen

32 Quaternionen und Rotationen Quaternionen Beschreibung von Rotationen 4-Tupel reeller Zahlen (w, x, y, z) Mathematische Operatoren +,-,*,/ und Betrag Quaternionen mit Länge 1 Achsen Winkel Repräsentation Aus Sicht des Programmierers: Angabe von Achse und Winkel zur Beschreibung einer Rotation Typisches Codefragment (rotiere 45 um Y-Achse): Quaternion q = Quaternion(45.0, Vector(0.0, 1.0, 0.0)); Achsen-Winkel Repräsentation

33 3D Engine: Core System Resource Management Renderer Szenen Management Core System Low-Level Funktionen und Datenstrukturen Mathematiksystem Objektsystem Objektsystem Runtime type information (RTTI) Identifikation des Objekttyps Identifikation der Basisklasse Objektidentifikation Referenz-Management und Smart Pointer Streaming von Daten Serialisierung (Speichern & Laden von Objekten inkl. kompletten Zustand)

34 Runtime Type Information Identifikation des Objekttyps zur Laufzeit des Programms Wichtig bei Typkonvertierungen in Vererbungshierarchien Beispiel: Sich verändernder Szenegraph (Pseudocode, an C++ angelehnt) Node *n0 = new Transform(); Node *n1 = new Geometry(); Node If(n0->type == Transform ){ Transform *t = (Transform *)n0; Transform Geometry setposition() t->setposition(23.0, 23.0, 23.0); } If(n1->type == Transform ){ Transform *t = (Transform *)n1; t->setposition(6.0, 6.0, 6.0); } sichere Typkonvertierung

35 Runtime Type Information Üblicherweise einfaches Abspeichern der Klasse Z. B. bei Szenengraphen: Wichtig, wenn man nicht weiß, welche Information ein Node speichert (Transformation, Geometrie) Bei dynamischen Szenen (d. h. der Szenengraph wird dynamisch zu Laufzeit erstellt) kann man vorher nicht wissen, welche Information in einem Node steht Alternative zu RTTI: Weitere Klasseninformationen wie Signaturen sind bekannt Ermöglicht auch Strukturänderungen des Programms zur Laufzeit (durch das Programm) Häufig bei Sprachen in VMs: Z. B. Java

36 Referenz-Management und Smart Pointer Gemeinsame Benutzung von Daten Problem: Löschen von Daten Große Datenmengen werden nur einmal geladen Geometrie Texturen Referenzen an verschiedenen Stellen im Programm Daten werden an anderer Stelle referenziert Absturz Verantwortung beim Programmierer Menschliches Versagen Lösung: Automatisierung Objektsystem speichert Anzahl der Referenzen auf ein Objekt Neue Refernz Anzahl inkrementieren Versuch, Objekt zu löschen Anzahl dekrementieren Keine Referenz auf das Objekt Objekt kann gelöscht werden

37 Referenz-Management und Smart Pointer Smart Pointer: Erweiterung einfacher Zeiger Referenzzählende Zeiger Bei Zuweisung einer Objektreferenz an die (smarte) Zeigervariable wird der Referenzzähler beim Objekt erhöht Objekte müssen korrekt initialisiert werden Erzeugung durch Objektsystem Iteratoren sind Smart Pointer Zum Durchlaufen von Containern Zeigerarithmetik, dereferenzieren Randbehandlung Bsp.: STL

38 Referenz-Management und Smart Pointer Pseudo-Code Beispiel: Smart Pointer und Objektsystem SmartPointer p = ObjektSystem.erzeugeObjekt(); //1 Referenz SmartPointer p1 = p; //2 Referenzen p->machwas(); p = NULL; //1 Referenz Wird in praktisch allen 3D Engines verwendet Funktioniert wegen RTTI (Identifikation über Objektsystem), da das Objektsystem so weiß, wie es ein Objekt intern verwalten muss Realisierung in C++ Templates (Gerüste für generische Klassen, Methoden...) Typedefs (Aliasse für Datentypen) U N I V Edes R S = -Operators ITÄT Überladung (in C++ können auch KOBLENZ LANDAU werden) Operatoren überladen

39 3D Engine: Resource Management Resource Management Renderer Core System Laden & verwalten digitaler Inhalte 3D Modelle Animationen Texturen Shader Autorensystem Exporter für Modellierungswerkzeuge Szenen Management

40 3D Engine: Renderer Resource Management Renderer Datenstru kturen Passes & Targets Fenster & Viewport Szenen Management Core System Bringt die virtuelle Welt auf den Bildschirm Setzen entsprechender Render-States der zugrundeliegenden Graphik API Datenstrukturen für darstellbare Objekte Transfer der 3D Modelle zur Graphikkarte Darstellung Effekte & Materialien (z.b. Schatten) Erzeugen & Verwalten von Fenstern, Viewports & Kameras

41 3D Objekte Sammelbegriff für darstellbare Objekte Beinhaltet Daten, die einer bestimmten Position und Orientierung zugeordnet sind Beispiel: Auto mit 4 drehenden Rädern Geometriedaten Material,Texturen, Shader Position & Orientierung in der Welt 5 verschiedene 3D Objekte 4 Räder 1 Karosserie Geometrie der Räder kann gemeinsam verwendet werden 3D Engines bieten in der Regel eigenen Datentyp an Wird oft als Entity bezeichnet

42 3D Engine: Renderer Resource Management Renderer Datenstr ukturen Passes & Targets Fenster & Viewport Szenen Management Core System Datenstrukturen für darstellbare Objekte Vertices, Normalen, Texturkoordinaten Dreiecke als Basis-Geometrieprimitiv Indizierte Vertexlisten als Basis-Datenstruktur zur Geometrieverwaltung Zuordnung von Materialien & Texturen Zuordnung von Shadern (Programme, die direkt auf der Grafikkarte laufen)

43 Speichern von 3D Modellen Einfache Vertexliste: V0 V3 V1 V3 V4 V1 V1 V4 V2 1 2 Wiederholung von Vertices 1 Vertex = 3 Float Variablen = 12 Byte Speicher wird verschwendet Speicher ist doch nicht mehr teuer Ja, aber: Daten müssen transferiert werden Arbeitsspeicher Grafikkartenspeicher 3

44 Indizierte Vertexlisten Vertexliste: V0 V1 V2 V3 V4 V5 V6 V7 V8 Index Indexliste Liste von Eckpunkten Liste von Indizes Dreiecke werden durch Indizes in der Eckpunktliste definiert

45 Indizierte Vertexlisten Vertexliste: V0 V1 V2 V3 V4 V5 V6 V7 V8 Index Indexliste Geringerer Speicherbedarf Normalen und Texturkoordinaten in extra Listen Optimal für Graphikhardware

46 3D Engine: Renderer Resource Management Renderer Datenstr ukturen Passes & Targets Fenster & Viewport Szenen Management Core System Ablauf Pro Frame: Für jedes Objekt: Position und Orientierung setzen (Szenen Management) Render States für Materialien, Texturen Shader etc. setzen Objekt zeichen

47 3D Engine: Renderer Resource Management Renderer Datenstr ukturen Passes & Targets Fenster & Viewport Szenen Management Core System Wechseln von Render-States kann teuer werden Minimierung durch Sortieren der Objekte Sortierung Texturen Materialien Transparenzen

48 State Change Minimierung Beispiel: Rendern von 100 Autos 3 Materialien Pro Auto Hintereinander rendern Metall Gummi Glas 300 State Changes Sortieren nach Materialien 3 State Changes

49 State Change Minimierung Umsortierung kurz vor dem Rendern in Rendertree: Möglichst wenige State Changes Der entstehende Rendertree enthält dann alle Objekte, die tatsächlich gernedert werden und istschlechte auf State Change räuml. Aufteilung Minimierung optimiert Gute räuml. Aufteilung

50 Transparenzen Achtung: Bei Transparenzen muss sortiert werden Erst alle nicht-transparenten Objekte rendern Dann transparente Objekte von hinten nach vorne rendern (Da ein transparentes Objekt auch hinter einem weiteren transparenten Objekt sein kann) Deshalb sind transparente Objekte rechenintensiv!

51 3D Engine: Renderer Resource Management Renderer Datenstru kturen Passes & Targets Fenster & Viewport Szenen Management Core System Fenster und Viewport Ausgabe des Renderers muss irgendwann in einem Fenster landen (Renderkontext) Anbindung an Windowing System des Betriebssystems Erzeugen & Verwaltung mehrerer Viewports Zuweisung verschiedener virtueller Kameras an Viewport Bsp.: Rendern von Übersichtskarten

52 3D Engine: Renderer Resource Management Renderer Datenstru kturen Passes & Targets Fenster & Viewport Szenen Management Core System Render Targets Die Ausgabe des Renderers muss nicht zwangsläufig im Framebuffer landen Render to Texture Grundlage für viele Effekte und Techniken (z.b. Glow Effekte)

53 3D Engine: Renderer Resource Management Renderer Datenstru kturen Passes & Targets Fenster & Viewport Szenen Management Core System Render Passes Viele Effekte lassen sich nicht mit einem Render-Schritt realisieren Ausgabe eines Render-Schrittes dient als Eingabe des nächsten Ausgabe mehrerer Render Schritte werden miteinander kombiniert (z.b. Non Photorealistic Rendering)

54 Beispiele Passes & Targets Multi-Pass Silhoutte Rendering Je ein Render-Pass für Frontund Backfaces Glow Effekt Rendern in Textur Weichzeichner auf Textur Mehrere Passes

55 3D Engines: Auswahl Liste mit Sicherheit sehr unvollständig Desktop-Bereich: OGRE & IRRLICHT VR-Bereich: OpenSG & Open Inventor

56 Beispiel: Ogre 3D Object Oriented Graphics Rendering Engine Auch schon einige kommerzielle Spiele

57 Beispiel: Ogre 3D Kommerzielle Spiele Torchlight Book of Unwritten Tales Ceville

58 Ogre 3D Features: Nutzt OpenGL oder DirectX als Renderer Szenengraphbasiertes System Kommt mit allen vorher genannten Komponenten einer 3D Engine Sehr viele Effekte wie z. B. Schatten out-of-the-box Optimierung für verschiedene Szenen (Außenbereiche, Portalverbundene Szenen, Innenbereiche...) In Kombination mit Blender als Modellierungstool ergibt sich eine kostenfreie und mächtige Kombination Wird neben OpenSG für viele Projekte in der AG Computergrafik eingesetzt (immer mehr Ogre 3D) Recht schnell sehr spannende Ergebnisse möglich

59 Beispiel: Ogre 3D Aufbau von Ogre 3D

60 Beispiel: Ogre 3D Herunterladbar unter Schneller Einstieg: Visual Studio Über Microsoft Dreamspark: Ogre SDK Application Wizard für Visual Studio (keine nervige Einstellerei des Linkers & der Includes etc.) Gute Dokumentation jede Menge Tutorials (Achtung: teilweise nicht ganz aktuell)

61 Beispiel: Ogre 3D Guter Einstieg für eigene Spiele & Abschlussarbeiten :-) Tutorials durchprogrammieren Erste eigene Applikationen schreiben (z. B. ein kleines Spiel) Arbeiten wie die Profis (sind wir auch!)

62 Literatur David H. Eberly: 3D Game Engine Architecture

63 Die CG2... Details zu all den angesprochenen Komponenten Erweiterte Algorithmen, Technologien etc. OpenGL 3.3! Hoffentlich: Jede Menge Spaß!