Seminar. Echtzeit-Rendering SS DirectX. Matthias Scharek

Transkript

1 Fachbereich 4: Informatik Seminar Echtzeit-Rendering SS 2008 DirectX vorgelegt von Matthias Scharek Betreuer: Prof. Dr. Stefan Müller (Institut für Computervisualistik, AG Computergrafik) Koblenz, 11. Juni 2008

2 Inhaltsverzeichnis 1 Einleitung 2 2 Die Komponenten von DirectX DirectX Graphics Direct Music Direct Input Direct Sound Versionsunterschiede zwischen DirectX 9 und DirectX Einzelne Unterschiede im Überblick Validation Texturfelder Constant Buffers Predicated Draw Shader Modell DirectX 10 Pipeline Instancing Displacement Mapping Ausblick 13 5 Fazit 13 1

3 1 Einleitung DirectX ist eine Sammlung von Software-Schnittstellen (kurz: API, englisch: Application Programming Interface), die auf COM basieren. Das Component Object Model (kurz: COM) wurde von der Firma Microsoft entwickelt, um unter dem hauseigenen Betriebssystem Windows Interprozesskommunikation und dynamische Objekterzeugung zu ermöglichen. Ziel von COM ist es, Softwaresysteme in wiederverwendbare Komponenten zu zerlegen. Dabei werden diese Komponenten binär als Dynamic Link Library (kurz: DLL) oder als ausführbare Programme (EXE) gespeichert. Um eine Komponente zu erzeugen, muss davor definiert werden, welche Funktionalitäten diese Komponente zur Verfügung stellen soll, dies wird mit Hilfe von Schnittstellen erreicht [Röd99, Wik08]. Zu den wichtigsten Eigenschaften von COM gehört sowohl die Spach-/ als auch die Plattformunabhägigkeit. Aufgrund der Unterstützung des Binärstandards ist COM wie schon erwähnt sprachunabhängig. Das bedeutet, dass der Programmierer COM-Objekte mit objektorientierten Sprachen kompilieren kann. Dabei entsteht eine Binärdatei, die auf der einen Seite die implementierten Funktionen und auf der anderen Seite ein Interface zur Verfügung stellt. Durch dieses Interface können nun die implementierten Funktionen von anderen Programmen verwendet werden. Die Versionsunabhängigkeit wiederum ermöglicht, dass die Verwaltung von neuen Softwarefeatures in bestehende Anwendungen einfach intergriert werden kann [Zwi05]. Zusammen mit OpenGL gehört DirectX zu den wohl am häufigst verwendeten 3D-APIs. Das Ziel ist es, verschiedene Funktionen zur Verfügung zu stellen, mit deren Hilfe sich hardwarenahe Anwendungen erstellen lassen. DirectX besteht aus zahlreichen Komponenten, wie DirectX Graphics, Direct Input oder auch Direct Sound, um nur die wichtigsten zu nennen. In den folgenden Abschnitten werden diese und andere Komponenten etwas genauer erläutert. 2 Die Komponenten von DirectX Wie schon erwähnt ist DirectX nichts anderes als eine Sammlung von Schnittstellen. Aufgrund dieser Tatsache verstecken sich hinter dem Begriff DirectX zahlreiche Komponenten, die alle zusammen DirectX bilden. Zu den wichtigsten Komponenten zählt heut zu Tage wohl DirectX Graphics. Natürlich ist dies nicht der einzige Baustein von DirectX, DirectX Music, DirectX Sound, DirectX Input bilden ebenfalls Teile von DirectX [Wik08]. 2.1 DirectX Graphics DirectX Graphics besteht grundsätzlich aus DirectDraw und Direct3D (kurz: D3D) und bietet die Unterstützung von 2D und 3D Grafik an. Ersteres ermöglicht den direkten Zugriff auf die Bits der Grafikkarte und zweiteres ist für das Zeichnen von Primitiven verantwortlich. Bei dieser Komponente von DirectX kommen zwei 2

4 APIs zum Einsatz, eine low-level API und eine high-level API. Bei der low-level API handelt es sich um Direct3D, diese API wird gerne bei Anwendungen wie 3D Spielen verwenden. Die high-level-api ( Direct3DX ) hingegen ermöglicht in erster Linie 3D-Programmierung mit vertretbarem Aufwand zu realisieren. Direct3DX besitzt alle Basisfunktionalitäten von Direct3D [tec08, Wik08]. 2.2 Direct Music DirectX Music ist für die Wiedergabe von Musik verantwortlich [tec08]. 2.3 Direct Input Diese Komponente unterstützt verschiedene Eingabegeräte wie Maus, Tastatur oder Joystick. Darüber hinaus ist es mit DirectX Input möglich Force Feedback Effekte, wie Vibrationen im Game Pad zu erzeugen [tec08]. 2.4 Direct Sound Wie der Name schon sagt ist Direct Sound für die Wiedergabe von Soundeffekten verantwortlich. Bei dieser Komponente wird Raumklang unterstüzt. Direct Sound passt sich darüber hinaus auch automatisch an das Leistungvermögen der installierten Soundkarte an. Ermöglicht werden mit dieser Komponente Basiseffekte wie Volume, Frequency Control oder auch Panning. Zusätzliche Effekte wie 3D- Effekte und Equalization, Disortion oder auch Chorus könnte man schon als Feature bezeichnen [tec08]. 3

5 3 Versionsunterschiede zwischen DirectX 9 und DirectX 10 DirectX 10.1 ist zur Zeit die neueste Version von DirectX, da bis jetzt aber nur die Firma ATI/AMD Grafikkarten herstellt, die auch DirectX 10.1 unterstützen, ist wohl DirectX 10 der eigentliche Standard und man kann DirectX 10.1 ruhig noch ausser Acht lassen. Um den Sinn der zahlreichen Änderungen in DirectX 10 im Vergleich zu DirectX 9 zu sehen und zu verstehen, muss man sich der eigentlichen Problemstellung bei Grafikapplikationen bewusst werden. Alle 3D Befehle verursachen eine gewisse Auslastung der CPU, dadurch entstehen zwei wichtige Probleme: Erstens wird die Anzahl der zu renderten Objekte limitiert und zweitens kann nur eine bestimmte Anzahl von Effekten der Szene hinzugefügt werden. Basierend auf dieser Tatsache, lässt sich daraus folgern, dass eine Belastung der CPU nicht nur die Renderingperformance limitiert, sondern auch den visuellen Reichtum einer Szene. Eine Möglichkeit dieses Problem anzugehen, ist das sogenannte Batching. Beim Batching versucht man mehrere Objekte zusammen zu zeichnen. Jedoch entsteht auch hier eine Problematik und zwar kann man Batching auf Objekte mit unterschiedlichen Materialstrukturen leider nicht anwenden. Eine Lösung für diese Problematik liefert uns DirectX 10 in Form von texture arrays in Kombination mit instancing 10, was das genau ist wird auf den folgenden Seiten erläutert. State changes hingegen produzieren zusätzlich auch eine gewisse API Auslastung, dies beinhaltet den Wechsel von Texturen, shadern oder vertex Formaten, ohne diese Möglichkeiten würde jedes Objekt gleich aussehen. Da also state changes über die API erreicht werden, tragen auch diese eine gewisse CPU Auslastung. Hinzu kommt, dass state changes öfter vorkommen als Aufrufe zum Zeichnen (draw calls), da man möglicherweise mehrere Effekte auf ein und das selbe Objekt anwenden möchte. Wegen der hohen Kosten von state changes versuchen die Entwickler große Anzahlen von Texturen und individuellen Materialien zu vermeiden. Wie schon erwähnt leidet der visuelle Reichtum einer Szene darunter. Abhilfe soll nun die neue Laufzeit von DirectX 10 bringen, welche man wohl als Performance Feature bezeichnen könnte, da man versucht, die Performance im Gegensatz zu DirectX 9 erheblich zu steigern [NVI06]. 3.1 Einzelne Unterschiede im Überblick Die folgende Tabelle zeigt einige der vielen Unterschiede zwischen DirectX 9 und DirectX 10, einge von diesen Unterschieden werden auf den folgenden Seiten etwas genauer erläutert. Die verschiedenen Farben kennzeichnen Features, die zusammen gehören. So könnte man die Features in Farbe grün als Features betrachten, die die Performance verbessern sollen. Die Features in rot hingegen gehören zu High Level Shader Language 10 (kurz: HLSL) und Features in blau kennzeichnen die neuen Grafikeffekte. Der Rest gehört zum neuen Shader Modell. 4

6 Abbildung 1: DirectX 9 im vergleich zu DirectX 10 [NVI06]. 5

7 3.2 Validation Validation (deutsch: Validierung) gehört zu den Schlüsseländerungen der Laufzeit in DirectX 10. Validierung ist nichts anderes, als ein Prozess, der vor einem Aufruf zum Zeichnen (draw call) auftritt. Dabei werden Befehle und Daten, die von der Applikation gesendet wurden, auf fehlerfreie Formatierung überprüft. Darüber hinaus sichert Validierung die Integrität von Daten, verursacht aber auf der anderen Seite eine sehr hohe CPU Belastung. DirectX 9 validiert Ressourcen bei jeder Nutzung, DirectX 10 hingegen validiert nur einmal bei der Erzeugung der Ressource. Dies schafft einen enormen Performancegewinn. Abbildung 2 verdeutlicht den genannten Zusammenhang [NVI06]. Abbildung 2: Validierung in DirectX 9 und DirectX 10 [NVI06]. 3.3 Texturfelder Texturfelder (englisch: texture arrays) sind ein komplett neues Feature von DirectX 10, welches es ermöglicht bis zu 512 Texturen in einem array zu speichern. In einem Texturfeld werden Texturdaten gespeichert, diese Daten bestehen aus einer oder mehreren Subressourcen, welche wiederum als arrays oder mipchains organisiert sind. Das besondere an Texturfeldern ist, dass sie in DirectX 10 von Shadern gelesen und indiziert werden können. Die folgende Abblidung veranschaulicht ein 1D Texturfeld, welches aus drei 1D Texturen besteht. Die hier abgebildete 1D Textur besteht aus drei mip levels. Das oberste mip level ist das größte, nach unten hin nimmt die Größe der mip levels bis zur Größe eins ab. Die Elemente in jedem mip level können über den Vektor u (Textur Koordinate) adressiert werden. Jedes Element in jedem mip level beinhaltet einen einzelnen texel (Bildpunkt, der zu einer Textur gehört). Jedes mip level beinhaltet sozusagen eine Version der Ausgangstextur, aber mit sinkendem LOD (level of detail), zwischen den mip levels wird dann interpoliert. Texturfelder sind homogen, das heißt jede Textur im Texturfeld muss das gleiche Datenformat und die gleiche Größe haben. In DirectX 10 existieren darüber hinaus auch 2D Texturen und 2D Texturfelder, sowie 3D Textureressourcen [Bly06]. 6

8 Abbildung 3: 1D Texturfeld, bestehend aus drei 1D Texturen [Bly06]. 3.4 Constant Buffers Eine Konstante (englisch: constant) ist ein vordefiniertet Wert, der in allen Shaderprogrammen als Parameter verwendet wird. Das Licht einer Szene wird beispielsweise zusammen mit der Intensität, der Farbe und der Position durch eine Konstante definiert. In Anwendungen, wie Spielen müssen solche Konstante ständig aktualisiert werden, da sich die Umgebung in einem Spiel ja auch verändert. Diese Aktualisierung verursacht eine starke Belastung der CPU. Constant buffer hingegen ermöglichen bis zu 4096 Konstanten mit einem einzigen Aufruf zu aktualisieren. Dieses Feature wird mit Hilfe von HLSL 10 ermöglicht. Je nach Anwendung können constant buffer auf andere Weise aktualisert werden, Per-Primitive constant buffer werden für jede Primitive aktualisiert, Per-Frame constant buffer wiederum für jedes Frame [NVI06]. 3.5 Predicated Draw Dieses Feature wird sei DirectX 10 komplett ohne Eingriff der CPU ermöglicht. In einer 3D Szene gibt es oft Objekte, die durch andere Objekte verdeckt sind. Werden diese verdeckten Objekte trotzdessen gezeichnet verliert man natürlich Renderingperformance. Zu diesem negativen Effekt kommt noch hinzu, dass die gezeichneten Objekte, die verdeckt sind auf dem finalen Bild keine Änderung verursachen. Verdeckte Objekte werden in Bezug auf den visuelle Aspekt einer Szene sozusagen umsonst gezeichnet, verursachen aber durch das Zeichnen Performanceverlust. Bei Predicated Draw werden komplizierte Meshes durch einfache Box Meshes angenähert. Wenn das Zeichnen dieser Box keinen Effekt auf das finale Bild erzeugt, wird das dazugehörige komplexere Objekt einfach weggelassen. In früheren DirectX Versionen wurde für Predicated Draw sowohl die CPU als auch die GPU benötigt, in DirectX 10 ist dies erstmals nur auf der GPU möglich [NVI06]. 3.6 Shader Modell 4.0 Im Vergleich zu DirectX 9, wo das Shader Modell 3.0 unterstützt wird, gibt es in DirectX 10 die Unterstützung von Shader Modell 4.0. Die Änderungen im neuen Shader Modell lassen sich grundsätzlich in drei Hauptänderungen unterteilen: Der 7

9 Geometry Shader, unifizierte Shading Architektur und erheblich verbesserte Shaderressourcen. Wie man in der Abbildung 1 sehen kann wurden zahlreiche Shader Ressourcen erhöht. Eine unifizierte Shading Archtektur hat den Vorteil, dass Ressourcen, die an einer anderen Stelle der Pipeline entstanden sind, auch an anderen Stellen der Pipeline benutzt werden können, ohne dass der Programmierer Umwege in der Programmierung gehen muss. Mit dem geometry shader ist es zum ersten Mal möglich Geometrie sowohl auf der GPU zu erzeugen, als auch wieder zu löschen. Diese beiden Operationen nennt man data amplification und data minimization. Der Geometriy Shader bekommt im Vegleich zum Vertex Shader, der einzelne Punkte als Eingabge bekommt und auch wieder einzelne Punkte als Ausgabe liefert, ganze Primitiven als Eingabe. Diese Primitiven, wie Linien oder Dreiecke können natürlich auch vom Geometry Shader ausgegeben werden. Der Geometry Shader liegt in der DirectX 10 Pipeline zwischen vertex shader und Rasterisierung. Mit Hilfe des stream outputs können nun Daten, wieder zurück zum vertex shader gestreamt werden, ohne durch die ganze Pipeline zu müssen. Durch den Geometry Shader können Effekte wie displacment mapping 10 ermöglicht werden. Abbildung 4: DirectX 10 pipeline[bly06]. 8

10 3.7 DirectX 10 Pipeline Die DirectX 10 Pipeline besteht aus insgesamt sieben Stationen: der input assembler station, dem vertex shader, dem geometry shader, der stream output Station, der Rasterisierungs Station, dem pixel shader und der output merger Station. Im Vergleich zur DirectX 9 Pipeline gibt es zwei wesentliche Änderungen, der geometry shader und der stream output. Die folgende Zusammenfassung soll einen kurzen Überblick über die einzelnen Stationen der Pipeline liefern : 1. Input assembler stage: Verantwortlich für die Versorgung der Pipeline mit Daten ( Dreiecke, Linien und Punkte ). 2. Vertex shader stage: Verarbeitet Eckpunkte, Per-Pixel-Operationen wie Transformation. 3. Geometry shader stage: Verarbeitet ganze Primitiven. 4. Stream output: Ist dafür gedacht, Punktdaten aus dem GS oder VS in die Buffers des Speichers zu streamen 5. Rasterizer stage: Für das Clipping verantwortlich, Vorbereitung der Primitiven für den Pixel Shader. 6. Pixel shader stage: Bekommt interpolierte Daten für ein Primitive und generiert Per-Pixel Daten wie Farbe. 7. Output merger stage: Verantwortlich für das Kombinieren von verschiedenen Arten von Ausgabedaten um das finale Pipeline Ergebnis zu erzeugen [Bly06]. 3.8 Instancing 10 Seit DirectX 9 ist es möglich mehrere Instanzen von ein und dem selben Objekt zu erzeugen und diese mit nur einem draw call an verschiedenen Orten zu zeichnen. Das Problem bei dieser Technik ist, dass alle Instanzen die gleiche Textur haben und somit perfekte Klone angefertigt werden. Dadurch können beispielsweise bei großen Schlachten in einem Spiel, die einzelnen Charaktere, die mit instancing erstellt wurden, nicht ihr eigenes Aussehen haben, die Szene wirkt mehr oder weniger gleich. Mit DirectX 10 und der Möglichkeit von Texturfeldern brauchen verschiedene Instanzobjekte nicht mehr die gleiche Textur zu benutzen. Es werden Objekte erzeugt, die unterschiedlich aussehen und sich sogar unterschiedlich bewegen können und das mit einer starken Reduzierung der draw calls durch instancing. Instancing verbessert somit nicht nur den visuellen Aspekt einer Szene sondern auch die Performance von 3D Applikationen [NVI06]. 3.9 Displacement Mapping 10 Displacement mapping 10 ist wie instancing 10 einer der vielen next generation effects, die mit DirectX 10 kommen. Bei displacement mapping wir oft eine Zer- 9

11 legung der Geometrie in Dreiecke gemacht und dann mit Hilfe einer Höhenkarte (englisch: height map) zusammengeführt. In DirectX 10 werden Details nun mit Hilfe von drei Tetraedern erzeugt. Diese drei Tetraeder werden für jedes Eingabedreieck erzeugt und mit einem ray-tracing Ansatz wird die Geometrie dieser Tetraeder und der Szene berechnet. Es muss also für jedes Dreieck ein Prisma erzeugt werden, indem man die Eckpunkte entlang der Normalen verlängert (siehe Abbildung 5). Die Verlängerung geschieht anhand des maximalen displacements. Die x und y Texturkoordinaten oben auf dem Prisma bleiben, wie die Texturkoordinaten unten auf dem Prisma, gleich. Die z Texturkoordinate wird aber auf 1 gebracht, um das maximale displacement zu repräsentieren. Abbildung 5: Prisma, welches über die Dreiecke eines meshes aufgespannt wird [Cor08]. Würde man nun durch dieses Prisma ray tracen um die Texturkoordinate zu finden wo der Augenstrahl ein-/ und austritt, entstehen zwei Probleme. Auf der einen Seite kann man zwar mit Hilfe der height map (zwischen Eintrittspunkt und Austrittspunkt) ganz einfach bestimmen, wo der Strahl durch unsere Textur schneidet, aber auf der anderen Seite kann aufgrund von Krümmungen im mesh nicht garantiert werden, dass die vier Punkte einer Seite des Prismas koplanar sind. Dadurch entstehen Risse in der Textur. Das zweite Problem liegt in der Berechnung der Texturkoordinate beim Austritt des Strahls. Der Eintrittspunkt lässt sich einfach berechnen, da durch depth-buffering immer das nächste Dreieck zum Auge gezeichnet wird, kann die Hardware automatisch die Texturkoordinate des Eintritts entlang der draw faces interpolieren. Diese beiden Probleme lassen sich durch eine Zerlegung des Prismas in drei Tetraeder lösen (siehe Abbildung 6). Hat man das Prisma in drei Tetraeder zerlegt lässt sich die Entferung vom Eintrittspunkt zur hinteren Seite des Tetraeders leicht berechnen, indem man den Augenstrahl mit den Ebenen des Tetraeders schneidet. Der Austrittspunkt lässt sich wiederum aus der Eigenschaft von Tetraedern berechnen. Wenn man die Texturkoordinaten der vier Punkte einer Seite des Prismas 10

12 benutzt, kann man daraus einen sogenannten konstanten Texturgradient, welcher für alle Tetraeder allgemeingültig ist, berechnen. Mit Hilfe dieses Gradienten und der Texturkoordinate des Eintritts und der Distanz zur hinteren Seite des Tetraeders kann der shader die Texturkoordinate des Austritts berechnen. Abbildung 6: Prisma, welches nun in die drei Tetraeder zerlegt wurde [Cor08]. Nachdem man nun die Texturkoordinate des Eintritts und des Austritts berechnet hat, werden die x-/ und y-koordinaten dafür verwendet, um in die displacement map zu schauen. Dadurch kann man die z-koordinate, welche die Höhe im ursprünglichen Dreieck repräsentiert, mit dem Wert in der displacement map vergleichen. Ist die z-komponente vom Strahl kleiner als die Höhe aus der displacement map, wird angenommen, dass hier geschnitten wird und hört auf entlang des Strahls zu suchen. Wenn kein Schnittpunkt gefunden wird, bevor der Austrittspunkt des Strahls erreicht wird, wird das Pixel verworfen. Wenn der Schnittpunkt einmal gefunden ist, muss nur noch die Farbe bestimmt werden. Die Unterschiede zwischen normalem mapping und displacement mapping 10 lassen sich den folgenden Abbildungen entnehmen [Cor08]. 11

13 Abbildung 7: Normales mapping [Cor08]. Abbildung 8: Displacement Mapping 10 [Cor08].

14 4 Ausblick DirectX 10.1 war wohl die letzte Version von DirectX 10. Mit DirectX 11 will Microsoft die Unterstützung von Ray Tracing ermöglichen. Zwar soll Rasterisierung noch erhalten bleiben, die Frage aber, die man sich stellen sollte, wäre wohl für wie lange. DirectX 11 soll Gerüchtenßu Folge mit Windows Vista Service Pack 2 Ende 2008 kommen [Har08]. Zahlreiche Computerzeitschriften spekulieren und melden aber schon jetzt ein Datum nahe Fazit DirectX 10 bringt im Vergleich zu DirectX 9 zahlreiche Änderungen, die die Performance von 3D-Applikationen verbessern sollen. Die folgende Abbildung zeigt eine Tabelle, welche die Minimierung der CPU Belastung etwas näher verdeutlichen soll. Auf dem Papier sieht das natürlich alles sehr toll aus, in Wirklichkeit, braucht man trotz der verbesserten Performance immer noch Grafikkarten, die im Bereich der 150 bis 250 Euro liegen, um Spiele wirklich auf maximalen Details spielen zu können. Also was hat sich für den Verbraucher geändert? Teurere Hardware verspricht weiterhin bessere Qualität in Spielen, ist aber den Preis leider nicht wert. Darüber hinaus scheint sich DirectX 10 in manchen Spielegenres erst gar nicht etabliert zu haben, MMORPGS (massively multiplayer online roleplaying game) unterstützen zum jetzigen Zeitpunk gar kein DirectX 10 und man spricht schon von DirectX 11. Spiele wie Egoshooter scheinen aber von DirectX 10 wenigstens visuell zu profitieren, die Anschaffung der teuren Hardware auf der anderen Seite ist es aber leider nocht nicht wert. Abbildung 9: Unterschiede in der CPU Belastung zwischen DirectX 9 und DirectX 10 [NVI06]. 13

15 Literatur [Bly06] David Blythe. Direct3d 10. pages Microsoft Corporation, [Cor08] Microsoft Corporation. The directx software development kit. Microsoft Corporation, März [Har08] PC Games Hardware. Directx 11: Microsoft wechselt das lager und bringt ray-tracing /News/DirectX_11_Microsoft_wechselt_das_ Lager_und_bringt_Ray-Tracing/, März [NVI06] NVIDIA. Technical brief microsoft directx 10 : The next generation graphics api. pages 4 5. NVIDIA Corporation, [Röd99] Lutz Röder. Komponentenentwicklung mit dem component object model. In OBJEKTspektrum 3, pages LITTLE softwarehouse GmbH, [tec08] techfaq. Was ist directx. de/directx.shtml, [Wik08] Wikipedia. Directx. DirectX, [Zwi05] Olaf Zwintzscher. In Software-Komponenten im Überblick. Einführung, Klassifizierung Vergleich von JavaBeans, EJB, COM+, Net, CORBA, UML 2. W3L. Herdecke,