Seminar: Programmierung von Grafikkarten (SS 2006)

Transkript

1 Seminar: Programmierung von Grafikkarten (SS 2006) Shader Christian Niemand Johannes Spohr Universität Kassel, FB 16 Research Group Programming Languages / Methodologies Seminarleiterin: Prof. Dr. Claudia Leopold leopold@uni-kassel.de Seminarbetreuer: Dipl.-Inform. Björn Knafla bknafla@uni-kassel.de

2 INHALT 1 EINFÜHRUNG SHADERPROGRAMME PARAMETERDEFINITION PROGRAMMIERSPRACHEN VERTEX SHADER ANWENDUNGSGEBIETE EINSCHRÄNKUNGEN BEISPIELE Morphing Skinning PIXEL SHADER ANWENDUNGSGEBIETE EINSCHRÄNKUNGEN BEISPIELE Per Pixel Lighting Bump Mapping Post-Processing ZUSAMMENFASSUNG ANHANG QUELLENVERZEICHNIS ABBILDUNGSVERZEICHNIS...11 Seite 2 von 11

3 1 Einführung Der Einzug der hardwarebeschleunigten Grafikdarstellung in den PC- Konsumentenbereich ermöglicht anspruchsvolle 3D-Anwendungen und Spiele in Echtzeit auf preisgünstigen Systemen. Ihre Programmierung erfolgt mithilfe von hardwarenahen 3D APIs für die die Grafikkartenhersteller Treiber bereitstellen. Zwei solcher APIs haben sich herstellerübergreifend durchgesetzt: das plattformunabhängige OpenGL und Microsofts Windowsschnittstelle Direct3D. Die Interfaces beider Bibliotheken spiegeln die Pipelines gängiger Grafiksysteme wieder. Der Programmierer kann Grafikprimitive auf den Computerbildschirm bringen, indem er diese am Ausgangspunkt der Pipeline einspielt und durch diverse zusätzliche Datenstrukturen oder Schalter ihre Darstellungsweise beeinflusst. Der Kern der Grafikkarte, die GPU (Graphics Processing Unit), übernimmt dabei die Transformation der 3D-Punkte (Vertices; singulär: Vertex) auf den 2D-Bildschirm des Benutzers, die Berechnung von Farbe und Sichtbarkeit und die anschließende Umwandlung in Pixel (rechteckige Bildelemente im Frame Buffer, dem Zielspeicher für das fertige Bild [GLSL, Kapitel 1.4]), die Rasterisierung. Dieser Prozess des Renderns war lange Zeit nur über die State Machine (die Menge aller Zustände) der Grafik-API beeinflussbar. Ein Teil eines solchen Zustands (auch Render State) kann ein Ein/Aus-Bit sein (z.b. ob Blending aktiviert ist oder nicht), aber auch eine Fließkommazahl oder ein Vektor (z.b. Farbe der zu zeichnenden Primitive). Die Verarbeitung der Oberflächeneigenschaften wie z.b. Farbe, Form oder Reflektivität und das Berechnen von Lichteinflüssen mit dem Resultat einer möglichst realitätsnahen Abbildung entsprechender Objekte wird als Shading bezeichnet. Ein sog. Shader beschreibt die Darstellung eines benutzerdefinierten Materials. Shader sind keine eigenständigen Programme sondern können nur innerhalb einer Grafikpipeline ausgeführt, also auf Primitive angewendet werden. Texture Memory (Geometry) Vertex Processor Primitive Assembly Clip Project Viewport Cull (Geometry) Fragment Processor Per- Fragment Operations Frame Buffer Operations Rasterize App. Memory (Pixel) (Pixel) Pixel (Un)Pack Transfer Frame Buffer Abbildung 1: Programmable Pipeline Fest verdrahtete Grafikpipelines (Fixed Function Pipelines) ermöglichen es dem Benutzer lediglich, die Shader der GPU durch Setzen von Zuständen zu Seite 3 von 11

4 konfigurieren, während programmierbare GPUs es erlauben, Shader selbst zu entwickeln und diese in die Pipeline einzufügen (Programmable Pipelines). Diese sog. Shader-Programme ersetzen in aktuellen GPU-Architekturen (Stand Mitte 2006) jeweils nur einen Teil der Pipeline (siehe Abbildung 1). Der für die Verarbeitung von Vertices zuständige Vertex Processor wird durch spezielle Vertex Shader programmiert. Im Fragment Processor werden die entstandenen Pixel berechnet; ein Vorgang der durch Pixel Shader programmierbar ist. In dieser Architektur ist der Rest der Pipeline immer noch fest, also nicht programmierbar, und wird weiterhin durch Render States gesteuert. [GLSL, Kapitel 1] 1.1 Shaderprogramme Programme, die einen auf der GPU ausführbaren Shader implementieren, werden als Shader-Programme bezeichnet. Im Unterschied zu regulären, auf der CPU ausgeführten Programmen sind sie in ihrem Umfang, den Ein- /Ausgabemöglichkeiten und der Fallunterscheidung (Branching) in If- Abfragen und Schleifen stark eingeschränkt. Ihr Einsatz in programmierbaren GPUs wird im Folgenden anhand von Vertex- und Pixel-Shadern beschrieben. Dabei wird der Einfachheit halber nur auf die Darstellung von Dreiecken eingegangen. Zwar sind in den APIs auch Punkte und Linien als Grundprimitive vorgesehen, in der Praxis wird deren Abbildung aber durch degenerierte Dreiecke mit zwei bzw. drei identischen Eckpunkten erzeugt. 1.2 Parameterdefinition Zusätzlich zu den konfigurierbaren, fest vorgegebenen Render States der Grafik-API, und damit der GPU, werden in der Shader-Programmierung Parameter verwendet, die an die Shader-Programme übergeben werden. Allein das Programm entscheidet über ihre Verwendung, wovon Definitionsweise und Datentyp abhängig sind. Gebräuchliche Typen sind vor allem 32bit Fließkommazahlen (Typ float), die einzeln oder in Feldern von bis zu 16 Elementen übergeben werden können. Meistens werden folgende Kardinalitäten benutzt: 1 (Skalar) 3 (3D-Vektor) 4 (4D-Vektor oder Quaternion) 9 (3x3 Matrix) 12 (4x3 Matrix) 16 (4x4 Matrix) Ebenso vorgesehen sind ganze Zahlen (Typ int), ihre Verwendung ist jedoch eher selten. Sie werden implizit für die Indizierung von Texturen (Bildern, mit denen Dreiecke überzogen werden) benutzt. Parameter werden sowohl im Shader-Programm selbst als auch in der Anwendung definiert, die die Daten erzeugt. Dies ist für die Kommunikation zwischen Software auf CPU- und GPU-Seite unabdingbar, führt aber zu gewissen Abhängigkeiten, die es oft erschweren, Shader ohne Änderungen in andere Anwendungen zu übernehmen. Auf die Vertex- bzw. Pixel-Shader-spezifischen Parameterarten wird in den jeweiligen Kapiteln 2 und 3 näher eingegangen. Seite 4 von 11

5 1.3 Programmiersprachen Anfangs wurden API-spezifische Assemblersprachen verwendet, um Shader- Programme zu schreiben. Diese haben den Vorteil, dass sie direkt auf die internen Instruktionen der GPU übersetzt werden können, erschweren allerdings den Einstieg in die Shader-Programmierung. Der typische Befehlssatz umfasst mehrere Operationen der linearen Algebra, die in der Grafikprogrammierung häufig Verwendung finden, unter anderem das Skalarprodukt. Die meisten Befehle sind parallel ausgelegt, operieren also auf mehreren Werten gleichzeitig (SIMD, Single Instruction Multiple Data) um die Performance zu steigern. Mittlerweile stehen mehrere Hochsprachen für die Entwicklung von Shader- Programmen zur Auswahl, die sich alle relativ ähnlich sind. Sie basieren auf der Sprache C und werden von einem in die Grafik-API integrierten Compiler in die jeweilige Assemblersprache übersetzt und dann wiederum an den Shader-Assembler weitergereicht. Es handelt sich dabei um: GLSL (OpenGL Shading Language, sprich dschi-el-släng ): OpenGLspezifischer C-Dialekt [GLSL] Cg (C for Graphics): Vom Grafikkartenhersteller NVidia entwickelter C- Dialekt, der als Frontend sowohl für OpenGL als auch Direct3D einsetzbar ist und auch nicht auf Hardware von NVidia beschränkt ist [Cg] HLSL (High Level Shading Language): Microsofts Implementierung von Cg, die in Direct3D enthalten ist [HLSL] 2 Vertex Shader Vertex-Shader-Programme werden auf jeden Vertex eines darzustellenden Dreiecks angewendet, d.h. sie arbeiten lediglich mit der Oberflächenstruktur eines Objekts. Vertex Shader sind prinzipiell auch durch normale Software emulierbar. Es gibt unterschiedliche Versionen der Shader, man spricht auch von Shader-Modellen. Die zur Zeit aktuelle Version ist das Shader-Modell 3.0. Bei höheren Versionen des Shader-Modells wird auch bei Vertex Shadern eine geeignete Grafikkarte benötigt. Emulierte Vertex Shader sind verständlicherweise langsamer als solche, die von der Hardware unterstützt werden. Die meisten Grafikkarten besitzen dazu mehrere Einheiten, welche die Vertices parallel bearbeiten können. Eingabeparameter eines Vertex Shaders können auf verschiedene Weise definiert werden [GLSL, Kapitel 7]: Uniform: Parameter sind für jede Anwendung eines Vertex Shaders auf einen Vertex innerhalb derselben Primitivenliste konstant Vertex-Attribut: Parameter die für jeden Vertex, der den Shader durchläuft, unterschiedlich sein können. Zusätzlich zu den Koordinaten des Vertex können bspw. Normalvektor, Texturkoordinaten etc. angegeben werden. Die Informationen, die einen Vertex beschreiben, können je nach Verwendungszweck unterschiedlich sein. Die Kombination bestimmter Informationen eines Vertex nennt man das Vertex-Format. Textur: (Ab Shader-Modell 3.0) Sonderfall eines Parameters, auf den im Vertex Shader über einen Sampler (Textureinheit der Grafikkarte, die Farbwerte aus Texturdaten ermittelt) zugegriffen werden kann Seite 5 von 11

6 Des Weiteren stellen Sprachen zur Shader-Programmierung sowohl eingebaute Variablen als auch eingebaute Funktionen zur Verfügung. In GLSL beginnen diese mit dem Präfix gl_. Über die eingebauten Variablen kann so schnell und einfach direkt mit OpenGL kommuniziert werden, um beispielsweise an die aktuelle Model-View- oder Projektionsmatrix zu gelangen [Gd3DG]. Die eingebauten Funktionen eignen sich, um etwa trigonometrische Funktionen wie z.b. sin, cos usw., geometrische Funktionen wie dot, length, distance usw. oder allgemein mathematische Funktionen wie z.b. sqrt, pow, min, max, usw. innerhalb eines Shader-Programms zu berechnen. 2.1 Anwendungsgebiete In den meisten Fällen sind die Vertex Shader eine Vorstufe der Pixel Shader (siehe Kapitel 3). Sie werden relativ selten alleine eingesetzt. Der Vertex Shader wird in GLSL vom sog. Vertex Processor umgesetzt. Er führt folgende Aufgaben aus: - Vertex Transformation - Normalen Transformation und Normalisierung - Texturkoordinaten Generierung - Texturkoordinaten Transformation - Beleuchtung (Berechnung der sichtbaren Farbe des Vertex abhängig von der Materialfarbe (bspw. grünes Plastik) und der beleuchtenden Lichtquelle [Cg, Kapitel 5]) Des Weiteren sind neue Vertex Shader (3.0) in der Lage, Informationen aus Texturen auszulesen. Dadurch sind sie in der Lage Effekte wie Displacement Mapping (Änderung der Vertex-Position entsprechend der in einer Textur abgespeicherten Höheninformation) durchzuführen. 2.2 Einschränkungen Vertex Shader können keine Vertices erzeugen, nur manipulieren. 2.3 Beispiele In den folgenden Beispielen werden Anwendungen betrachtet, in denen der jeweilige Vertex Shader eine sehr spezielle Aufgabe übernimmt. Im Normalfall ist der Vertex Shader dafür zuständig, die Vertices relativ zum Betrachter zu transformieren und zu beleuchten. In folgenden Beispielen nimmt er aktiv Einfluss auf die Objektstruktur der Objekte Morphing Beim Morphing wird, wie in Abbildung 2 gezeigt wird, die Form eines Objekts in eine andere überführt. Man formt also beispielsweise einen Würfel in eine Kugel um. Diesen Effekt kennt man evtl. aus dem Windows Bildschirmschoner Flower Box. Seite 6 von 11

7 Abbildung 2: Umformung eines Körpers in einen anderen (Morphing) [P2] Skinning Dieser in Abbildung 3 dargestellte Effekt wird im Bereich der Charakteranimation eingesetzt. Wie bei einem Menschen befinden sich bei einem Modell Knochen (sog. Bones) unterhalb der Haut (im Falle des 3D Objekts unterhalb des Meshes, d.h. der durch die Vertices beschriebenen Oberflächenstruktur). Werden nun diese Bones bewegt, so beeinflussen sie das darüber liegende Mesh (Objektstruktur). Wird beispielsweise der Armknochen bewegt, muss der Vertex Shader dafür sorgen, dass sich lediglich die Vertices des Arms mitbewegen und nicht die des Fußes. Um zwischen den einzelnen Bones einen fließenden Übergang zu erlangen, werden die Einflüsse der Bones auf die entsprechenden Vertices gewichtet. So können auf einen Vertex mehrere Bones Einfluss nehmen. Abbildung 3: Bonestruktur mit umschließendem Mesh [P3] 3 Pixel Shader Die Aufgabe eines Pixel-Shader-Programms ist es, anhand seiner Eingaben (Parameter und Texturdaten) über die Farbe eines Pixels im Frame Buffer zu entscheiden. In diesem Zusammenhang wird ein Pixel auch als Fragment bezeichnet, was neben der Farbe zusätzliche Werte wie Tiefe oder Bildschirmkoordinaten beinhaltet. Man spricht daher auch vom Fragment Shader. Beim Rasterisieren von Grafikprimitiven werden die Ausgaben des Vertex Shaders genutzt, um eine 2D-Repräsentation der Ausgangsdaten auf dem Bildschirm zu erzeugen. Dieser Vorgang beinhaltet die Projektion der transformierten Vertex-Koordinaten in den sog. Screen Space (das Seite 7 von 11

8 Bildschirm-Koordinatensystem) durch die Anwendung der Projektionsmatrix. Anschließend wird auf jeden Pixel, der innerhalb der Fläche eines auf diese Weise projizierten Dreiecks liegt, der Pixel Shader angewendet. Eingabeparameter eines Pixel Shaders können auf verschiedene Weise definiert werden [GLSL, Kapitel 7]: Uniform: Parameter sind für jede Anwendung eines Pixel Shaders innerhalb einer Primitivenliste konstant Varying: Parameter die an den Pixel Shader übergeben werden, nachdem sie vom Vertex Shader generiert und über die Fläche des Dreiecks hinweg interpoliert wurden (Abb. 4) Textur: Sonderfall eines Parameters, auf den im Pixel Shader über einen Sampler zugegriffen werden kann (ab Shader-Modell 3.0 auch im Vertex Shader) 3.1 Anwendungsgebiete Pixel Shader können die Performance steigern, indem großflächige Dreiecke mit komplexen Oberflächenstrukturen versehen werden, die das Vorhandensein hochaufgelöster Geometrie vortäuschen. Im Gegensatz zur einfachen Texturierung können dabei zusätzlich Lichtberechnungen für jeden Pixel durchgeführt werden (Per Pixel Lighting). In der herkömmlichen Pipeline wird lediglich für jeden Vertex eine lokale Beleuchtung durchgeführt, mit anschließender linearer Interpolation der ermittelten Farbe über die Dreiecksfläche. Dies verhindert die Darstellung von Maxima der Lichtreflexion innerhalb des Dreiecks und erzeugt stellenweise sichtbare Kanten an den Rändern. Durch die Verlagerung der Beleuchtung in den Pixel Shader wird dieses Problem vermieden, was die optische Qualität verbessert. [Cg, Kapitel 5.3] Ein weiter Anwendungsfall ist die Generierung sog. prozeduraler Texturen, wobei statt statischer Bilder direkt im Shader erzeugte Oberflächenmuster verwendet werden. [GLSL, Kapitel 11] 3.2 Einschränkungen Der Pixel Shader hat nicht die Möglichkeit, aus dem Frame Buffer zu lesen. Er kann also weder die Farbe des aktuellen noch anderer Pixel im Puffer lesen. Diese Einschränkung ist durch die parallele Auslegung der Pixelpipelines begründet. Einzig die Alpha-Komponente des zu schreibenden Pixels kann auf einen Wert unterhalb 1.0 gesetzt werden, so dass der vorige Pixel durchscheint, falls das sog. Alpha Blending aktiviert ist. Um einen Pixel Shader auf ein gerendertes Bild anzuwenden, muss dieses in eine Textur hineingezeichnet werden, aus der der Shader wiederum lesen kann. 3.3 Beispiele Es folgen einige Beispielanwendungen für Pixel Shader, die einen besseren Eindruck von deren Arbeitsweise vermitteln sollen Per Pixel Lighting Abbildung 4: Interpolation von Farbe über Dreiecksfläche [P1] Jeden Pixel einzeln zu beleuchten ermöglicht eine realistische Darstellung von Beleuchtungsmodellen wie Phong Shading [Phong75], Blinn Shading Seite 8 von 11

9 [Blinn77] oder Bump Mapping [Blinn78]. Der folgende Pixel-Shader-Code implementiert ein vereinfachtes Phong-Modell. // Uniform-Parameter aus Anwendung uniform vec4 ambient; uniform vec4 diffuse; uniform vec4 specular; // Varying-Parameter die im Vertex Shader berechnet wurden varying vec3 normal; varying vec3 lightvector; varying vec3 viewvector; // main-funktion: Einstiegspunkt des Shader-Codes void main(void) { // Berechnung des Reflektionsvektors anhand der Normalen vec3 reflect = normalize(2.0 * dot(normal, lightvector) * normal - lightvector); } // Diffuse Beleuchtungskomponente (Helligkeit) vec4 diffusecolor = diffuse * max(0.0, dot(normal, lightvector)); // Spekulaere Beleuchtungskomponente (Lichtreflektion) vec4 specularcolor = specular * pow(max(0.0, dot(reflect, viewvector)), 10.0); // Ausgabe: Resultat wird in vorgegebene Variable geschrieben gl_fragcolor = ambient + diffusecolor + specularcolor; Der zugehörige Vertex Shader muss die 3 Varying-Parameter normal (Normalenvektor), lightvector (Vektor vom Vertex zur Lichtquelle) und viewvector (Vektor vom Vertex zum Betrachtungspunkt) im World Space berechnen. Die Uniforms ambient, diffuse und specular sind die Koeffizienten des Beleuchtungsmodells [Phong75] und müssen von der Anwendung spezifiziert werden. Die Farbe des resultierenden Pixels wird in der letzten Zeile in die Variable gl_fragcolor geschrieben, die in GLSL fest eingebaut ist [GLSL, Kapitel 4.2.4] Bump Mapping Bump Mapping (Abbildung 5) entspricht dem oben beschriebenen Per Pixel Lighting, mit dem Unterschied, dass nicht Vertex- Normalen vom Vertex Shader über die Dreiecksfläche interpoliert werden, sondern Normalen für jeden Pixel aus einer speziell vorbereiteten Textur (der sog. Bump Map oder Normal Map) gelesen werden. Dieser Vektor muss anschließend in den World Space transformiert werden, dem absoluten Koordinatensystem, in dem Objekte sowie Lichtquellen und Abbildung 5: Bump-Mapping [P4] Betrachterposition relativ zu einem globalen Ursprung positioniert sind. Dies geschieht über eine im Vertex Shader berechnete Rotationsmatrix, die entsprechend interpoliert an den Pixel Shader weitergereicht wird. Dazu müssen für jeden Vertex die sog. Tangenten- und Binormal-Vektoren im Object Space (dem lokalen Koordinatensystem des Objekts) vorberechnet und als Vertex-Attribute gespeichert werden. [GLSL, Kapitel 11.4] Seite 9 von 11

10 3.3.3 Post-Processing Nachbearbeitung von Bildern kennt man aus Bildverarbeitungsprogrammen oder dem Videoschnitt. Im Pixel Shader können viele dort gebräuchliche Effekte in Echtzeit nachträglich auf das gerenderte Bild angewendet werden. Voraussetzung dafür ist, dass der zu manipulierende Bildbereich zuvor in eine Textur gerendert wurde, da der Inhalt des Framebuffers für den Shader nicht zur Verfügung steht. Der gewünschte Effekt entsteht, indem ein bildschirmfüllendes Rechteck aus zwei Dreiecken mit dieser Textur und dem entsprechenden Pixel Shader gezeichnet wird. Dabei wird entweder in das existierende Bild hineingemischt oder die Textur selbst wird wiederum als Ziel verwendet (Feedback). Besonders populäre Post-Processing-Effekte: Motion Blur: Bewegliche Objekte werden in eine Textur gerendert und diese während eines späteren Frames über das existierende Bild gezeichnet, so dass diese Objekte leicht versetzt miteinander verschmelzen und unscharf wirken. Dies simuliert die Trägheit des Auges bzw. einer Kameralinse, die schnelle Bewegungen als Schlieren abbilden. Glow: Hell leuchtende Objekte werden in eine Textur gerendert. Diese wird mittels Pixel Shader durch einen Gauß-Filter aufgeweicht und auf das existierende Bild aufaddiert. Die Objekte scheinen zu strahlen und erhalten eine Art weiche Aura. 4 Zusammenfassung In der Fixed Function Pipeline sind alle Einheiten statisch und der Programmierer kann lediglich über die verwendete Grafik-API das Aussehen von 3D Modellen bestimmen. Um ihm mehr Freiheit und Flexibilität zu geben, hat man programmierbare Einheiten in die Pipeline eingeführt, die Vertexund Pixel- bzw. Fragment-Shader. Hierbei handelt es sich um kleine Programme, die direkt auf der Grafikkarte ablaufen. Der Vertex Shader wird auf jeden Vertex einer eingehenden Oberflächenstruktur (Mesh) angewendet. Jeder Vertex wird durch ein Vertex- Format beschrieben. Zusätzliche Informationen können dem Shader über Attribute (Information kann für jeden Vertex unterschiedlich sein) und Uniforms (für alle Vertices bzw. Pixel gleich) übergeben werden. Da der Vertex Shader neben der Beleuchtung der Vertices auch für die Transformation verantwortlich ist, können mit ihm Effekte wie bspw. Morphing und Skinning durchgeführt werden. Der Pixel Shader beleuchtet jeden Pixel einzeln und mischt die Beleuchtung mit den Texturfarben. Dazu verwendet er interpolierte Daten, die vom Vertex Shader vorberechnet wurden, sog. Varying-Variablen. Dadurch, dass der Pixel Shader jeden Pixel einzeln beleuchtet, kann er dem Betrachter durch sog. Normal Maps differenzierte Oberflächenstrukturen vorgaukeln obwohl das Objekt keine derartige Geometrie besitzt. Durch den Einsatz programmierbarer Shader ist es möglich, das Potential moderner Grafikkarten besser auszunutzen, was sowohl die Performance als auch die optische Qualität betrifft. Seite 10 von 11

11 5 Anhang 5.1 Quellenverzeichnis [GLSL] Rost, Randi J.: OpenGL Shading Language, Addison Wesley 2004 [Cg] Fernando, Randima; Kilgard, Mark J.: The Cg Tutorial, Addison Wesley 2003 [HLSL] Direct3D 9 Reference, HLSL Shaders: library/default.asp?url=/library/en-us/directx9_c/hlsl_shaders.asp [Phong75] Phong, Bui Tuong: Illumination for Computer Generated Pictures, Communications of the ACM, Vol. 18, Nr. 6, S , Juni 1975 [Blinn77] Blinn, James: Models of Light Reflection for Computer Synthesized Pictures, SIGGRAPH '77 Proceedings, S , Juli 1977 [Blinn78] Blinn, James: Simulation of Wrinkled Surfaces, SIGGRAPH '78 Proceedings, S , August 1978 [Gd3DG] Boßdorf, Dominik; Schulze, Christian; Sebastiao, Marco: Grundlagen der 3D Grafik, Seminar "Programmierung von Grafikkarten", Research Group Programming Languages / Methodologies, Uni Kassel, 8. Mai Abbildungsverzeichnis [P1] [P2] [P3] [P4] Gerendert mit ATI RenderMonkey Seite 11 von 11