(9) Modernes OpenGL. Vorlesung Computergraphik III S. Müller U N I V E R S I T Ä T KOBLENZ LANDAU

Transkript

1 (9) Modernes OpenGL Vorlesung Computergraphik III S. Müller

2 OpenGL Shading Language (GLSL) Teil des OpenGL 2.0 Standards Syntax orientiert sich an C / C++ Funktionen Einfache Datentypen (float, int, bool) Strukturen Arrays Bedingungen Schleifen Aber: Keine Zeiger Beliebige Länge der Shader-Programme S. Müller - 2 -

3 NVIDIA Im Laufe der Zeit wurde die dedizierte Hardware (2D/3D) zu Gunsten einer unified shader Architektur aufgegeben Den Kern bilden dabei Streaming-Prozessoren (SM) Diese Anforderungen kamen u.a. auch aus dem GPGPU-Bereich (General Purpose GPU) und HPC-Bereich (high performance computing) S. Müller - 3 -

4 Beispiel: Kepler SMX: 192 single precision CUDA cores, 64 double precision units, 32 special function units (SFU), and 32 load/store units (LD/ST). UNIVERSITÄT Quelle: Nvidia S. Müller - 4 -

5 OpenGL 3.3 OpenGL 3.0 (2008) OpenGL Shading Language 1.30 Entfernen von Altlasten (glbegin / glend, Fixed-Function-Pipeline, T&L etc.) erstmals weitestgehender Verzicht auf explizite Abwärtskompatibilität OpenGL 3.1 (2009) weiteres Entfernen von Altlasten (z. B. Fixed-Function-Optionen, Direct-Mode und Color-Index- Mode), diese sind nur noch über die optionale compatibility extension verfügbar OpenGL Shading Language 1.40 OpenGL 3.2 (2009) OpenGL Shading Language 1.50 Geometry-Shader werden bei Programmierung von Grafikpipelines jetzt auch direkt im OpenGL-Kern unterstützt OpenGL 3.3 (2010) OpenGL Shading Language 3.30 S. Müller - 5 -

6 GLFW und GLEW S. Müller - 6 -

7 GLFW GLUT wird leider weiterhin nicht mehr unterstützt (Alternative freeglut) Wir verwenden daher ab jetzt glfw, der genauso einfach ist S. Müller - 7 -

8 GLFW Fensterkommandos void glfwsetwindowtitle( const char *title ) void glfwsetwindowsize( int width, int height ) void glfwsetwindowpos( int x, int y ) Keyboard Pull: int glfwgetkey( int key ) liefert 1 wenn Taste key gedrückt, sonst 0 Callback: void glfwsetkeycallback( GLFWkeyfun cbfun ) wie bei GLUT Maus Pull: void glfwgetmousepos( int *x, int *y )liefert Mausposition CB: void glfwsetmouseposcallback( GLFWmouseposfun cbfun )wie bei GLUT Pull: int glfwgetmousebutton( int button )liefert Status der Mausknöpfe CB: void glfwsetmousebuttoncallback( GLFWmousebuttonfun fun )wie bei GLUT Sonstiges Mausrad, glfwgettime, glfwsleep, Texture Loading, Multi-thraeding S. Müller - 8 -

9 Simples Programm #include <glew.h> #include <GL/glfw.h>... int main(int argc, char** argv) { glfwinit(); glfwopenwindow(800,600,8,8,8,0,24,0,glfw_window); Extension Wrangler } glewinit(); glclearcolor(0, 0, 0, 1); while(glfw_opened) { glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT);... glfwswapbuffers(); } glfwterminate(); Pull-Modus S. Müller - 9 -

10 Die guten alten Zeiten 1 void init() { glclearcolor(1,1,1,1); glmatrixmode(gl_projection); glloadidentity(); gluperspective( ); glmatrixmode(gl_modelview); } void terrain() { glbegin(gl_polygon); glvertex3f(x, y, z); glnormal3f( ); ; glend(); } void display() { glloadidentity(); glulookat( ); glrotate( ) glclear( _BIT GL_DEPTH ); glcolor3f(1.0,1.0,1.0); draw_terrain(); glutswapbuffers(); } S. Müller

11 Die guten alten Zeiten 2 Material GLfloat mat_emission[] = { }; GLfloat mat_ambient[] = { }; GLfloat mat_diffuse[] = { }; GLfloat mat_specular[] = { }; glmaterialfv(gl_front, ); glmaterialfv(,gl_ambient, ); glmaterialfv(,mat_diffuse); Licht GLfloat ambient[] = { }; GLfloat diffuse[] = { }; GLfloat specular[] = { }; gllightfv(gl_light0, GL_POSITION, ); gllightfv(gl_light0, GL_AMBIENT, ); gllightfv(gl_light0, GL_DIFFUSE, ); gllightmodelfv(gl_light_model_ambient, lmodel_ambient); gllightmodelfv(gl_light_model_local_viewer, local_view); gllightmodeli(gl_light_model_two_side, GL_FALSE); glenable(gl_lighting); glenable(gl_light0); S. Müller

12 Vertex Attribute Kein glbegin glend mehr void terrain() { glbegin(gl_polygon); glvertex3f(x, y, z); glvertex3f( ); ; glend(); } S. Müller

13 Vertex Attributes Da GL_Begin GL_End (immediate mode) zu unperformant sind, werden für die Daten Objekte angelegt, wie wir sie von den Texturen kennen. Die Vertices bestehen aus Attributen (Position, Normale, Farbe etc.) mit 1-4 Werten pro Eintrag Diese werden jeweils in Arrays (ARRAY_BUFFER) abgelegt, auch Buffer-Objekte genannt. Entsprechend hat sich für die Liste der Positionen eines Objekts auch der Name Vertex-Buffer-Objekt etabliert S. Müller

14 Attribute: nicht indizierte Liste GLuint VBO; size stride Glfloat Vertices[] = { -0.4, -0.4, -0.4, 0.4, 0.4, 0.4 }; glgenbuffers(1, &VBO); glbindbuffer(gl_array_buffer, VBO); glbufferdata(gl_array_buffer, sizeof(vertices), Vertices, GL_STATIC_DRAW); glvertexattribpointer(0, 2, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(0); //Renderschleife gldrawarrays(gl_triangle_strip, 0, 3); void terrain() { glbegin(gl_polygon); glvertex3f(x, y, z); glvertex3f( ); ; glend(); } S. Müller

15 Indizierte Liste GLuint VBO; GLuint IBO; GLfloat Vertices[] = { -0.4, -0.4, -0.4, 0.4, 0.4, 0.4 }; GLuint Indices[] = {0, 1, 2}; glgenbuffers(1, &VBO); glbindbuffer(gl_array_buffer, VBO); glbufferdata(gl_array_buffer, sizeof(vertices), Vertices, GL_STATIC_DRAW); glvertexattribpointer(0, 2, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(0); glgenbuffers(1, &IBO); glbindbuffer(gl_element_array_buffer, IBO); glbufferdata(gl_element_array_buffer,sizeof(indices),indices,gl_static_draw); //Renderschleife gldrawelements(gl_triangles, 3, GL_UNSIGNED_INT, 0); S. Müller

16 Mehrere Attribute GLuint BufferObjectHandles[2]; GLfloat Vertices[] = { -0.4, -0.4, -0.4, 0.4, 0.4, 0.4 }; GLfloat Colours[] = { 1, 0, 0, 0, 1, 0, 0, 0, 1}; glgenbuffers(2, BufferObjectHandles); glbindbuffer(gl_array_buffer, BufferObjectHandles[0]); glbufferdata(gl_array_buffer, sizeof(vertices), Vertices, GL_STATIC_DRAW); glvertexattribpointer(0, 2, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(0); glbindbuffer(gl_array_buffer, BufferObjectHandles[1]); glbufferdata(gl_array_buffer, sizeof(colours), Colours, GL_STATIC_DRAW); glvertexattribpointer(1, 3, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(1); //Renderschleife gldrawarrays(gl_triangle_strip, 0, 3); S. Müller

17 Transformationen Keine OpenGL Matrizen mehr void display() { glmatrixmode(gl_projection); glloadidentity(); gluperspective( ); } glmatrixmode(gl_modelview); glloadidentity(); glulookat( ); glrotate( ) S. Müller

18 glm (OpenGL Mathematics) Da es keine OpenGL Matrix Kommandos mehr gibt, brauchen wir eine Mathe-Lib Als Mathe-Lib nehmen wir glm (OpenGL Mathematics), die sich an GLSL orientiert. Dies ist eine include-lib, d.h. dass man je nach Verwendung von Kommandos auch die entsprechen.h Datei includen muss. Bsp. Generell: glm.hpp gtc/matrix_transform.hpp Matrixtransformationen gtc/matrix_inverse.hpp Matrixinvertierung glm/gtc/type_ptr.hpp Sinnvoll, um glm-vektoren und - Matrizen als GLSL-Parameter zu übergeben vec3 avector(3); mat4 somematrix(1.0); gluniform3fv(, value_ptr(avector)); gluniformmatrix4fv(, value_ptr(somematrix)); S. Müller

19 glm #include <glm/glm.hpp> // alles notwendige #include <glm/gtc/matrix_transform.hpp> using namespace glm; mat4(1.0f); //LoadIdentity Multiplikation von rechts mat4 modelmat = rotate(mat4(1.0f), degrees(angle), vec3(1.0f,1.0f,0.0f)); mat4 scalemat = scale(mat4(1.0f), vec3(2.0f,1.0f,1.0f)); mat4 transmat = translate(mat4(1.0f), vec3(2.0f,1.0f,1.0f)); mat4 = rotate(transmat, degrees(angle), vec3(2.0f,1.0f,1.0f)); = T R mat4 frustum(float left, float right, float bottom, float top, float znear, float zfar); mat4 ortho(float left, float right, float bottom, float top, float znear, float zfar); mat4 lookat( vec3 eye, vec3 center, vec3 up); mat4 perspective( float fovy, float aspect, float znear, float zfar); S. Müller

20 Übergabe der Vertex-Attribute an Shader Keine Fixed Function Pipeline mehr (Ohne Shader kein Rendering) S. Müller

21 Einfache Variante (Variante 1) Im Vertex-Shader werden die Stream-Daten auf eine in - Variable abgebildet. Durch die Reihenfolge in der Shaderprogrammierung ergibt sich eine default-location (Index). Auf der OpenGL-Seite muss man den jeweiligen Buffer nur der jeweilige Location zuweisen. Diese entspricht auch dem Index zum Einschalten des Attributes Wir kennen die Location im Shader location 0 1 #version 330 //Vertex-Shader in vec2 position; in vec4 colour; out vec4 OutColour; void main(){ gl_position = position; OutColour = colour; glbindbuffer(gl_array_buffer, vertexbufferhandle); glvertexattribpointer(0, 2, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(0); } S. Müller

22 Variante 2: Eigenes Layout Wir setzen die Location im Shader #version 330 //Vertex-Shader layout (location = 4) in vec2 position; layout (location = 7) in vec4 colour; out vec4 OutColour; void main(){ } gl_position = position; OutColour = colour; OpenGL glbindbuffer(gl_array_buffer, vertexbufferhandle); glvertexattribpointer(4, 2, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(4); glbindbuffer(gl_array_buffer, colourbufferhandle); glvertexattribpointer(7, 3, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(7); S. Müller

23 Wir suchen die Variable im Shader und definieren eine Location Variante 3: Auf OpenGL-Seite #version 330 //Vertex-Shader in vec4 position; in vec4 colour; out vec4 OutColour; OpenGL glbindattriblocation( programhandle, 5, "position"); glbindattriblocation( programhandle, 9, "colour"); gllinkprogram(programhandle); Wichtig: vor dem Linken! glbindbuffer(gl_array_buffer, vertexbufferhandle); glvertexattribpointer(5, 2, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(5); glbindbuffer(gl_array_buffer, colourbufferhandle); glvertexattribpointer(9, 3, GL_FLOAT, GL_FALSE, 0, 0); glenablevertexattribarray(9); S. Müller

24 Variablen im/an den Shader S. Müller

25 Built-In Variablen Es gibt eine Reihe von vordefinierten input- und output- Variablen. Vertex-Shader in int gl_vertexid; out vec4 gl_position; Fragment-Shader in vec4 gl_fragcoord; in int gl_sampleid; out vec4 gl_fragcolor Genaue Aufstellung: #version 330 //Vertex in vec4 position; void main(){ gl_position = position; } #version 330 //Fragment void main(){ gl_fragcolor = vec4(1,1,0,1); } S. Müller

26 Uniform Variablen Neben den Stream-Werten (pro Vertex bzw. pro Fragment) kann man dem Shader noch uniforme (konstante) Variablen zuweisen #version 330 //Vertex-Shader in vec4 position; uniform vec4 colour; out vec4 OutColour; void main(){ gl_position = position; OutColour = colour; } GLuint unifcolourhandle = glgetuniformlocation( progrhandle, "colour"); GLfloat blue[] = { 0, 0, 1, 1}; gluniform4fv( unifcolourhandle, 1, blue); S. Müller

27 OpenGL Pipeline (Vertex-Shader) #version 330 //Vertex in vec4 positionattribute; in vec4 normalattribute; uniform mat4 uniformmodel; uniform mat4 uniformview; uniform mat4 uniformnormal; uniform mat4 uniformprojection; void main(){ vec4 modelviewposition = uniformview * uniformmodel * positionattribute; vec3 passnormal = normalize((uniformnormal * normalattribute).xyz); gl_position = uniformprojection * modelviewposition; } S. Müller

28 OpenGL Pipeline (Appl.) Gluint ModelHandle = glgetuniformlocation(programhandle, "uniformmodel"); Gluint ViewHandle = glgetuniformlocation(programhandle, "uniformview"); Gluint NormalHandle = glgetuniformlocation(programhandle, "uniformnormal"); Gluint ProjHandle = glgetuniformlocation(programhandle, "uniformprojection"); mat4 modelmatrix = rotate(mat4(1.0f), degrees(angle), vec3(1.0f,1.0f,0.0f)); gluniformmatrix4fv( ModelHandle, 1, GL_FALSE, value_ptr(modelmatrix)); mat4 viewmatrix = lookat(vec3(0.0f,2.0f,3.0f), vec3(0.0f,0.0f,0.0f), vec3(0.0f,1.0f,0.0f)); gluniformmatrix4fv(viewhandle, 1, GL_FALSE, value_ptr(viewmatrix)); mat4 projectionmatrix = perspective(60.0f, 4.0f / 3.0f, 0.1f, 100.f); gluniformmatrix4fv(projhandle, 1, GL_FALSE, value_ptr(projectionmatrix)); mat4 normalmatrix = transpose(inverse(viewmatrix * modelmatrix)); gluniformmatrix4fv(normalhandle, 1, GL_FALSE, value_ptr(normalmatrix)); } S. Müller

29 Framebuffer Objekte S. Müller

30 Framebufferobjects (FBOs) Statt in den Framebuffer direkt zu rendern, kann man Texturen attachen, in die gerendert werden soll (render to texture) Ein Framebuffer-Objekt kann mehrere Rendering-Ziele beinhalten - GL_COLOR_ATTACHMENT0 - GL_COLOR_ATTACHMENTn - GL_DEPTH_ATTACHMENT - GL_STENCIL_ATTACHMENT - Default Framebuffer wird vom Windows-Manager eingerichtet (Color, Depth und Stencil). S. Müller

31 FBOs Wie beim Vertex-Shader können auch dem FragmentShader Objekte zugeordnet werden Statt in den Framebuffer direkt zu rendern, kann man Texturen attachen, in die gerendert werden soll (render to texture) Ein Framebuffer-Objekt kann mehrere Rendering-Ziele beinhalten - GL_COLOR_ATTACHMENT0 - GL_COLOR_ATTACHMENTn - GL_DEPTH_ATTACHMENT - GL_STENCIL_ATTACHMENT - Default Framebuffer wird vom Windows-Manager eingerichtet (Color, Depth und Stencil). S. Müller

32 FBOs FBO generieren und binden glgenframebuffers( ) glbindframebuffer( ) Texturobj anlegen + binden glgentextures( ); glbindtexture( ); Textur anlegen und Parameter setzen glteximage2d( ); gltexparameteri( ); //Min/Mag-Filter wrap_s, wrap_t Textur an FBO attachen glframebuffertexture2d( ); Parameter legen fest, als was attached wird GL_COLOR_ATTACHMENT0 GL_COLOR_ATTACHMENTn GL_DEPTH_ATTACHMENT GL_STENCIL_ATTACHMENT Wichtig: Legt man eigenes FBO an, gehen die Defaults verloren. Also ohne eigenes Depth- Attachement gibt es keinen Sichtbarkeitstest. S. Müller

33 Beispiel: Shadowmap //creation of the framebuffer object GLuint framebufferhandle = 0; glgenframebuffers(1, &framebufferhandle); glbindframebuffer(gl_framebuffer, framebufferhandle); //creation of the depth texture GLuint depthtexturehandle; glgentextures(1, &depthtexturehandle); glbindtexture(gl_texture_2d, depthtexturehandle); glteximage2d(gl_texture_2d, 0,GL_DEPTH_COMPONENT16, 1024, 1024, 0, GL_DEPTH_COMPONENT, GL_FLOAT, 0); gltexparameteri(gl_texture_2d, GL_TEXTURE_MAG_FILTER, GL_NEAREST); gltexparameteri(gl_texture_2d, GL_TEXTURE_MIN_FILTER, GL_NEAREST); gltexparameteri(gl_texture_2d, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE); gltexparameteri(gl_texture_2d, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE); //bind the depth texture to the framebuffer glframebuffertexture2d( GL_FRAMEBUFFER, GL_DEPTH_ATTACHMENT, GL_TEXTURE_2D, depthtexturehandle, 0); gldrawbuffer(gl_none); // No color buffer is drawn to. S. Müller

34 ShadowMap Hauptschleife while //bind framebuffer and draw on it glbindframebuffer(gl_framebuffer, framebufferhandle); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT); glviewport(0,0,1024,1024); gluseprogram(depthwriteprogramhandle); //use shader set 1 gldrawarrays( ); //draw scene from light source //unbind the framebuffer object, render into the window instead glbindframebuffer(gl_framebuffer, 0); glviewport(0,0,800,600); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT); gluseprogram(shadowingprogramhandle); //use shader set 2 //bind the depth texture glbindtexture(gl_texture_2d, depthtexturehandle); gldrawarrays( ); //draw scene from camera glfwswapbuffers(); } S. Müller

35 Shader Set 1 (Tiefenmap generieren) Vertex Shader in vec3 pos; uniform mat4 Light_MVP; void main(){ } gl_position = Light_MVP * pos; Fragment Shader out float fragmentdepth; void main(){ } fragmentdepth = gl_fragcoord.z; Built-In Variable S. Müller

36 Shader Set Vertex Shader in vec3 pos; uniform mat4 MVP; uniform mat4 Light_MVP; out vec4 pos_lks; void main(){ } gl_position = MVP * pos; pos_lks = * Light_MVP * pos; Fragment Shader in vec4 pos_lks; uniform sampler2d tex; void main(){ } vec3 p = pos_lks.xyz / pos_lks.w; float depth = texture( tex, vec2(p.s,p.t)).x; if (depth < (p.z )) else //Schatten //Kein Schatten S. Müller

37 Computer Shader Eine kleine Einführung Jochen Hunz Folien angelehnt an: Mark Kilgard, Nvidia Corporation, OpenGL 4.3 and Beyond SIGGRAPH Asia 2012 Mike Bailey, Oregon State University S. Müller

38 OpenGL 4.3 Compute Shader Grid-oriented Single Program, Multiple Data (SPMD) execution model Ermöglicht beliebige Berechnungen auf GPU Raytracing Partikel Physik Fluide Filterung... Allgemein parallelisierbare Algorithmen Unabhängig von bekannten Shadern dispatchbar Kann Buffer, Texture Images, schreiben

39 Single Program, Multiple Data (SPMD) execution model Threads in Groups in Dispatches Jeder Thread hat eigene InvocationID gl_globalinvocationid = gl_workgroupid * gl_workgroupsize + gl_localinvocationid GlobalInvocationID sagt Thread wer bin ich? Super für z.b. Array / Buffer Indizierung Invocation (thread) work group dispatch

40 Einfaches Partikel-System: Compute Shader #version 430 layout(std140,binding=0) buffer Pos { vec4 Positions []; } layout(std140,binding=1) buffer Vel { vec4 Velocities[]; } Eingabe-Buffer const float dt = ; const vec3 gravity = vec3(0.0, -9.8, 0.0); Zeit und Schwerkraft layout( local_size_x = 64, local_size_y = 1, local_size_z = 1 ) in; void main() { uint gid = gl_globalinvocationid.x; vec3 p = Positions[gid].xyz; vec3 v = Velocities[gid].xyz; vec3 pp = p + v * dt * dt * dt * gravity; vec3 vp = v + gravity * dt; CheckAndHandleCollisions(); Positions[gid].xyz = pp; Velocities[gid].xyz = vp; } 64 Threads pro Gruppe work group p' = p + v * t + 0.5G * t² v' = v + G * t Beschreibe die Eingabe- Buffer mit neuen Werten

41 Einfaches Partikel-System: Anwendung 1) Buffer für Positions und Velocities initialisieren und füllen glgenbuffers, glbufferdata, glmapbufferrange 2) Buffer an layout binden glbindbufferbase(gl_shader_storage_buffer, 0, positionbuffer); glbindbufferbase(gl_shader_storage_buffer, 1, velocitybuffer); 3) Compute Shader schreiben, laden, attachen, linken GLuint compute_shader = glcreateshader(gl_compute_shader); glcreateprogram/glattachshader/gllinkprogram Nicht mit Render- 4) Programm benutzen Shadern kombinieren gluseprogram(compute_shader); 5) Dispatchen an beliebiger Stelle gldispatchcompute(anzahlpartikel/64,1,1); Beispiel 1024 Partikel: Dispatche 1024 / 64 = 16 Workgroups Jede Workgroup hat 64 Threads (siehe Folie vorher) Insgesamt also 16 * 64 = 1024 Threads => 1 Thread/Partikel 6) Partikel zeichnen gluseprogram(render_shader); glenablevertexattribarray, glbindbuffer, glvertexattribpointer gldrawarrays gldisablevertexattribarray dispatch Gleiche Buffer, z.b. positionbuffer

42

43