Computer Graphics and Animation in Games

Transkript

1 Computer Graphics and Animation in Games culling bloom advanced shading Some material based on Michael Wimmer, Michael Kalkusch, Peter Wonka, Francois Faure shadows 1

2 artificial intelligence? bump maps levels of detail texturing 2

3 But, most importantly all of this at 60 frames per second! 3

4 Aktuelles Beispiel: XBox One 4

5 Graphics Processing Unit GPU power increases much faster compared to CPU 5

6 6

7 Modern Graphics Pipeline Application Command Geometry Geometry A trip down the graphics pipeline Nowadays, everything is hardware accelerated Rasterization Texture Fragment Display Rasterization Fragment: pixel, but with additional info (alpha, depth, stencil ) 7

8 Vertex Programs 8

9 Vertex Programs Replace fixed function pipeline, therefore Need to supply input arguments Normally untransformed, unlit vertex Arbitrary arguments (lights, matrices, ) Specify output arguments At least transformed vertex Possibly color, texture coordinates, Exploit independence of vertices 1 vertex in, 1 vertex out Parallel vertex pipelines Dieter Schmalstieg 9 Programmable Shading 9

10 Vertex Program Examples Matrix skinning Cartoon-style rendering Dieter Schmalstieg 10 Programmable Shading 10

11 Vertex Program Examples Shadow projection Bump map setup Dieter Schmalstieg 11 Programmable Shading 11

12 Vertex Program Examples Dynamic vertex displacements Dieter Schmalstieg 12 Programmable Shading 12

13 Fragment Programs Dieter Schmalstieg 13 Programmable Shading 13

14 Shading Language Main dialects Microsoft High Level Shading Language (HLSL) OpenGL Shading Language (GLSL) Familiar C-like syntax Differences in program invocation Conventional: explicit Shader: for each element (vertex, primitive, fragment) Differences in program execution Conventional programs: single execution Shader programs: SIMD = single instruction multiple data (Parallel execution with multiple data) For each element in data stream (vertex, primitive, fragment) Dieter Schmalstieg 14 Programmable Shading 14

15 Display Buffers Application Command Geometry Rasterization Texture Fragment Display Geometry Rasterization What is stored in the display stage? 15

16 Depth-Buffer Methode (1) = Z-Buffer Methode Arbeitet im Image-Space Hardware-Implementierung auf GPU! Kein sortieren! 3-fache Flächenüberlappung an (x,y). Sichtbare Fläche S1 hat den kleinsten Tiefenwert. 16

17 Zwei Buffer Depth-Buffer Methode (2) Depth Buffer (Distanzinformation) Color Buffer (Intensitätsinformation) Größe = Bildschirmauflösung (für jedes Pixel: r, g, b, z) Zeichen-Prozedur = vergleiche z mit z in Buffer; wenn z näher zum Betrachter dann zeichne+aktualisiere z in Buffer sonst nichts! 17

18 Depth-Buffer Methode (3) Depth-Buffer beschreibt View Volume Von z near z far oder von

19 RGB & Depth buffer 19

20 Problem bei Animation: Screen Tearing 20

21 Double Buffering Bei Darstellung via Graphikkarte Front-Buffer: Bild n ist sichtbar Back-Buffer wird zum Zeichnen von Bildes n+1 verwendet Wenn Bild n+1 fertig: Buffer tauschen Vollständige Unterdrückung von Tearing benötigt zusätzlich Vertical Synchronization (VSync) Front Buffer 21

22 Game engines Examples Unreal Engine (Epic Games) Source Engine (Valve Corporation) Gamebryo Engine (Emergent Game Technologies) id Tech 5 (id Software) CryEngine (Crytek) 22

23 Game Engine Components Runtime library and tool set for computer game development Core functionality typically provided by a game engine includes: rendering engine (2D/ 3D) scene graph collision detection physics engine scripting animation artificial intelligence sound networking streaming memory management threading 23

24 Renderer Renderer Encapsulate all low level rendering (OpenGL, DirectX) Fast rendering of a collection of geometric primitives Primitives: triangle meshes, line lists, point lists, particles, etc. Management of materials and dynamic lighting Often based on scene graph 24

25 Scene Graph Hierarchical representation of objects in a scene 25

26 Transformation Accumulation 26

27 Display with Scene Graph std::tree<treenode*> SGRoot; To display all the objects in a scene: void displayscene() { displaynode(sgroot); } void displaynode( TreeNode *node ) { node->display(); // polymorphic method, different for each node! if(!node->isleaf()) { currentmatrix::multiply(node->getmatrix()); for( int nchild = 0; nchild < node->children.size(); ++nchild ) { displaynode( children[ nchild ] ); } } } 27

28 Typical Nodes Transformation Geometry Attributes (texture, texture parameter) Light parameters Simple animations Picking behavior 28 28

29 Scene Graph Event Handlers Event callback mechanism to intercept scene graph traversal cull called when the culling traversal visits the node draw called when the node is ready to be displayed Accumulate transformations in the draw handler Additional handlers pre-draw called BEFORE the draw traversal for the node is initiated Useful for setting OpenGL states (lighting, textures, render targets) post-draw called AFTER the node (and its children) have been rendered Reset current transformation matrix to the parent node transform update called when the state of the current node is changed in the tree 29

30 Computer Animation 30

31 Interpolation zwischen Ausgangslage (Keyframe k) Neuer Lage (Keyframe k+1) Key-Frame Animation Berechnen von Inbetweens Einfügen eines Hilfspunktes (3) Interpolation der Punkte 1, 2, 3 1, 2, 3 [Hearn,Baker] Fig , p740 31

32 Nichtlineare Key-Frame Animation Vorher: Interpolation entlang von Geraden Nachher: Interpolation mittels nichtlinearer Splines [Hearn,Baker] Fig , p740 [Hearn,Baker] Fig 13-13, p742 32

33 Zeitliche Parametrisierung Parametrisierung zwischen 2 Key-Frames: Linear, konstante Zwischenschritte x(t) = (1-t)*x(t 1 ) + t * x(t 2 ) t= i* (t 2 t 1 ) N t1 t2 33

34 Beschleunigung Parametrisierung zwischen 2 Key-Frames: Linear Nicht-Linear t1 t2 t1 t2 t1 t2 34

35 Vergleich Ease Out Ease In Ease In-Out 35

36 Kinematik Auch Dynamik genannt Beschreibung einer Animation durch Bewegungsparameter Position, Geschwindigkeit, Beschleunigung Ohne Angabe der Ursache der Bewegung Beispiel Position + Geschwindigkeit eines Festkörpers ergibt geradlinige Bewegung 36

37 Arten der Kinematik Benutzer erzeugt Koordinaten direkt Keyframe Animation Motion Capture Benutzer erzeugt Koordinaten indirekt Vorwärtskinematik Positionen beschrieben als Funktion der Zeit Inverse Kinematik Direkte Kinematik Vorwärtstransformation Gelenkwinkel Kartesische Koordinaten Inverse Kinematik Rückwärtstransformation 37

38 Kinematik Animation von beweglichen Körpern Zusammengesetzt aus Glieder Gelenke (joints) 38

39 Gelenke Gelenke beschränken die Bewegung der Glieder Verwendet zur Erzeugung von Hierarchien von Gliedern 39

40 Probleme der Vorwärtskinematik Externe Constraints werden nicht automatisch berücksichtigt inverse Kinematik 40

41 Inverse Kinematik Angabe von Anfangs- und Endpunkten (Constraints) System berechnet p, v, a für Inbetweens Arbeitsweise in Praxis Plazieren der Endglieder (Fuß, Hand, Kopf) für Keyframes Rest wird berechnet: Optimierung, Interpolation 41

42 Motion Capture (1/2) Menschliche Bewegung per Vorwärtkinematik Prinzip Reale Bewegungen aufzeichnen Schauspieler oder Puppe Monkey Tom Hanks in Polar Express 42

43 Hardware Motion Capture (2/2) Magnetische Sensoren Optische Aufzeichnung Elektro-mechanische Sensoren Electro-mechanical Optical 43

44 Skalierung Verformbare Modelle Nur lokale affine Transformation Spline-Oberflächen Animation der Kontrollpunkte Space-Warping Globale Verformung Free Form Deformation Artikulierte Objekte (Bones + Skin) Gesichter 44

45 Original Analytische Deformierungen Tapering (X,Y,Z) = (r(z)x, r(z)y, z) Twisting (x cosθ -y sinθ, x sinθ +y cosθ, z) Bending 45

46 Free Form Deformation (FFD) Tricubic Bezier-Patches Controlpunkte p ijk definieren eine Raumdeformation 2D-Analogie 46

47 FFD-Beispiel: Nase 47

48 Character Skinning Haut (BRep) angebracht an kinematischem Skelett Bones = Festkörper mit Koordinatensystem Kontinuierliche Mesh-Deformation 48

49 49

50 50

51 51

52 52

53 Probleme von trivialen Methoden Verbinde jeden Vertex zum nächsten Bone Selbstdurchdringung Aufreisen der Oberfläche 53

54 Skinning-Idea Vertex wird mit n nächsten Bones verknüpft Gewichtete Summe Fragen Welche Bones? Welche Gewichte? 54

55 Probleme 1. Extreme Deformationen 2. Zuwenig gestalterische Kontrolle 55

56 Ansatz von Mohr und Gleicher Einfügen zusätzlicher Knochen Optimieren der Gewichte über ganze Bewegung, basierend auf Benutzervorgaben Itererative Optimierung zu langsam für Spiele 56

57 Problem von linearer Interpolation Lineare interpolation Sphärische interpolation candy wrapper 57

58 Dual Quaternion Blending fdfsd Lösungsidee: Renormalisierung Mathematisch durch 8D-Parametrisierung der 6D Rigid Transform (dual quaternions) 58

59 Physikalisch-basierte Animation Allgemeine Kräfte Gravitation Spring-based models Constraints Physik-Engines wie Bullet, PhysX Partikelsysteme Rauch, Feuer, Regen, Nebel, etc. Snow Particle System Martin EZG2006 Kollisions-Erkennung Fire Particle System Christian EZG

60 Kollisions-Erkennung & Reaktion [imdb.com] Spider Man 3 (2007) 60

61 Kollisions-Erkennung und Reaktion 1) Beispiel: Ball + Boden 2) Physikalische Simulation Elastizität des Balls Dämpfung durch den Boden Gravitation, vielleicht Wind? 3) Kollisions-Erkennung 4) Veränderung des Systems Neue Richtung der Kugel Veränderung des Bodens? [Hearn,Baker] Fig 13-18, p745 61

62 Beispiel Game Developer 62

63 63

64 64

65 Fragen? 65