Modul: B-CG Grundlagen der Computergraphik im Sommersemester 2008

Transkript

1 Modul: B-CG Grundlagen der Computergraphik im Sommersemester 2008 Texturen Prof. Dr. Detlef Krömker Professur für Graphische Datenverarbeitung Fachbereich Informatik und Mathematik (12) Adobe Flash in 5 Days (Johannes Bufe) Praxis - Workshop mit integrierten Übungen Grundlagen Flash Studio CS3 Programmierung mit Action Script , 9:00 16:00 Uhr Raum 601 oraussetzungen: Grundlegende Programmierfähigkeiten: Sicherer Umgang mit Klassen, ariablen, Schleifen etc. Ideal: Erfahrung mit einer dem ECMA Script ähnlichen Sprache wie Java/Script, C++, C# oder Action Script 2 Max Teilnehmerzahl: 14 Kontakt und verbindliche Anmeldung: jbufe@gdv.cs.uni-frankfurt.de 2 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker LernBar Release 2 - Studio - Player - Portal Release 3 Planspiel (DOME) Also: mitmachen Ein Job für die SS-Ferien?? 3 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 1

2 Übersicht 1. Einführung 2. Diskrete und prozedurale Texturen 3. Generalisierte Textur-Pipeline 4. Texturmapping Ebene Polygone Zweischrittverfahren 5. Corresponder-erfahren 6. Texturabtastung Aliasing Mipmap, SAT, FPA 4 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Übersicht (Fortsetzung) 7. Beeinflussung der Beleuchtungsrechnung 8. Spezielle Texturen: 8.1 Environment-Mapping 8.2 Bump Mapping 9. Zusammenfassung 10. Ausblick Nächste Schritte 5 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Texturierung 6 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 2

3 Texturen In der Realität finden wir ein großes Spektrum geometrischer Feinstrukturen Maserungen und Muster von Holz, Marmorplatten, Tapeten Wolken, Rauch, Strukturen unebener Oberflächen z.b. Rauhputzwand, rauhes Leder, Apfelsinen oder Baumrinde im Hintergrund sichtbare Häuser, Maschinen, Pflanzen und Personen Die geometrische Form dieser Objekte durch Flächen exakt nachzubilden, ist um Größenordnungen zu aufwendig All it takes is for the rendered image to look right. 7 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Texturen Texturen bieten reichhaltige Möglichkeiten, das visuelle Erscheinungsbild von Objekten detailreicher zu gestalten. Die Oberfläche einer Wand kann durch eine einzige planare Fläche(ein Polygon) modelliert werden. Ein Tapezieren kann als Aufbringen eines Bildes auf die Wandoberfläche interpretiert werden. Diesen organg bezeichnet man als Texturierung. In diesem Bild: Die im Fenster sichtbare Außenwelt wird durch ein Bild representiert. 8 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Texturen das Mittelding zwischen geometrischer Modellierung und klassischer Beleuchtungsrechnung Geometrisches Modellieren Oberflächen(grob)strukur durch Geometrie Texturen aber wie?? Beleuchtungsrechnung Oberflächen(mirko)struktur durch z.b. Shininess-Faktor 9 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 3

4 Texturabbildungen Erste einfache Definition: Zweidimensionale Texturen oder kurz 2D-Texturen sind (Bild-) Funktionen, die Punkte der (u,v)-ebene auf (r,g,b)-farben abbilden: ( r, g, b) = c ( u, v) tex Das Mapping (engl.: Abbildung) beschreibt, wie eine 2D-Textur bzw. ein Ausschnitt aus einer 2D-Textur auf eine Fläche aufgebracht wird. Beim Rendering muß jedoch das inverse Mapping-Problem gelöst werden, d.h. den bekannten (x,y,z)-koordinaten des Flächenpunktes P müssen (u,v)-koordinaten zugeordnet werden: ( u, v) = F ( P) F ( x, y, z) inv map = inv map 10 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Texturabbildungen 11 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Texturabbildungen Die Texturierung einer Fläche mit einer 2D-Textur lässt sich dann mathematisch durch die Hintereinanderausführung dieser beiden Abbildungen beschreiben: ( r, g, b) = C ( F ( x, y, z)) tex invmap Dreidimensionale Texturen oder kurz 3D-Texturen sind Funktionen, die Punkte eines (u,v,w)-raumes auf (r,g,b)-farben abbilden: ( r, g, b) = C ( u, v, w) tex 12 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 4

5 3D-Texturen Sie werden auch als Festkörpertexturen bezeichnet. Häufig genannte Beispiele hierfür sind Holz- und Marmortexturen. Beim inversen Mapping ( r, g, b) = C ( u, v, w) tex müssen den (x,y,z)-flächenpunkten (u,v,w)-koordinaten zugeordnet werden. Man kann dietexturierung mit 3D-Texturen auch so interpretieren, daß die Körper quasi aus dem (u,v,w)-texturkörper herausgeschnitten werden. 13 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Diskrete und prozedurale Texturen Wir unterscheiden zwischen diskreten und prozeduralen Texturen Diskrete farbige 2D-Texturen der Breite n und Höhe m lassen sich so z.b. durch C( i, j) 0 i n 0 j m beschreiben, wobei C[i,j] ein ektor mit drei Farbkomponenten ist und als Texel (TEXtur ELement) bezeichnet wird. 14 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker orteile diskreter Texturen + das Generieren komplexer 2D-Texturen für die photorealistische isualisierung geht vergleichsweise schnell und einfach, z.b. durch fotografieren oder malen der Oberflächen. 15 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 5

6 Probleme diskreter Texturen Texturen mit hoher Auflösung (n,m) haben einen hohen Speicherbedarf. Beim ergrößern von Bildern treten Artefakte auf (Pixeleffekte) Beim Mapping auf beliebige Flächen treten erzerrungen und infolgedessen Abtast-Probleme auf. Fortsetzung (Aneinandersetzen, ergrößern) von Texturen ist oft problematisch Der in den Bildern dargestellte Kontext (Sonnenstand, Schattenwurf,...) stimmt häufig nicht mit der geplanten Szene überein. Die Suche nach geeigneten orlagen kann dann sehr aufwendig sein. 16 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Probleme diskreter Texturen Resampling Resampling-Methoden: nächstgelegener Nachbar (nearest neighbour) C un, vm : u<1,v<1 C n 1, vm : u=1,v<1 Ctex ( u, v) = C un, m 1 : u<1,v=1 C n 1, m 1 : u=1,v=1 vm i i + 1 un 17 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Probleme diskreter Texturen Resampling uˆ = un un 2. Bilineare Interpolation vˆ = vm vm C ˆ ˆ 0( u, v) = u * C un + 1, vm + (1 u)* C un, vm C ˆ ˆ 1( u, v) = u * C un + 1, vm (1 u)* C un, vm + 1 C ( u, v) = vˆ * C ( u, v) + (1 vˆ )* C ( u, v) tex 1 0 vm +1 vm 3. Aufwendigere Filtern (später) vm un un un B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 6

7 Abtastung diskreter 2D-Texturen Entspricht einem Resampling eines Digitalen Bildes Einfache Funktionen wie nearest neightbour bilinbeare Interpolation erzeugen gravierende Aliasing-Effekte 19 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Beispiel (Minification) Abbildung einer Reihe Pixel auf eine Schachbrett-Textur 20 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Probleme Pixellation oder Unschärfe (Magnification) Ausgangstextur: 32 x 64 Texels Nearest Neighbour bilineare Interpolation 21 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 7

8 Prozedurale Texturen Prozedurale Texturen werten bei jedem Aufruf von C tex( u, v) bzw. C tex( u, v, w) eine Formel bzw. einen (fraktalen) Algorithmus aus. Dies hat folgende orteile: + Der Speicheraufwand ist minimal. + Die Texturwerte können an jeder Stelle ( u, v) bzw. (u, v, w) mit optimaler Genauigkeit berechnet werden. + Die Texturen sind im gesamten Raum definiert. - Der entscheidende Nachteil prozeduraler Texturen ist, dass selbst Experten Probleme haben, komplexe Texturen, die sie bildlich vor Augen haben, durch mathematische Formeln zu beschreiben. (hilfreich sind auf jeden Fall gute Grundkenntnisse der Fourier-Synthese und der fraktalen Geometrie). 22 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker (x,y) Generalisierte 2D-Textur-Pipeline (1) Berechne Objektraumkoordinaten Projektorfunktion Mapping Corresponder-Funktion Texturwert- Transformation (x,y,z) (u,v) (s,t) (r,g,b), f (s,t) 1. Aus 2D-Bildschirmkoordinaten in den 3D-Objektraum zurückprojezieren 2. Anwenden der Projektorfunktion: Mapping Planar, Kugel, Zylinder, Quader (box), bei parametrischen Flächen ggf. nicht nötig Beim Realtime-Rendering i.d.r. schon beim Modeling ausgeführt und (u,v)- Werte, in den ertices gespeichert und dann interpoliert. (Aber z.b. OpenGL stellt einige Mappingmethoden zur erfügung). Modifiziere Beleuchtungsgleichung 23 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker (x,y) Generalisierte 2D-Textur-Pipeline (2) Berechne Objektraumkoordinaten Projektorfunktion Mapping 3. Corresponder- Funktion: Transformation vom Parameterraum zum Texturraum (-ebene) (Texturkoordinaten): Weitere Matrix-Transformation (OpenGL): translieren, rotieren, skalieren,... Fortsetzungsmodi: wrap (repeat, tile), mirror, clamp, border 4. Abtasten des Texturwertes und Wertanpassung Corresponder-Funktion Texturwert- Transformation (x,y,z) (u,v) (s,t) (r,g,b), f (s,t) Modifiziere Beleuchtungsgleichung 5. Modifiziere Beleuchtungsrechnung: Replace, Modulate (Multiplikation) den (r,g.b)-wert oder irgend einen anderen Parameter der Beleuchtungsgleichung (siehe unten) 24 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 8

9 (x,y) Inverses Mapping der Bildschirmkoordinaten Berechne Objektraumkoordinaten Projektorfunktion Mapping Corresponder-Funktion Texturwert- Transformation (x,y,z) (u,v) (s,t) (r,g,b), f (s,t) Modifiziere Beleuchtungsgleichung Oft sind jedem Eckpunkt eines polygonalen Modells Texturkoordinaten (u,v) beim Modelling zugeordnet worden also zum Zeitpunkt des Rendering bekannt Rückprojektion und Mapping werden in der Regel zusammengefasst Gesucht ist eine Operation, die bilinear interpolierte (x,y)-koordinaten auf (u,v) abbildet 25 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Fehler bei einfacher Interpolation Wird die Texturierung in den Prozess der Rasterung integriert, so ist zu beachten, das die Textur perspektivisch korrekt verzerrt wird. Einfache Interpolation der Texturwerte aus den Texturwerten an den Eckpunkten führt zu Artefakten. 26 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Prinzip Inverses Mapping. In homogenen Koordinaten kann das Texturmapping ausgedrückt werden durch: x' a b c u' x' y' u' v' y ' = d e f v ' mit (x, y) = (, )und(u, v) = (, ) (normalisi eren! ) w w q q w g h i q bzw. dessen Inverse u' A = v ' D q G B C x' E F y ' H I w Wenn die Transformationen eines Eckpunktes, z.b. eines Dreiecks bekannt sind, kann diese Matrix bestimmt werden 27 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 9

10 Inverses Mapping durch bilineare Interpolation In der Praxis: Texturkoordinaten und z-wert oder Beleuchtungsparameter im Scanline-Modus interpolieren Aufgrund der perspektivischen erzerrung kann dieses für (u,v) nicht linear erfolgen, sondern muß für ( u', v', q) u' u =, q linear interpoliert werden, mit v' v =, q 1 q = z 28 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Texturierung komplexer Objektoberflächen Bisher wurde Textur-Mapping für ein einzelnes Polygon beschrieben. Besteht ein Objekt aus sehr wenigen Polygonen, dann kann ein Anwender diese Zuordnung der (u i,v i )-Parameter unter Umständen noch interaktiv am Bildschirm vornehmen. Bei komplexeren Objekten ist dies jedoch praktisch unmöglich. 29 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Zweischrittverfahren (Two-Part Mapping) Bier und Sloan (86 ) haben ein Zweischrittverfahren vorgestellt, das die (u,v)-berechnung automatisiert. Grundidee: ein komplexes Objekt, das aus beliebig vielen primitiven Teilobjekten bestehen darf, wird mit einer einfach parametrisierbaren, virtuellen Fläche umhüllt. Die 2D-Textur wird dann zunächst einmal auf diese umhüllende Fläche abgebildet, und erst von dort aus auf die Objektoberfläche. Geeignete umhüllende Flächen sind Zylinder-, Kugel- und Quaderoberflächen. 30 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 10

11 Zylinder-Mapping Das Objekt wird von einem endlichen Zylinder umhüllt. Die Berechnungen sind besonders einfach, wenn die Zylinderhauptachse parallel zur z-achse des Objektraumkoordinatensystems verläuft. Die Endpunkte der Achse sind dann durch die Koordinaten ( x ) und zyl, y zyl, zzyl min ( xzyl, y zyl, zzyl max ) gegeben. Die Zylinderoberfläche läßt sich leicht durch einen Rotationswinkel φ und die Höhe h parametrisieren. Punkte (x,y,z) im Innern des Zylinders werden dann senkrecht von der Zylinderachse aus auf die Zylinderoberfläche projiziert, und deren (φ,h)-parameter werden, nach entsprechender Normierung, als (u,v)-parameter interpretiert. 31 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Kugel-Mapping Kugeloberflächen können leicht durch Kugelkoordinaten φ und θ parametrisiert werden. Hat eine umhüllende Kugel den Mittelpunkt (x s,y s,z s ), dann werden Punkte (x,y,z) im Kugelinnern vom Mittelpunkt aus auf die Kugeloberfläche projiziert. Dadurch werden ihnen die Parameter u und v zugeordnet: = arctan 2 ( 2 2 ( x xs) + ( y ys ), z zs ) π + arctan 2( y ys, x xs) u 2π v = π z θ x φ y 32 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Box-Mapping Beim Box-Mapping beschreibt die umhüllende Fläche einen Quader. In der Regel wählt man hierfür die achsenparallele Bounding Box des Objekts. Eine mögliche Parametrisierung von Punkten (x,y,z) im Innern der Bounding Box definiert einfach die längste Kante der Bounding Box als u-achse und die zweitlängste Kante als v-achse. Gilt also z.b. ( x x ) ( y y ) ( z z ) box box box box box box,max,min,max,min,max,min dann kann man die Texturparameter einfach durch x xbox,min y ybox,min u = und v = xbox,max xbox,min ybox,max ybox,min berechnen. x z u v y 33 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 11

12 (x,y) Corresponder Funktion Berechne Objektraumkoordinaten Projektorfunktion Mapping Transformation vom Parameterraum zum Texturraum (Texturkoordinaten): Weitere Matrix-Transformation (OpenGL): translieren, rotieren, skalieren,... möglich Nicht immer realisiert Corresponder-Funktion Texturwert- Transformation (x,y,z) (u,v) (s,t) (r,g,b), f (s,t) Fortsetzungsmodi: wrap (repeat, tile), mirror, clamp, border Modifiziere Beleuchtungsgleichung 34 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Fortsetzungsmodi wrap mirror clamp border Häufige Forderung an die Textur: anreihbar! 35 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker (x,y) Texturwert-Abtastung Berechne Objektraumkoordinaten Projektorfunktion Mapping Corresponder-Funktion Texturwert- Transformation (x,y,z) (u,v) (s,t) (r,g,b), f (s,t) Modifiziere Beleuchtungsgleichung Resampling des Texturwertes und ggf. Wertanpassung 36 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 12

13 Filterung diskreter 2D-Texturen u v t u v t r1 = (, ), r2 = (, ) x x y y Die Projektion eines z.b. quadratischen Bildschirmpixels (Kantenlänge 1) auf die Texturebene, wird Footprint genannt (= beliebiges iereck) und wird näherungsweise als ein Parallelogramm angenommen, das von den ektoren aufgespannt wird. Bei den Echtzeitverfahren wird dieser Footprint nun durch einfachere Flächen ersetzt, für die die Summe oder der Mittelwert der dazugehörenden Texturwerte im voraus berechnet werden kann. 37 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Mip-Mapping Das wichtigste und bekannteste erfahren für Echtzeitanwendungen ist das Mip-Mapping- erfahren. Eine Mip-Map Cmip [i,j] speichert eine quadratische Textur C[i,j] der Größe n n, wobei n = 2k eine Zweierpotenz sein muß, in fortlaufend halbierten Auflösungsstufen. 38 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Mip-Mapping Auf der Stufe d=0 werden die Texturwerte direkt übernommen. C [ i, j] = C[ i, j], 0 i,j<2. 0 k mip Cmip 1 [ i, j] = Cmip 4 [2 i, 2 j] + Cmip [2i + 1, 2 j] + Cmip [2 i, 2 j + 1] + Cmip [2i + 1,2 j + 1] d d d d d < < ( ) k-d 1 d k -1 und 0 i, j 2. Die übrigen Stufen d entstehen durch Filterung der jeweils vorhergehenden Stufe. Auf der Stufe d der Texturhierarchie werden also 2 2d Texel der Originaltextur als ein einziges Texel dargestellt. 39 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 13

14 Mip-Mapping Nach dieser nur ein einziges Mal zu berechnenden orfilterung können beliebige Flächenelemente folgendermaßen texturiert werden: die Texturkoordinaten (u,v) des Pixelmittelpunkts und die Ableitungen nach den Bildschirmkoordinaten u v u v,,, seien gegeben. Dann hat die x x y y Projektion des quadratischen Pixels auf die Texturebene, also der Footprint, die Kantenlängen 2 2 u u a = + x y u y 2 2 v v b = +. x y u x 40 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Mip-Mapping Als Seitenlänge des quadratischen Footprints wählt man oft l=max(a,b). Das Maximum und nicht etwa der Mittelwert wird deshalb gewählt, weil die entstehende zusätzliche erschmierung des Ergebnisbildes durch zu große Footprints eher in Kauf genommen werden kann als Aliasing durch zu kleine Footprints. Unter diesen oraussetzungen kann der Gesamttexturwert auf der Stufe d= log2(l) gemäß d C ( u, v, d) = BiLinInt( C, u, v) tex mip berechnet werden. Dies geht natürlich nur, wenn d ein ganzzahliger Wert ist. Ist dies nicht der Fall, dann muß d entweder zum nächstgelegenen ganzzahligen Wert gerundet werden, oder aber man führt eine lineare Interpolation zwischen den beiden benachbarten Stufen d und d+1 durch. Als Ergebnis der sog. trilinearen Interpolation erhalten wir dann: C u v d d d BiLinInt C u v d d BiLinInt C u v (,, ) = ( )* (,, ) + ( + 1 )* (,, ). d + 1 d tex mip mip 41 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Summed Area Tables (SAT) Die Richtungsabhängigkeit der Projektion (Anisotropie) des Footprints kann durch das Mip-Mapping gar nicht berücksichtigt werden. SAT erlauben anstatt der Approximation durch Quadrate (u,v)-achsenparallele Rechtecke zu verwenden und somit diesem Defizit etwas Rechnung zu tragen. u x u y Quadratische Approximation des Footprints beim MipMap-erfahren 42 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 14

15 Summed Area Tables (SAT) Der Berechnungsaufwand der einfachsten Methode, das arithmetische Mittel über alle Texturwerte eines (u,v)-achsenparallele Rechtecks ((i 0,j 0 ),(i 1,j 1 )) zu berechnen, ist proportional zur Größe des Rechtecks: i1 j1 C[ i, j] i= i0 j= j0 Cavg ( i0, j0, i1, j1) = ( i i + 1)( j j + 1) Berechnet man dagegen in einem orverarbeitungsschritt eine sogenannte Summed-Area-Tabelle i j = i= i j sat s s = j 0 0 s s C ( i, j ) C[ i, j] und setzt C [ i, 1] = C [ 1, j] = 0, sat sat 43 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Summed Area Tables (SAT) Dann kann C avg alternativ mit konstantem Berechnungsaufwand, unabhängig von der Rechteckgröße berechnet werden: i1 j 1 C[ i, j] i= i 0 j= j0 Cavg ( i0, j0, i1, j1) = ( i i + 1)( j j + 1) C i j i j C [ i, j ] C [ i 1, j ] C [ i, j 1] + C [ i 1, j 1] ( i i + 1)( j j + 1) sat 1 1 sat 0 1 sat 1 0 sat 0 0 avg ( 0, 0, 1, 1) = B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Footprint-Assembly (FPA) Die wesentliche Idee des FPA-erfahrens besteht darin, die leicht und schnell zu erzeugenden Mip-Maps so einzusetzen, daß der näherungsweise als Parallelogramm angenommene Footprint möglichst genau abgedeckt wird. Auf diese Weise wird ein hoher Rechenaufwand vermieden und trotzdem eine anisotrope Texturfilterung erreicht. Das Problem besteht nun darin, den Footprint durch N quadratische Texturfelder (Mip-Map-Zugriffe) möglichst genau und mit geringem Rechenaufwand zu approximieren. C i j i j C [ i, j ] C [ i 1, j ] C [ i, j 1] + C [ i 1, j 1] sat 1 1 sat 0 1 sat 1 0 sat 0 0 avg ( 0, 0, 1, 1) = ( i1 i0 + 1)( j1 j0 + 1). 45 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 15

16 Footprint-Assembly (FPA). Aus praktischen Gründen wird dabei N = 2 m gewählt, da auf diese Weise die endgültige Texturfarbe durch Aufsummieren und einfache Division durch eine Zweierpotenz (Shift) ermittelt werden kann. Für N kann eine Obergrenze angegeben werden, um die Rechenzeit ohne merkliche Qualitätseinbußen wesentlich zu verkürzen. 46 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Footprint-Assembly (FPA) Für die Berechnung der Mip-Map-Stufe werden die ektoren u v t u v t r1 = (, ), r2 = (, ) x x y y verwendet, die auch beim normalen Mip-Mapping zur Bestimmung der Stufe herangezogen werden. Dabei sind u,v die Texturkoordinaten und x,y die Bildschirmkoordinaten des Pixels. Ausgehend vom in die Texturebene projizierten Pixelmittelpunkt (u,v) erfolgen die Mip-Map-Zugriffe in Schritten entlang einer Geraden. Dabei wird der betragsmäßig größere der beiden ektoren r 1 bzw. r 2 als Schrittrichtung r=(r u,r v ) t verwendet. Die Mip-Map-Stufe d ist dann durch die Kantenlänge l = min( r1, r2 ) als d = log 2( l) und die Anzahl der Mip-Map-Zugriffe durch max( r1, r2 ) N =, gerundet auf die nächstliegende Zweierpotenz, gegeben. l 47 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Footprint-Assembly (FPA) Mit Hilfe des Schrittvektors r=( u, v) der sich aus der Schrittrichtung durch ru rv u = und v N = N berechnet, können nun die Koordinaten (u n,v n ) für die einzelnen Zugriffe bestimmt werden: n ( un, vn) = ( u, v) + ( u, v), wobei n = ± 1, ± 3, ± 5,...,( N 1). 2 Die Farbe des Pixels ergibt sich dann als arithmetischer Mittelwert aller Zugriffe. 48 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 16

17 (x,y) 5. Modifiziere Beleuchtungsrechnung Berechne Objektraumkoordinaten Projektorfunktion Mapping Corresponder-Funktion Texturwert- Transformation (x,y,z) (u,v) (s,t) (r,g,b), f (s,t) Modifiziere Beleuchtungsgleichung Potentiell ist jeder Parameter der Beleuchtungsrechnung beeinflussbar 49 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Beeinflussung der Beleuchtungsrechnung Basis für die folgenden Betrachtungen: Erweitertes Blinn-Phong-Modell, also: k k itot = aglob mamb + memi + cspot ( iamb k k + d ( i k diff + i k spec ) i i i amb diff spec = m amb = max( = max( s amb ( n l),0) mdiff sdiff mshi ( h n),0) mspec sspec n l h v l, n, h, v normiert 50 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Beeinflussung der Beleuchtungsrechnung (1) 1. Ersetzen der Objektfarbe durch Textur (replace) Bei dieser einfachsten Art der Texturierung wird die Objektfarbe durch die Farbe der Textur ersetzt. Jegliche Beleuchtungeffekte des Objekts werden unwirksam, außer die Textur selbst enthält Beleuchtungseffekte. c out = c tex A posteriori Skalierung des Farbwertes (modulate) Eine der am häufigsten angewandten Techniken führt die Beleuchtungsrechnung und das Shading mit konstanten Beleuchtungsparametern durch und skaliert den Beleuchtungswert i tot erst im nachhinein komponentenweise mit dem Texturwert c tex cout = itot ctex Wenn hier als Objektfarbe weiß gewählt wird, enthält diese die Schattierungsinformation und die Textur die Farbinformation des Objektes. 51 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 17

18 Beeinflussung der Beleuchtungsrechnung (2) 3. Modulation der Flächenfarbe Die Flächenfarbe wird im wesentlichen durch den Materialparameter m diff, im geringeren Maße aber auch durch den Parameter m amb bestimmt. Also mdiff = mdiff ' ctex mamb = mamb ' ctex zu setzen. Der wesentliche Unterschied zu 2. besteht darin, dass die spekularen Reflektionen und Emissionen von der Textur unbeeinflusst bleiben. 52 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Beeinflussung der Beleuchtungsrechnung (3) 4. Modulation der spekularen Reflektion m spec = m spec c tex Die Highlights können dadurch unregelmäßig gestaltet werden. Interessant ist diese Methode vor allem im Zusammenhang mit dem Reflection-Mapping und Environment-Mapping (später) 53 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Beeinflussung der Beleuchtungsrechnung (4) 5. Modulation der Transparenz Durch die Modulation des Transparenzparameters α = α * α obj tex können sehr realistisch aussehende Effekte erzielt werden: α=1 Objekte hinter diesem Flächenpixel sind vollständig sichtbar α=0 so wird kein Licht durchgelassen ansonsten wird mit dem Wert von α gefiltert. Bei Beschränkung auf die Werte 0 und 1 kann durch die Textur zwischen Sichtbarkeit und Unsichtbarkeit des Objekts ''umgeschaltet'' werden. Dadurch können auch kompliziert geformte Flächen aus einfachen Flächen ''ausgeschnitten'' werden. Mit stochastischen Werten für α können z.b. verschmutzte und milchige Glasscheiben modelliert werden. 54 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 18

19 Beeinflussung der Beleuchtungsrechnung (5) 6. Perturbation des Normalenvektors Beim Bump Mapping wird mit Hilfe einer skalarwertigen Textur eine Offsetfläche P'(s,t) definiert. Die Normalenvektoren der Offsetfläche werden dann als ariationen der Normalenvektoren der Basisfläche interpretiert (Details kommen später) 7. Modulation von Lichtquellenparametern Eine weitere Möglichkeit besteht darin, Lichtquellenparameter durch Texturen zu beeinflussen. Besonders anschaulich ist dies bei Projektorlichtquellen. Dabei wird eine zweidimensionale Textur in den Raum projiziert, d.h. die Lichtemission wird in Abhängigkeit von der Lichtrichtung moduliert: Li ~ Ctex ( Finvmap ( L r i)). 55 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Beeinflussung der Beleuchtungsrechnung (6) 8. Höhenfelder und Offsetflächen Hierbei wird mit Hilfe von Texturen die tatsächliche Geometrie von Oberflächen verändert. Darauf beruht das sogenannte Displacement-Mapping. 9. und viele andere Möglichkeiten 56 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Texturierung und Gouraud-Interpolation Bei Gouraud-interpolierten Dreiecken kann nur die Beleuchtungsrechnung 2. A posteriori Skalierung des Farbwertes (modulate) angewendet werden. Die Möglichkeit der alternativen oder auch kombinierten Anwendung der Texturierungen 3. bis 8. besteht nur bei isualisierungsverfahren, die entweder eine explizite Beleuchtungsrechnung in jedem Pixel durchführen oder die verschiedenen Anteile der Phong-Beleuchtungsgleichung getrennt durch Gouraud-Interpolation berechnen. 57 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 19

20 Übersicht (Fortsetzung) 7. Beeinflussung der Beleuchtungsrechnung 8. Spezielle Texturen: 8.1 Environment-Mapping 8.2 Bump Mapping 9. Zusammenfassung 10. Ausblick Nächste Schritte 58 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Environment Mapping (Reflection Mapping) eine einfache Möglichkeit, Reflektionen (zumindest approximativ) mit Hilfe von Textur-Hardware zu berechnen. Grundidee: Ist ein Objekt verglichen mit dem Abstand zu umgebenden Objekten klein, so hängt die einfallende Beleuchtsstärke nur von der Richtung, nicht von der Position eines Punktes auf dem Objekt ab. Daher kann die einfallende Beleuchtung für ein Objekt vorberechnet und in einer 2D-Textur, der Environment Map gespeichert werden. 59 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Prinzip des Environment Mapping Anschaulich wird das reflektierende Objekt von einer virtuellen Kugel (oder auch virtuellen Würfel) umgeben, auf deren Innenseite die Szenenumgebung als zweidimensionale Textur, die Environment Map) aufgetragen ist. Einem Punkt P auf der Objektoberfläche werden dann Texturkoordinaten (u,v) zugeordnet. Die Richtung R und damit die Texturkoordinaten (u,v) können einfach aus der Richtung zur Kamera und der Normale N in Punkt P berechnet werden: ( u, v) N R R = 2(N)N ( θ, φ) ( u, v) P 60 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 20

21 Diskussion: Environment Mapping (1) Für die Beleuchtungsrechnung wird ein nochmals erweitertes Blinn-Phong- Beleuchtungsmodell, das auch Reflektionen berücksichtigt angewendet: k k k k k i tot = a glob mamb + memi + cspot ( iamb + d ( idiff + i spec) + ki reflmap ( φθ ) k orteile des Environment Mapping + schnell und einfach zu berechnen + liefert gute isualisierungsergebnisse, wenn die Textur z.b. den Himmel oder einen weit entfernten Horizont repräsentiert. + kann verwendet werden, um große ausgedehnte Lichtquellen als Textur darzustellen. 61 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Environment Mapping Nachteile: - Die Reflektionsberechnung ist nur dann korrekt, wenn der Objektpunkt P sich im Weltmittelpunkt W befindet. Mit zunehmendem Abstand zwischen P und W treten verstärkt erzerrungen auf. 62 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Environment Mapping - Ist die Environment Map schlecht parametrisiert, können erhebliche Aliasing- Probleme auftreten. - Es wird keine erdeckungsrechnung durchgeführt. Das Problem, dass der reflektierte Strahl R auf ein blockierendes Szenenobjekt treffen kann, wird ignoriert. - Szenenobjekte können sich nicht gegenseitig widerspiegeln. Bei der Reflektionsberechnung wird nur die a priori berechnete Environment Map berücksichtigt. 63 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 21

22 Parametrisierung von Environment Maps Blinn, Newell 1976 verwendeten Kugelkoordinaten zur Parametrisierung der Environment Map. Diese werden dann als Texturkoordinaten auf dem Objekt verwendet. Ist der Reflektierte Strahl R=(R x,r y,r z ) gegeben, so berechnen sich (φ,θ) analog wie beim Kugel-Mapping gemäß z θ = arccos( Rz ) θ arccos( Rx / sin θ ), falls Ry 0 φ = 2π arccos( Rx / sin θ ), sonst x φ y 64 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Parametrisierung von Blinn und Newell + Einfach verständlich, älteste Parametrisierung. Die Erzeugung der Environment Map ist kompliziert. In der Praxis wird meist eine Environment Map, die auf den Innenseiten eines Würfels aufgebracht ist, entsprechend umgerechnet. - Die Parametrisierung mittels Kugelkoordinaten ist schlecht. Um die Pole liegen wesentlich mehr Texel/Fläche als am Äquator. Das führt zu einer schlechten Abtastung. - Wird gegenwärtig nicht von Hardware unterstützt. - Ein Dreieck, das den Pol enthält, enthält den Pol nicht mehr, wenn linear in Polarkoordinaten interpoliert wird. - Schneidet ein Dreieck die Linie mit φ=0, so schneidet ein linear interpoliertes Dreieck diese nicht mehr. 65 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Parametrisierung von Greene Greene 1986 verwendet anstatt der Projektion der Umgebung auf eine Kugel eine Projektion auf einen Würfel. Die Environment Map besteht aus 6 ebenen Texturen entsprechend den 6 Würfelseiten. Zur Erzeugung wird eine Kamera in der Mitte des Würfels platziert und 6 Aufnahmen in jede Richtung gemacht. In der Praxis wird die Szene ausgehend vom Mittelpunkt des Objekts 6 mal mit unterschiedlichen Blickrichtungen gerendert. Je nach Richtung des reflektierten Strahls wird eine der 6 Texturen ausgewählt. + Die Parametrisierung ist regelmäßiger als eine Kugelparametrisierung. + Die Environment Map kann einfach mit Hilfe von Hardware erzeugt werden. 66 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 22

23 Parametrisierung von Environment Maps Die Projektion auf einen Würfel hat auch Nachteile: -Liegen die Texturkoordinaten von Eckpunkten von Dreiecken des Objekts in unterschiedlichen Würfelseiten, so ist es schwierig dazwischen zu interpolieren. Eine Methode ist, diese Dreiecke entsprechen zu unterteilen. - Filterung und bilineare Interpolation entlang Würfelkanten ist schwierig 67 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Parametrisierung von Environment Maps Die Environment Map ist abhängig vom Objektmittelpunkt! 68 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Sphere Mapping OpenGL unterstützt Environment Mapping mit der sogenannten Sphere Map. Dabei wird die gesamte umhüllende Kugel des Objekts, auf deren Innenseite wie beim Standard Environment Mapping die Textur der Umgebung aufgebracht ist, auf einen Kreis abgebildet: R N Bild, Textur R 69 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 23

24 Sphere Mapping Rückseite orderseite Linke Seite Rechte Seite Oben Unten Abbildung von 6 Würfelseiten auf eine Sphere Map 70 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Berechnung einer Sphere Map 71 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Sphere Mapping Berechnung von Texturkoordinaten in einem Punkt P des Objekts: Sei R = (R x,r y,r z ) t die Richtung des reflektierten Strahls (sie ist abhängig von der aktuellen Beobachtungsrichtung!). Dann berechnen sich die Texturkoordinaten (u,v) t wie folgt. Für den reflektierten Strahl gilt: R = 2( N ) N mit N=(N x,n y,n z ) t =(u,v,n z ) t und =(0,0,1). Daraus folgt Rx 0 u u 0 2Nzu R y 2 0 v v 0 2Nzv = = 2 R z 1 N z N z 1 2N z 1 v ( u, v) R N P Auflösen nach u und v liefert R R x y u =, v = 2( R + 1) 2( R + 1) z z u 72 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 24

25 or/nachteile -Interpolation der Texturkoordinaten führt zu Artefakten. - Unregelmäßige Abtastung: Maximale Abtastraten in Richtungen entgegen der Beobachtungsrichtung, Abtastrate in Richtung der Beobachtungsrichtung geht gegen 0. In Beobachtungsrichtung hat die Parametrisierung eine Singulartität. - Aliasing Probleme vor allem am Rand. Relativ gute Abtastung. Beabsichtigte Interpolation Tatsächliche Interpolation mit Hardware, Wrapping Effekt 73 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Dual-Parabolisches Mapping Heidrich und Seidel (1999) verwenden als reflektierendes Objekt anstatt einer Kugel zwei Paraboloide f ( x, y) = ( x + y ), x + y Im Gegensatz zum Sphere-Mapping, wo die gesamte Umgebung in einer Textur abgelegt wird, werden zwei Texturen verwendet. Eine für die Halbkugel entgegen der Blickrichtung (hinten) und eine in Blickrichtung (vorne). Für die Normale im Punkt (x,y) ergibt sich: N x 1 N = y 2 2 x + y B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Dual-Parabolisches Mapping Berechnung von Texturkoordinaten in einem Punkt P des Objekts: Sei R = (R x,r y,r z ) t die Richtung des reflektierten Strahls (sie ist abhängig von der aktuellen Beobachtungsrichtung!). Dann berechnen sich die Texturkoordinaten (u,v) t wie folgt. Für den reflektierten Strahl gilt: R = 2( N ) N Frontside mit N=(N x,n y,n z ) t = 1 ( u, v,1) t 2 2 u + v + 1 und =(0,0,-1). Daraus folgt v R 2 u 2 2 R 1 x 0 u u 0 u + v + ( u, v ) 1 2 R y 2 0 v v 0 v = u v 1 = u v 1 R + + z u u + v + 1 R R x y Auflösen nach u und v liefert u =, v = 1 R 1 R 75 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker z z N P 25

26 or-und Nachteile + Dual-parabolic Maps lassen sich mit einfachen Matrizenoperationen für unterschiedliche Blickrichtungen umrechnen. D.h. sie sind blickpunktsabhängig. + Wesentliche gleichmäßigere Abtastung als beim Sphere-Mapping. + Weniger Aliasing Probleme. - Interpolation der Texturkoordinaten führt zu Artefakten. - Noch nicht in Hardware verfügbar. Würfel auf Dual-Parabolische Maps abgebildet. 76 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Bump Mapping Mit den bisher beschriebenen Texturierungstechniken können nur Materialparameter variiert und Beleuchtungsergebnisse skaliert werden. Beleuchtete Flächen sehen dadurch bereits sehr viel variantenreicher und damit auch realistischer aus, trotzdem wirken sie häufig immer noch zu glatt. Ziel: 77 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Bump Mapping Gesucht ist daher eine einfache Technik, mit deren Hilfe Flächen rauh, runzlig, geknittert oder gekräuselt erscheinen. Wollte man diese kleinen Unebenheiten geometrisch exakt modellieren, so könnte man z.b. zu einer gegebenen parametrischen Grundfläche P(u,v) ein zweidimensionales Höhenfeld h(u,v) addieren und würde so die Offsetfläche N( u, v) P ( u, v) = P( u, v) + h( u, v) N ( u, v ) erhalten. 78 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 26

27 Bump Mapping Für kleine Höhenwerte ist dieser Ansatz jedoch zu rechenaufwendig. Außerdem zeigt das Phong-Beleuchtungsmodell, dass die exakten geometrischen Positionen der Flächenpunkte P(u,v) bzw. P'(u,v) gar nicht direkt in die Beleuchtungsrechnung eingehen. iel wichtiger sind die Normalenvektoren N(u,v). Die wesentliche Idee der Bump-Mapping-Technik besteht konsequenterweise darin, dass es für kleine Unebenheiten h(u,v) ausreicht, die isualisierung mit der Originalgeometrie P(u,v) durchzuführen, bei der Beleuchtungsrechnung aber die Normalen N'(u,v) der Offsetfläche zu verwenden. Diese Normalenvektoren können durch N ( u, v) = P ( u, v) P ( u, v) berechnet werden. u v 79 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Bump Mapping Die Richtungsableitungen erhält man mit den bekannten Summen- und Kettenregeln: N( u, v) N( u, v) P u ( u, v) = Pu ( u, v) + hu ( u, v) + h( u, v) N( u, v) N( u, v) u N( u, v) N( u, v) P v ( u, v) = Pv ( u, v) + hv ( u, v) + h( u, v) N( u, v) N( u, v) v Für kleine Werte h(u,v) können die hinteren Teilterme ignoriert werden: N( u, v) P u ( u, v) Pu ( u, v) + hu ( u, v) N ( u, v ) N( u, v) P v( u, v) Pv ( u, v) + hv ( u, v) N ( u, v ) 80 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Bump Mapping Für N (u,v) folgt damit: N N N N N = Pu Pv + hu Pv hv Pu hu hv N + + N N N = N + D, mit N N hu ( N Pv ) hv ( Pu N) D = hu Pv + hv Pu = N N N Die zweidimensionale Bump Map h(u,v) ist dabei in der Regel als diskretes Zahlenfeld bzw. als Grauwertbild gegeben. In diesem Fall werden die Richtungsableitungen h u und h v durch h( u + u, v) h( u, v) hu ( u, v) = u h( u, v + v) h( u, v) hv ( u, v) = v berechnet. 81 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 27

28 Bump Mapping Das Bump Mapping kann nur mit denjenigen Beleuchtungsverfahren kombiniert werden, die eine explizite Beleuchtungsrechnung in jedem Pixel durchführen. Beispiele hierfür sind das Phong-Shading- und das Raytracing-erfahren, nicht aber das Gouraud-Shading-erfahren wurde ein Bump-Mapping- erfahren für Hardware vorgestellt. 82 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Zusammenfassung Texturierung ist ein sehr mächtiges Werkzeug um die realitätsnahe Darstellung zu ermöglichen. Die moderne Graphik-Hardware unterstützt dies! Shader Programmierung 83 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker Ausblick Nächste Schritte Graphik-Hardware Shader-Programmierung Farbe Ray Tracing und Radiosity + Ausblick aber nur noch drei Termine ;-( 84 B-CG 07 Direct Manipulation and Es Prof. Dr. Detlef Krömker 28