Graphische Datenverarbeitung und Bildverarbeitung

Transkript

1 Graphische Datenverarbeitung und Bildverarbeitung Hochschule Niederrhein Texturen Graphische DV und BV, Regina Pohle, 24. Texturen 1 Einordnung in die Inhalte der Vorlesung Einführung mathematische und allgemeine Grundlagen Hardware für Graphik und Bildverarbeitung Graphische Grundalgorithmen (Zeichnen graphischer Primitive, Methoden für Antialaising, Füllalgorithmen) Bildaufnahme (Koordinatensysteme, Transformation) Durchführung der Bildverarbeitung und -analyse Fourier Transformation Bildrestauration Bildverbesserung (Grauwertmodifikation, Filterverfahren) Segmentierung Morphologische Operationen Merkmalsermittlung und Klassifikation Erzeugung von Bildern in der Computergraphik Geometrierepräsentationen Transformationen in OpenGL Clipping in 2D und 3D Hidden Surface Removal Beleuchtungsberechnung Shading Schattenberechnung Texturen Graphische DV und BV, Regina Pohle, 24. Texturen 2

2 Motivation für die Verwendung von Texturen Polygonale Modelle approximieren eine Oberfläche nur. für detaillierte Oberflächen sehr viele, kleine Polygone notwendig nicht akzeptabel in Bezug auf Rendering-Zeit und Speicherplatz daher andere Möglichkeiten der Darstellung von Details benötigt Nutzung von Texture Mapping für höher-frequente Merkmale 1974 eingeführt von Ed Catmull, dann 1976 verfeinert von Jim Blinn Graphische DV und BV, Regina Pohle, 24. Texturen 3 Ohne Textur vs. Textur Textur ist ein einfacher Weg, um Details zu visualisieren Graphische DV und BV, Regina Pohle, 24. Texturen 4

3 Textur Geometrische Modelle und Lichtmodelle: Beschreibung der durch Objekt(oberflächen) verursachten Änderung der Reflexion Geometrie: deterministische Modellierung makroskopischer Eigenschaften Lichtmodell: statistische Modellierung mikroskopischer Eigenschaften Textur: Deterministische oder statistische Beschreibung von Oberflächeneigenschaften unabhängig von Geometrierepräsentation und Lichtmodell Abbildungsvorschrift auf Geometrie Veränderungsvorschrift für das Beleuchtungsmodell Graphische DV und BV, Regina Pohle, 24. Texturen 5 Texturen Folgende Eigenschaften eines geometrischen Modells können mit Hilfe von Texturen verändert werden: Farbe: Modulation des diffusen Reflektionskoeffizienten mit der Farbe aus der Textur Spekulare Farbe : Erzeugen des Anscheins, daß das Objekt die Umgebung spiegelt (environment mapping) Störung des Normalenvektors: Erzeugen eines 3D-Relief- Eindrucks auf der Objektoberfläche (bump mapping) Verschiebungs-Mapping: Verschieben der Oberflächenpunkte in Normalenrichtung auf Basis der Textur (displacement mapping) Transparenz: Steuerung der Durchsichtigkeit einer Oberfläche auf Basis der Textur Graphische DV und BV, Regina Pohle, 24. Texturen 6

4 Texture Mapping Textur ist typischerweise ein 2D-Bild (auch 1D- und 3D möglich) Bildelemente (Pixel) werden hier Texel genannt Wert des Texels beeinflußt das Aussehen der Oberfläche Texel können Farbwerte enthalten (Foto-Texturen), Normalenvektoren (normal maps), Oberflächeneigenschaften (bump/gloss maps), Beleuchtungseigenschaften (light maps) Mapping der Textur auf die Oberfläche bestimmt, wie die Textur auf der Oberfläche liegt + = Textur Objektgeometrie Resultat nach Anwendung des Lichtmodells Graphische DV und BV, Regina Pohle, 24. Texturen 7 Texture Mapping Watt, 2002 Graphische DV und BV, Regina Pohle, 24. Texturen 8

5 Texture Mapping Schritte: Spezifikation der Textur Festlegung, wie die Textur aufgetragen wird, d.h. - Spezifikation der Texturfilter - Spezifikation des Textur-Fortsetzungsmodus - Spezifikation der Mischung von Textur- und Beleuchtungsfarbe Zuordnung von Texturkoordinaten an Vertices Einschalten des Texture Mappings Graphische DV und BV, Regina Pohle, 24. Texturen 9 Spezifikation der Textur t Texturraum Texel s Texturkoordinatensystem im Parameterbereich [0,1] Komponenten pro Texel: eine: Grauwerte zwei: Grauwerte + Alpha-Kanal drei: Farbwerte (R,G,B) vier: Farbwerte + Alpha-Kanal (R,G,B,A) unterschiedliche Quantisierung möglich Erzeugung der Texturen in OpenGL über Algorithmen oder mittels externen Lader- Programms Graphische DV und BV, Regina Pohle, 24. Texturen 10

6 Spezifikation der Textur OpenGL-Befehle zur Spezifikation einer 2D-Textur: glteximage2d(): Spezifikation einer Textur mit Daten aus dem Hauptspeicher gltexsubimage2d(): Ersetzen eines Texturausschnitts mit Daten aus dem Hauptspeicher glcopyteximage2d(): Spezifikation einer Textur mit Daten vom Bildspeicher (frame buffer) rekursiven Bildgenerierung (multipass-rendering): Rendere eine Szene aus einem bestimmten Blickwinkel und verwende das vorher gerenderte Bild als Textur Einsatzbereiche: Spiegelungen, Schattenwurf glcopytexsubimage2d(): Ersetzen eines Texturausschnitts mit Daten vom Bildspeicher Graphische DV und BV, Regina Pohle, 24. Texturen 11 Auftretende Probleme Die Größen von Texel und Pixel stimmen praktisch nie überein Nischwitz, Haberäcker, 2004 Graphische DV und BV, Regina Pohle, 24. Texturen 12

7 Vergrößerung (Magnification) ein Texel überdeckt mehrere Pixel im Bild Textur muß vergrößert werden gebräuchlichste Methoden hier: - Nearest Neighbor: Wert des dem Pixelzentrum am nächsten gelegenen Texel wird verwendet Aliasing-Effekte möglich, aber pro Pixel muß auf nur einen Texturwert zugegriffen werden schnellste Variante - Bilineare Interpolation: Für jedes Pixel wird zwischen den vier nächsten benachbarten Texelwerten interpoliert verschwommene Textur mit geringeren Aliasing-Artefakten, mehr Zugriffe auf die Textur Befehl: gltexparameterf (GLenum target, GLenum name, GLfloat param) name: GL_TEXTURE_MAG_FILTER, GL_TEXTURE_MIN_FILTER Graphische DV und BV, Regina Pohle, 24. Texturen 13 Standard-Textur-Filter GL_NEAREST GL_LINEAR Nischwitz, Haberäcker, 2004 Graphische DV und BV, Regina Pohle, 24. Texturen 14

8 Standard-Textur-Filter GL_NEAREST GL_LINEAR Graphische DV und BV, Regina Pohle, 24. Texturen 15 mehrere Texel werden auf ein Pixel abgebildet Textur muß verkleinert werden mehrere Texel beeinflussen die Pixelfarbe Wie groß ist der Einfluß eines jeden Texels auf den Pixel? Verfahren: Verkleinerung (Minification) Nearest Neighbor: wie bei Magnification Bilineare Interpolation: wie bei Magnification mit schlechteren Ergebnissen Gauß-Pyramiden-Texturen (MipMaps) Anisotrope Filter Beispiel: textur_algo.c textur_algo.exe textur_bitmap.c textur_bitmap.exe Graphische DV und BV, Regina Pohle, 24. Texturen 16

9 MIP = Multim in Parvo = viele in einem spezielle Texture Mapping-Methode, häufig bei Spielen verwendet Ziel: Texturen in verschiedenen Auflösungsstufen mit unterschiedlichen Detailierungsgrad Idee: Gauß-Pyramide (MipMaps) - Berechne eine Pyramide gefilterter Bilder im Voraus Erzeuge aus einer Originaltextur durch sukzessive Tiefpass- Filterung und Verkleinerung um den Faktor 2 eine Reihe von verkleinerten Varianten (MipMap-Level) - (Texturspeicherbedarf steigt um knapp 1/3) - Auswahl der Texturpixel aus der entsprechenden Ebene - Auswahl der Ebene in der Regel abhängig von der Entfernung Graphische DV und BV, Regina Pohle, 24. Texturen 17 Gauß-Pyramide f (q+1) = R 2 (f (q) *g σ=2 q) Erzeugung eines Bildes der Stufe q+1 aus dem der Stufe q: 1. Faltung mit einem Gaußfilter mit σ=2 q 2. Unterabtastung des Bildes (Reduzierungsoperation R 2 ). Graphische DV und BV, Regina Pohle, 24. Texturen 18

10 Gauß-Pyramide Filtern und Abtasten solange wiederholen, bis die Auflösung ein Pixel ist Resultat: Mehrgitterrepräsentation Graphische DV und BV, Regina Pohle, 24. Texturen 19 Erzeugung von Gauß-Pyramiden (MipMaps) Möglichkeiten in OpenGL: 1. Manuelle Erzeugung der MipMaps: externe Berechnung jedes MipMap-Levels und Einlesen der Texturen mittels Lader und glteximage2d()-funktion Beispiel: textur_mipmap1.c textur_mipmap1.exe 2. Automatische Erzeugung: Nutzung der OpenGL Utility Routine glubuild2dmipmaps() Beispiel: textur_mipmap2.c textur_mipmap2.exe Graphische DV und BV, Regina Pohle, 24. Texturen 20

11 Texturing mit MipMaps 1. Bestimme Texturabdeckung des Pixels 2. Finde die Ebene in der MipMap, in der die Texel ungefähr so vielen Originaltexel entsprechen 3. Interpoliere auf dieser Ebene zwischen den vier nächsten Texeln Texturfarbwert, der angewendet wird üblicherweise liegt die Texturabdeckung eines Pixels zwischen zwei MipMap-Ebenen Besseres Verfahren: Texture Mapping mit MipMaps 1. Berechne den Texturfarbwert in beiden Ebenen nach dem obigen Verfahren 2. Interpoliere zwischen den beiden Werten, um den endgültigen Texturfarbwert zu erhalten. Graphische DV und BV, Regina Pohle, 24. Texturen 21 MipMap-Verkleinerungsfilter in OpenGL Spezifikation über die OpenGL-Funktion: gltexparameteri(gl_texture_2d, GL_TEXTURE_MIN_FILTER, param) GL_NEAREST_MIPMAP_NEAREST GL_LINEAR_MIPMAP_NEAREST Nischwitz, Haberäcker, 2004 GL_NEAREST_MIPMAP_LINEAR GL_LINEAR_MIPMAP_LINEAR Graphische DV und BV, Regina Pohle, 24. Texturen 22

12 Texture Mapping mit MipMaps ohne MipMapping mit MipMapping Graphische DV und BV, Regina Pohle, 24. Texturen 23 Textur-Fortsetzungsmodus Texturspeicher ist begrenzte Resource Texturen häufig regelmäßige Strukturen, die sich regelmäßig wiederholen, z.b. Ziegeldächer, gepflasterte/geflieste Böden, Textilien, Rasen usw. Idee: Wähle einen kleinen charakteristischen Ausschnitt aus der Ausgangstextur als Textur aus und bepflastere" damit die gesamte Fläche OpenGL-Befehl für Fortsetzung der Textur: param: GL_REPEAT: Wiederholung der Textur GL_CLAMP: Wiederholung der ersten/letzten Zeile/Spalte der Textur Fortsetzung ermöglicht durch Texturkoordinaten außerhalb des Bereichs [0.0, 1.0]. Beispiel: fünfmalige Wiederholung Texturkoordinaten im Bereich [0.0 bis 5.0] Graphische DV und BV, Regina Pohle, 24. Texturen 24

13 Textur-Fortsetzungsmodus Texturausschnitt Beispiel: textur_clamp_repeat.c textur_clamp.exe textur_repeat.exe Nischwitz, Haberäcker, 2004 Graphische DV und BV, Regina Pohle, 24. Texturen 25 Mischung von Textur- und Beleuchtungsfarbe OpenGL-Befehl: gltexenvf( GLenum target, GLenum name, GLfloat param) target : GL_TEXTURE_ENV name: GL_TEXTURE_ENV, GL_TEXTURE_ENV_COLOR param für den ersten Namen: GL_REPLACE, GL_MODULATE, GL_DECAL, GL_BLEND, GL_ADD Beispiel: textur_blending.c textur_blending.exe Graphische DV und BV, Regina Pohle, 24. Texturen 26

14 Zuordnung der Texturkoordinaten Parametrisierung der Oberfläche einfachstes Verfahren - Angabe der Texturkoordinaten (s, t) an den Eckpunkten der Polygone während der Modellierung - danach: Interpolation zwischen diesen Koordinaten über die Polygonflächen - also: P(x o, y o, z o ) für gewisse Punkte explizit angegeben, alle weiteren errechnen sich durch Interpolation Graphische DV und BV, Regina Pohle, 24. Texturen 27 Zuordnung der Texturkoordinaten Zugeordnung der 2D-Texturkoordinaten zu den 3D-Vertexkoordinaten der Polygone in OpenGL: Graphische DV und BV, Regina Pohle, 24. Texturen 28

15 Zuordnung der Texturkoordinaten Zwei-Schritt-Verfahren Verwendung einer einfachen Zwischenfläche, auf die die Textur aufgebracht wird dann: Abbildung der Zwischenfläche auf das Objekt Zwischenfläche im allgemeinen nicht planar, aber es existiert eine Mapping-Funktion, über die die Textur aufgebracht werden kann Abbildung vom Objekt auf die Zwischenfläche ist dann eine Funktion R³ R³ häufig als Zwischenflächen verwendet: Zylinder, Kugel, Würfel, Ebene Graphische DV und BV, Regina Pohle, 24. Texturen 29 Zuordnung der Texturkoordinaten Zwei Schritte: 1. Mapping der zweidimensionalen Texturkoordinaten auf eine einfache dreidimensionale Fläche (S-Mapping): T(u,v) T 0 (x i, y i, z i ) 2. Mapping des nun dreidimensionalen Texturmusters auf die Objektoberfläche (O-Mapping): T 0 (x i, y i, z i ) O(x o, y o, z o ) praktisch benötigt: umgekehrte Vorgehensweise: 1. Abbildung eines Objektpunktes auf die Zwischenfläche: O : f(x o, y o, z o ) = (x i, y i, z i ) 2. Abbildung des Punktes auf der Zwischenfläche in die Textur: S : f(x i, y i, z i ) = (u, v) Projektorfunktion P : O S = S(O(x o, y o, z o )) Graphische DV und BV, Regina Pohle, 24. Texturen 30

16 Zylindrisches Mapping Abbildung der Position auf Zylinderoberfläche, beschrieben durch Höhe h 0 und Winkel θ 0 S : r c ( θ, h) ( u, v) = ( θ θ ), ( h h ) 0 0 mit Skalierungsfaktoren c, d und Radius r des Zylinders Diskontinuität ( Naht ) an einer Stelle parallel zur Mittelachse 1 d Bilder: R. Wolfe: Teaching Texture Mapping Visually Graphische DV und BV, Regina Pohle, 24. Texturen 31 Zylindrisches Mapping Beispiel: textur_zylinder.c textur_zylinder.exe Graphische DV und BV, Regina Pohle, 24. Texturen 32

17 Sphärisches Mapping Abbildung der Position auf einer Kugel (zwei Halbkugeln) beschrieben durch sphärische Koordinaten (r, φ, θ) S : ( r, φ, θ ) ( u, v) θ =, π / 2 ( π / 2) φ π / 4 Nahtstelle am Äquator bei Verwendung von zwei Halbkugeln generell keine verzerrungsfreie Abbildung einer ebenen Fläche auf eine Kugeloberfläche oder umgekehrt möglich Bilder: R. Wolfe: Teaching Texture Mapping Visually Graphische DV und BV, Regina Pohle, 24. Texturen 33 Sphärisches Mapping Beispiel: textur_kugel.c textur_kugel.exe Graphische DV und BV, Regina Pohle, 24. Texturen 34

18 Planares Mapping Projektion der Position auf eine Ebene, die die Textur enthält, dadurch Bestimmung der Koordinaten (u, v) Lage und Ursprung der Map in der Ebene gegeben durch v r 0, Ausrichtung durch zwei Vektoren s und t r r r r v s v t S : ( x, y, z) ( u, v) =, k k mit Skalierungsfaktor r k und Vektor r r v = Pi v 0, der die Lage des Punktes bezogen auf den Ursprung der Map beschreibt. Bilder: R. Wolfe: Teaching Texture Mapping Visually Graphische DV und BV, Regina Pohle, 24. Texturen 35 Planares Mapping Automatische Generierung von Texturkoordinaten in OpenGL Beispiel: textur_o_linear.c textur_o_linear.exe textur_e_linear.exe Graphische DV und BV, Regina Pohle, 24. Texturen 36

19 Box-Mapping umhüllender Körper ist ein Quader, in der Regel die achsenparallele Bounding-Box des Objektes sechs Flächen, auf die die Textur aufgebracht wird Bilder: R. Wolfe: Teaching Texture Mapping Visually Graphische DV und BV, Regina Pohle, 24. Texturen 37 Zuordnung der Texturkoordinaten Zwei-Schritt-Verfahren O-Mapping der Textur vom Zwischenobjekt auf das eigentliche Objekt wird bei allen Verfahren noch benötigt: Reflektierter Strahl: Verfolge einen Strahl vom Betrachter zum Objekt, dann den reflektierten Strahl vom Objekt auf die Zwischenfläche. Objektnormale: Schnittpunkt der Normale der Objektoberfläche mit der Zwischenfläche Objektzentrum: Schnittpunkt eines Strahls vom Objektmittelpunkt durch einen Objektpunkt mit der Zwischenfläche Normale der Zwischenfläche : Normale an die Zwischenfläche in Richtung des Objektes bis zum Objekt verfolgen Graphische DV und BV, Regina Pohle, 24. Texturen 38

20 Projektionsformen viewer s position Effekt: Der Hintergrund spiegelt sich in dem Objekt. Bei Änderung der Betrachterposition ändert sich auch die Spiegelung des Hintergrundes auf der betrachteten Fläche Nachahmung einer Mehrfachreflexion. Dr Neil Dodgson, Cambridge University Computer Lab Graphische DV und BV, Regina Pohle, 24. Texturen 39 Projektionsformen Projektion von der Objektnormale auf die Hilfsfläche: Kontinuierliche, wenn auch etwas merkwürdige Abbildung, solange, wie die Oberflächennormale stetig ist. Problem Abhilfe bei Diskontinuitäten (falls gewollt): Phong sche Normaleninterpolation Graphische DV und BV, Regina Pohle, 24. Texturen 40

21 Projektionsformen Projektion von der Hilfsflächennormale auf die Fläche: Kontinuierliche Abbildung, solange, wie die Hilfsflächennormale stetig ist. Projektion vom Mittelpunkt der Hilfsfläche auf die Hilfsfläche: Kontinuierliche Abbildung, z.t. etwas merkwürdig. Graphische DV und BV, Regina Pohle, 24. Texturen 41 Zuordnung der Texturkoordinaten Zusammenfassung: Zwei-Schritt-Verfahren Graphische DV und BV, Regina Pohle, 24. Texturen 42

22 Umgebungstexturen (Environment Maps) Vereinfachung zum Rendering von glänzenden Objekten, die ihre Umgebung reflektieren entwickelt von Blinn und Newell (1976), Weiterentwicklung von Greene (1986) Annahmen: Umgebung besteht aus Objekten und Lichtquellen, die weit vom zu rendernden Objekt entfernt sind, d. h. Objekt ist klein im Vergleich zum Abstand zu den umgebenden Objekten sonst geometrisch unkorrekte Ergebnisse Objekt ist konvex es kann nur Umgebung und nicht sich selbst reflektieren Umgebungstextur enthält Bild der Umgebung aus einem Blickwinkel des Objekts Vorgehen: Mapping eines Bildes der Umgebung auf eine Würfeloberfläche oder auf eine (große) Kugel, deren Zentrum der Objektmittelpunkt ist Berechnung der Texturzuordnung über den reflektierten Strahl (siehe O-Mapping) Nischwitz, 2004 Graphische DV und BV, Regina Pohle, 24. Texturen 43 Umgebungstexturen (Environment Maps) Graphische DV und BV, Regina Pohle, 24. Texturen 44

23 Umgebungstexturen (Environment Maps) Graphische DV und BV, Regina Pohle, 24. Texturen 45 Texture Mapping verändert das Shading (Farbberechnung) Oberfläche bleibt geometrisch glatt ( smooth ) Texturierung rauher Oberflächen problematisch: Lichtverhältnisse in der Textur (im Bild) sind anders als die am Modell beim Rendering Bump Mapping verändert die Normalen der Oberfläche und damit die Geometrie, bevor die Beleuchtungsberechnung ausgeführt wird entwickelt von Jim Blinn, 1978 Bump Mapping Graphische DV und BV, Regina Pohle, 24. Texturen 46

24 v Veränderung des Oberflächeneindrucks Durch die bisherigen Verfahren entsteht der Eindruck einer auf der Oberfläche abgebildeten Struktur Die Oberfläche selbst erscheint unverändert (z.b. flach). Textur zur Veränderung der Oberfläche: - Veränderung der Normalen (Bump Mapping) - Veränderung der Oberfläche selbst (Displacement Mapping) t(u,v)=d n Normalenpertubation u Graphische DV und BV, Regina Pohle, 24. Texturen 47 Normalenpertubation n u b v b u n n v Es existieren zwei Texturkarten mit Skalaren b u und b v n u und n v sind Vektoren tangential zur Oberfläche, die senkrecht zur Normale liegen und deren Richtung fest ist. Berechnung der geänderten Normalenrichtung: n = n + b u n u + b v n v = a Z( 2 b, v σ Normalenpertubation kann auch prozedural sein, z.b., u (Zufallsverteilung mit Amplitude a und Standardabweichung σ) Graphische DV und BV, Regina Pohle, 24. Texturen 48 )

25 Normalenpertubation + = Oberfläche erscheint strukturiert, obwohl sie selbst glatt ist. Normalenpertubation wird zur Zeit der Beleuchtungsberechnung, aber nach dem HSR-Prozeß, durchgeführt Normalenpertubation = Bump Mapping Graphische DV und BV, Regina Pohle, 24. Texturen 49 Bump Mapping Graphische DV und BV, Regina Pohle, 24. Texturen 50

26 Bump Mapping Graphische DV und BV, Regina Pohle, 24. Texturen 51 Displacement Mapping problematisch bei Bump Mapping: Geometrie des Objektes unverändert Silhouette bleibt glatt deshalb Entwicklung von Displacement Mapping (Cook, 1984) Vorgehen: Geometrie und nicht nur die Normale der Objekte wird basierend auf der displacement map verändert Annahme: Implizite Oberflächenbeschreibung f(x,y,z)=0 oder Voxelrepräsentation (diskretisierte Variante) 3D-Texturfunktion: Neue Oberfläche: Ergebnis: Silhouette nicht mehr glatt geometrisch korrekte Schatten t(x,y,z) f(x,y,z)+t(x,y,z)=0 + = Graphische DV und BV, Regina Pohle, 24. Texturen 52

27 Displacement Mapping Graphische DV und BV, Regina Pohle, 24. Texturen 53 Zusammenfassung Erzeugung detailreicherer Graphiken ohne Verfeinerung des Modells Anpassung der Texelgröße an die Pixelgröße erfolgt durch Vergrößerungs- und Verkleinerungsfilter oder MipMaps Zuordnung der 2D-Textur zu linearen Flächen erfolgt einfach durch Parametrisierung der Oberfläche Mapping der Textur auf einfache dreidimensionale Fläche (Kugel, Zylinder, Würfel, Fläche) wird durch gegebene Mapping- Funktion erreicht Mapping auf beliebige Oberflächen erfolgt in zwei Stufen (S- und O-Mapping) Besondere Effekte erzielbar durch Environment Mapping, Bump Mapping und Displacement Mapping Graphische DV und BV, Regina Pohle, 24. Texturen 54