Visualisierung. Abbildung auf Textur & Glyphen Prof. Dr.-Ing. Detlef Krömker. Goethe-Universität, Frankfurt Graphische Datenverarbeitung

Transkript

1 Abbildung auf Textur & Glyphen Prof. Dr.-Ing. Detlef Krömker Goethe-Universität, Frankfurt Graphische Datenverarbeitung

2 Rückblick Visuelle Variablen (nach Bertin 1982) Für statische 2D-Darstellungen gibt es prinzipiell acht verschiedene visuelle Variablen, die konstruktiv zur Generierung graphischer Darstellungen eingesetzt werden können: K die Position auf der Ebene (2 Achsen = 2 vis. Variablen) K die Größe (Länge, Fläche/Volumen) K der Helligkeitswert, K die Musterung oder Textur, K die Farbe, K die Richtung oder Orientierung sowie K die Form des Elementes 2

3 Mappingverfahren K Geometrie Position, Größe und Orientierung K Helligkeit K Farbe K Textur (Musterung) 3

4 Visuelle Variablen : die Position auf der Ebene (2 Freiheitsgrade) die Größe (Länge, Fläche/Volumen) der Helligkeitswert, die Musterung oder Textur, die Farbe, die Richtung oder Orientierung sowie Rückblick (die Form des Elementes) Glyphen (multivariate Daten) Bewegung Raum 4

5 Übersicht 1. Beispiele und Definition Textur 2. Texturwahrnehmung 3. Texturattribute (Wahrnehmungsdimensionen) 4. Generierung und Einsatz von Texturen 5. Glyphenbasierte stechniken 5

6 Übersicht (Fortsetzung) 6. Zusammenfassung 7. Glossar 8. Weitere Informationen 9. Ausblick Nächste Schritte 6

7 Beispiele für Texturen nach Brodatz, 1966 Reptilienhaut (D3) Kiesstrand (D23) 7

8 Definition Textur K Teile des Gesichtfeldes, die der Mensch spontan als strukturiertes, jedoch noch einheitliches Gebiet wahrnimmt K Eine visuelle Struktur ist ein durch das Auge vermittelter Sinneseindruck, also eine Gesichtsempfindung. K Die Textur ist diejenige Gesichtsempfindung, durch die sich zwei aneinandergrenzende, strukturierte Teile des Gesichtsfeldes bei Beobachtung mit unbewegtem Auge spontan unterscheiden. (nach Englert, 1993) 8

9 Beispiel Textursegmentierung 9

10 Texturen in der Computergraphik Texturen bieten Möglichkeiten, das visuelle Erscheinungsbild von Objekten detailreicher zu gestalten. Die Oberfläche einer Wand kann durch eine einzige planare Fläche modelliert werden. Das Tapezieren kann als Aufbringen eines Bildes auf die Wandober-fläche interpretiert werden. Diesen Vorgang bezeichnet man als Texturierung. Bedeutung steigt ständig, da die moderne Hardware Texturierung unterstützt (und quasi ohne zusätzlichen Zeitverbrauch anbietet). 10

11 Texturabbildungen Erste einfache Definition: Zweidimensionale Texturen oder kurz 2D-Texturen sind Funktionen, die Punkte der (u,v)-ebene auf (r,g,b)-farben abbilden: ( r, g, b) = c ( u, v ) tex Das Mapping (engl.: Abbildung) beschreibt, wie eine 2D- Textur bzw. ein Ausschnitt aus einer 2D-Textur auf eine Fläche aufgebracht wird. Beim Rendering muß jedoch das inverse Mapping-Problem gelöst werden, d.h. den bekannten (x,y,z)-koordinaten des Flächenpunktes P müssen (u,v)-koordinaten zugeordnet werden: ( u, v) = F ( P) F ( x, y, z) inv map = inv map 11

12 Texturabbildungen 12

13 Texturabbildungen Die Texturierung einer Fläche mit einer 2D-Textur läßt sich dann mathematisch durch die Hintereinanderausführung dieser beiden Abbildungen beschreiben: ( r, g, b) = C ( F ( x, y, z)) tex invmap Dreidimensionale Texturen oder kurz 3D-Texturen sind Funktionen, die Punkte eines (u,v,w)-raumes auf (r,g,b)-farben abbilden: ( r, g, b) = C ( u, v, w) tex Grenzfall: Eindimensionale Texturen = Linienmuster z.b. gestrichelt, punktiert, strichpunktiert,... 13

14 Texturabbildungen Sie werden auch als Festkörpertexturen bezeichnet. Häufig genannte Beispiele hierfür sind Holz- und Marmortexturen. Beim inversen Mapping ( r, g, b) = C ( u, v, w) tex müssen den (x,y,z)-flächenpunkten (u,v,w)-koordinaten zugeordnet werden. Man kann dietexturierung mit 3D-Texturen auch so interpretieren, daß die Körper quasi aus dem (u,v,w)-texturkörper herausgeschnitzt werden. 14

15 Diskrete und prozedurale Texturen Wir unterscheiden zwischen diskreten und prozeduralen Texturen N-dimensionale diskrete Texturen als (N+1) dimensionale Zahlenfelder gespeichert. Ein (N+1)-dimensionales Zahlenfeld entspricht dabei einem N- dimensionalen Vektorfeld. Diskrete farbige 2D-Texturen der Breite n und Höhe m lassen sich so z.b. durch C( i, j ) 0 i n 0 j m beschreiben, wobei C[i,j] ein Vektor mit drei Farbkomponenten ist und als Texel (TEXtur ELement) bezeichnet wird. 15

16 Generalisierte Textur-Pipeline (Beispiel 2D) (x,y) Berechne Objektraumkoordinaten Projektorfunktion Mapping Corresponder-Funktion Texturwert Transformation (x,y,z) (u,v) (s,t) (r,g,b)... Modifiziere Beleuchtungsgleichung 1. Aus 2D-Bildschirmkoordinaten in den 3D-Objektraum zurückprojezieren 2. Anwenden der Projektorfunktion: Mapping Planar, Kugel, Zylinder, Quader (box), bei parametrischen Flächen ggf. nicht nötig Bei Realtime-Renderer i.d.r. schon beim Modelling ausgeführt und (u,v)-werte, in den Vertices gespeichert und dann interpoliert. (Aber z.b. OpenGL stellt einige Projektionsmethoden zur Verfügung). 16

17 Generalisierte Textur-Pipeline (Beispiel 2D) Berechne Objektraumkoordinaten Projektorfunktion Corresponder-Funktion Texturwert- Abtastung & Anpassung Modifiziere Beleuchtungsgleichung (x,y) (x,y,z) (u,v) (s,t) (r,g,b) Corresponder- Funktion: Transformation vom Parameterraum zum Texturraum (-ebene) (Texturkoordinaten): Weitere Matrix-Transformation (OpenGL): translieren, rotieren, skalieren,... Fortsetzungsmodi: wrap (repeat, tile), mirror, clamp, border 4. Abtasten des Texturwertes und Wertanpassung 5. Modifiziere Beleuchtungsrechnung: Replace, Modulate (Multiplikation) den (r,g.b)-wert oder irgend einen anderen Parameter der Beleuchtungsgleichung (siehe unten) 17

18 Texturwahrnehmung K Sehr kurze Beobachtungszeiten reichen aus ( ms) um die Segmentierung wahrzunehmen [kognitive Prozesse erfordern mindestens ms] K In den Visual Areas 1 und 2 existieren Nervengruppen (blobs) die folgende Aspekte simultan für das gesamte Sehfeld detektieren (abgestimmte Filter) Orientierung und Größe (für Luminanz) Farbe Stereoskopische Tiefe Bewegung 18

19 K 1975 Modelle zur Texturwahrnehmung Bela Julesz: Zwei Texturen sind genau dann nicht spontan unterscheidbar, wenn ihre Statisken zweiter Ordnung übereinstimmen Gegenbeispiele widerlegen diese Theorie: Kolinearität, Eckenbildung, Schließung von Elementstrukturen, etc. können unterschieden werden obwohl die Statistiken 2. Ordnung gleich sind. (wird trotzdem noch häufig genutzt/angeführt) 19

20 Elemente des Frühen Sehens In höheren Ebenen (>2 erden diese Elementarwahrnehmungen kombiniert Wahrnehmung komplexerer Muster V1 und V2 repräsentieren ca. 40% der visuellen Verarbeitungsleistung 20

21 Verbesserungen des Modells nach Julesz K 1983 Julesz und Bergen Texturunterscheidung basiert auf Differenzen in den Statistiken 1. Ordnung von lokalen Texturelementen, sogenannten Textons: Elongated Blobs: Farbe Winkelorientierung Breite Länge binokulare Disparität Bewegungsdisparität Flicker-Rate Linienenden / Linienkreuzungen Benutzung von Ikonen und Glyphen 21

22 R = Gabor Funktionen als ein Modell für Textons findet man häufig in der Wahrnehmungspsychologie Ox C cos S e x 2 + y S 2 C: Kontrast S: Size (beeinflußt Frequenz der Kosinusfunktion und Breite der Gauskurve) O: Rotationsmatrix (orientiert die Kosinusfunktion) Weitere Parameter möglich! 22

23 Gabor Texturprimitive Einsatzempfehlungen Empfohlene Unterschiede für spontane Segmentierungen: o o Orientierung: ( ) ± 30 ± 5 Blake und Holopigan Ortsfrequenzen: Faktor 3 (9%) entspricht 1/Größe Angaben in Klammern: Wahrnehmungsschwellen Auch hier gibt es Hyperempfindlichkeiten! Wilson und Bergen 23

24 Unschärfeprinzip für den Informationsgehalt Die Wahrnehmung der Orientierung kann gegen die Wahrnehmung der Größe getauscht werden Die Fähigkeit die Orientierung möglichst genau wahrzunehmen reduziert die minimal nutzbare Größe. Textur- 1/5 Größe 2D-Fourierspektrum Primitiv zufällig verteillt 24

25 Texturkontrast-Effekt (Texture Contrast Effekt) Fig K Eine Textur auf groben Hintergrund erscheint feiner als auf feinem Hintergrund K Vergleichbar zum Luminanz/Kontrast Effekt 25

26 UnabhängigeTexturattribute = Dimensionen für Gaborfunktionen K Orientierung der Kosinusfunktion K Größe = 1/Ortsfreuenz K Kontrast Oben: Mitte: Unten: nur Orientierung Orientierung und Größe Kontraständerung 26

27 Andere Attribute K K K Viele Hinweise, daß Orientierung, Größe, Kontrast die dominanten Texturattribute sind, aber es ist sicher, daß die Welt der Texturen wesentlich reicher ist Über weitere Attribute (Dimensionen) besteht keine gesicherte Lehrmeinung: Tamura et.al schlagen folgende sechs Attribute vor: Gröbe (coarseness) Kontrast (Contrast) Gerichtetheit (Directionality) Linienartigkeit (Line-Likeness) Regelmäßigkeit (Regularity) Rauhigkeit (Roughness) K Rao und Lohse 1993 schlagen folgende drei Attribute vor: Orientierung (Orientation) (Gerichtetheit & Linienhaftigkeit Komplexität (Complexity) Gröbe, Kontrast, Rauhigkeit Wiederholungsgrad (Repetetiveness) 27

28 Weitere Texturbeispiele 28

29 Einsatz von Texturen K Nach Bertin: Im wesentlichen zur Kodierung von nominalen Daten K sziele: oft: makroskopische Sicht auf Datenmenge oder lokale Identifizierung von Eigenschaften nicht punktuelle Identifikation oder Vergleich von Daten Ikonen oder Glyphen (später) Kreisdiagramme oder Balkendiagramme als Texton 29

30 Erzeugung von Texturen K Aus Katalogen oder Vorlagen: Strukturen, Muster (beachte: Schraffuren sind spezielle Texturen) K Prozedural: Deterministisch und oder Stochastisch Gabor Texturen Fourier Texturen Grammatiken (z.b. Lindenmayer) u.v.a.m. K Auch in 3D-Systemen durch Texturmapping anwendbar! 30

31 Zusammenfassung Mapping auf Texturen K Potentiell sehr mächtiges sprimitiv sehr ähnlich zu Farbe (auch ähnliche Phänomene) gut kombinierbar (beachte: feine (alle?) Strukturen mit Luminanzkontrast realisieren) K Nach Gabor 3 Dimensionen: Orientation, Size, Contrast K Texturwahrnehmung wesentlich weniger gut erforscht und bekannt K Aktuelle CG-Hardware unterstützt den Einsatz von Texturen kein (wenig) Geschwindigkeitsverlust 31

32 Glyphenbasierte Techniken K Glyph: Begriff in der gebräuchlich manchmal auch Ikonen (beachte Icons im UI- Bereich) K sprimitive, die exakt positioniert werden können und Werte von Variablen in geometrische Charakteristika wie zum Beispiel Länge, Winkel oder Form bzw. in Darstellungsattribute wie Farbe oder Transparenz verschlüsseln. 32

33 Glyphenbasierte Techniken Ein nichttriviales Problem ist das Auffinden effektiver Kodes. Einige Regeln: Die einzelnen Merkmale sollten in einer Ikone gut kombinierbar und unterscheidbar sein. Ikonen sollten separat erkennbar sein. Ikonen sollten sich erkennbar unterscheiden, wenn die zugehörigen Merkmalsausprägungen differieren. 33

34 Stick-Figure nach Pickett und Grinstein Ziel: Erzeugung von Texturen 2D vier-armige Figur Parameter: Armlänge Armbreite Winkel der Arme zur Hauptachse Weitere Varianten siehe Pickett 88 und Wong 97 34

35 Farbikone Color Icon nach Levkowitz K Quadrat (Rechteck) in Teilflächen einteilen Teilflächen unterschiedlich färben wirkt trennend K Variante: Kanten einfärben und Flächen bilinear interpolieren wirkt kontinuierlich 35

36 Farbikone Weitere Varianten K Anzahl der unterteilenden Kanten bzw. der Teilflächen Hiermit wird die Anzahl der darstellbaren Variablen bestimmt. K Form der Ikone Anstelle eines Quadrates lassen sich Sechsecke oder andere regelmäßige Polygone verwenden. K Hervorhebung bestimmter Kanten Hiermit lassen sich Variablen gruppieren oder hervorheben. K Abbildung der Datenwerte auf bi- und trivariate Farbskalen Erhöhung der Anzahl der darstellbaren Variablen 36

37 Chernoff Ikone nach Chernoff 1973 K 12 Merkmale werden abgebildet auf Form und Größe von Kopf Nase Mund Augen und Brauen 37

38 Beispiel: Nutzung von Chernoff Ikonen 38

39 Kreispalette K Datenwerte werden auf Größe und Farbe von Kreisen abgebildet 39

40 Data Jacks nach Hearn 1991 K Datenwerte werden auf Gliederlänge und Farbe abgebildet K Variante: Übergang in den 3D K Ggf. als Moving Icon, um Effekte durch Verdeckungen zu minimieren 40

41 Shape Coding nach Beddow 1990 a) Merkmal Nr.1 Merkmal Nr.5 Merkmal Nr.2 Merkmal Nr.6 Merkmal Nr.3 Merkmal Nr.7 Merkmal Nr.4 Merkmal Nr.8 nicht Resistent Resistent Nennt man auch Autoglyph Jeder Gitterzelle wird ein Merkmal zugeordnet Die Ausprägung des Merkmals (vorwiegend nominale Größen) wird durch Farbe verschlüsselt Die Autoglyphen werden in einem rechteckigen Feld angeordet Hautziel: Erkennen von Korrelationen Muster 41

42 Beispiel Shape Coding Mikrobiologischer Datensatz 8 verschiedene Resistenzmerkmale für 210 Proben 42

43 Zusammenfassung Glyphenbasierte Techniken K Werden häufig eingesetzt K Wichtigster Vorteil: Ikonen lassen sich auf der Ebene oder im Raum positionieren multivariate Daten in mehrdimensionalen Räumen K Darstellung der Daten sehr kompakt Übersichtsfunktion K Insbesondere Stick und Farbikonen erzeugen Texturen 43

44 Glossar K Glossar der Begriffe K Definieren Sie die Fachausdrücke, wie sie zu diesem Thema verwendet werden. 44

45 Weitere Informationen K Nennen Sie Bücher, Artikel, elektronische Quellen. K Beratungsdienste, andere Quellen 45

46 Ausblick Nächste Schritte K von Multiparameterdaten K Volumenvisualisierung K Raumwahrnehmung Bewegungswahrnehmung Interaktive K Strömungsdaten Nächstes Kapitel 46