Visualisierung. Rückblick Besprochene Mappingverfahren. Geometrie. Helligkeit Farbe. Rückblick Visuelle Variablen (nach Bertin 1982)

Transkript

1 Abbildung auf Textur & Glyphen Prof. Dr.-Ing. Detlef Krömker Goethe-Universität, Frankfurt Graphische Datenverarbeitung Rückblick Besprochene Mappingverfahren Geometrie Position, Größe und Orientierung Helligkeit Farbe 2 Rückblick Visuelle Variablen (nach Bertin 1982) Für statische 2D-Darstellungen gibt es acht verschiedene visuelle Variablen, die konstruktiv zur Generierung graphischer Darstellungen eingesetzt werden können: die Position auf der Ebene (2 Achsen = 2 vis. Variablen) die Größe (Länge, Fläche/Volumen) der Helligkeitswert, die Musterung oder Textur, die Farbe, die Richtung oder Orientierung die Form des Elementes Glyphen 3 1

2 Übersicht 1. Beispiele und Definition Textur 2. Texturwahrnehmung 3. Texturattribute (Wahrnehmungsdimensionen) 4. Generierung und Einsatz von Texturen 5. Glyphenbasierte stechniken 4 Übersicht (Fortsetzung) 6. Zusammenfassung 7. Glossar 8. Weitere Informationen 9. Ausblick Nächste Schritte 5 Beispiele für Texturen nach Brodatz, 1966 Reptilienhaut (D3) Kiesstrand (D23) 6 2

3 Definition Textur Teile des Gesichtfeldes, die der Mensch spontan als strukturiertes, jedoch noch einheitliches Gebiet wahrnimmt Eine visuelle Struktur ist ein durch das Auge vermittelter Sinneseindruck, also eine Gesichtsempfindung. Die Textur ist diejenige Gesichtsempfindung, durch die sich zwei aneinandergrenzende, strukturierte Teile des Gesichtsfeldes bei Beobachtung mit unbewegtem Auge spontan unterscheiden. (nach Englert, 1993) 7 Was ist Farbe? nach DIN 5033 Farbmessung, Teil 1, 1979 Farbe ist ein durch das Auge vermittelter Sinneseindruck, also eine Gesichtsempfindung. Farbe ist diejenige Gesichtsempfindung eines dem Auge strukturlos erscheinende Teils des Gesichtsfeldes, durch die sich dieser Teil bei einäugiger Beobachtung mit unbewegtem Auge von einem gleichzeitig gesehenen, ebenfalls strukturlosen angrenzenden Bezirk allein unterscheiden kann. 8 Beispiel Textursegmentierung 9 3

4 Texturen in der Computergraphik Texturen bieten Möglichkeiten, das visuelle Erscheinungsbild von Objekten detailreicher zu gestalten. Die Oberfläche einer Wand kann durch eine einzige planare Fläche modelliert werden. Das Tapezieren kann als Aufbringen eines Bildes auf die Wandober-fläche interpretiert werden. Diesen Vorgang bezeichnet man als Texturierung. Bedeutung steigt ständig, da die moderne Hardware Texturierung unterstützt (und quasi ohne zusätzlichen Zeitverbrauch anbietet). 10 Texturabbildungen Erste einfache Definition: Zweidimensionale Texturen oder kurz 2D-Texturen sind Funktionen, die Punkte der (u,v)-ebene auf (r,g,b)-farben abbilden: ( r, g, b) = c ( u, v) tex Das Mapping (engl.: Abbildung) beschreibt, wie eine 2D- Textur bzw. ein Ausschnitt aus einer 2D-Textur auf eine Fläche aufgebracht wird. Beim Rendering muß jedoch das inverse Mapping-Problem gelöst werden, d.h. den bekannten (x,y,z)-koordinaten des Flächenpunktes P müssen (u,v)-koordinaten zugeordnet werden: ( u, v) = Finv map( P) = Finv map( x, y, z) 11 Texturabbildungen 12 4

5 Texturabbildungen Die Texturierung einer Fläche mit einer 2D-Textur läßt sich dann mathematisch durch die Hintereinanderausführung dieser beiden Abbildungen beschreiben: ( r, g, b) = C ( F ( x, y, z)) tex invmap Dreidimensionale Texturen oder kurz 3D-Texturen sind Funktionen, die Punkte eines (u,v,w)-raumes auf (r,g,b)-farben abbilden: ( r, g, b) = C ( u, v, w) Grenzfall: Eindimensionale Texturen = Linienmuster z.b. gestrichelt, punktiert, strichpunktiert,... tex 13 3D-Texturen Sie werden auch als Festkörpertexturen bezeichnet. Häufig genannte Beispiele hierfür sind Holz- und Marmortexturen. Beim inversen Mapping ( r, g, b) = C ( u, v, w) tex müssen den (x,y,z)-flächenpunkten (u,v,w)-koordinaten zugeordnet werden. Man kann dietexturierung mit 3D-Texturen auch so interpretieren, daß die Körper quasi aus dem (u,v,w)-texturkörper herausgeschnitzt werden. 14 Diskrete und prozedurale Texturen Wir unterscheiden zwischen diskreten und prozeduralen Texturen N-dimensionale diskrete Texturen als (N+1) dimensionale Zahlenfelder gespeichert. Ein (N+1)-dimensionales Zahlenfeld entspricht dabei einem N- dimensionalen Vektorfeld. Diskrete farbige 2D-Texturen der Breite n und Höhe m lassen sich so z.b. durch C( i, j) 0 i n 0 j m beschreiben, wobei C[i,j] ein Vektor mit drei Farbkomponenten ist und als Texel (TEXtur ELement) bezeichnet wird. 15 5

6 Generalisierte Textur-Pipeline (Beispiel 2D) (x,y) Berechne Objektraumkoordinaten Projektorfunktion Mapping Corresponder-Funktion Texturwert Transformation (x,y,z) (u,v) (s,t) (r,g,b)... Modifiziere Beleuchtungsgleichung 1. Aus 2D-Bildschirmkoordinaten in den 3D-Objektraum zurückprojezieren 2. Anwenden der Projektorfunktion: Mapping Planar, Kugel, Zylinder, Quader (box), bei parametrischen Flächen ggf. nicht nötig Bei Realtime-Renderer i.d.r. schon beim Modelling ausgeführt und (u,v)-werte, in den Vertices gespeichert und dann interpoliert. (Aber z.b. OpenGL stellt einige Projektionsmethoden zur Verfügung). 16 Generalisierte Textur-Pipeline (Beispiel 2D) (x,y) Berechne Objektraumkoordinaten Projektorfunktion Corresponder-Funktion Texturwert- Abtastung & Anpassung (x,y,z) (u,v) (s,t) (r,g,b)... Modifiziere Beleuchtungsgleichung 3. Corresponder- Funktion: Transformation vom Parameterraum zum Texturraum (-ebene) (Texturkoordinaten): Weitere Matrix-Transformation (OpenGL): translieren, rotieren, skalieren,... Fortsetzungsmodi: wrap (repeat, tile), mirror, clamp, border 4. Abtasten des Texturwertes und Wertanpassung 5. Modifiziere Beleuchtungsrechnung: Replace, Modulate (Multiplikation) den (r,g.b)-wert oder irgend einen anderen Parameter der Beleuchtungsgleichung (siehe unten) 17 Texturwahrnehmung Sehr kurze Beobachtungszeiten reichen aus ( ms) um die Segmentierung wahrzunehmen [kognitive Prozesse erfordern mindestens ms] In den Visual Areas 1 und 2 existieren Nervengruppen (blobs) die folgende Aspekte simultan für das gesamte Sehfeld detektieren (abgestimmte Filter) Orientierung und Größe (für Luminanz) Farbe Stereoskopische Tiefe Bewegung 18 6

7 Modelle zur Texturwahrnehmung 1975 Bela Julesz: Zwei Texturen sind genau dann nicht spontan unterscheidbar, wenn ihre Statisken zweiter Ordnung übereinstimmen Gegenbeispiele widerlegen diese Theorie: Kolinearität, Eckenbildung, Schließung von Elementstrukturen, etc. können unterschieden werden obwohl die Statistiken 2. Ordnung gleich sind. (wird trotzdem noch häufig genutzt/angeführt) 19 Elemente des Frühen Sehens In höheren Ebenen (>2 erden diese Elementarwahrnehmungen kombiniert Wahrnehmung komplexerer Muster V1 und V2 repräsentieren ca. 40% der visuellen Verarbeitungsleistung 20 Verbesserungen des Modells nach Julesz 1983 Julesz und Bergen Texturunterscheidung basiert auf Differenzen in den Statistiken 1. Ordnung von lokalen Texturelementen, sogenannten Textons: Elongated Blobs: Farbe binokulare Disparität Winkelorientierung Bewegungsdisparität Breite Flicker-Rate Länge Linienenden / Linienkreuzungen Benutzung von Ikonen und Glyphen 21 7

8 Gabor Funktionen als ein Modell für Textons findet man häufig in der Wahrnehmungspsychologie Ox R = C cos e S 2 2 x + y S C: Kontrast S: Size (beeinflußt Frequenz der Kosinusfunktion und Breite der Gauskurve) O: Rotationsmatrix (orientiert die Kosinusfunktion) Weitere Parameter möglich! 22 Gabor Texturprimitive Einsatzempfehlungen Empfohlene Unterschiede für spontane Segmentierungen: o o Orientierung: ± 30 ± 5 ( ) Blake und Holopigan Ortsfrequenzen: Faktor 3 (9%) (entspricht 1/Größe) Angaben in Klammern: Wahrnehmungsschwellen Auch hier gibt es Hyperempfindlichkeiten! Wilson und Bergen 23 Unschärfeprinzip für den Informationsgehalt Die Wahrnehmung der Orientierung kann gegen die Wahrnehmung der Größe getauscht werden Textur- 1/5 Größe 2D-Fourierspektrum Primitiv zufällig verteillt Die Fähigkeit die Orientierung möglichst genau wahrzunehmen reduziert die minimal nutzbare Größe. 24 8

9 Texturkontrast-Effekt (Texture Contrast Effekt) Fig Eine Textur auf groben Hintergrund erscheint feiner als auf feinem Hintergrund Vergleichbar zum Luminanz/Kontrast Effekt 25 UnabhängigeTexturattribute = Dimensionen für Gaborfunktionen Orientierung der Kosinusfunktion Größe = 1/Ortsfreuenz Kontrast Oben: Mitte: Unten: nur Orientierung Orientierung und Größe Kontraständerung 26 Andere Attribute Viele Hinweise, daß Orientierung, Größe, Kontrast die dominanten Texturattribute sind, aber es ist sicher, daß die Welt der Texturen wesentlich reicher ist Über weitere Attribute (Dimensionen) besteht keine gesicherte Lehrmeinung: Tamura et.al schlagen folgende sechs Attribute vor: Gröbe (coarseness) Kontrast (Contrast) Gerichtetheit (Directionality) Linienartigkeit (Line-Likeness) Regelmäßigkeit (Regularity) Rauhigkeit (Roughness) Rao und Lohse 1993 schlagen folgende drei Attribute vor: Orientierung (Orientation) Wiederholungsgrad (Gerichtetheit & Linienhaftigkeit (Repetetiveness) Komplexität (Complexity) Gröbe, Kontrast, Rauhigkeit 27 9

10 Weitere Texturbeispiele 28 Einsatz von Texturen Nach Bertin: Im wesentlichen zur Kodierung von nominalen Daten sziele: oft: makroskopische Sicht auf Datenmenge oder lokale Identifizierung von Eigenschaften nicht punktuelle Identifikation oder Vergleich von Daten Ikonen oder Glyphen (später) Kreisdiagramme oder Balkendiagramme als Texton 29 Erzeugung von Texturen Aus Katalogen oder Vorlagen: Strukturen, Muster (beachte: Schraffuren sind spezielle Texturen) Prozedural: Deterministisch und oder Stochastisch Gabor Texturen Fourier Texturen Grammatiken (z.b. Lindenmayer) u.v.a.m. Auch in 3D-Systemen durch Texturmapping anwendbar! 30 10

11 Zusammenfassung Mapping auf Texturen Potentiell sehr mächtiges sprimitiv sehr ähnlich zu Farbe (auch ähnliche Phänomene) gut kombinierbar (beachte: feine (alle?) Strukturen mit Luminanzkontrast realisieren) Nach Gabor 3 Dimensionen: Orientation, Size, Contrast Texturwahrnehmung wesentlich weniger gut erforscht und bekannt Aktuelle CG-Hardware unterstützt den Einsatz von Texturen kein (wenig) Geschwindigkeitsverlust 31 Glyphenbasierte Techniken Glyph: Begriff in der gebräuchlich manchmal auch Ikonen (beachte: Icons im UI- Bereich sind etwas anderes!) sprimitive, die exakt positioniert werden können und Werte von Variablen in geometrische Charakteristika wie zum Beispiel Länge, Winkel oder Form bzw. in Darstellungsattribute wie Farbe oder Transparenz verschlüsseln. 32 Glyphenbasierte Techniken Ein nichttriviales Problem ist das Auffinden effektiver Kodes. Einige Regeln: Die einzelnen Merkmale sollten in einer Ikone gut kombinierbar und unterscheidbar sein. Ikonen sollten separat erkennbar sein. Ikonen sollten sich erkennbar unterscheiden, wenn die zugehörigen Merkmalsausprägungen differieren

12 Stick-Figure nach Pickett und Grinstein Ziel: Erzeugung von Texturen 2D vier-armige Figur Parameter: Armlänge Armbreite Winkel der Arme zur Hauptachse Weitere Varianten siehe Pickett 88 und Wong Farbikone Color Icon nach Levkowitz Quadrat (Rechteck) in Teilflächen einteilen Teilflächen unterschiedlich färben wirkt trennend Variante: Kanten einfärben und Flächen bilinear interpolieren wirkt kontinuierlich 35 Farbikone Weitere Varianten Anzahl der unterteilenden Kanten bzw. der Teilflächen Hiermit wird die Anzahl der darstellbaren Variablen bestimmt. Form der Ikone Anstelle eines Quadrates lassen sich Sechsecke oder andere regelmäßige Polygone verwenden. Hervorhebung bestimmter Kanten Hiermit lassen sich Variablen gruppieren oder hervorheben. Abbildung der Datenwerte auf bi- und trivariate Farbskalen Erhöhung der Anzahl der darstellbaren Variablen 36 12

13 Chernoff Ikone nach Chernoff Merkmale werden abgebildet auf Form und Größe von Kopf Nase Mund Augen und Brauen 37 Beispiel: Nutzung von Chernoff Ikonen 38 Kreispalette Datenwerte werden auf Größe und Farbe von Kreisen abgebildet 39 13

14 Data Jacks nach Hearn 1991 Datenwerte werden auf Gliederlänge und Farbe abgebildet Variante: Übergang in den 3D Ggf. als Moving Icon, um Effekte durch Verdeckungen zu minimieren 40 Shape Coding nach Beddow 1990 a) Merkmal Nr.1 Merkmal Nr.5 Merkmal Nr.2 Merkmal Nr.6 Merkmal Merkmal Nr.3 Nr.4 Merkmal Merkmal Nr.7 Nr.8 nicht Resistent Resistent Nennt man auch Autoglyph Jeder Gitterzelle wird ein Merkmal zugeordnet Die Ausprägung des Merkmals (vorwiegend nominale Größen) wird durch Farbe verschlüsselt Die Autoglyphen werden in einem rechteckigen Feld angeordet Hauptziel: Erkennen von Korrelationen Muster 41 Beispiel Shape Coding Mikrobiologischer Datensatz 8 verschiedene Resistenzmerkmale für 210 Proben 42 14

15 Zusammenfassung Glyphenbasierte Techniken Werden häufig eingesetzt Wichtigster Vorteil: Ikonen lassen sich auf der Ebene oder im Raum positionieren multivariate Daten in mehrdimensionalen Räumen Darstellung der Daten sehr kompakt Übersichtsfunktion Insbesondere Stick und Farbikonen erzeugen Texturen 43 Ausblick Nächste Schritte von Multiparameterdaten Volumenvisualisierung 44 15