Advanced Topics in Computer Graphics: Transferfunktionen

Transkript

1 Advanced Topics in Computer Graphics: Transferfunktionen Markus Happe und Tobias Kenter Universität Paderborn Markus Happe, Tobias Kenter / 40

2 Motivation (1/2) Wie stelle ich Volumendaten grasch da? Direct Volume Rendering Bisher: Farbwerte (RGBA) für jeden Punkt fest vorgegeben Ziel: Zuweisung der Farbwerte mit einer Transferfunktion Universität Paderborn Markus Happe / 40

3 Motivation (2/2) Problem: Zu untersuchendes Organ ist durch z.b. Knochen verdeckt Lösung 1: Soweit möglich den Datensatz beschneiden Nachteile: Hoher Aufwand für den Benutzer Möglicher Informationsverlust Lösung 2: Knochen über Transferfunktion durchsichtig machen. Universität Paderborn Markus Happe / 40

4 Transferfunktion gegeben: Volumendaten aus CT / PET Datum: Dichtewert Vorverarbeitung Skalieren der Werte auf ein bestimmtes Intervall Zuweisung der RGBA-Werte In der Regel über 4 Look-Up Tabellen Eine Tabelle pro Koezienten (RGBA) f T (f ) := (η r (f ), η g (f ), η b (f ), χ(f )) Vorteile sehr schnell auch auf Grakkarte möglich Universität Paderborn Markus Happe / 40

5 Transferfunktion vor/nach Interpolation 2 mögliche Positionen der Transferfunktion vor der Interpolation (Pre-Interpolative Transferfunktion) nach der Interpolation (Post-Interpolative Transferfunktion) Universität Paderborn Markus Happe / 40

6 Pre-Interpolative Transferfunktionen Zuweisung von Datenwerten zu Farbwerten vor der Interpolation (diskrete Werte) Interpolation über Farbwerte der Nachbarfelder C pre (x) = I color (T f p 0,...p n )(x) Universität Paderborn Markus Happe / 40

7 Post-Interpolative Transferfunktionen Zuweisung von Datenwerten zu Farbwerten nach der Interpolation (kontinuierliche Werte) Interpolation über Datenwerte der Nachbarfelder C pre (x) = T I data (f p 0,...p n )(x) Universität Paderborn Markus Happe / 40

8 Übung Universität Paderborn Markus Happe / 40

9 Lösung Universität Paderborn Markus Happe / 40

10 Vergleich: Pre/Post-Interpolative Transferfunktionen (1/3) Pre-Interpolative Transferfunktion Vorteil auf vielen Grakkarten verfügbar Nachteil weist allen diskreten Datenwerten einen Farbwert zu und interpoliert zwischen den Farbwerten. Spitzen in der Transferfunktion werden verpasst schlechtere Ergebnisse Post-Interpolative Transferfunktion Vorteil rekonstruiert zuerst das kontinuierliche Signal bessere Ergebnisse Nachteil (veraltet) früher nur auf wenigen Grakkarten verfügbar Universität Paderborn Markus Happe / 40

11 Vergleich: Pre/Post-Interpolative Transferfunktionen (2/3) Universität Paderborn Markus Happe / 40

12 Vergleich: Pre/Post-Interpolative Transferfunktionen (3/3) Universität Paderborn Markus Happe / 40

13 Histogramm in der Bildverarbeitung statistische Häugkeit der Grau/Farbwerte visualisiert Helligkeitsverteilung keine Aussage über räumliche Verteilung Universität Paderborn Markus Happe / 40

14 Histogramm: Übung Bild: Histogramm: Universität Paderborn Markus Happe / 40

15 Histogramm: Lösung Bild: Histogramm: Universität Paderborn Markus Happe / 40

16 Histogramm in der Computermedizin Problem: In der Realität ist die Klassikation nicht eindeutig Universität Paderborn Markus Happe / 40

17 1D - Histogramm: Regionen nden Anzahl der Datenwerte: schwarz lineare Skala grau logarithmische Skala Problem: Überlappungen zwischen verschiedenen Materialien Lösung: Hinzunahme der Gradienten Universität Paderborn Markus Happe / 40

18 1D - Histogramm: Regionen nden Anzahl der Datenwerte: schwarz lineare Skala grau logarithmische Skala Problem: Überlappungen zwischen verschiedenen Materialien Lösung: Hinzunahme der Gradienten Universität Paderborn Markus Happe / 40

19 Gradientenberechnung Siehe Vorlesung: Texture-Based DVR Annäherung der Gradienten durch zentrale Dierenzen Vorberechnete Gradienten Berechnung der Gradienten On-the-Fly Universität Paderborn Markus Happe / 40

20 2D - Histogramm: Regionen nden (1/2) Achsen: x-achse: Datenwerte / Dichtewerte y-achse: Gradient Helligkeit: Anzahl der Datenwerte x i mit Dichtwert y j Universität Paderborn Markus Happe / 40

21 2D - Histogramm: Regionen nden (2/2) Helligkeit: Anzahl der Datenwerte Materialübergänge: D: Luft weiches Gewebe E: weiches Gewebe Knochen F: Luft Knochen Materialien: A: Luft B: weiches Gewebe C: Knochen Universität Paderborn Markus Happe / 40

22 Übung: Zahnmedizin - Aufgabe Aufgabe: Markieren Sie alle Materialien und die Materialübergänge im Histogramm! Vier Materialien (aufsteigend nach Dichtwert sortiert) A: Zahnmark B: Zahneisch C: Zahnbein D: Zahnschmelz Universität Paderborn Markus Happe / 40

23 Übung: Zahnmedizin - Aufgabe Aufgabe: Markieren Sie alle Materialien und die Materialübergänge im Histogramm! Vier Materialien (aufsteigend nach Dichtwert sortiert) A: Zahnmark B: Zahneisch C: Zahnbein D: Zahnschmelz Universität Paderborn Markus Happe / 40

24 Übung: Zahnmedizin - Lösung Probleme: Materialübergänge überschneiden sich. Visualisierung der Materialübergänge E und H sind hier unerwünscht. Materialien: A: Zahnmark B: Zahneisch C: Zahnbein D: Zahnschmelz Universität Paderborn Markus Happe / 40

25 Problem: Überschneidung von Bereichen Tafelbeispiel Universität Paderborn Tobias Kenter / 40

26 Ausweg: zweite Ableitung Universität Paderborn Tobias Kenter / 40

27 Multivariate Daten Mehrere Skalare Datensätze Kombination aus CT und PET Visible Male Datensatz: RGB Meteorologie: Temperatur und Luftfeuchtigkeit Ziel: Bereiche mit Auälligkeiten in allen Datensätzen nden gemeinsame Ableitung der Datensätze wichtig: Datensätze normieren Universität Paderborn Tobias Kenter / 40

28 Ableitung multivariater Daten f1 x f1 y f1 z f2 f2 f2 x y z Df = fm fm fm x y z f i : m Datensätze f : partielle Ableitung in x-richtung x f 1 (f (x + h, y, z) f (x h, y, z)) x 2h G = Df T Df L2-Norm: G = (G(1, 1)) (G(3, 3)) 2 Universität Paderborn Tobias Kenter / 40

29 Aufgabe: multivariate Daten t = x1 x2 x3 x4 y y y h = x1 x2 x3 x4 y y y Aufgabe: G für die beiden mittleren Felder berechnen f x 1 (f (x + 1, y) f (x 1, y)) 2 Df = t x h x t y h y Df T = t x t y h x h y G = Df T Df G = (G(1, 1)) (G(2, 2)) 2 Universität Paderborn Tobias Kenter / 40

30 Vergleich t = x1 x2 x3 x4 y y y h = x1 x2 x3 x4 y y y Vergleich: G gegenüber einzelnen Gradienten G(2, 2) = 8 G(3, 2) = 4 2 Grad(2, 2)(t) = 4 Grad(2, 2)(h) = 4 Grad(3, 2)(t) = 4 Grad(3, 2)(h) = 4 Universität Paderborn Tobias Kenter / 40

31 Ergebnis multivariate Daten Bild 1: 2D Transferfunktion (t und h) Bild 2: 3D Transferfunktion: Werte mit kleinem G werden ausgeblendet Universität Paderborn Tobias Kenter / 40

32 Motivation Benutzerinterfaces Notwendigkeit von guten Benutzerinterfaces: Flexibilität: Benutzer: Jeder Datensatz ist anders relevante Bereiche sollen deutlich dargestellt werden Experte auf seinem Anwendungsgebiet genaue Vorstellungen, was dargestellt werden soll überwiegend unerfahren in Computergrak Universität Paderborn Tobias Kenter / 40

33 Manuelle Transferfunktionen Mehrdimensionale Transferfunktionen schwer zu steuern Beschränkung auf 2D-Transferfunktionen Hauptwerkzeug: Geometrieobjekte in 2D Histogramm Demo: MediTool gute Flexibilität zeitintensive Bedienung erfordert Expertenwissen Universität Paderborn Tobias Kenter / 40

34 Manuelle Transferfunktionen Mehrdimensionale Transferfunktionen schwer zu steuern Beschränkung auf 2D-Transferfunktionen Hauptwerkzeug: Geometrieobjekte in 2D Histogramm Demo: MediTool gute Flexibilität zeitintensive Bedienung erfordert Expertenwissen Universität Paderborn Tobias Kenter / 40

35 Weitere Werkzeuge in Benutzerinterfaces (1/2) andere Dimensionen der 2D Transferfunktion weitere geometrische Formen: Universität Paderborn Tobias Kenter / 40

36 Weitere Werkzeuge in Benutzerinterfaces (2/2) Datenauswahl im Volumen, Markierung in Transferfunktion Clipping Plane um in das Volumen hineinzusehen Beleuchtung Universität Paderborn Tobias Kenter / 40

37 Automatisierte Ansätze Bildbasierte Ansätze automatische Maximierung von Bildeigenschaften (z.b. Entropie, Kantenenergie, Histogrammvarianz) Benutzergeleitet (Auswahl aus Thumbnails) Datenbasierte Ansätze Klassikations- oder Segmentierungsaufgabe Grenzen zwischen Materialien nden z.b. Wasserscheiden-Transformation Universität Paderborn Tobias Kenter / 40

38 Halbautomatische Transferfunktionen: semantische Modelle Denition von semantischen Typen (z.b. Knochen, Haut, Gehirn, Blutgefäÿe) Optimierung von Transferfunktionen auf Testdatenset (Geometrieobjekte in 2D Histogramm) Analyse der Kontrollpunkte Mittelwert Varianzmatrix Feststellung: Varianzmatrix hat einen bestimmenden Eigenvektor Universität Paderborn Tobias Kenter / 40

39 Halbautomatische Transferfunktionen: semantische Modelle Anpassung an Datensatz: Verschiebung der Kontrollpunkte entlang des bestimmenden Eigenvektors Universität Paderborn Tobias Kenter / 40

40 Halbautomatische Transferfunktionen: semantische Modelle Universität Paderborn Tobias Kenter / 40

41 Implementierung Implementierung im Shader einfach 1D/2D/3D-Transferfunktion in 1D/2D/3D-Textur speichern Datenwert an Volumenposition auslesen Interpolation durch Hardware Gradient, etc. berechnen/auslesen Datenwert (Gradient) wird Texturkoordinate der Transferfunktion Universität Paderborn Tobias Kenter / 40

42 Literatur Engel, Hadwiger, Kniss, Rezk-Salama, Weiskopf: Real-Time Volume Graphics, (Kapitel 4: Transfer Functions, Seite )] Kniss: Transfer Functions, Real Time Volume Graphics, Course Notes Tutorial 7, Seite Kniss, Kindlmann, Hansen: Multi-Dimensional Transfer Functions for Interactive Volume Rendering Salama, Keller, Kohlmann: High-Level User Interfaces for Transfer Function Design with Semantics, IEEE Transaction on Visualisation and Computer Graphics, Vol. 12 No. 5, September/Oktober 2006 Universität Paderborn Tobias Kenter / 40

43 Gliederung Einleitung Pre/Post Interpolation Histogramme 2D-Transferfunktion Dimensionen Benutzerinterfaces Implementierung Universität Paderborn Tobias Kenter / 40