Medizinische Visualisierung

Transkript

1 Medizinische Visualisierung Vorlesung , Universität Koblenz-Landau Dr. Matthias Raspe SOVAmed GmbH

2 Agenda Organisatorisches keine Vorlesung am => nächste Veranstaltung wieder am Wiederholung GPU-Programmierung Indirektes Volumenrendering Transferfunktionen Volumenvisualisierung 2 Direktes Volumenrendering (Multimodale Visualisierung) Verarbeitung weihnachtlicher Bilddaten... 2

3 Wiederholung GPU-Programmierung (Dank an Niklas Henrich) Volumenvisualisierung 1

4 Moderne OpenGL Pipeline zunehmende Flexibilität und Effekte durch Programmierbarkeit nicht nur parametrisierbar, sondern programmierbar Mini-Programme ( Shader ) laufen auf Prozessoreinheiten der Grafikhardware je nach Typ und Sprache/Sprachversion unterschiedliche Befehle und Möglichkeiten zahlreiche Erweiterungen, wesentlich für MedVis sind Fragmentshader: z.t. historisch bedingt, viel Texturoperationen Vertex- und Geometryshader: je nach Anwendung (Glyphen, Geometrien etc.) 4

5 Vertexprogramm Arbeitet nur auf einem Eckpunkt keine Information über Topologie (andere Eckpunkte) keine Punkte erzeugen oder löschen wahlfreier Zugriff auf Texturspeicher Typische Aufgaben: Eckpunkttransformationen (Welt- in Kamerakoordinaten, kanon. Volumen) Normalentransformation Beleuchtung (in Kamera- Koordinaten) Nicht in Vertexprogramm: Clipping, persp. Division 5

6 Fragmentprogramm Arbeitet am Ende der Pipeline für jedes zu zeichnende Fragment ausgeführt arbeitet nur auf aktuellem Fragment im Framebuffer wahlfreier Zugriff auf Texturspeicher Typische Aufgaben: Farbe des Pixels berechnen Texturzugriffe und -operationen Effekte wie Nebel integrieren Nicht in Fragmentprogramm: Tiefen-/Stenciltest Alpha-Blending 6

7 Grundlegender Ablauf (1) Shader Objekt erzeugen (2) Sourcecode laden (3) Shader compilieren (4) Shader Program Objekt erzeugen (5) Shader Program mit Shadern belegen (6) Program linken (7) Program benutzen (8) Programm(e) ausführen (9) Zurück zur OpenGL Fixed- Function Pipeline shader = glcreateshader(type); glshadersource(shader,&sourceptr,0); glcompileshader(shader); program = glcreateprogram(); glattachshader(program, vertexshader); gllinkprogram(program); gluseprogram(program); renderobjects(); gluseprogram(0); 7

8 Volumenvisualisierung 1 Einführung, Indirektes Volumenrendering

9 Darstellung von Volumendaten Eine Form der Visualisierung ist die Hervorhebung gleicher Werte mit geometrischen Primitiven Isolinien (auch Höhenlinien, Konturlinien) Isoflächen (Konturflächen) In dieser Form gehören sie zu den indirekten Visualisierungsmethoden direkte Methoden später 9

10 Marching Squares Beispiel Graustufenbild, Isolinie für C = 3 Skalarfeld der Dimension 2 Gitterpunkte = Pixelmitte : C ( innerhalb ) : > C ( außerhalb ) Ergebnis ähnlich zu Kantendetektion, aber: Kante Isolinie 10

11 Marching Cubes Die Anzahl der möglichen Kombinationen beträgt in einer Voxelzelle insgesamt 2 8 = 256 Durch Anwendung der gleichen Prinzipien (Komplement, Symmetrie) lassen sich die Fälle auf die folgenden 15 Kombinationen reduzieren: Auch hier gibt es Mehrdeutigkeiten, die sich jedoch teilweise nicht auflösen lassen Löcher in Isofläche Mögliche Lösungen Zusätzliche Komplemente Gradienten berücksichtigen Alternative Verfahren (z.b. Marching Tetraeder, Shirley et al, 1990) Loch in Isofläche 11

12 Volumenvisualisierung 1 Transferfunktionen

13 Transferfunktionen Transferfunktionen sind eine Abbildung von der Menge der Attribute in die Menge der visuellen Eigenschaften Farbtabelle = diskretisierte Form der allgemeineren Transferfunktion Bei der Abbildung muss einem Eingabedatum eindeutig ein Wert zugeordnet werden können Typische Abbildungen sind: Skalare in Grauwerte Skalare in RGB-Farben f : R R f : R R 3 Richtungsvektoren in RGB-Farben f : R 3 R 3 13

14 Transferfunktionen In der Praxis ist die Bestimmung einer guten Transferfunktion aufwendig eindimensionale TFs ermöglichen nur einfache Abbildungen Idee: zusätzliche Informationen wie Gradienten, Abstände etc. mit einbeziehen Cascada: 1D-TF Abgrenzung sonst gleicher Strukturen möglich aber: TF wird dadurch mehrdimensional große Datenmengen Kontrolle/User-Interface? Cascada: 2D-TF 14

15 Transferfunktionen Es existieren sehr viele unterschiedliche Ansätze, jedoch keine universelle Lösung High-Level User Interfaces for Transfer Function Design with Semantics, Rezk- Salama et al., 2006 The Transfer Function Bake-Off, Pfister et al., 2001 Med. Workstations bieten oft Kombination aus TF- Bibliothek und manueller Steuerung (1D-TF) an Siemens Medical Inc. 15

16 Zusammenfassung TF Transferfunktionen weisen Volumendaten optische Eigenschaften zu, zum Beispiel: Dichtewert Opazität Windrichtung RGB-Wert verschiedene Dimensionen möglich, jedoch zunehmend komplexer kein universelles Verfahren Unterscheidung nach Automatisierung stark abhängig von Modalität (CT: einfach, MR: schwierig) aktives Forschungsgebiet 16

17 Volumenvisualisierung 2 Grundlagen Direktes Volumenrendering

18 Kategorien von Volumenrendering-Verfahren Volume Rendering Indirect Direct Software Hardware Image-space Object-space Other Image-space Object-space Ray casting Splatting Fourier Ray casting Texture-based Shear-Warp view-parallel volume-parallel 18

19 Volumenrendering Man unterscheidet bei Volumenrendering direkte (DVR) und indirekte (IDVR) Verfahren DVR hat gegenüber IDVR einige Vorteile: Keine zeitaufwendige und ggf. benutzerabhängige Generierung von Flächen Datensatz kann während der Darstellung verändert werden (z.b. zeitvariante Daten, Clipping) Kein zusätzlicher Speicherbedarf für Flächen Beide Verfahren spielen in med. Visualisierung eine große Rolle 19

20 DVR-Grundlagen Allen DVR-Verfahren liegt ein optisches Modell zugrunde Grundsätzlich wird der Weg des Lichtes durch das beteiligte (engl. participating) Medium betrachtet Absorption Licht geht verloren Streuung (engl. scattering) Licht wird abgelenkt Emission Licht wird erzeugt Schatten Dichte des Mediums wird direkt durch die Skalarwerte der Voxel repräsentiert Bezug zu realen Daten (z.b. Gewebedichte bei CT-Daten, Emission bei PET usw.) w w { { 20

21 DVR-Grundlagen Probleme: Streuungseffekte nur sehr aufwendig abzubilden Schatten ist sehr rechenintensiv auf aktueller Grafikhardware echtzeitfähig Emission in radiologischen Bilddaten (CT, MR etc.) nicht unmittelbar repräsentiert Unterschiedliches Verhalten verschiedener Wellenlängen extrem aufwendig, nur grob approximierbar (z.b. RGB) Hadwiger et al. Guter Kompromiss: Emissions-Absorptions-Modell Absorption auf Basis der Volumendaten zusammen mit Transferfunktion Emission wird korrigierend hinzugenommen 21

22 Volumenrendering Ziel: Strahlungsenergie, die beim Betrachter ankommt Prinzip analog zum klassischen Rendering (Raytracing) zusätzlich: Berücksichtigung der Absorption durch Medium konstante Absorption: T (l) = exp ( τl) allgemein: T (s, l) = exp ( l τ(s )ds ) s aktueller Absorptionskoeffizient Absorptionskoeffizient Abschwächung entlang des aktuellen Strahlwegs entlang des gesamten Strahls 22

23 Volumenrendering-Gleichung basiert auf klassischem Modell von Levoy (1988) vereinfachte Form, da ohne Shading und Schatten... Intensität beim Betrachter aus Blickrichtung gesamte Abschwächung Intensität des Hintergrunds Abschwächung entlang des aktuellen Strahlwegs l L( x l, ω)=t (0,l) L( x 0, ω)+ 0 T (s, l) E( x (s)) ds w w { { entlang des gesamten Strahls aktueller Emissionswert 23

24 Volumenrendering-Gleichung Bis auf etwas andere Terme vergleichbar mit der klassischen Renderinggleichung...? L o (da e,d ω o )=L e (da e,d ω o )+ 2π f r (da e,d ω i,d ω o ) L i (da e,d ω i ) cos θ i d ω i l L( x l, ω)=t (0,l) L( x 0, ω)+ 0 T (s, l) E( x (s)) ds T(s,l) eingesetzt: L( x l, ω)=t (0,l) L( x 0, ω)+ l 0 e R l s τ(s )ds E( x (s)) ds Integral hoch Integral...! 24

25 Volumenrendering In Worten zusammengefasst: Es wird entlang des Strahl integriert, d.h. man summiert die einzelnen Samples (Dichtewerte usw.) auf Und das Ganze für jeden Strahl Deshalb sind Schatten und Streuung so aufwendig: Für jedes Sample entlang jedes (Seh-)strahls muss wiederum entlang eines (Licht-)Strahls integriert werden - für jede Punktlichtquelle... Für Streuung muss sogar über die gesamte Umgebung integriert werden... Volumenrendering stellt also auch sehr hohe Anforderungen an die Effizienz der Algorithmen 25

26 Volumenvisualisierung 2 DVR-Verfahren

27 Überblick Frequenzdomäne Fourier-Volumenrendering Wavelet-Rendering (hier nicht besprochen) Objektraum Splatting Texturbasiertes Rendering Object-aligned View-aligned Bildraum: Raycasting Mischform (Objekt-/Bildraum): Shear-Warp 27

28 Fourier-Volumenrendering Aufwand zum direkten Rendern von Volumendaten mit der Voxelauflösung N ist O(N 3 ) FDVR nutzt das sog. Zentralschnitt-Theorem: Parallelprojektion eines Signals entspricht einem Schnitt der Fouriertransformierten dieses Signals... Zusammen mit der Radon-Transformation Grundlage der allgemeinen tomografischen Rekonstruktion (jedes CT-Gerät!) Umkehrung des Theorems ergibt 2D-Projektion des Volumens mit Aufwand O(N 2 log2n) Problem: gerenderte Bilder sind prinzipbedingt Projektionen der Intensitäten Röntgenbild-artig... Spielt im Moment nur für Filterung usw. eine Rolle 28

29 Splatting Entwickelt von Westover (1990) Einfaches Prinzip: Voxel werden durch Filterkerne (Gaussfilter) repräsentiert, die mit den Skalarwerten der Ausgangsdaten gewichtet werden Projektion dieser unterschiedlich großen Klumpen zu Bildflecken(footprints, splats) mit abnehmender Intensität am Rand guter Vergleich: viele Schneebälle gegen Scheibe werfen... liefert gute Ergebnisse, jedoch Nachteile Unschärfe, Schmiereffekte Artefakte Anwendung der Filter als Vorprozess unflexibel zahlreiche Weiterentwicklungen (z.b. EWA-Splatting, 2004) Zwicker et al. 29

30 Shear-Warp Entwickelt von Lacroute und Levoy (1994) Schnellstes softwarebasiertes DVR-Verfahren Prinzip: Transformieren der Volumendaten für einfachen und effizienteren Zugriff entlang der Sehstrahlen Unterscheidung bezüglich Parallel- oder Perspektivprojektion: Shear-Warp bei Parallelprojektion Shear-Scale-Warp bei perspektivischer Projektion Heute jedoch kaum mehr relevant, da Grafikhardware performanter 30

31 Texturbasierte Verfahren Grafikhardware ist optimiert für 2D-Texturen performantere Texturzugriffe (im Vergleich zu 1D/3D) außerdem viele parallele Pixelpipelines Ausnutzen dieser Performance für DVR Object-aligned ( volumenparallel ) drei 2D-Texturstapel im Speicher Umschalten je nach Blickwinkel View-aligned ( bildparallel ) eine 3D-Textur im Speicher Kein Umschalten, da direkte trilineare Interpolation 31

32 Texturbasierte Verfahren Polygone für Texturen (sog. proxy geometry ) Generierung durch Geometry Shader denkbar... Heutzutage Einsatz von view-aligned slicing üblich Jede aktuelle Grafikkarte kann 3D-Texturen verarbeiten Ergebnisse sind besser (kein Umschalten nötig, trilineare Interpolation) Wesentlich geringerer Grafikspeicherbedarf, da nur ein Texturstapel Weniger Aufwand seitens der Applikation Prinzipieller Ablauf Generiere am Volumen geclippte Polygone parallel zur Bildebene Erzeuge 2D-Textur pro Slice mit (hardwarebeschleunigte) trilinearer Interpolation Rendere Slices (üblicherweise) von hinten nach vorne bei aktiviertem Alphablending 32

33 Texturbasierte Verfahren Grundlage bildet die Volumenrendering-Gleichung Integral wird zur Summe exponentieller Term wird zu Multiplikation Nach entsprechenden Umformungen mit Back-to-front-Alphablending approximierbar durch: C dst = C src src +(1 src) C dst Ergebnis aktuelle Farbe aktuelle Transparenz aktuelle Opazität Ergebnis aus vorherigem Schritt 33

34 Raycasting rays Sehstrahlen werden durch Bildschirmpixel gesendet und durch das Volumen verfolgt In diskreten Abständen werden die Volumendaten abgetastet Sampling eye view plane Vergleichbar mit Raytracing, jedoch in der Regel keine Sekundärstrahlen (außer evtl. Schattenfühler) Bisher meist nur in Software, dafür sehr hohe Qualität: artefaktfreie Isoflächen ohne größeren Aufwand Volumen ohne Samplingfehler Sehr wichtig für Einsatz in der Medizin! 34

35 GPU-basiertes Raycasting Auf Grafikhardware (bereits ab NV3x!) mittlerweile auch interaktive Geschwindigkeiten Gleichbleibend hohe Qualität, v.a. im Vergleich zu bisherigen echtzeitfähigen Verfahren Flexible Interaktionen und Darstellungen ( Intervall-Iso ) Performancegewinn durch mächtigere Shader möglich Sprunganweisungen Schleifen etc. Ersatz für mehrere Renderpasses Probleme sind/waren im Wesentlichen: Fließkommaberechnungen teuer/unvollständig Begrenzte Shaderlänge/Texturzugriffe Kontrollstrukturen nicht immer effizient 35

36 Vorgehen GPU-Raycasting Rendern des Volumens als Farbwürfel (nur front-faces) in Textur Generierung von Fragments für das Volumen Eintrittspunkte der Strahlen Korrekte Interpolation der Texturkoordinaten Rendern der back-faces des Würfels in Textur Generierung von Fragments Austrittspunkte der Strahlen Berechnung der Strahlen im Koordinatensystem des Volumens mittels Fragmentshader Abtasten des Volumens als Texturzugriffe an Strahlpositionen Aufsummieren und Darstellen der Ergebnisse 36

37 Optimierungen, z.b. Early ray termination Abbruch, wenn Opazitätsgrenze erreicht (ab NV4x durch Flußkontrolle (break)) Aber nicht ganz unproblematisch: langsamstes Pixel bestimmt Performance ( SIMD-aware Ray-Casting, Leung et al., Volume Graphics 2006) Empty space skipping Überspringen von leeren Bereichen nach Anwendung der Transferfunktion Zusätzliche Datenstruktur (meist Octree) für min/max-werte Adaptive sampling Homogene Bereiche brauchen nicht so häufig abgetastet werden Erstellung eines importance volume, das die jeweiligen Abstände für das Sampling enthält geringere Auflösung Insgesamt vergleichbare Performancefortschritte wie bei herkömmlichem Raytracing 37

38 Diskussion heute praktisch nur noch Raycasting und texturbasiert (view-aligned) relevant beide Verfahren profitieren von moderner Grafikhardware: texturbasiert: schnelle Verarbeitung der Geometrie, Texturierung Raycasting: flexible Programmierung für Optimierungen Raycasting Texturbasiert einfacher, natürlicher Algorithmus flexible Steuerung pro Strahl möglich maximale Qualität durch zusätzliche Filter möglich Performance von vielen Faktoren abhängig aufwendige Integration von Geometrien praktisch nicht abwärtskompatibel (mobile Systeme!) hohe Performance, abwärtskompatibel kompatibel mit Multiresolution- Systemen einfache Integration von beliebigen Geometrien aufwendigerer Algorithmus/ Applikationslogik begrenzte Qualität Interaktionsmöglichkeiten von Proxygeometrie abhängig 38

39 Visualisierung Weihnachtliche Datensätze...

40 Christmas Tree Case Study Geschmückter Weihnachtsbaum als CT-Datensatz Informationen zu Hintergrund, Anwendungen und Visualisierungen siehe 40

41 Weihnachtlicher Datensatz in MeVisLab ;) 41

42 Weihnachtlicher Datensatz in MeVisLab Laden eines 3D-Modells eines Rentiers (kostenlos bei Google) Polygonales Rendering der Daten Rasterisierung mit OpenGL (hier: OpenInventor-Szenengraph) Verschiedene Darstellungsmöglichkeiten (Gittemodell, Normalen etc.) Umwandlung in Voxeldaten: Voxelisierung Parameter wie Glättung, Wandstärke usw. Gesamtauflösung durch Bilddatensatz bestimmt Darstellung der Volumendaten in 2D und 3D Rückumwandlung der Voxeldaten in Polygonnetz Konvertierung praktisch immer mit Verlusten verbunden! => Artefakte Marching Cubes-Verfahren verschiedene Parameter zur Glättung etc. 42

43 Diskussion Konsequenzen/Relevanz für medizinische Bildgebung grundsätzlich immer Diskretisierung relevante Parameter Auflösung (räumlich, zeitlich, Frequenzen usw.) Signal-Rausch-Abstand Partieller Volumeneffekt bei Bildgebung besonders zu berücksichtigen Strukturen/Details werden vermischt unzureichende Auflösung Objekte liegen nur teilweise im Strahlengang lässt sich prinzipbedingt nicht immer vermeiden Gefahr: Fehlinterpretation von Bilddaten! 43