Medizinische Visualisierung

Transkript

1 Medizinische Visualisierung Vorlesung , Universität Koblenz-Landau Dr. Matthias Raspe SOVAmed GmbH

2 Themenüberblick Medizinische Grundlagen Anatomische Grundlagen Bildgebende Verfahren Datenrepräsentation, Systeme Computergrafik Wiederholung Grundlagen (Rendering, GPU-Programmierung usw.) Visualisierungspipeline Weiterführende Algorithmen y Visualisierung (x,y,z) importance volume +2 y x entry point map coefficient vector +2 Spezielle Renderingverfahren Verarbeitung großer Datenmengen x z z Klinische Anwendungen 2

3 NEU: Gebäude M, Hörsaal M001 Veranstaltungshinweis MTI-Kolloquium WS 2012/2013 Di 18:00-19:00 Uhr, M 001

4 Agenda Organisatorisches Vorlesung am mit Gesamtwiederholung Vorlesung am fällt aus Festlegung Klausurtermin (KW 5): Montag, , 8-10 oder Uhr Mittwoch, , reguläre Vorlesungszeit (18-20 Uhr) Freitag, , früh/mittags Erinnerung an Lehrevaluation (autom. s über Verteiler) Probeklausur (mit anschließender Besprechung) Wiederholung Volumenvisualisierung 2 Weitere Themen: Multimodale Visualisierung Verarbeitung großer Datenmengen 4

5 Wissenstest / Probeklausur Orientierung für eigenen Kenntnisstand und Klausurfragen ca. 20 min, anschließende Besprechung

6 Probeklausur Aufgaben 1. Geben Sie in der folgenden Grak die medizinischen Ebenenbezeichnungen an. 6. Gegeben sei folgender Ausschnitt aus einem CT-Bild mit einem (nativen) Wertebereich von bis +2159, und nebenstehende Transferfunktion zur Darstellung. Tragen Sie die Werte des darzustellenden Bildes in die Matrix ein. 7. Bei der DTI-Visualisierung werden Bündel von Nervenbahnen dargestellt: für welches medizinische Einsatzgebiet ist diese Darstellung interessant? 2. An einem Röntgenbild steht AP-Ansicht. Was ist damit gemeint? 8. Beschriften Sie in folgender DICOM-Hierarchie die grauen Felder mit den zugehörigen Bezeichnungen: 3. Nennen Sie drei röntgenbasierte Bildgebungsverfahren. 4. Nennen Sie drei Unterschiede zwischen CT und Kernspin (medizinische Anwendungsbereiche, Bildgebung, Ergebnisbilder etc.) 9. Bestimmen Sie für folgendes planare Polygon die Normale (Rechtssystem) und zeichnen Sie sie ein. 5. Wie groß ist die Datenmenge (in GB), die in folgendem Szenario anfällt: MRT-Sequenz, 512 x 512 Schichtau>ösung, Scanbereich 25,6 cm, Schichtabstand 1mm, 32 Aufnahmen, 16 bit pro Datenelement 10. Beschreiben Sie kurz ein direktes Volumenrendering-Verfahren. 6

7 Wiederholung Volumenvisualisierung 2

8 Kategorien von Volumenrendering-Verfahren Volume Rendering Indirect Direct Software Hardware Image-space Object-space Other Image-space Object-space Ray casting Splatting Fourier Ray casting Texture-based Shear-Warp view-parallel volume-parallel 8

9 DVR-Grundlagen Allen DVR-Verfahren liegt ein optisches Modell zugrunde Grundsätzlich wird der Weg des Lichtes durch das beteiligte (engl. participating) Medium betrachtet Absorption Licht geht verloren Streuung (engl. scattering) Licht wird abgelenkt Emission Licht wird erzeugt Schatten Dichte des Mediums wird direkt durch die Skalarwerte der Voxel repräsentiert Bezug zu realen Daten (z.b. Gewebedichte bei CT-Daten, Emission bei PET usw.) w w { { 9

10 Volumenrendering Ziel: Strahlungsenergie, die beim Betrachter ankommt Prinzip analog zum klassischen Rendering (Raytracing) zusätzlich: Berücksichtigung der Absorption durch Medium konstante Absorption: T (l) = exp ( τl) allgemein: T (s, l) = exp ( l τ(s )ds ) s aktueller Absorptionskoeffizient Absorptionskoeffizient Abschwächung entlang des aktuellen Strahlwegs entlang des gesamten Strahls 10

11 Volumenrendering-Gleichung basiert auf klassischem Modell von Levoy (1988) vereinfachte Form, da ohne Shading und Schatten... Intensität beim Betrachter aus Blickrichtung gesamte Abschwächung Intensität des Hintergrunds Abschwächung entlang des aktuellen Strahlwegs l L( x l, ω)=t (0,l) L( x 0, ω)+ 0 T (s, l) E( x (s)) ds w w { { entlang des gesamten Strahls aktueller Emissionswert 11

12 Texturbasierte Verfahren Grafikhardware ist optimiert für 2D-Texturen performantere Texturzugriffe (im Vergleich zu 1D/3D) außerdem viele parallele Pixelpipelines Ausnutzen dieser Performance für DVR Object-aligned ( volumenparallel ) drei 2D-Texturstapel im Speicher Umschalten je nach Blickwinkel View-aligned ( bildparallel ) eine 3D-Textur im Speicher Kein Umschalten, da direkte trilineare Interpolation 12

13 Raycasting rays Sehstrahlen werden durch Bildschirmpixel gesendet und durch das Volumen verfolgt In diskreten Abständen werden die Volumendaten abgetastet Sampling eye view plane Vergleichbar mit Raytracing, jedoch in der Regel keine Sekundärstrahlen (außer evtl. Schattenfühler) Bisher meist nur in Software, dafür sehr hohe Qualität: artefaktfreie Isoflächen ohne größeren Aufwand Volumen ohne Samplingfehler Sehr wichtig für Einsatz in der Medizin! 13

14 Diskussion heute praktisch nur noch Raycasting und texturbasiert (view-aligned) relevant beide Verfahren profitieren von moderner Grafikhardware: texturbasiert: schnelle Verarbeitung der Geometrie, Texturierung Raycasting: flexible Programmierung für Optimierungen Raycasting Texturbasiert einfacher, natürlicher Algorithmus flexible Steuerung pro Strahl möglich maximale Qualität durch zusätzliche Filter möglich Performance von vielen Faktoren abhängig aufwendige Integration von Geometrien praktisch nicht abwärtskompatibel (mobile Systeme!) hohe Performance, abwärtskompatibel kompatibel mit Multiresolution- Systemen einfache Integration von beliebigen Geometrien aufwendigerer Algorithmus/ Applikationslogik begrenzte Qualität Interaktionsmöglichkeiten von Proxygeometrie abhängig 14

15 Multimodale Visualisierung Grundlagen und klinische Beispiele

16 Einführung Bisher: Visualisierung Daten einer Modalität Workstationsoftware meist optimiert auf jeweilige Modalität, z.b. CT: absolute HU-Werte => Transferfunktionen MRT: Voreinstellungen für unterschiedliche Sequenzen (T1, T2 etc.) Klinisch unterschiedlich relevant untergeordnete Rolle in normaler radiologischer Befundung essentiell z.b. im Bereich Neurochirurgie: CT + MRT + DTI/fMRI etc. Unterscheidung multi-volume und multi-modal multi-volume: mehrere Volumendaten gleichzeitig darstellen multi-modal: verschiedene Modalitäten gleichzeitig 16

17 Herausforderungen Struktur und Auflösung der Daten? Resampling => alle auf gleicher Auflösung adaptives Rendering => Renderer passt sich an Wertebereich/Tonwertumfang? Unterstützung mehrerer Transferfunktionen Gleiche/unterschiedliche Semantik? Gesamtdatenmenge? zeitgleiche Darstellung überhaupt möglich? räumliche oder zeitliche Priorisierung? Kompression? Relation der Daten zueinander ( Registrierung )? 17

18 Anwendungsbeispiele Segmentierungsdaten => Tumor-RFA Rieder et al, EuroVis

19 Anwendungsbeispiele CTs vor/nach OP 19

20 Anwendungsbeispiele CT+MRT und CT + PET => CEREBRIX 20

21 Anwendungsbeispiele CT+MRT+fMRI => NeuroSurgery Rieder et al., CGF Journal,

22 Medizinische Visualisierung Verarbeitung großer Datenmengen

23 Verarbeitung großer Datenmengen Es gibt immer (zu) große Datensätze... hohe räumliche Auflösung zeitlicher Verlauf mehrdimensionale Datenelemente (vgl. DTI-Bildgebung) multimodale Visualisierung Speicherbedarf des Endgeräts reicht nicht immer aus Dynamic CT, ~3GB dedizierte Grafikhardware? Workstations in PACS-Verbund? Thin-Client? Im Wesentlichen zwei Strategien: Reduktion der Gesamtdatenmenge divide-and-conquer -Prinzip Mummy data set, 92 GB 23

24 Reduktion der Datenmenge Kompression verlustfrei vs. verlustbehaftet zusätzlicher Rechenaufwand? Unterschiede bei Modalitäten? Reduktion von Auflösung, Tonwertumfang etc. Verlust von Information ggf. sinnvoll bei bekanntem Zielsystem Voxel Packing (RTVG, Engel et al.) importance volume (x,y,z) Reduktion durch Auswahl Zuschneiden auf relevanten Bereich (sog. Volume of Interest ) Priorisierung von Bereichen (z.b. per Importance Volume ) y +2 x z Importance Volume (DA Höllt, 2008) 24

25 divide-and-conquer Unterteilung der Gesamtdatenmenge uniform: Bricking, out-of-core hierarchisch: Octree Bricking (RTVG, Engel et al.) Streaming-Ansatz dynamisches Nachladen v.a. für zeitvariante Daten geeignet ( Cine-Mode ) Octree (RTVG, Engel et al.) Video Volumes (Langs et al.) 25