Patientenorientierte interaktive Visualisierung medizinischer Bilddaten

Transkript

1 Patientenorientierte interaktive Visualisierung medizinischer Bilddaten vorgelegt von Dipl.-Inform. Kai Köchy aus Berlin Von der Fakultät IV - Elektrotechnik und Informatik der Technischen Universität Berlin zur Erlangung des akademischen Grades Doktor der Ingenieurwissenschaften Dr.-Ing. genehmigte Dissertation Promotionsausschuss: Vorsitzender: Prof. Dr.-Ing. Olaf Hellwich Berichter: Prof. Dr.-Ing. Heinz U. Lemke Berichter: Prof. Dr.-Ing. Bernhard Preim Tag der wissenschaftlichen Aussprache: Berlin 2005 D 83

2

3 iii Zusammenfassung Um es interessierten Patienten zu ermöglichen, einen Zugriff auf die eigenen Gesundheitsdaten vom heimischen Personal-Computer zu erhalten, wurde von der Fachgruppe Computer Graphics and Computer Assisted Medicine der Technischen Universität Berlin das PREPaRe-System (Personal Repository for Electronic Patient Records) entworfen. Ein Schwerpunkt dieser Arbeit liegt in der patientengerechten Visualisierung der multimedialen, medizinischen Daten. Der zweite beschäftigt sich mit einer geführten, intuitiven Benutzerinteraktion. Dabei stellt sich die Benutzerschnittstelle als dreidimensionale, virtuelle Umgebung dar, in der ein reales Krankenhaus samt Räumlichkeiten und Untersuchungsgeräten abgebildet wird. Diese stellen die Präsentationsplattform zur Verfügung, auf der der Benutzer seine persönlichen aus einer elektronischen Patientenakte aufbereiteten Daten erforschen kann. Diese Arbeit umfasst die grobe Konzeption und Spezifikation des PREPaRe- Systems, sowie Konzeption, Spezifikation und exemplarische Umsetzung eines Subsystems, das die Visualisierung und Benutzerinteraktion durchführt. Abstract In order to enable the interested patient to gain access to his/her own medical records from a PC at home or a physician s office, the PREPaRe system (Personal Repository for Electronic Patient Records) was designed by the Department of Computer Graphics and Computer Assisted Medicine at the Technical University of Berlin. This paper describes the visualization and interaction aspects of the PREPaRe system which is designed with respect to the user s needs. Special attention is given to the visualization of and interaction within a threedimensional virtual hospital. A main concept and specification of the PREPaRe system in a whole is presented and prototypes of the specified visualization subsystem are evaluated.

4 iv

5 v Danksagung Ich möchte mich bei Prof. Dr. H.U. Lemke für die Initialzündung und die zur Verfügung gestellten Rahmenbedingungen zur Anfertigung dieser Arbeit bedanken. Weiterhin möchte ich mich bei Prof. Dr. B. Preim für die vielen nützlichen Anmerkungen und die Motivation zur Fertigstellung dieser Arbeit bedanken. Meinen Kollegen möchte ich für eine angenehme Atmosphäre und produktive Zusammenarbeit danken. Ebenfalls danke ich allen meinen Diplomanden, von denen ich immer etwas Neues gelernt habe. Großer Dank geht an meine Familie für ihre grenzenlose Geduld und moralische Unterstützung. Sie haben mich geprägt und in meiner Entwicklung gefördert.

6 vi

7 INHALTSVERZEICHNIS vii Inhaltsverzeichnis Abbildungsverzeichnis xi 1 Einleitung Motivation Aufbau der Arbeit Konzeption des PREPaRe-Systems Ablaufbeschreibung für das PREPaRe-System Szenarien Claims Anforderungen an das PREPaRe-System Modellierung des PREPaRe-Systems Grundlagen Bildsegmentierung Punktorientierte Verfahren Kanten- bzw. konturorientierte Verfahren Regionenorientierte Verfahren Texturorientierte Ansätze zur Bildsegmentierung Klassifikation der Volumendaten Volumen-Rendering Direktes Volumen-Rendering Image-Order-Algorithmen Object-Order-Algorithmen Domainbasierte Algorithmen Indirektes Volumen-Rendering Surface-Rendering Lokale Beleuchtung Transformation Backface Removal/Hidden Surface Removal Anwendung eines Beleuchtungsmodells Projektion und Rasterung Globale Beleuchtung Texture Mapping

8 viii INHALTSVERZEICHNIS Grafikhardware für das Surface-Rendering Hybrid Rendering Hybrid Ray Caster Grundstruktur des Algorithmus Selective Supersampling Polygon-Volumen-Schnitte Laufzeitoptimierung Hybrid Rendering mit 3D-Texturen Konvertierung der Voxeldaten in eine 3D-Textur Erstellung des Polygonschichtenstapels Optimierung des Polygonschichtenstapels Alpha-Blending Datenfluß des Hybrid Rendering mit 3D-Texturen Transferfunktionen zur Klassifikation Trial and Error Contour Spectrum Histogram Volume and Boundary Emphasis Function Design Gallery Interaktion in Virtuellen Welten Navigation Selektion Manipulation Skalierung Virtuelles Menü Standards Oberflächenrepräsentationen VRML Extensible 3D (X3D) Volumendaten Hybride Repräsentation H-Anim MPEG MPEG MPEG Profilkonzept Struktureller Aufbau Systems Visual Audio DMIF Elektronische Patientenakte

9 INHALTSVERZEICHNIS ix CEN Health Level Seven ISO TC CORBAMed IHE Spezifikation und Entwurf Spezifikation des PREPaRe-Systems Benutzeranforderungen Validierung der Spezifikation Priorisierung der Anforderungen Technische Parameter nach QFD Systemkomponenten der Visualisierung Datenmodelle Erweiterte anatomische Informationen Hybrides Datenmodell für Oberflächen und Volumendaten Definition eines Volumendatenmodells in VRML Definition eines Volumendatenmodells in X3D Visualisierung im virtuellen KH Oberflächendarstellung für 3D Welt Hybrid Ray Casting für gute Bildqualität D-Texturen für Interaktivität Interaktion im virtuellen Krankenhaus D-Benutzerschnittstelle D-Modellbetrachter Virtuelle Welt Implementation Virtuelles Krankenhaus mit Java3D Optimierter Hybrid Ray Caster GLVIEW-Renderer für virtuelle Umgebungen Ergebnisse der Renderer Virtuelles Krankenhaus mit Java3D Optimierter Hybrid Ray Caster GLVIEW-Renderer Evaluierung des Subsystems zur Visualisierung Evaluierung mit Hilfe der Technischen Parameter Evaluierung des Virtuellen Krankenhauses mit Java3D Evaluierung des Hybrid Ray Caster Evaluierung des GLVIEW-Renderer

10 x INHALTSVERZEICHNIS 8.2 Fazit der Evaluierung Zusammenfassung Glossar 151 Literaturverzeichnis 154 A Fragebogen für Patienten 167 B QFD-Tabellen 173 B.1 Initiale Anforderungen - Benutzeranforderungen B.2 Kriterienkatalog C Hardware-Rendering 185 C.1 3D Texturen in OpenGL C.2 3D Texturen in JAVA3D

11 ABBILDUNGSVERZEICHNIS xi Abbildungsverzeichnis 2.1 Aufgaben-Artefakte-Kreislauf (aus [Carroll, 2000]) Ablauf der QFD-Methode Modulare Architektur des PREPaRe-Systems [Märkle et al., 2001] Prüfung und Weiterleitung der Benutzeranfragen Bündelung der Anfrageergebnisse, Adaption und Aufbereitung für den Benutzer Visualisierung- und Vorverarbeitungsubsystem von PREPaRe Die Skizzen zeigen Beispiele für die Begriffsbildung bei der Wasserscheidentransformation (aus [Lehmann et al., 1997]) Klassifikationsfunktionen für verschiedene Gewebearten [Watt, 2002] Voxel (links) und Voxelzelle Die wichtigsten Gitterarten Volumen-Rendering-Methoden, (nach [Elvins, 1992] [Ratering, 1998] [Yagel, 1996] ) Image-Order vs. Object-Order, (aus [Watt, 2002]) Beim Ray Casting werden parallele Strahlen von jedem Pixel der Bildebene in den Objektraum gesendet Beim Verfahren back-to-front werden die Voxel von hinten nach vorne abgearbeitet und in die Bildebene projiziert Shear-Warp : a) Orthographische Strahlen werden von der Grundfläche des Volumens ausgesendet. b) Das Volumen wird derart geschert, dass die Strahlen rechtwinklig zur Grundfläche stehen Volumen-Rendering : a) mit 2D-Texturen b) mit 3D-Texturen Fourier-Volumen-Rendering, (aus [Totsuka und Levoy, 1993]) Funktionsweise der 3D-Pipeline : Zu Beginn werden die Eckpunkte der Oberflächenmodelle eingelesen. Anschließend wird anhand der verfügbaren Grafikhardware entschieden, welcher der drei Pfade verfolgt wird. Zur Auswahl stehen dabei die langsame und für die CPU sehr rechenintensive Software-Emulation, die gängige Fixed- Function-Pipeline oder die modernere Flexible-Pipeline Ray Tracing. Alle Flächen bis auf O3 sind semitransparent. Die Strahlen T1, R2 und R3 leisten keinen Beitrag zur resultierenden Pixelfarbe, da sie die Szene verlassen

12 xii ABBILDUNGSVERZEICHNIS 3.14 Vergleich von polygonalem (links) und volumetrischem (rechts) Ray Casting Hybrid Ray Tracer, nach [Levoy, 1990b] Selective Supersampling Lineare Interpolationen Polygon-Volumen-Schnitte, aus [Levoy, 1990b]: a) Entlang eines Strahls entstehen Volumenblöcke homogener Farbe und Opazität b) Polygon schneidet nur die Seitenflächen c) Exakte Lösung der Volumenverdeckung d) Polygon schneidet Vorder- oder Rückseite e) Supersampling in Verbindung mit c) Octree für Voxel Binärbaum für Bounding Boxes von Polygonen Optimierter Hybrid Ray Caster D-Texturraum mit dem R, S, T-Koordinatensystem, aus [OpenGLonSGI] Schnittebene durch den Texturraum, aus [OpenGLonSGI] Würfel um das Volumen mit dem Mittelpunkt M und den drei orthogonalen Vektoren dir, side und up Visualisierung des Kopfes der Visible Human female [Visible Human Project] mit 3D-Texturen und a) 25, b) 100, c) 200 und d) 256 Texturen Flächenoptimiertes Polygon schneidet das Würfelvolumen Flächenoptimierte Polygone (konvex vs. konkav) Alpha-Blending von Texturen Datenfluß des hybriden Rendering unter Verwendung von 3D- Texturen Ein zweidimensionales Skalarfeld wird als Höhengitter dargestellt (links). Der Anteil einer Iso-Kontur, der in einem Dreieck des Höhengitters enthalten ist (rechts) Relationsdiagramm einer beispielhaften Datenstrukturierung, wie sie dem Standard DICOM zugrunde liegt (nach [Oosterwijk, 2000]) Der Humanoid-Knoten und seine untergeordneten Komponenten MPEG-4 Terminal Architecture ([MPEG4]) Komponenten eines Electronic HealthCare Records (EHCR), nach [CEN 13606] Module des Systems nach Model-View-Controller unterteilt Der Datenfluß innerhalb des Systems Die Struktur der Präsentationsdatenbank, aus [Tschirley et al., 2003] Aufbau des erweiterten anatomischen Atlanten [Tschirley et al., 2003] Extended Anatomic Information (XAI)

13 ABBILDUNGSVERZEICHNIS xiii 5.6 Klassenentwurf für einen hierarchischen Szenengraphen Virtuelles Krankenhaus : a) Blick in einen radiologischen Aufnahmeraum und b) Virtueller Akteur a) Blick in einen virtuellen OP-Saal und b) Erklärende Begriffe werden neben extrahierten Oberflächenmodellen eingeblendet Ray Casting eines CT-Datensatz eines Kopfes (links) und eines CT-Datensatz eines Zahns (rechts). Das Modell stammt von der NLM [National Library of Medicine] Visualisierung des Kniebereichs der Visible Human female [Visible Human Project] mit a) VolumePro 1000 Grafikkarte und b) 3D Texture Mapping Visualisierung des Kniebereichs der Visible Human female [Visible Human Project] mit a) Surface-Rendering und b) - d) 3D- Texture-Mapping Hybrid-Rendering der Schichtdaten des Kniebereichs der Visible Human female [Visible Human Project] mit einem Polygonmodells eines künstlichen Kniegelenks Hybrid Rendering eines CT-Kopf-Datensatzes mit Volumentexturen in einem virtuellen OP GUI des Java-Applet mit 3D-Modellbetrachter Aus dem CT-Schichtdatensatz der Visible Human female [Visible Human Project] extrahierte Oberflächen (Knie und Haut) Röntgenraum im virtuellen Krankenhaus Fusion von extrahiertem Oberflächenmodell mit einem generischen Körper Ein 3D Auswahlmenü in einem virtuellen OP Animierte Chirurgen in einem virtuellen OP Client-Server-Architektur für das Java-Applet (aus [Kirschbaum, 2002]) GUI des Virtuellen Krankenhauses (aus [Kirschbaum, 2002]) GUI des optimierten Hybrid Ray Caster (aus [Schiele, 2002]) GUI des GLVIEW-Renderer Ergebnis des Java3D-Renderer Vergleich einer hybriden Volumendarstellung eines MRT- Kopfdatensatzes (rechts) mit einem einzelnen Schichtbild (links) desselben Datensatzes. In die Falschfarbendarstellung des Volumens wurde ein Volume-Of-Interest (rot) und ein Markierungselement (grün) eingebettet Ergebnis des optimierten Hybrid Ray Caster Ergebnis des GLVIEW-Renderer (MIP-Blending) Ergebnis des GLVIEW-Renderer (OVER-Blending) Evaluierungsergebnis des Virtuellen Krankenhauses mit Java3D. 143

14 xiv ABBILDUNGSVERZEICHNIS 8.2 Evaluierungsergebnis des Hybrid Ray Caster Evaluierungsergebnis des GLVIEW-Renderer Stereoprojektion in einer PC-CAVE

15 Tabellenverzeichnis 5.1 Ergebnisse der persönlichen Angaben der Befragten Auswertung der Befragung potenzieller Benutzer Abweichung zwischen verwendeter Bewertung und dem Ergebnis der Befragung Priorisierung und Gewichtung der Benutzeranforderungen QFD-Matrix: Benutzeranforderungen (Benutzerschnittstelle) vs. Technische Parameter (Benutzerschnittstelle) QFD-Matrix: Benutzeranforderungen (Datenpräsentation) vs. Technische Parameter (Benutzerschnittstelle) QFD-Matrix: Benutzeranforderungen (Benutzerschnittstelle) vs. Technische Parameter (Datenpräsentation) QFD-Matrix: Benutzeranforderungen (Datenpräsentation) vs. Technische Parameter (Datenpräsentation) Benchmark für den Java3D-Renderer Benchmark für den Hybrid Ray Caster Benchmark für den GLVIEW-Renderer beim MIP-Blending Benchmark für den GLVIEW-Renderer beim OVER-Blending Evaluierung der drei implementierten Systeme

16 xvi TABELLENVERZEICHNIS

17 1 Kapitel 1 Einleitung Moderne Anwendungen der Informatik benutzen zunehmend Computergrafiksysteme, sei es zur Verbesserung der Mensch-Rechner-Interaktion oder zur Unterstützung des Verarbeitungsprozesses textueller, graphischer oder bildhafter Daten. Die Visualisierung naturwissenschaftlicher Daten gehört zu den wichtigsten Anwendungsgebieten der Computergrafik. Um dem Anwender die interne Struktur und Topologie von multidimensional abgetasteten Funktionen verständlich zu machen, beinhalten viele Applikationen die Darstellung von Volumendaten. Als Volumenvisualisierung bzw. Volumen-Rendering bezeichnet man dabei den Prozeß der Projektion einer dreidimensionalen Datenmenge auf eine zweidimensionale Bildfläche. Aufgrund der immensen Hardwareanforderungen, insbesondere der benötigten Rechenleistung gehört das Volumen-Rendering zu den sich in aktueller Forschung befindlichen Teilgebieten der Computergrafik. Skalarfunktionen dreidimensionaler Variablen sind in Wissenschaft und Technik reichlich vorhanden. Volumendaten werden entweder durch mathematische Modelle erzeugt oder der realen Welt entnommen. Ein Hauptanwendungsgebiet des Volumen-Rendering findet sich in der Medizin, wobei Volumendaten mit Hilfe digitaler bildgebender Verfahren generiert werden. Nach ihrer Erzeugung dient die Visualisierung dem medizinischen Personal und der Kommunikation zwischen Ärzten. 1.1 Motivation Viele Visualisierungsaufgaben erfordern die gleichzeitige Darstellung von polygonal definierten Objekten und Volumendaten. Im Volumen eingebettete Orientierungselemente wie Pfeile oder semitransparente Hüllen erleichtern das Erkennen und Interpretieren markanter Regionen innerhalb des dargestellten Datenraumes erheblich. Es existieren bereits eine Vielzahl von medizinischen Anwendungen. So lassen sich medizinische Instrumente wie Nadeln, Skalpelle, Sonden oder Präzisionslaser geometrisch modellieren und direkt an der räumlichen Stelle der Verwendung mit dem betrachteten anatomischen Objekt in Bezug bringen. Über polygonal definierte Hüllkörper lässt sich eine räumliche Abgrenzung in bezug auf Morphologie, Dosisverteilung, Zielvolumina oder Risikoorgane erreichen. Bei der Operationsplanung für die Strahlenbehandlung von Geschwüren und Tumoren erfolgt beispielsweise

18 2 KAPITEL 1. EINLEITUNG eine überlagerte Darstellung von Strahlen und Patientenanatomie. Denkbar ist auch die integrierte Anzeige von Prothesemodellen und Patientenanatomie im orthopädischen Bereich. Erste Ansätze zur multimodalen Visualisierung basieren auf einer vorgeschalteten expliziten Konvertierung einer Datenrepräsentation in die jeweils andere. So kann mittels eines Algorithmus eine oberflächenapproximierende Geometrie aus den Volumendaten extrahiert werden und zusammen mit der Geometrie des Polygonobjektes mit Hilfe konventioneller Rendering-Methoden dargestellt werden [Fuchs et al., 1977] [Lorensen und Cline, 1987]. Andererseits ist es möglich, das Polygonobjekt über eine Scankonvertierung in eine Voxelrepräsentation zu überführen und in das Ausgangsvolumen zu integrieren [Kaufman und Simony, 1986]. Das so entstehende Gesamtvolumen kann daraufhin mittels eines direkten Volumen-Rendering-Verfahrens visualisiert werden. Nachteil beider Ansätze ist der mit der Konvertierung einhergehende Qualitäts- und Informationsverlust. Neuere Ansätze vermeiden diese verlustbehaftete Konvertierung und stellen Oberflächen- und Volumenrepräsentationen hybrid (gemeinsam) dar. Zu den Vertretern gehören das Hybrid Ray Tracing [Levoy, 1990b] und das texturbasierte Volumen-Rendering [Cabral et al., 1994] [Wilson et al., 1994]. Im Rahmen des PREPaRe-Projekts (Personal Repository for Electronic Patient Records) [Märkle et al., 2001] an der Technischen Universität Berlin wird ein dreidimensionales, virtuelles Krankenhaus entwickelt, in dem Volumenschichtdaten und aus diesen Schichtdaten extrahierte Oberflächenmodelle interaktiv für Ärzte und Patienten dargestellt werden. Dies dient der multimedialen Patientenaufklärung und ist eine Ergänzung zum Arzt-Patientengespräch. Da die Volumenschichtdaten in den meisten Fällen digital vorliegen, können sie einfach transportiert werden und an verschiedenen Orten, wie z.b. beim Hausarzt oder zu Hause, verarbeitet und visualisiert werden. Erklärungen und Anmerkungen des untersuchenden Arztes können protokolliert werden und auf diese Weise in einem Gespräch mit anderen Ärzten (second opinion) oder der eigenen Familie verwendet werden. Um medizinische Sachverhalte nicht nur dem medizinischen Personal, sondern auch interessierten Patienten näher zu bringen, wird eine virtuelle, dreidimensionale Welt geschaffen, in der Räume, Einrichtungsgegenstände und Modelle von menschlichen Körpern gemeinsam mit Volumendaten des Patienten dargestellt werden. Die Besucher können sich frei bewegen und mit den Objekten der virtuellen Welt interagieren. Ein Ziel des Projekts liegt in der Integration von dreidimensionalen Patientendaten in eine elektronische Patientenakte unter Berücksichtigung der vorhandenen internationalen Standards. Zusätzlich soll die Anknüpfung an Wissens- Datenbanken und andere externe WWW-Inhalte realisiert werden. Die Aufgabe dieser Arbeit besteht darin, Visualisierungstechniken für das hybride Rendering in einer virtuellen Welt zu analysieren und für den Einsatz im PREPaRe-Projekt zu evaluieren. Dazu wurde ein optimierter Hybrid Ray Caster und ein texturbasierter Volumen-Renderer implementiert. Als Grundlage für beide Systeme wurde ein standardisiertes Datenformat für die hybride Repräsentation von Oberflächen- und Volumendaten erweitert.

19 1.2. AUFBAU DER ARBEIT Aufbau der Arbeit Nach der Einleitung wird im zweiten Kapitel das zu erstellende System konzipiert. Dafür wird an Hand einer Ablaufbeschreibung der Einsatzort und die Benutzerschicht vorgestellt. Der Szenario-basierte Systementwurf der Benutzerschnittstelle sieht die Auflistung von Szenarien und zu erfüllenden Ansprüchen vor [Carroll, 2000]. Aus diesen ergeben sich die Anforderungen an das zu entwickelnde System, welche in der Modellierung Berücksichtigung finden. Im dritten Kapitel werden die Grundlagen für die Bildverarbeitung und die Visualisierung vorgestellt. DAbei unterteilt sich die Visualisierung in Surface- Rendering, Volumen-Rendering und eine Kombination von beiden, Hybrid Rendering genannt. Außerdem erfolgt eine Beschreibung der für die Volumenvisualisierung benötigten Transferfunktionen. Abschließend werden Interaktionmöglichkeiten in virtuellen Welten beschrieben, in denen die medizinischen Bilddaten angezeigt werden. Einen Überblick über internationale Standards, die zum Teil bei der Implementierung Berücksichtigung gefunden haben, erfolgt im vierten Kapitel. Es werden Standards für Oberflächenrepräsentationen und Volumendaten beschrieben. Für die hybride Repräsentation von Oberflächen und Volumen existieren noch keine Standards, so dass ein eigenes Format vorgestellt wird. Zusätzlich werden Standards für eine elektronische Patientenakte, die multimediale Bilddaten enthalten kann, erörtert. Eine Spezifikation des zu erstellenden Systems erfolgt im fünften Kapitel. Zunächst werden die groben Anforderungen aus der Sicht der Benutzer an das System ermittelt. Diese werden in mehreren Schritten verfeinert und führen zu den Systemkomponenten. Eine Aufteilung der Komponenten in drei Gebiete unterstützt die Modularisierung, wobei die Datenmodelle für eine hybride Repräsentation als Basis für die Visualisierung und Interaktion dienen. Eine Beschreibung der implementationsspezifischen Details geschieht im sechsten Kapitel. Gemäß den Anforderungen des Systementwurfs werden drei prototypische Anwendungen aus dem Bereich der Visualisierung implementiert. Das siebente Kapitel liefert eine Betrachtung der aus den drei Implementationen erzielten Ergebnisse. Danach werden im achten Kapitel die aufgestellten Qualitätskriterien dazu herangezogen, die Ergebnisse der entwickelten Prototypen zu evaluieren und ein Fazit zu ziehen. Anschließend wird im neunten Kapitel eine Zusammenfassung über die Arbeit und ein Ausblick auf zukünftige Weiterentwicklungen gegeben. Im zehnten Kapitel befindet sich ein Glossar, welcher die wichtigsten Abkürzungen erklärt. Eine Auflistung der Referenzen und der Anhang schließen die Arbeit ab.

20 4 KAPITEL 1. EINLEITUNG

21 Kapitel 2 Konzeption des PREPaRe-Systems Um interessierten Patienten die Möglichkeit zu geben, sich aktiv um ihre Gesundheit zu kümmern, wird an der TU-Berlin das PREPaRe-System (Personal Repository for Electronic Patient Records) entwickelt. Als Zielgruppe werden zu Beginn der Entwicklung chronisch Erkrankte angesehen, die ihren Gesundheitszustand über einen gewissen Zeitraum verfolgen. Zu den betrachteten medizinischen Fachgebieten zählt z.b. die Orthopädie. Zusätzlich kann das System für Erkrankungen des Herz-Kreislauf-Systems in Frage kommen, da sich diese in der Regel über einen längeren Zeitraum erstrecken. Das System soll den Benutzer in die Lage versetzen, seinem Informationsbedürfnis nachzugehen. Beim PREPaRe-System handelt es sich um ein internetbasiertes, verteiltes Informationssystem, das unterschiedliche Arten medizinischer Daten aus einer elektronischen Patientenakte speichert, kombiniert, verarbeitet und dreidimensional visualisiert [Märkle et al., 2001]. Im Gegensatz zu konventionellen, medizinischen Enzyklopädien, die nur allgemeine Informationen bereitstellen, soll dem interessierten Patienten der Zugang zu seinen eigenen Bilddaten ermöglicht werden, so dass er sie betrachten kann. Dabei steht die angemessene Präsentation der spezifischen Daten des Patienten im Vordergrund. In seiner Konzeption ermöglicht das PREPaRe-System dem Anwender den Abruf der eigenen Gesundheitsdaten vom heimischen PC in der Umgebung der Familie oder aus der Praxis des behandelnden Arztes zu einem vertieften Beratungsgespräch. Eine Vielzahl von elektronischen Patientenakten, die im Leben eines Patienten von verschiedenen Institutionen angelegt werden, können mit Hilfe des Systems zu einem persönlichen Repositorium zusammengefasst werden, so dass die enthaltenen Informationen mit Hilfe geeigneter computergestützter Analysemethoden dargestellt werden können. Aus der genannten Funktionalität leitet sich auch der Name des Systems ab. Wenn es sich bei der Systementwicklung um ein neuartiges System handelt, von dem es keinen Vorgänger oder ein vergleichbares fertiges Produkt gibt, dann kann durch die Beschreibung der geplanten Verwendung ein ersten Eindruck vermittelt werden (Abschnitt 2.1). Da kein fertiges Produkt vorliegt, welches analysiert werden kann, wird die geplante Benutzung aus Sicht des Anwenders in einzelnen Szenarien untersucht (Abschnitt 2.2). Bei der Umsetzung von Szenarien stehen

22 6 KAPITEL 2. KONZEPTION DES PREPARE-SYSTEMS dem Designer mehrere Optionen zur Auswahl, die Konsequenzen nach sich ziehen (Abschnitt 2.3). Wenn zu einem frühen Entwicklungsstadium diese Konsequenzen, die auch Einschränkungen mit sich bringen können, zusammengetragen werden, können Designentscheidungen besser nachvollzogen und Fehler zum Teil vermieden werden. Aus den Szenarien und der Liste der Konsequenzen ergeben sich Anforderungen an das System, welche bei der Realisierung berücksichtigt werden müssen (Abschnitt 2.4). In einem ersten groben Entwurf wird das PREPaRe- System in Untersysteme aufgeteilt, die miteinander kommunizieren (Abschnitt 2.5). 2.1 Ablaufbeschreibung für das PREPaRe-System Um einen besseren Einstieg zu erhalten, folgt eine Ablaufbeschreibung einer beispielhaften Sitzung innerhalb des konzipierten PREPaRe-Systems: Sie haben eine gesundheitliche Beeinträchtigung, die möglicherweise chronisch ist, d. h. Ihr Wohlbefinden für einen sehr langen Zeitraum beeinträchtigt. Nachdem Ihr Hausarzt Sie an einen Facharzt überwiesen hat, hat Sie dieser nach einigen Untersuchungen an ein Krankenhaus oder eine radiologische Praxis verwiesen, damit dort ein dreidimensionaler Tomographiedatensatz von dem betroffenen Körperteil angefertigt werden konnte. Der Radiologe hat den Datensatz bereits befundet, d. h. seine Beobachtungen und Beurteilungen für den Facharzt elektronisch notiert. Das bedeutet, dass Sie keinen Brief für den Facharzt mitnehmen müssen, denn der Inhalt des Briefes wird dem Facharzt elektronisch übermittelt. Im anschließenden Gespräch mit dem Facharzt wurden Sie bereits über das Untersuchungsergebnis aufgeklärt und der Facharzt hat Ihnen die Bilddaten gezeigt, die der Radiologe erzeugt hat. Der Facharzt hat Ihnen eine Therapiemöglichkeit empfohlen und vielleicht noch eine weitere Alternative angesprochen. Im Kreise der Familie möchten Sie nun gern noch einmal das Bildmaterial vorliegen haben, um es sich gemeinsam ansehen zu können, um das Besprochene neu zu diskutieren und um anhand der Diagnosebezeichnung selbständig im Internet nach Informationen zu suchen. Sie verbinden Ihren heimischen Personal Computer mit dem Internet ( Sie gehen online ) und begeben sich zum PREPaRe-Portal. Sie betreten das virtuelle Krankenhaus an der Rezeption. Einem virtuellen Avatar gegenüber weisen Sie Ihre Identität nach, zum Beispiel durch einen PIN-Code, aus der Ihre Befugnisse im Krankenhaus abgeleitet werden können. Da sie heute nicht zum ersten Mal das virtuelle Krankenhaus betreten, legen Sie keinen Wert mehr darauf, sich die Räumlichkeiten anzusehen und selbst herauszufinden, welche Informationen Ihnen hier angeboten werden. Sie wissen bereits, dass Sie Ihre Untersuchungsergebnisse betrachten wollen, also

23 2.2. SZENARIEN 7 veranlassen Sie das System, Sie direkt in einen gesonderten Raum zu bringen. In diesem besonderen Raum können Sie Ihre Untersuchungsergebnisse abrufen. Der Raum ist abgeschlossen, das bedeutet, dass nur Sie und Personen, die Sie explizit dazu eingeladen haben, den Raum betreten können. Sie sehen das, was Ihnen bereits der Facharzt gezeigt hat, z. B. Ihre Computertomographie auf einem Leuchtschirm. Je nach Kenntnisstand und technischen Voraussetzungen Ihres Computers können Sie neben Texten und einfachen Bildern verschiedene dreidimensionale Repräsentationen anzeigen lassen, die aus Ihren Untersuchungsergebnissen abgeleitet wurden und die Sie auf das hinweisen, was der Facharzt als bemerkenswert markiert hat, möglicherweise die Ursache Ihres Leidens. Die Untersuchungsergebnisse sind in das virtuelle Krankenhaus eingebettet. Alle Informationen, die der Facharzt Ihnen zu Ihrem Fall zeigen könnte, sind hier abrufbar, das bedeutet, auch seine Vorschläge zur weiteren Therapie. Nachdem Sie die Untersuchungsergebnisse betrachtet haben, möchten Sie sich über die vorgeschlagene Therapie informieren. Über einen Hyperlink-Mechanismus können Sie externe, angebundene Informationsquellen nutzen. Dabei handelt es sich beispielsweise um Enzyklopädien zu Anatomie und Pathologie. Dort können Sie sich über Ihr Leiden und mögliche Therapien weiter informieren. Wenn Sie Erfahrungsberichte anderer Patienten einsehen möchten, begeben Sie sich in einen Chat-Raum. Hier können Sie mit anderen Patienten interagieren, zum Beispiel sprechen, was durch Mikrofon und Lautsprecher an Ihrem Computer ermöglicht wird. Andere Patienten sehen Sie als Avatare, menschlich aussehende Figuren. Auch Sie werden von anderen Patienten als eine solche Figur wahrgenommen, und zwar genau dort, wo Sie sich im virtuellen Krankenhaus befinden. So können Sie Kontakt mit Menschen aufnehmen, die möglicherweise die Therapie, die Ihnen der Arzt vorgeschlagen hat, bereits hinter sich haben. Oder Sie lesen deren abgespeicherte Erfahrungsberichte. 2.2 Szenarien Aus der Beschreibung von Szenarien lässt sich für das Design von Benutzungsschnittstellen ein Framework erstellen, mit dem die Aktivitäten beim Entwurf und der Fluß der Informationen innerhalb eines Kreislaufs verwaltet werden [Carroll, 2000]. Dieser Kreislauf besteht aus Aufgabenbeschreibungen und entworfenen Artefakten (siehe Abbildung 2.1). Dabei unterstützen die Aufgaben die Formulierung von Anforderungen an neue Technologien. Mit Hilfe der Anforderungen lassen sich Prototypen, bei Carroll [Carroll, 2000] Artefakte genannt, erstellen. Diese eröffnen dem Benutzer weitere Möglichkeiten (und Einschränkungen), welche die Aufgaben neu definieren. Die Verwendung von Szenarien ruft aufgaben-orientierte Reflektion bei der Designarbeit hervor. Sie stellt die Aktivität des Benutzers an den Anfang des Designs. Szenarien unterstützen den Systementwickler bei der Identifizierung und Entwicklung korrekter Anforderungen an

24 8 KAPITEL 2. KONZEPTION DES PREPARE-SYSTEMS das System. Zusätzlich ermöglichen sie die Analyse verschiedener Möglichkeiten, die sich aus dem Design und der Betrachtung aus unterschiedlichen Blickwinkeln bei dessen Verwendung ergeben. In Szenarien kann ein Systementwickler sein Wissen und seine Erfahrung in abstrakte, aufgaben-orientierte Rubriken kummulieren. Darüber hinaus sind sie natürlichsprachig und dadurch für die Diskussion mit dem Anwender geeignet. Anforderungen Aufgaben Artefakte Möglichkeiten Abbildung 2.1: Aufgaben-Artefakte-Kreislauf (aus [Carroll, 2000]). Als erstes Szenario für das PREPaRe-System wird die Anmeldung beim PREPaRe-Portal beschrieben. Bei der Anmeldung werden die eingegebenen Benutzerdaten einer Authentifizierung unterworfen und eine Session für jeden einzelnen Benutzer angelegt. Nach erfolgreicher Authentifizierung werden die Stammdaten aus der elektronischen Patientenakte geholt und benutzerspezifische Daten aus dem persönlichen Repositorium. Scenario 1: Anmeldung am PREPaRe-Portal Benutzerauthentifizierung. Session für den Patienten anlegen. Stammdaten aus der elektronischen Patientenakte holen. Zusätzliche Daten aus dem persönlichen Repositorium holen. Im zweiten Szenario wird die Navigation im virtuellen Krankenhaus dargelegt. Der Benutzer kann in den virtuellen Räumen das Krankenhauses mit Hilfe der Cursortasten und/oder der Maus navigieren. Er erhält Informationen über die Räumlichkeiten und ausgewählte, medizinische Geräte. Auf Wunsch des Benutzers, werden seine hybriden, medizinischen Daten in einem speziellen Besprechungszimmer für ihn visualisiert. Die Auswahl wird durch eine geführte Benutzerinteraktion unterstützt. Scenario 2: Navigation im virtuellen Krankenhaus Navigation im virtuellen Krankenhaus mit Hilfe der Cursortasten und/oder durch Maussteuerung. Information über die Räumlichkeiten und ausgewählte, medizinische Geräte.

25 2.2. SZENARIEN 9 Hybrider Datensatz des Patienten wird unter Verwendung eines Auswahlmenüs im Besprechungszimmer visualisiert. Eine Erläuterung der Interaktion mit den persönlichen Daten des Benutzers wird im dritten Szenario gegeben. Innerhalb der dreidimensionalen Welt werden extrahierte Oberflächenmodelle aus den Volumendaten des Patienten visualisiert. Diese anatomischen Oberflächenmodelle können erklärende Namen haben, welche bei Interaktion als 2D-Overlay oder 3D-Text eingeblendet werden. Scenario 3: Interaktion mit den persönlichen Daten Extrahierte Oberflächenmodelle aus den Volumendaten des Patienten werden innerhalb der dreidimensionalen Welt visualisiert. Extrahierte Oberflächenmodelle können eine Beschriftung haben, die bei entsprechender Interaktion eingeblendet wird. Texteinblendung kann als 2D-Overlay oder 3D-Text erfolgen. Die Anzeige externer, erläuternder Informationen zum medizinischen Kontext der Visualisierung ist Thema des vierten Szenarios. Eine Verknüpfung der extrahierten Oberflächenmodelle aus den Volumendaten des Patienten mit externen Informationen ist im persönlichen Repositorium gespeichert. Diese werden bei Selektion durch den Benutzer in einem anderen Teil der GUI angezeigt. Scenario 4: Anzeige von externen Informationen Selektion eines speziellen Oberflächenmodells ermöglicht die Anzeige externer Information. Externe Information wird in einem anderen Teil der GUI angezeigt. Das fünfte Szenario widmet sich der Volumenvisualisierung. Für den Fall, dass die Volumendaten des Patienten lokal auf dem Client-Rechner vorliegen, kann hybrides Rendering diese in die virtuelle Welt integriert visualisieren. Ein Parameter des Volumen-Rendering ist die Transferfunktion. Eine Reihe passender Transferfunktionen werden dem Benutzer erklärend zur Auswahl gestellt. So heben z.b. unterschiedliche Transferfunktionen spezielle anatomische Begebenheiten hervor. Scenario 5: Volumenvisualisierung Hybrides Rendering ermöglicht die Visualisierung der Volumendaten des Patienten integriert in den Oberflächenmodellen. Aus einer Reihe passender Transferfunktionen für das Volumen-Rendering kann der Benutzer eine auswählen. Unterschiedliche Transferfunktionen heben spezielle anatomische Begebenheiten hervor.

26 10 KAPITEL 2. KONZEPTION DES PREPARE-SYSTEMS Nachdem der Benutzer die Untersuchungsergebnisse betrachtet hat, kann er sich über die vorgeschlagene Therapie informieren. Dies kann durch externe Informationsquellen geschehen, die eingebunden werden, und durch die Simulation und Visualisierung einer Therapie. Dazu wird innerhalb des virtuellen Krankenhauses ein OP-Saal modelliert, in dem virtuelle Chirurgen animiert werden. Dem Benutzer wird somit ein Blick über die Schulter des virtuellen Chirurgen ermöglicht. Eine präzise Spezifikation der Arbeitsabläufe im OP stellt die Grundlage für eine vergleichbare Simulation und verständliche Visualisierung dar. Scenario 6: Simulation einer Therapie Simulation und Visualisierung einer Therapie dient der Patientenaufklärung. In einem dreidimensionalen OP-Saal werden virtuelle Chirurgen animiert. Ein Blick über die Schulter des virtuellen Chirurgen eröffnet neue Dimensionen im Arzt-Patientengespräch. 2.3 Claims Aus jeder Designentscheidung erwachsen Konsequenzen. Szenarien eignen sich gut dazu, Konsequenzen und Nachteile des Designs an unterschiedlichen Stufen der Analyse anschaulich festzuhalten. Allerdings läßt jede textuelle Beschreibung eines Szenarios viele Dinge offen. Diese Eigenschaft, sowohl konkret als auch oberflächlich zu sein, verleiht den Szenarien ihre besondere Stärke. In vielen Fällen kann es wichtig sein, die kausalen Zusammenhänge, die bei der Szenarienbeschreibung implizit bleiben, aufzuzählen. Im szenarien-basierten Schnittstellendesign werden diese Zusammenhänge als claims bezeichnet [Carroll, 2000]. Sie bestehen aus einem design feature und der Auflistung von positiven, erwünschten Konsequenzen und negativen, unerwünschten Konsequenzen. In ihren Veröffentlichungen haben Carroll et. al. [Carroll und Kellogg, 1989] [Carroll und Rosson, 1991] [Carroll und Rosson, 1992] einen Ansatz zur kausalen Analyse in Szenarien entwickelt, der claims analysis genannt wird. Ein Beispiel für einen allgemein ausgedrückten Anspruch ist der control panel interface claim, welcher von der Schnittstelle verlangt, dass durch direkte Eingabe die Kontrolle des Programms möglich ist. Claim 1 control panel interface + Ermutigt zur direkten Eingabe. Präzise und/oder komplexe Auswahl ist unter Umständen schwierig auszudrücken. Für das PREPaRe-System lassen sich beim Design speziellere claims mit ihren jeweiligen Konsequenzen aufstellen. In der Beschreibung der claims finden sich die Entscheidungsmöglichkeiten, die der Designer bei der Entwicklung treffen muß, wieder.

27 2.4. ANFORDERUNGEN AN DAS PREPARE-SYSTEM 11 Claim 2 Zugriff auf eine elektronische Patientenakte + In medizinischen Einrichtungen liegen die Patientendaten in zunehmendem Maße digital vor. Zugriff bisher nur für medizinisches Personal möglich, nicht aber für Patienten. Claim 3 Verarbeitung von echten Patientendaten + Authentizität ist größer als bei synthetischen anatomischen Modellen. Kommerzielle 3D-Visualisierungssoftware setzt medizinische Kenntnisse voraus. Claim 4 Verwendung von persönlichen Daten + Gesteigertes Interesse, da persönlich betroffen. Authentisierung und Verschlüsselung bei Datenkommunikation obligatorisch. Möglicherweise erzeugt die Ungewissheit über die Information, die in den persönlichen Daten steckt, ein Unbehagen beim Patienten. Claim 5 3D virtuelle Welt als Benutzerschnittstelle + Ein natürlicher Weg räumliche Repräsentationen zu untersuchen. + Ein immersiver, mehrdimensionaler und ganzheitlicher Blick auf die medizinischen Bilddaten der elektronischen Patientenakte. Navigationsmöglichkeiten müssen leicht zu erlernen sein, sonst findet das System keine Akzeptanz. Gefahr des Verlustes der Orientierung. Claim 6 Bildqualität + Informationsgewinn auch wenn keine zur Diagnose notwendige Bildqualität erreicht wird. Genauigkeit bei der 3D Visualisierung ist für die Diagnose durch den Arzt sehr wichtig. 2.4 Anforderungen an das PREPaRe- System Nachdem die geplante Verwendung des Systems mit Hilfe des szenarien-basierten Schnittstellendesigns in den vorherigen Abschnitten beschrieben wurde, folgt nun die Bestimmung der Anforderungen an das PREPaRe-System. In seinem Buch [Meyer, 1990] unterscheidet Bertrand Meyer in innere und äußere Faktoren für Softwarequalität. Zu den äußeren Qualitätskriterien gehören Korrektheit, Robustheit, Erweiterbarkeit, Wiederverwendbarkeit, Kompatibilität, Effizienz, Portabilität, Verifizierbarkeit, Integrität und Benutzerfreundlichkeit. Diese Aspekte sind vom Benutzer der Software, dazu gehören auch Systementwickler, die die Software in Auftrag geben, einsehbar. Zu den inneren Faktoren zählen

28 12 KAPITEL 2. KONZEPTION DES PREPARE-SYSTEMS Benutzer Anforderungen Initiale Anforderungen Technische Parameter Benutzer Anforderungen Abbildung 2.2: Ablauf der QFD-Methode. laut Meyer Modularität und Lesbarkeit, welche lediglich für Programmierer wahrnehmbar sind. Eine Verbesserung der inneren Faktoren der Software führt zu einer Verbesserung der äußeren. Dabei ist zu untersuchen, welche inneren Faktoren sich auf welche äußeren Qualitätsfaktoren auswirken. Diese Vorgehensweise findet auch beim Quality Function Deployment (QFD) [Mizuno und Akao, 1994] Verwendung, welches im allgemeinen die Anforderungen des Benutzers auf die technischen Parameter der Realisierung abbildet. Dabei entsprechen die Benutzeranforderungen den äußeren Faktoren und die technischen Parameter den inneren Faktoren. Bei der QFD-Methode erhalten die Anforderungen eine Gewichtung (0, 1, 3 oder 9) und werden innerhab einer Tabelle einander gegenübergestellt (siehe Abbildung 2.2), so dass erkennbar ist, welcher technische Parameter von welcher Benutzeranforderung abhängt. Aus der Erfüllung der technischen Parameter während der Realisierung kann die Erfüllung der Benutzeranforderungen berechnet werden, so daß eine Evaluierung des erstellten Systems möglich ist. Aus der Sicht des Benutzers ergeben sich folgende Anforderungen : Stillung des Informationsbedürfnis des Patienten. Ermutigung des Patienten sich seine med. Bilddaten anzuschauen und sich aktiv um seine eigene Gesundheit zu kümmern. Integration von Kommunikationsmöglichkeiten mit anderen Benutzern.

29 2.4. ANFORDERUNGEN AN DAS PREPARE-SYSTEM 13 Verwendung von patientenspezifischen Daten, wie Untersuchungsergebnisse, Befunde und Anmerkungen von Fachärzten. Angemessene und für den Patienten verständliche Präsentation der Daten. Verwendung unbedenklicher Daten, die vom Facharzt freigegeben wurden. Integration von externen Informationsquellen, wie z.b. Enzyklopädien und Kommunikationsforen. Bereitstellung von Erklärungen zu medizinischen Einrichtungen und Geräten Zugang zu klinischen Datenbanksystemen, zur Vereinbarung von Untersuchungsterminen. Verwendung einer dreidimensionalen virtuellen Welt. Aus dieser Liste können bereits einige technische Anforderungen abgeleitet werden, die in die Entwicklung des Systems mit einfließen sollen : Möglichkeit der Nutzung vom heimischen PC des Patienten aus. Generierung eines persönlichen Repositoriums für Anmerkungen zu den medizinischen Daten. Verwaltung eines Meta-Index, der die Lokalisierung der Patientendaten in den verschiedenen medizinischen Informationssystemen erlaubt. Unterstützung von Online- und Offline-Medien. Berücksichtigung des Schutzes der persönlichen Daten. Leichte Bedienbarkeit. Verwaltung von Wissen über die angemessene Präsentation für Patienten. Nutzung moderner Interaktions- und 3D-Visualisierungstechniken. Verwendung verfügbarer externer Rechenanlagen (compute server) für rechenintensive und zeitkritische Prozesse. Bei der technischen Betrachtung kommen folgende Anforderungen hinzu : Verwendung einer modularen Architektur für das PREPaRe-System, so dass einzelne Teile unabhängig voneinander integriert werden können, ohne die Funktionsfähigkeit des Gesamtsystems zu gefährden. Nutzung bestehender Internet-Basistechnologie. Realisierung als WWW-Portal, welches den Zugang zum virtuellen Krankenhaus ermöglicht. Diese Aufzählung stellt den initialen, unsortierten Anforderungskatalog dar, welcher bei der Modellierung und Spezifikation des Systems berücksichtigt werden soll. Auf eine Validierung des Anforderungskatalog wird an dieser Stelle verzichtet. Sie erfolgt erst nach einer Strukturierung der Anforderungen durch die QFD- Spezifikation in Form einer Patientenbefragung (siehe Abschnitt 5.1.2).

30 14 KAPITEL 2. KONZEPTION DES PREPARE-SYSTEMS 2.5 Modellierung des PREPaRe- Systems Zur Realisierung des Systems sollen Basistechnologien des Internet und existierende medizinische Informationssysteme genutzt werden, die eine sichere End-zu-End Kommunikation anbieten. In Abbildung 2.3 ist die Architektur des PREPaRe- Systems skizziert. Zentraler Knoten ist das PREPaRe-Portal, welches den Zugriff auf klinische Systeme (HIS, RIS, PACS,...) über ein Krankenhaus-Gateway (PREPaRe proxy) ermöglicht. In der persönlichen Gesundheitsakte (personal repository) werden Referenzen und zusätzlich erzeugte Daten textueller und multimedialer Natur für den Patienten verwaltet. Außerdem steuert das PREPaRe- Portal die Computersysteme zur Bildverarbeitung (media server). Das Modul media server konvertiert die gespeicherten medizinischen Bilddaten auf Anforderung automatisch in für einen Patienten besser verständliche Präsentationsformen [Tschirley et al., 2002]. Zusätzliche computing server können bei Bedarf für die schnellere Bearbeitung herangezogen werden. Das PREPaRe-Portal bietet darüber hinaus die Möglichkeit externe, öffentlich zugängliche Informationen des WWW bereitzustellen. web browser HTML text applet media applet (image, video stream, SV G, X3D, VRML) media server PREP are portal session management data conversion document adaption request management available public inform ation on the web applet repository PREPaRE proxy PREPaRE PREPaRE proxy (hospital (hospital gateway) gateway) proxy (hospital gateway) computing computing computing server server server multi media data personal repository text data user linking inform ation clinical system clinical clinical system system HIS HIS PAC PAC S S HIS PAC S Abbildung 2.3: Modulare Architektur des PREPaRe-Systems [Märkle et al., 2001]. In einem web browser integriert befindet sich die Benutzerschnittstelle des Systems. Diese hat eine Verbindung zum Portal und zum media server. Ein virtuelles Krankenhaus, im PREPaRe-System als Makrowelt bezeichnet, dient als Präsentationsplattform für die Darstellung der aufbereiteten Patientendaten [Köchy et al., 2002b]. Patienten und Ärzte können dieses Krankenhaus besuchen und Zugang zu den vorverarbeiteten Daten erhalten. Die Darstellung der Makrowelt kann weiterhin dazu genutzt werden, dass sich ein Patient auf einen ambulanten oder stationären Krankenhausaufenthalt vorbereitet. Räumlichkeiten können besichtigt und virtuelle Modelle von Geräten und deren Funktionsweise betrachtet werden. Im Rahmen des virtuellen Krankenhauses werden verschiedene Visualisierungsverfahren angewendet (siehe Kapitel 5.2.2).

31 2.5. MODELLIERUNG DES PREPARE-SYSTEMS 15 Anfrage Umwandlung d. Anfrage Personali sierung Information Retrieval Anfrage Teil 1 Anfrage Teil 2... Anfrage Teil N Benutzer DB Connect File Select URL DB FS Dokument Abbildung 2.4: Prüfung und Weiterleitung der Benutzeranfragen. Das PREPaRe-Portal besteht zum einen aus dem session management, welches es mehreren Benutzer erlaubt, gleichzeitig auf ihre Daten zuzugreifen. Innerhalb einer session findet auch die Authentifizierung des Benutzers statt. Eine weitere Komponente bildet das request management, welches die Anfragen des Benutzer nach Überprüfung der Zugriffsrechte an die spezialisierten Server weiterleitet (Abbildung 2.4). Anfrage Umwandlung d. Anfrage Personali sierung Information Retrieval Anfrage Teil 1..N Benutzer Rückmeldung Geräteabhäng. Umwandlung Benutzer Adaption Zusammen geführtes Resultat Abbildung 2.5: Bündelung der Anfrageergebnisse, Adaption und Aufbereitung für den Benutzer. Nachdem die Ergebnisse der einzelnen Anfragen in einem Document Object Model [DOM] zusammmengefaßt sind (Abbildung 2.5), werden sie für den speziellen Benutzer adaptiert (document adaption) und für die verfügbaren Ausgabegeräte unter Berücksichtigung der Parametereinstellungen aufbereitet (data conversion). Im Anschluss an diese beiden Schritte werden die Ergebnisse dem Benutzer präsentiert. Durch seinen modularen Aufbau erlaubt es das PREPaRe-System, einzelne Subsysteme näher zu betrachten (siehe Abbildung 2.6). Im Vorverarbeitungssubsy-

32 16 KAPITEL 2. KONZEPTION DES PREPARE-SYSTEMS Visualisierung Subsystem Benutzer web browser HTML text applet Bilder media applet (image, Polygondaten video stream, SVVolumendaten G, X3D, VRML) media server PREPaRe Portal Session Management Daten Konversion Dokument Adaption Anfrage Management computing computing computing server server server Persönliches Repositorium Vorverarbeitung Subsystem Multi mediale Daten Text daten Referenz informationen Abbildung 2.6: Visualisierung- und Vorverarbeitungsubsystem von PREPaRe. stem werden die medizinischen Bilddaten aus den Krankenhausinformationssystemen in eine patientenorientierte Repräsentation umgewandelt. Dazu können z.b. anatomische Oberflächenrepräsentationen aus den dreidimensionalen Tomographiedaten des Patienten extrahiert werden. Die Konzeption, Spezifikation und exemplarische Umsetzung des Vorverarbeitungssubsystem findet in der Dissertation von Rene Tschirley statt [Tschirley, 2004]. Das Visualisierungssubsystem stellt die Schnittstelle zum Benutzer dar und ermöglicht die Präsentation der vorverarbeiteten, medizinischen Daten des Patienten. Für das PREPaRe-System ist eine dreidimensionale, virtuelle Umgebung von den Designern als Schnittstelle ausgewählt worden, in der Oberflächenrepräsentationen und Volumendaten hybrid dargestellt werden können. Diese Arbeit umfasst die Konzeption, Spezifikation und exemplarische Umsetzung in drei Prototypen eines Subsystems, welches die Visualisierung und Benutzerinteraktion durchführt. Ziel ist es die Daten derart aufzubereiten, dass der Benutzer aus dem Betrachten der Visualisierungsergebnisse auch ohne medizinische Ausbildung einen Informationsgewinn erzielen kann.

33 17 Kapitel 3 Grundlagen In diesem Kapitel werden Grundlagen für die Bildsegmentierung und Klassifikation von Volumendaten vorgestellt. Danach folgen Abschnitte über das Volumen- Rendering und Surface-Rendering. Das gemeinsame Rendering von Volumendaten und durch Oberflächen repräsentierte Modelle wird als hybrides Rendering bezeichnet. Als weitere Grundlagen werden Verfahren zur Bestimmung von Transferfunktionen, die bei der Klassifikation von Volumendaten verwendet werden, beschrieben. Neben der Visualisierung wird in dieser Arbeit auch die Interaktion mit den dargestellten Modellen untersucht. Deshalb werden Begriffe für eine Benutzerinteraktion in virtuellen Welten erläutert. 3.1 Bildsegmentierung Ein wichtiges Teilgebiet der Bildverarbeitung beschäftigt sich mit der Bildanalyse. Ziel einer Bildanalyse im medizinischen Kontext ist die Feststellung der Objektzugehörigkeit in einem Volumendatensatz, d.h. gesucht wird eine Klassifikationsfunktion, die die im Bild enthaltenen Objekte jeweils den wahren Klassen zuordnet. Dies kann bei Röntgenbildern die hervorgehobene Darstellung und inhaltliche Zuordnung von z.b. Knochen, Weichteilen oder Organen sein. Definition Segmentierung Durch Segmentierung (segmentation) werden Bilder in disjunkte Bildsegmente zerlegt (z.b. Hintergrund und Objekte), wobei für die Bildsegmente gewisse Einheitlichkeitsbedingungen erfüllt sind. Eine Segmentierung gemäß fortgesetzter Aufteilung ist ein Split-Verfahren, eine Segmentierung gemäß fortgesetzter Zusammenfügung benachbarter Bildsegmente ist ein Merge-Verfahren [Klette und Zamperoni, 1995]. Die anschließende Zuordnung der Bildsegmente zu bestimmten Klassen entspricht der Klassifikation. Eine klare Trennlinie im Sinne einer sequentiellen Anwendung läßt sich aber zwischen den beiden Teilschritten Segmentierung und Klassifikation nur selten ziehen. Die Übergänge zwischen beiden sind fließend.

34 18 KAPITEL 3. GRUNDLAGEN Ziel der Segmentierung als Teilbereich der Bildanalyse ist die Bereitstellung effizienter Verfahren zur Erzeugung inhaltlich zusammengehöriger Regionen bzw. Segmente [Haralick und Shapiro, 1985]. Definition Bildgebiet Ein Bildgebiet (region) ist eine zusammenhängende Teilmenge der Bildebene, die keine Löcher bzw. Höhlen besitzt. Zur Präzisierung der Zusammenhangs-Definition wird von einer fixierten Nachbarschaftsrelation zwischen den Bildpunkten ausgegangen [Klette und Zamperoni, 1995]. Definition Bildsegment Ein Bildsegment (picture segment) ist eine zusammenhängende Teilmenge der Bildebene. Gegenüber dem Bildgebiet kann ein Bildsegment auch Löcher bzw. Höhlen besitzen [Klette und Zamperoni, 1995]. Eine Segmentierung von Bildern wird im Allgemeinen als Inverse der Visualisierung betrachtet, da bei der Segmentierung Bilder in Objektstrukturen transfomiert werden, während die Visualisierung Objektstrukturen in Bilder transformiert. Im folgenden wird eine Übersicht der Segmentierungsmethoden gegeben, die sich in punkt-, kontur- und regionenorientierte Verfahren gliedern lassen [Lehmann et al., 1997]. Wie beim Übergang der Segmentierung zur Klassifikation sind auch hier die Übergänge fließend. In praktischen Realisierungen sind Mischformen antreffbar Punktorientierte Verfahren Die punktorientierten Verfahren heben nur auf den Grauwert des jeweiligen Bildpunktes als Homogenitätskriterium ab. Ein Vorteil der punktorientierten Verfahren ist, dass sie einfach und schnell berechenbar sind. Ihre Hauptschwäche besteht aber in der Vernachlässigung globaler Zusammenhänge. Unter der Annahme, dass Voxel eines bestimmten Gewebetyps durch die bildgebende Modalität im Allgemeinen gleich auf die Grauwertskala abgebildet werden, lässt sich ein einfaches grauwertbasiertes Segmentierungsverfahren (grayscale thresholding) durchführen [Kundu, 1990]. Dies wird oft zur Trennung von abgebildetem Objekt im Volumendatensatz und Hintergrund (z.b. Luft) angewendet. Die Menge der betrachteten Merkmale ist somit lediglich der Grauwert des untersuchten Voxels, für den entschieden wird, ob er zum Objekt gehört oder nicht. Beim globalen Schwellwertverfahren wird ausgehend von einem bimodalen Histogramm eine Funktion f(g) definiert, die einzelne Bildpunkte bezüglich eines Schwellwertes t auf die Werte 0 (schwarz) und 255 (weiß) abbildet [Rosenfeld und Kak, 1982]. Es seien g 1 und g 2 die Grauwerte der beiden lokalen Maxima im Grauwerthistogramm, dann kann der globale Schwellwert t wie folgt bestimmt werden :

35 3.1. BILDSEGMENTIERUNG 19 g1 g 2 t = 2 (3.1) Der Schwellwert t ist damit ein Grauwert, der genau zwischen den beiden lokalen Maxima liegt. Dann gilt für g(i) : f(g) = { 0,wenn g <= t G 1,wenn g > t (3.2) Bei Volumendaten von Computertomographen ist das Schwellwertverfahren auch zur weiteren Segmentierung leicht anwendbar, da die einzelnen anatomischen Objekte durch bestimmte Intensitätsintervalle gekennzeichnet sind. Der Grauwertbereich korreliert mit dem bekannten Röntgenabsorptionskoeffizienten des Gewebe Kanten- bzw. konturorientierte Verfahren Wenn sich die Regionen bei der Bildsegmentierung durch eine klare Berandung auszeichnen, dann ist ihre Beschreibung durch Angabe der Randkurve möglich. Durch Extraktion der Kanten aus einem Bild und Zusammenfassung von Kantenpunkten ergibt sich ebenfalls die Berandung einer Region. Für die konturorientierte Segmentierung stehen zwei grundlegende Strategien zur Verfügung [Haberäker, 1987]. Der pixelorientierte Ansatz berechnet für jeden Bildpunkt ein Maß der Zugehörigkeit zu einer Kontur. Typische Vertreter sind die Anwendung von Laplace- oder Gradientenoperatoren mit nachfolgender Schwellwertbildung. Beim linienorientierten Ansatz wird ausgehend von Keimpunkten eine Linienverfolgung durchgeführt. Dabei fließen Annahmen über den möglichen weiteren Verlauf sowie mögliche Störungen in die Auswahl des Verfahrens mit ein. Definition Kontourverfolgung Die Kontourverfolgung-Verfahren (contour tracing) sind auf das Umfahren von Bildgebieten ausgerichtet. Mit einem Initialpunkt beginnend wird schrittweise eine Folge benachbarter Gitterpunkte aufgebaut, die letztendlich eine Kontur des betrachteten Bildgebietes ergeben soll [Klette und Zamperoni, 1995]. Einen angemessenen Kompromiß zwischen vollständig automatischen und manuellen Segmentierungsverfahren bieten die interaktiven und semiautomatischen Methoden. Ein Vertreter dieser interaktiven Methoden zur Kontourfindung (contour detection) ist der live wire Algorithmus, welcher von Mortensen und Udupa vorgestellt wurde [Mortensen et al., 1992] [Barrett und Mortensen, 1997]. Beim live wire Algorithmus wird der Segmentierungsprozess direkt vom Benutzer gesteuert, der unverzügliche Kontrolle über automatisch vorgeschlagene Kontouren zwischen interaktiv platzierten Kontourpunkten erhält. Dabei werden Objektkontouren als minimaler Pfad zwischen diesen Punkten in Echtzeit gefunden unter Berücksichtigung einer Kostenfunktion, welche der externen Energiefunktion bei aktiven Kontourmodellen (z.b. Snakes [Kass et al., 1988]) ähnelt.

36 20 KAPITEL 3. GRUNDLAGEN Optimierungsverfahren des live wire Algorithmus zielen auf die effiziente Segmentierung von dreidimensionalen Objekten in medizinischen Bilddaten. Bei der in [Schenk et al., 2001] vorgestellten Methode wird die Berechnung der Kostenfunktion auf relevante Gebiete beschränkt und lokale, spezifische Eigenschaften der Objektränder berücksichtigt. Ein weiterer Vertreter der konturorientierten Segmentierung ist die Wasserscheiden-Transformation. Ihr zu Grunde liegt eine intuitive Idee aus der Geographie. Dabei wird eine Landschaft oder ein topographisches Relief mit Wasser geflutet. Wasserscheiden (watersheds) bilden die Trennungslinien für unterschiedliche Regionen, in denen sich das Wasser sammelt. Wasserscheiden (Konturen) Staubecken (Regionen) Dämme Wasserstand Minima Minima (a) (b) Abbildung 3.1: Die Skizzen zeigen Beispiele für die Begriffsbildung bei der Wasserscheidentransformation (aus [Lehmann et al., 1997]). In einer Veröffentlichung von Roerdink und Meijster [Roerdink und Meijster, 2000] werden mehrere Definitionen der Wasserscheiden- Transformation und deren assoziierte, sequentielle Algorithmen miteinander verglichen. Danach folgt die Beschreibung einer parallelen Implementation der Wasserscheiden-Transformation. Gegenstand aktueller Forschung ist der Einsatz der Wasserscheidentransformation in verschiedenen Gebieten. So findet z.b. für die robuste automatische Gehirnsegmentierung in Magnetresonanz-Daten eine 3D-Wasserscheidentransformation Anwendung [Schubert et al., 2002]. In Kombination mit anderen Segmentierungsverfahren kommt die 3D-Wasserscheidentransformation bei der Segmentierung von Lungenlappen in CT-Bildern zum Einsatz [Kuhnigk et al., 2003b] [Kuhnigk et al., 2003a]. In [Tiede, 1999] wird eine Methode zur Rekonstruktion von Objektgrenzflächen im Subvoxelbereich vorgestellt, die eine sehr realitätsnahe Darstellung und Trennung von einzelnen anatomischen Objekten möglich macht. Verwendung finden dabei Segmentierungsalgorithmen, die Strukturen mit Hilfe von geometrischen Objekten approximieren und mit Energiefunktionen arbeiten (z.b. Snakes) Regionenorientierte Verfahren Grundlegende Eigenschaft dieser Verfahren ist, dass für jeden Punkt oder für eine Menge von benachbarten Punkten entschieden werden muss, ob diese Punkte zu

37 3.1. BILDSEGMENTIERUNG 21 einer Region gehören oder nicht. Um diese Entscheidung treffen zu können, wird das sogenannte Distanzmaß betrachtet, welches ein Maß für die Ähnlichkeit zweier betrachteter Regionen ist. Ein typisches Distanzmaß ist der Grauwertabstand d von zwei Pixeln. d(p 1,p 2 ) = g 1 g 2 (3.3) Dabei sind g 1 und g 2 die Grauwerte der betrachteten Pixel p 1 und p 2. Zwei Vertreter der agglomerativen Verfahren sind das region growing und das region merging. Im Gegensatz zu den agglomerativen Verfahren, bei denen die Regionen durch einen Wachstumsprozeß entstehen, wird bei den divisiven Verfahren die Regionenbildung durch einen Zerteilungsprozeß erreicht. Betrachtet man die Beziehung zwischen Grauwert und Gewebetyp bei der Magnetresonanztomographie, so ist diese von mehreren Parametern, die die Bildgebung beeinflussen, abhängig und nicht einfach feststellbar. Grauwertbasierte Segmentierung kann in solchen Fällen angewendet werden, wenn an einer Stelle im Datensatz das gewünschte Gewebe manuell selektiert wird [Robb, 1998]. Liegt ein homogenes Gewebe mit durch einen deutlichen Grauwertgradienten identifizierbarer Objektgrenze vor, kann das Verfahren region growing eine automatische Segmentierung durchführen [Haralick und Shapiro, 1985]. Definition Regionenwachstum Bei dem Segmentierungsverfahren Regionenwachstum (region growing) wird jeweils bei einem Startpunkt (seed) begonnen und dann schrittweise ein größeres Gebiet gebildet, indem benachbarte Pixel mit hinzugefügt werden, falls insgesamt eine bestimmte Einheitlichkeitsbedingung weiterhin erfüllt ist [Klette und Zamperoni, 1995]. Als Anfangspunkt für das Verfahren region merging wird der gesamte Bildbereich in kleine Regionen (z.b. 2 2 Pixel) unterteilt. Im Iterationsschritt werden benachbarte Regionen jeweils paarweise betrachtet und gegebenenfalls zu einer Region zusammengefaßt. Wenn der Wert des verwendeten Distanzmaßes für alle benachbarten Regionenpaare über einem Schwellwert t liegt, terminiert das Verfahren Texturorientierte Ansätze zur Bildsegmentierung Eine Problematik der Segmentierung medizinischer Bilder liegt darin, dass Objekte in diesen Bildern nicht mit einfachen Homogenitätsmaßen hinreichend beschrieben werden können. In diesem Kontext erhält der Begriff der Textur eine entscheidende Bedeutung. Ein möglicher Zugang zum Texturbegriff besteht in der Identifikation grundlegender Eigenschaften, die bei der Wahrnehmung bzw. Unterscheidung von Texturen eine Rolle spielen. Eines der wichtigsten Werkzeuge in der Texturanalyse stellen die Grauwertübergangs- oder Cooccurence-Matrizen, die von Haralick

38 22 KAPITEL 3. GRUNDLAGEN [Haralick et al., 1973] vorgestellt wurden, da. Die Berücksichtigung räumlicher Zusammenhänge wird durch die Wahrscheinlichkeit p d (i,j) des Auftretens zweier Grauwerte i und j im Abstand d modelliert. Der Vektor d wird als displacement bezeichnet. Bei festem d und G möglichen Grauwerten gilt : 0 <= p d (i,j) <= 1 i,j und G 1 i=0 G 1 j=0 p d (i,j) = 1 (3.4) Für jedes displacement d können diese Auftrittswahrscheinlichkeiten in einer Cooccurence-Matrix M d (i,j) zusammengefaßt werden : p d (0, 0) p d (1, 0)... p d (G 1, 0) M d (i,j) = (3.5) p d (0,G 1) p d (1,G 1)... p d (G 1,G 1) Relevanz für das PREPaRe-System Die automatische Segementierung ist nach wie vor ein Gebiet aktueller Forschung im Bereich der Bildverarbeitung. Eine umfassende Lösung, die beliebige Strukturen in beliebigen Bilddaten segmentieren kann, ist derzeit weder vorhanden noch absehbar. In Fällen, in denen keine stabilen Segmentierungsalgorithmen bekannt sind, müssen manuell aufbereitete Bilddaten verwendet werden, welche die Voraussetzungen für semiautomatische Verfahren erfüllen. Sind weder automatische Verfahren noch semiautomatische Verfahren anwendbar, kann die zielgruppengerechte Visualisierung nicht oder nur eingeschränkt durchgeführt werden. Die Information, welche Algorithmen in welchen Fällen verwendet werden können, müßen informationstechnisch in einer Datenbank gespeichert werden. Das Wissen über die Zuordnung muss durch Experten bereitgestellt werden. 3.2 Klassifikation der Volumendaten Das folgende Modell zur nichtbinären Klassifikation medizinischer Daten beruht auf der Charakteristik anatomischer Szenen und ihrer Diskretisierung [Levoy, 1988]. Dabei werden zwei Annahmen getroffen. Zum einen erstreckt sich eine Gewebeart nur über einen kleinen Bereich der aufgenommenen Intensitätswerte und ist somit leicht zu identifizieren. Zum anderen grenzt eine Gewebeart maximal an zwei andere Gewebearten an (Abbildung 3.2). Für N Gewebearten und deren Intensitätswerte f V n mit n = 1...N soll also gelten f V m < f V m+1 mit m = 1...(N 1)

39 3.2. KLASSIFIKATION DER VOLUMENDATEN 23 Abbildung 3.2: Klassifikationsfunktionen für verschiedene Gewebearten [Watt, 2002]. Daraus ist zu folgern, dass sich zwei Gewebearten mit den Intensitätswerten f V n1 und f V n2 nicht berühren, wenn n1 n2 > 1. Wenn diese Kriterien eingehalten werden, kann jedes Gewebe durch eine lineare Abbildung von Intensität f V n auf Farbe C V n und Opazität α V n klassifiziert werden. Der Ansatz von Schiele [Schiele, 2002] beinhaltet eine zusätzliche Transferfunktion von f V n auf R V n, wobei R V n die Reflexionseigenschaft des Gewebes beschreibt. Diese Reflexionseigenschaft hat innerhalb des Beleuchtungsmodells Einfluss auf die Größe des spekularen Glanzlichtes und charakterisiert die Glätte einer Oberfläche im Bezug auf ihre Reflektivität. Durch lineare Interpolation zwischen benachbarten Farb-, Opazitäts- und Reflexionswerten können die Werte für die Region zwischen zwei Gewebearten n und n + 1, ermittelt werden. Die Verwendung einer nichtbinären Klassifikationsmethode erlaubt es, dass auch dünne Geweberegionen im Ergebnisbild dargestellt werden und benachbarte Gewebe weich ineinander übergeblendet werden. Die überlagerte Darstellung von mehreren Materialien kann für das Verständnis anatomischer Gegebenheiten hilfreich sein. Um einen Einblick in das Volumen zu ermöglichen, können die äußeren Schichten über ihren Opazitätsgrad als semitransparente Materialien klassifiziert werden. Bei medizinischen Bildern sind allerdings die Grenzbereiche zwischen verschiedenen Gewebearten von größerer Bedeutung als das Gewebeinnere. Deshalb sollte das Volumen-Rendering das Materialinnere unterdrücken und die Übergänge zwischen Gewebearten hervorheben. Dies kann erreicht werden, indem die Opazitäten mit dem Betrag des lokalen Gradienten gewichtet werden. Kombiniert man nun die Klassifikationsabbildung und die Gradientengewichtung, erhält man den Ausdruck :

40 24 KAPITEL 3. GRUNDLAGEN ( ) f(x α i ) f Vn α(x i ) = g(x i ) Vn+1 f Vn+1 f Vn 0, andernfalls ( ) fvn+1 f(x i ) + α Vn f Vn+1 f Vn, wenn f Vn f(x i ) f Vn+1 (3.6) Der Gradientenvektor G = (g x,g y,g z ) eines Voxels kann durch die Bildung der zentralen Differenzen aus der 6-er Nachbarschaft des Voxels bezüglich der Volumenachsen approximiert werden [Höhne und Bernstein, 1986]: g x = f(x + x,y,z) f(x x,y,z) (3.7) g y = f(x,y + y,z) f(x,y y,z) (3.8) g z = f(x,y,z + z) f(x,y,z z) (3.9) Dabei steht f(x,y,z) für den Skalarwert, der sich durch Interpolation an der Stelle (x,y,z) im Volumen ergibt, während g x, g y und g z die Approximation der partiellen Ableitung dieser Funktion bezüglich der x-, y- und z-achse bilden. Relevanz für das PREPaRe-System Eine besonders für medizinische Anwendungen interessante Klassifikationsvariante stellt die gradientenbasierte Opazitätsanpassung dar. Hierbei wird durch eine Gewichtung der Opazitätswerte mit den im Volumen vorgefundenen Gradienten eine semitransparente Darstellung ermöglicht. Durch die Unterdrückung des Materialinneren werden Intensitätsänderungen, d.h. Grenzbereiche zwischen Objekten betont [Levoy, 1988]. Die Nutzung einer Referenz-Transferfunktion für mehrere Datensätze wird von Rezk-Salama [Rezk-Salama et al., 2000] vorgestellt. Dabei erfolgt eine Anpassung an das jeweilige Histogramm des Volumendatensatzes. Moderne radiologische Workstations bieten Voreinstellungen für mögliche Untersuchungen an (z.b. Gefäße im Cardio-CT oder Muskelgewebe im Cardio-CT). Durch einen Preview werden die vordefinierten Transferfunktionen dem Benutzer veranschaulicht. 3.3 Volumen-Rendering Unter Volumen-Rendering wird die Visualisierung voxelbasierter Daten verstanden [Watt, 2002]. Als Voxel bzw. Volumenelemente bezeichnet man dabei die in Gitterstrukturen angeordneten Grundbausteine diskreter Volumina. Volumetrische Daten liegen typischerweise als Menge S von 4er Tupeln (x,y,z,v) vor. Dabei repräsentiert der Wert v eine Eigenschaft der Daten an einem bestimmten Ort (x,y,z) im dreidimensionalen Raum. Falls die Werte von v sich auf 0 und 1 beschränken lassen, wobei 1 für die Zugehörigkeit zum Objekt im Volumenraum steht, spricht man von einem binären Modell. Andererseits können die Werte auch beliebig sein und messbare Eigenschaften, wie z.b. die Dichte oder die Temperatur repräsentieren. Zwei unterschiedliche Definitionsmöglichkeiten für Voxel sind zu unterscheiden [Elvins, 1992] (siehe auch Abbildung 3.3) :

41 3.3. VOLUMEN-RENDERING 25 ein Voxel stellt den dreidimensionalen Raum um einen einzelnen Abtastpunkt dar, oder ein Voxel bezeichnet die Zelle zwischen den jeweils acht umliegenden Abtastpunkten (voxel cell) Diese zwei Betrachtungsweisen unterscheiden sich in erster Linie in der Vorgehensweise beim Resampling der Ausgangsdaten, welches die Abtastung bzw. die Traversierung des Volumens beinhaltet. Bei der ersten Darstellung haben die Voxel über ihre gesamte Ausdehnung einen konstanten Wert v, der dem Abtastwert entspricht. Der Vorteil dieser Darstellung liegt darin, dass keine Annahmen über das Verhalten der zwischen den Abtastpunkten liegenden Datenbereiche gemacht werden müssen. Aufgrund der fehlenden Interpolation wirken die erstellten Bilder jedoch scharfkantig und blockartig. Abtastpunkte Abbildung 3.3: Voxel (links) und Voxelzelle. Beim zweiten Ansatz, der Voxelzelle, wird davon ausgegangen, dass bei der Datenakquisition die Abtastung des analogen Raumes mit einer ausreichend hohen Abtastrate vorgenommen wurde, also die Nyquistfrequenz über der höchsten in den Daten vorkommenden Frequenz liegt. Dies ermöglicht es eine korrekte Darstellung durch Interpolation zwischen den Abtastwerten zu erzeugen. Die resultierenden Bilder zeichnen sich durch glatte und natürlich wirkende Konturen aus. Voxel sind nicht notwendigerweise würfelförmig. Ihre Gestalt geht aus der Art des zugrundeliegenden Gitters hervor (siehe Abbildung 3.4. Folgende Auflistung, in Anlehnung an [Speray und Kennon, 1990] und [Elvins, 1992], zeigt aufsteigend generalisierend die wichtigsten Gittercharakteristiken : Kartesische Gitter Alle Voxel haben identische Würfelform und sind achsenparallel angeordnet. Reguläre Gitter Alle Voxel haben identische Quaderform und sind achsenparallel angeordnet. Gradlinige Gitter Die Voxel sind quaderförmig und achsenparallel, haben aber nicht notwendigerweise identische Ausmaße.

42 26 KAPITEL 3. GRUNDLAGEN Strukturierte Gitter Die Voxel sind nicht-achsenparallele Hexaeder. Unstrukturierte Gitter Die Voxel sind Polyeder beliebiger Ordnung ohne implizite Konnektivität. Die meisten bisher entwickelten Volumen-Visualisierungs-Algorithmen basieren wegen der Einfachheit der Handhabung auf kartesischen und regulären Gittern. Bei volumenbasierten Anwendungen in der Medizin liefern die bildgebenden Verfahren Schichtdaten in einem regulären Gitter, die ebenfalls als kartesisches oder reguläres Gitter aufgefasst werden können. Kartesisches Gitter Reguläres Gitter Gradliniges Gitter Strukturiertes Gitter Unstrukturiertes Gitter Abbildung 3.4: Die wichtigsten Gitterarten. Volumen-Rendering-Methoden lassen sich in direkte und indirekte Methoden unterteilen. Während direkte Methoden eine Abbildung des dreidimensionalen Volumen auf die zweidimensionale Bildfläche vollführen, überführen indirekte Methoden die Volumendaten vor der Abbildung in eine Oberflächenrepräsentation. Volume Rendering Indirect Volume Rendering Direct Volume Rendering Image Order Object Order Domain Based Contour Connecting Cuberille Marching Cubes Dividing Cubes Marching Tetrahedra Ray Casting Sabella PARC Proximity Clouds Back To Front Front To Back Splatting VBuffer Shear Warp Fact. Texture Based Compression Based Frequency Based Wavelet Based Abbildung 3.5: Volumen-Rendering-Methoden, (nach [Elvins, 1992] [Ratering, 1998] [Yagel, 1996] ).

43 3.3. VOLUMEN-RENDERING Direktes Volumen-Rendering Direktes Volumen-Rendering (DVR) hat die grundlegende Eigenschaft, dass es den Voxelraum direkt, d.h. ohne Zwischenrepräsentation über geometrische Primitiven, auf der Bildebene abbildet. So sind diese Verfahren besonders für die Darstellung von semitransparenten und oberflächenlosen Objekten wie Wolken, Gase und Flüssigkeiten geeignet. Der Vorteil von DVR-Verfahren gegenüber den indirekten ist die hochgradig realistische Darstellung und die Minimierung von Artefakten. Dies jedoch zum Preis einer relativ hohen Berechnungszeit, da bei erneutem Rendern jeweils der gesamte Volumendatensatz neu traversiert werden muss. Arie E. Kaufman unterteilt das direkte Volumen-Rendering in folgende Techniken [Kaufman, 1996]: Image-Order Object-Order Domain-Based Betrachtet man die Vorgehensweise in Image-Order, so wird für jeden Pixel der Bildebene ermittelt, welche Volumenelemente zu seiner Farbgebung beitragen. Entgegengesetzt dazu werden bei Object-Order alle Volumenelemente der Reihe nach auf die Bildebene abgebildet. Bei Object-Order-Verfahren wird eine Vorwärtsprojektion verwendet, die die Objekte des Objektraums in den Bildraum überführt. Image-Order-Verfahren hingegen verwenden eine Rückwärtsprojektion, um vom Bildraum in den Objektraum zu gelangen. Die Domain-Based- Techniken transformieren die dreidimensionalen Daten mittels mathematischer Funktionen zuerst in ein anderes Bezugssystem (z.b. mit Hilfe der Fourier- Transformation in den Frequenzraum). Dann kann eine Projektion direkt aus diesem Raum oder mit Informationen, die dieser Raum zusätzlich zur Verfügung stellt, generiert werden. Image Order Object Order Pixel Voxel Projektion auf die Bildebene Bildebene Bildebene Voxel Abbildung 3.6: Image-Order vs. Object-Order, (aus [Watt, 2002]). Grundsätzlich bestehen direkte Volumen-Rendering-Verfahren aus folgenden Schritten [Lichtenbelt et al., 1998]:

44 28 KAPITEL 3. GRUNDLAGEN Segmentierung Klassifikation Resampling Beleuchtung Compositing Die Reihenfolge und das tatsächliche Vorhandensein der einzelnen Schritte kann von Methode zu Methode differieren. Im klinischen Einsatz kann bei der Verwendung medizinischer Workstations beim Volumen Rendering z.b. auf die Segmentierung verzichtet werden. Bei der Segmentierung wird zunächst versucht, verschiedenen Strukturen innerhalb des Volumens eine individuelle Kennzeichnung zu geben, so dass sie im späteren Verarbeitungsprozess unterscheidbar und somit gesondert handhabbar sind. Da die automatische Segmentierung bis heute nicht zufriedenstellend gelöst ist, muss der Benutzer in den meisten Fällen manuell auf die Parameterwahl Einfluss nehmen (siehe Abschnitt 3.1). Betrachtet man die Schwierigkeiten, die selbst ein Experte hat, wenn er Strukturen klar abgrenzen will, so wird deutlich, dass in diesem Gebiet weitere Forschung notwendig ist. Im Klassifikationsschritt werden den Voxeln bezüglich ihrer Intensitätswerte optisch relevante Eigenschaften wie Farbe und Opazitätsgrad zugeordnet (siehe Abschnitt 3.2). Weitergehende Merkmale wie z.b. die Oberflächenbeschaffenheit, d.h. Reflexionseigenschaft eines Voxels, sind möglich. Eine dritte Alternative stellt die Zuordnung von Texturen dar. Die Erstellung der Klassifikationsfunktionen bzw. Klassifikationstabellen geschieht in der Regel manuell durch den Benutzer. Ohne ein Wissen über die Charakteristik des dem Volumen zugrundeliegenden Materials kann dieser Zuordnungsprozess sehr viel Zeit in Anspruch nehmen. Die Beleuchtung (Illumination) der Volumendaten ist die wesentliche Vorraussetzung für ein Verständnis der resultierenden Bilder. Sie geschieht bei den meisten Verfahren durch Gradientenapproximation. Über einen lokalen Operator kann für jedes Voxel sein Gradient und somit die Lage seiner potentiell vorhandenen Oberfläche ermittelt werden [Höhne und Bernstein, 1986]. Somit entspricht der Gradient der Normalen der Voxeloberfläche und kann in Verbindung mit einem Beleuchtungsmodell dazu verwendet werden, das Volumen relativ realitätsnah zu färben. Als Voxelgrundfarbe wird dabei jeweils die über die Klassifikationstabelle definierte Farbe herangezogen. Das Resampling beinhaltet die Abtastung bzw. Traversierung des Volumens. Hierbei werden verschiedene Methoden eingesetzt, um Farb- und Opazitätswerte anzuordnen. Verfahren in object-order können das Volumen entweder vorwärts (frontto-back) oder rückwärts (back-to-front) durchlaufen. Der Vorteil der ersten Methode besteht in der Möglichkeit des vorzeitigen Abbruchs der Traversierung, sobald ein komplett opakes Bild erreicht ist. Verfahren in image-order verwenden eine Scanline-Reihenfolge, d.h. daß zeilenweise vorgegangen wird. Alternativ kann aber auch ein zufallsgesteuertes Rendern von Pixeln erfolgen, damit die Grobstruktur des darzustellenden Objektes schneller sichtbar wird und fehlende Pixel nach und nach aufgefüllt werden.

45 3.3. VOLUMEN-RENDERING 29 Der im Allgemeinen letzte Schritt im DVR ist das Compositing, welches die gesammelten Farb- und Opazitätswerte zusammenführt. Die Art der Zusammenführung aller Voxelwerte entlang eines Strahls wird als Projektionskern bezeichnet. Die zwei einfachsten Möglichkeiten dazu bieten die simulierte Röntgenbilddarstellung und die Maximum Intensity Projection (MIP). Beim ersten Verfahren kann die Bildintensität im einfachsten Fall durch Akkumulation der Intensitäten entlang eines Sehstrahls berechnet werden. Diese Funktion beruht auf den physikalischen Eigenschaften des Lichtes bei der Durchdringung eines semitransparenten Körpers. Die MIP ist ebenfalls relativ einfach zu bestimmen, indem der größte entlang des Strahls angetroffene Wert zur Darstellung kommt. Eine dritte Möglichkeit der Zusammenführung besteht in der Berechnung eines Durchschnitts aller Voxelwerte entlang eines Strahls. Jeder Projektionskern fördert unterschiedliche Informationen aus den Volumendaten zu Tage. Alle bisher genannten Projektionskerne haben den Nachteil des Rückschritts zu einer Projektionsbilddarstellung, bei der jegliche Tiefeninformation verloren geht. Wesentlich realistischer wirken Bilder, die über eine tiefensortierte opazitätsgewichtete Farbzusammenführung erzeugt werden. Zum Beispiel wird bei der sogenannten First-Projektion der erste relevante Voxel, der innerhalb des eingestellten Schwellwertbereichs liegt, mit einer Intensität, die seiner Tiefe im Raum entspricht, dargestellt. Die First-Projektion kann dazu verwendet werden, die Oberfläche eines bestimmten Objekts innerhalb der Volumendaten darzustellen Image-Order-Algorithmen Image-Order-Verfahren senden Strahlen vom Bildraum in den Objektraum und ermitteln den Beitrag des Objekts zu jeweils einem Pixel. Der wichtigste Vertreter der bildraumorientierten Verfahren ist das Ray Casting (siehe Abbildung 3.7). Hierbei wird im einfachsten Fall für jedes im Bildraum vorhandene Pixel ein Sehstrahl parallel zur Betrachterrichtung in den Objektraum entsandt. An semidistanten Punkten entlang des Strahls werden Farb- und Opazitätswerte bestimmt und zu einer Gesamtpixelfarbe zusammengeführt. Bei orthographischer Projektion kann alternativ eine diskrete Repräsentation des Strahls gewählt werden. Mit Hilfe eines dreidimensionalen Differential-Analysators (3DDA), wie z.b. dem 3D-Bresenham-Algorithmus ist so eine effizientere Abtastung des Volumens möglich. Da Ray Casting nur die primären Strahlen verfolgt, berücksichtigt es keine direkte Simulation von Lichtphenomänen, wie z.b. Spiegelung, Schatten oder Brechung. Beim Ansatz von Sabella [Sabella, 1988] werden Voxel als lichtemitierende Partikel modelliert. Während des Resampling-Schrittes entlang des Strahls werden vier Werte akkumuliert: die abgeschwächte Helligkeit, der maximale Helligkeitswert, die Distanz zu diesem Wert sowie der mittlere auf dem Strahl angetroffene Helligkeitswert. Die ermittelten Farben werden als HLS-Triplet (Farbton, Helligkeit, Sättigung) gespeichert und führen über eine gesonderte Auswertung zu einem hochqualitativen, glühenden Bild.

46 30 KAPITEL 3. GRUNDLAGEN Bildebene Volumendaten Objektraum Sehstrahlen Abbildung 3.7: Beim Ray Casting werden parallele Strahlen von jedem Pixel der Bildebene in den Objektraum gesendet. Beschleunigungsstrategien Aufgrund der prinzipbedingten Rechenintensität des Volumen-Rendering- Prozesses liegt es nahe, Methoden zu dessen Beschleunigung in Betracht zu ziehen. Hierzu existieren fünf grundlegende Herangehensweisen [Yagel, 1996]: 1. Datenreduktion durch Modellextraktion oder Datensimplifizierung 2. Spezailisierung des Rendering-Systems für einen bestimmten Anwendungsbereich 3. Software-basierte algorithmische Optimierung 4. Implementierung auf Parallelarchitekturen 5. Benutzung von Spezial-Hardware Zur algorithmischen Optimierung des Laufzeitverhaltens des Volumen-Rendering- Prozesses können zwei Verfahren herangezogen werden [Levoy, 1990a]. Zum einen das hierarchical spatial enumeration, welches nicht-transparente Voxel mittels eines octree zusammenfasst (siehe Abbildung 3.19 in Abschnitt ), zum anderen das adaptive termination, bei dem die Strahlverfolgung nach dem Erreichen eines bestimmten Transparenzgrades vorzeitig abgebrochen wird. Diese beiden Optimierungsmöglichkeiten werden in einer Veröffentlichung von Danskin und Hanrahan [Danskin und Hanrahan, 1992] aufgegriffen und erweitert. Zum einen wird die Homogenität in den Volumendaten ausgenutzt. Zum anderen werden weniger Samples und eine reduzierte Genauigkeit bei der Berechnung der akkumulierten Opazität entlang des Strahls verwendet. Dabei werden

47 3.3. VOLUMEN-RENDERING 31 eine Reihe von Hilfsmitteln im voraus berechnet. Es wird eine Pyramide von Volumen erzeugt, welche die Durchschnittswerte speichert und bei der die Auflösung für jedes weitere Volumen halbiert wird. Weitere Pyramiden speichern den Maximalwert und die Bereichsgrenzen für eine Nachbarschaft von Voxeln. Eine Methode mit dem Namen proximity-clouds versucht ebenfalls, die Abtastung leeren Raumes zu verhindern. So wird für jedes leere Voxel sein Abstand zum nächsten nichtleeren Voxel gespeichert. Dies bietet die Möglichkeit, beim Auftreffen des Strahls auf ein Abstands -Voxel, leeren Raum durch einen Sprung mit der Weite des gespeicherten Abstandes zu überwinden [Cohen und Sheffer, 1993]. Mit Hilfe des PARC-Ansatzes (Polygon Assisted Ray Casting) wird versucht, den vom Strahl durchwanderten leeren Raum auf ein Minimum zu reduzieren, indem ein Polyeder um das im Volumen enthaltene Objekt konstruiert wird [Yagel, 1996]. Nach Berechnung des Ein- und Austrittspunktes des Strahls bezüglich des Polyeders, muss nur noch der durch dieses Intervall aufgespannte Raum traversiert werden Object-Order-Algorithmen Object-Order-Algorithmen traversieren das Objekt und projezieren es dabei in den Bildraum. Bei den Verfahren back-to-front und front-to-back werden die Voxel der Ecken nach ihrer Entfernung zum Betrachter sortiert. In einer dreifach geschachtelten Schleife werden alle Voxel abgearbeitet und in den Bildraum projiziert. Bei dem Verfahren back-to-front läuft die Abarbeitung vom hintersten Eckvoxel zum vordersten (siehe Abbildung 3.8). Durch diese Reihenfolge werden Voxelwerte in der Bildebene höchstens von Voxeln überschrieben, die sich näher zum Betrachter befinden, so dass ein korrektes Bild entsteht. Bildebene Volumendaten Objektraum Abbildung 3.8: Beim Verfahren back-to-front werden die Voxel von hinten nach vorne abgearbeitet und in die Bildebene projiziert.

48 32 KAPITEL 3. GRUNDLAGEN Bei dem Verfahren front-to-back ist die Abarbeitungsreihenfolge genau entgegengesetzt und beginnt mit dem am nächsten liegenden Eckvoxel. Allerdings muss beim Eintrag des Pixels in den frame buffer beachtet werden, dass kein nachfolgender Voxel einen vorher projizierten Voxel überschreibt. Später verarbeitete Voxel liegen vom Betrachter aus gesehen hinter bereits bearbeiteten Voxeln und werden von diesen verdeckt. So wird bei diesem Verfahren die korrekte Darstellung gewährleistet. Ein sehr bekannter Object-Order-Algorithmus geht auf Westover [Westover, 1990] zurück und trägt die Bezeichnung Splatting. Der Name deutet auf die prinzipielle Vorgehensweise des Algorithmus hin. So werden mittels einer Traversierung front-to-back Voxelbeiträge im Bildraum über eine bestimmte Fläche verteilt bzw. verspritzt. Die Berechnung der zweidimensionalen Verteilung dieser Spritzer geschieht im Objektraum mit Hilfe eines dreidimensionalen Gauß schen Filters, dem sogenannten Rekonstruktionskernel. Dieser ist so aufgebaut, dass der Einfluss eines Voxels radial mit der Entfernung zu seinem Mittelpunkt abnimmt. Die Menge der Punkte, die man dabei erhält wird als footprint bezeichnet. Für orthogonale Projektionen ist der Filter kugelförmig und für den gesamten Raum konstant. Daraus ergibt sich die Möglichkeit der Effizienzsteigerung durch Vorberechnung und Speicherung des Filters in einer look up table. Die Bildqualität beim Splatting wird wesentlich von der Größe des verwendeten Filters bestimmt. Abschließend werden die sich überlagernden Spritzer mit Hilfe eines Compositing-Verfahrens mit dem bestehenden frame buffer vermischt. Eine ähnliche Methode stellt der V-Buffer-Algorithmus von Upson und Keeler [Upson und Keeler, 1988] dar. Er benutzt ebenfalls eine Traversierung front-toback, geht jedoch zellenweise (cell-by-cell) vor. Um die zu bearbeitende Zelle wird zunächst eine bounding box gelegt. Diese wird in den Bildraum projiziert und man erhält so für jede betroffene Pixellinie (scanline) des Endbildes einen Bereich, auf den sich die Zelle abbildet. Durch Interpolation der Zelleneckwerte entstehen Farbwerte, die tiefensortiert in den Bildspeicher geschrieben werden. Daher entstammt auch der vom Z-Puffer abgeleitete Name dieser Methode. Beide Verfahren, Splatting und V-Buffer sind auf Voxel- bzw. Voxelzellenebene parallelisierbar. Ein weiterer Ansatz, der im wesentlichen den Object-Order-Algorithmen zugeordnet werden kann, wurde von Lacroute und Levoy als Shear-Warp-Factorization vorgestellt [Lacroute und Levoy, 1994]. Hierbei erfolgt die Projektion vom Objektraum in den Bildraum über drei Schritte. Im ersten Schritt werden die einzelnen Schichten des Volumens durch eine dreidimensionale Scherung vom Objektraum in eine als verzerrten Objektraum bezeichnete Zwischenrepräsentation transformiert (siehe Abbildung 3.9). Bei perspektivischer Projektion ist zudem eine Skalierung der Schichten notwendig. Im zweiten Schritt wird über Resampling des verzerrten Objektraumes und eine Komposition front-to-back eine verzerrte Bildraumrepräsentation erreicht. Die darauffolgende als Warping bezeichnete zweidimensionale Entzerrungstransformation stellt den letzten Schritt des Verfahrens dar. Der Vorteil der Shear-Warp-Factorization liegt darin, dass sowohl im Objektraum als auch im Bildraum Kohärenzoptimierungen vorgenommen werden können, da beide Datenstrukturen simultan in Reihenfolge der scanline traversiert werden. Deshalb ist die Einordnung in die Gruppe der Object-Order-Algorithmen nicht zwingend. Ein Nachteil des Verfahrens, der sich in einem sichtbaren Quali-

49 3.3. VOLUMEN-RENDERING 33 tätsverlust bemerkbar macht, besteht darin, dass die Farb- und Opazitätsinterpolation nur jeweils innerhalb der Schichten, also nur zweidimensional anstatt dreidimensional erfolgt. Kartesischer Raum Gescherter Raum Strahlen Voxelraum Abbildung 3.9: Shear-Warp : a) Orthographische Strahlen werden von der Grundfläche des Volumens ausgesendet. b) Das Volumen wird derart geschert, dass die Strahlen rechtwinklig zur Grundfläche stehen. Eine neue Kategorie könnte für die Verfahren, welche 3D-Texturen zur Volumenvisualisierung verwenden, geschaffen werden. Um aber der Aufteilung von Kaufmann in Image-Order, Object-Order und Domain-Based zu folgen, werden diese unter Object-Order aufgeführt, da die Volumentexturen im Objektraum übereinandergeblendet werden. Das texturbasierte Volumen-Rendering macht sich die Fähigkeiten standardisierter Grafikhardware zunutze, um interaktive Bildraten zu erreichen. In seiner Veröffentlichung zum Design der Silicon Graphics Reality Engine [Akeley, 1993] erwähnt Akley erstmals die Möglichkeit, Volumendaten mittels dreidimensionaler Texturen abzutasten. Van Gelder stellt in [Gelder und Kim, 1996] ein System vor, welches Bilder in guter Qualität und annähernd interaktiv auf einer Workstation mit Hardwareunterstützung für dreidimensionale Texturen erzeugt. Im Rahmen der Visualisierung werden parallel zur Projektionsebene Schnittflächen durch das Volumen gelegt, an denen durch Interpolation Farben und Opazitäten für einen Stapel von Texturen berechnet werden (siehe Abbildung 3.10). Diese dienen zur Texturierung einer entsprechenden Anzahl von Polygonen, welche dann direkt durch die verwendete Grafikhardware zur Darstellung gebracht werden können. Als problematisch erweisen sich jedoch Aspekte wie die perspektivische Projektion, realistische Beleuchtung und Detailgenauigkeit der Darstellung Domainbasierte Algorithmen Domainbasierte Verfahren versuchen mit Hilfe von mathematischen Transformationen oder durch Datenkompression eine gegenüber den Orginaldaten günstigere Repräsentation des Volumens zu erzielen. Aufgrund der geringeren Datenmenge

50 34 KAPITEL 3. GRUNDLAGEN (a) (b) Abbildung 3.10: Volumen-Rendering : a) mit 2D-Texturen b) mit 3D-Texturen. kann dann das Volumen wesentlich effizienter zur Darstellung gebracht werden. Die Kompression kann verlustbehaftet (lossy) oder verlustlos (lossless) erfolgen. Während verlustlose Algorithmen nur ein Kompressionsverhältnis von etwa 2 3:1 erreichen, liegt dieses bei verlustbehafteten Methoden im Bereich von 30 60:1. Die großen Kompressionsverhältnise werden allerdings durch eine Verfälschung der Bildinformation erkauft. Beim verlustbehafteten JPEG-Verfahren kann es mitunter zu Blockartefakten kommen, die z.b. einer Verwendung bei der Diagnose im medizinischen Anwendungsfeld entgegenstehen. Spatial Domain Frequency Domain FT projection slide extraction IFT Abbildung 3.11: Fourier-Volumen-Rendering, (aus [Totsuka und Levoy, 1993]). Die verlustlose Kompression basiert in erster Linie auf Standard Kompressions- Algorithmen wie z.b LZ77 (Lempel-Ziv), LZW (Lempel-Ziv-Welch) oder RLE

51 3.3. VOLUMEN-RENDERING 35 (Lauflängen-Kodierung). Fowler und Yagel [Fowler und Yagel, 1994] erreichten geringfügig bessere Kompressionsraten durch Kombination von Huffman-Coding und Differential-Pulse-Code-Modulation (DPCM). Zu den verlustbehafteten Kompressionsalgorithmen gehören die Vektorquantisierung [Ning und Hesselink, 1992], [Ning und Hesselink, 1993], die fraktale Kompression [Fisher, 1995] und das auf den dreidimensionalen Raum erweiterte JPEG-Verfahren [Chiueh et al., 1997]. Während die drei zuletzt genannten ein direktes Rendering der komprimierten Daten erlauben, benötigen verlustlose Verfahren im allgemeinen einen dem Rendering vorangestellten Dekompressionsschritt. Das spektrumbasierte bzw. Fourier-Volumen-Rendering beruht auf der Tatsache, dass ein Schnittbild des dreidimensionalen Spektrums eines Volumens genau einer Parallelprojektion dieses Volumens im kartesischen Raum entspricht (Fourier Projektions-Schnitt-Theorem). Den Aufwand dieses Verfahrens diktiert in erster Linie die zur Rücktransformation des Schnittbildes benötigte zweidimensionale inverse schnelle Fouriertransformation (IFFT). Während Image-Order- und Object-Order-Verfahren in der Aufwandsklasse O(n 3 ) liegen, besitzt die IFFT nur einen Aufwand von O(n 2 logn). So steigt der Geschwindigkeitsvorteil des spektrumbasierten Volumen-Rendering gegenüber den raumorientierten Verfahren mit zunehmender Datensatzgröße. Der hauptsächliche und prinzipbedingte Nachteil des Fourier-Volumen-Rendering ergibt sich aus der reinen Verarbeitung von Frequenzen, also Intensitätsänderungen. Aufgrund der Unterdrückung homogener Intensitätsbereiche geben die resultierenden Bilder das Volumen als semitransparentes, nebeliges Objekt wieder [Kaufman, 1997]. Der von Totsuka und Levoy entwickelte Ansatz [Totsuka und Levoy, 1993] beinhaltet eine diffuse und abstandsabhängige Beleuchtung im Fourierraum und verbessert dadurch die Interpretierbarkeit der Bilder erheblich. Eine Weiterentwicklung des Fourier-Volumen-Rendering stellt das waveletbasierte Volumen-Rendering dar. Während bei der FFT die trigonometrischen Funktionen Sinus und Kosinus als Basisfunktionen dienen, benutzt die diskrete Wavelet Transformation (DWT) beliebig komplexe Funktionen, die sogenannten Wavelets [Muraki, 1993], [Westermann, 1994]. Die DWT ermöglicht im Vergleich zur FFT eine noch effizientere Datenrepräsentation und damit einhergehend ein schnelleres Volumen-Rendering Indirektes Volumen-Rendering Indirektes Volumen-Rendering ist auch unter den Namen surface fitting (SF), feature extraction und iso-surfacing bekannt. Bei den genannten Methoden wird aus dem Volumendatensatz an Hand eines Schwellwertes zuerst eine Oberflächenrepräsentation erzeugt, welche dann mit Hilfe des Surface-Rendering dargestellt werden kann. Dabei ist zu berücksichtigen, dass die Informationen über das Innere des Objekts bei der Oberflächenrepräsentation nicht mehr zur Verfügung stehen. Die Darstellung beim indirekten Volumen-Rendering ist schneller als beim direkten Volumen-Rendering, da herkömmliche Grafikkarten Oberflächenrepräsentationen hardwareunterstützt verarbeiten. Im Vergleich dazu werden

52 36 KAPITEL 3. GRUNDLAGEN für hardwareunterstütztes DVR spezialisierte Grafikkarten (z.b. die VolumePro [Pfister und et al., 1999]) benötigt. Eines der ersten Verfahren zum indirekten Volumen-Rendering war die Methode des contour connecting [Keppel, 1975]. Hierbei werden im ersten Schritt unabhängig für jede Volumenschicht geschlossene Konturen gesucht. Dies kann mit Hilfe von image processing weitestgehend automatisch geschehen. Danach beginnt die Suche nach einer möglichst optimalen Verbindung von jeweils zwei aneinandergrenzenden Schichten. Keppel reduzierte dieses Problem auf die Suche nach einem Pfad in einem gerichteten Graphen mittels Heuristiken. Abschließend werden das triangulierte Konturnetz und die Parameter für die Kamera und Beleuchtung an einen Surface-Renderer übergeben. Eine cuberille-repräsentation besteht aus der Menge aller Voxelseitenflächen, die ein segmentiertes Objekt einschließen [Tönnies und Lemke, 1994]. Sie kann aus bereits segmentierten Binärdaten oder aus Grauwertdaten zusammen mit einem Segmentierungsprädikat erzeugt werden. Zum ersten Mal vorgestellt wurde sie in [Liu, 1977]. Die polygonalen Würfel können mittels Surface-Rendering visualisiert werden. Ein Nachteil dieses Verfahrens liegt in der grob strukturierten Oberflächendarstellung. Die bekannteste Methode zur Umwandlung von Volumendaten in Oberflächen stellt das von Lorensen vorgestellte marching cubes dar [Lorensen und Cline, 1987]. Dieser tabellenbasierte Algorithmus erzeugt eine Oberfläche, indem er in jedes Voxel ein oder mehrere Polygone einpasst. Dazu wird zunächst jeder Eckpunkt der Voxelzelle als innerhalb oder außerhalb der Oberfläche liegend klassifiziert. Die 256 prinzipiell möglichen Konfigurationen lassen sich durch Symetriebetrachtung auf 15 voneinander verschiedene Anordnungen reduzieren. Dabei wird bestimmt, welche Kanten geschnitten werden. Jeder Anordnung wird eine Menge von entsprechenden Dreiecken zugeordnet. Die endgültige Position und Orientierung der Polygone innerhalb der Voxelzelle werden durch lineare Interpolation entlang der geschnittenen Kanten bestimmt. Mitunter kommt es beim marching cubes aufgrund der Annahme, dass sich eine Oberfläche über benachbarte Voxel erstreckt, zu einer fehlerhaften Klassifizierung und somit zu Artefakten in der Darstellung. Eine Gegenmaßnahme trifft der Algorithmus marching tetrahedra [Cignoni et al., 1998], der die Voxelzelle in weitere fünf, sechs oder 24 Tetraeder unterteilt. Einen Schritt weiter als marching cubes geht der Algorithmus dividing cubes [Cline et al., 1988], welcher auf der Beobachtung beruht, dass die projizierten Dreiecke oft kleiner als ein Pixel sind. So wird für jede potenziell darzustellende Voxelzelle zunächst überprüft, ob sie im Bildraum über die Größe eines Pixels hinausgeht. Ist dies der Fall, so wird sie in weitere Subzellen zerlegt. Ist dies nicht der Fall, so wird sie als ein einzelner Oberflächenpunkt gerendert. Dieses Verfahren ist effizient implementierbar und kommt in medizinischen Anwendungen zum Einsatz. Relevanz für das PREPaRe-System Zu den medizinischen Daten eines Patienten, die im PREPaRe-System präsentiert werden, gehören Schichtaufnahmen von bildgebenden Modalitäten, wie z.b. CT

53 3.4. SURFACE-RENDERING 37 oder MR. Diese Art von voxelbasierten Daten lassen sich sehr anschaulich mit den beschriebenen Volumenvisualisierungverfahren darstellen. Bei der Erzeugung der Bilder ist in jedem Fall die Zielgruppe zu berücksichtigen. Realistische Bilder erfordern weniger Abstraktionsvermögen vom Betrachter, da sie mit bildlichen Eindrücken der realen Welt korrespondieren. Abstraktere Bilder, die z.b. gezielt Farben verwenden, um besondere Informationen hervorzuheben, setzen zusätzliches Wissen beim Betrachter voraus. Als Beispiel dient die Diagnose der Bilder durch einen Arzt. Dem gut ausgebildeten Radiologen sind realistische Farben, wie sie in der Natur vorkommen, nicht so wichtig, wie die Möglichkeit kleinste Strukturen klar voneinander unterscheiden zu können. 3.4 Surface-Rendering Beim Surface-Rendering werden Modelle, die nur mit ihrer Oberflächenbeschreibung vorliegen, visualisiert. Oberflächen werden mit Polygonen beschrieben, welche die Eckpunkte über Kanten miteinander verbinden. Die Vorgehensweise der Abarbeitung wird als Rendering-Pipeline bezeichnet und umfasst mehrere aufeinanderfolgende Stufen. Für den räumlichen Eindruck einer 3D Szene spielt die Beleuchtung eine entscheidende Rolle. Bei der Beleuchtung kann in lokale und globale Beleuchtungsmodelle unterteilt werden. Nur das direkt einfallende Licht an der Objektoberfläche wird bei lokalen Beleuchtungsmodellen berücksichtigt. Dahingegen werden bei globalen Beleuchtungsmodellen auch die reflektierten und transmitierten Lichtstrahlen von anderen Objekten der Szene in die Berechnung mit einbezogen Lokale Beleuchtung Gemäß [Tönnies und Lemke, 1994] umfasst die Rendering-Pipeline für die Anwendung eines lokalen Beleuchtungsmodells die Stufen : 1. Transformation 2. Backface Removal 3. Hidden Surface Removal 4. Anwendung eines Beleuchtungsmodells 5. Projektion und Rasterung Transformation Die Transformation überträgt das Modell aus seinem lokalen Koordinatensystem in das Weltkoordinatensystem und gegebenenfalls weiter in das Betrachterkoordinatensystem. Eine Transformation besteht aus Translation, Rotation und Skalierung. Es besteht auch die Möglichkeit, den Betrachter in das Weltkoordinatensystem zu transformieren, um eine Bewegung innerhalb einer virtuellen Welt zu ermöglichen.

54 38 KAPITEL 3. GRUNDLAGEN Backface Removal/Hidden Surface Removal Zwei Verfahren um Teile des Modells aus der Rendering-Pipeline zu entfernen, die nicht vom Betrachter gesehen werden können sind das Backface Removal und das Backface Culling. Ersteres entfernt alle Flächen eines Modells, die nicht zum Betrachter zeigen, in dem es die Normale der Fläche betrachtet. Beim Backface Culling werden die verbleibenden Polygone an den Grenzen des Sichtvolumens (view frustrum), welches bei der perspektivischen Projektion ein Pyramidenstumpf ist, abgeschnitten. Die darauffolgende Entfernung von verdeckten Oberflächen (Hidden Surface Removal) stellt im Gegensatz zu den anderen Schritten ein recht aufwendiges Verfahren dar, wenn sie über geometrische Berechnungen realisiert wird. Als Standardlösung hat sich jedoch der Z-Puffer-Algorithmus (siehe Abschnitt ) durchgesetzt, welcher Rasterung und Hidden Surface Removal verbindet und sowohl in Software als auch in Hardware sehr einfach zu implementieren ist [Foley et al., 1990] Anwendung eines Beleuchtungsmodells Mit Hilfe des Beleuchtungsmodells wird für Punkte der Oberfläche berechnet, wieviel Licht in Richtung des Betrachters reflektiert wird. Das am weitesten verbreitete und in Grafikhardware implementierte Modell für die lokale Beleuchtung ist das Phongsche Modell [Phong, 1975]. Es kombiniert die ideal diffuse Reflexion mit einer empirisch verteilten, spekularen Reflexion. Zur Simulation des Umgebungslichtes bzw. der Grundhelligkeit einer Szene beinhaltet es zusätzlich einen ambienten Beleuchtungsanteil Projektion und Rasterung Durch die Projektion und Rasterung erfolgt eine Abbildung der für den Betrachter sichtbaren Oberflächen auf die Rasterpunkte des Ausgabemediums (z.b. Bildschirm). Um jedem Punkt einer Fläche einen unterschiedlichen Farbwert zuordnen zu können, wird die gesamte Fläche in parallel zueinander liegenden Scanlines abgeschritten. Auf der Scanline liegen Pixel (picture element), für die ein Farbwert berechnet wird. Dies kann entweder durch die Interpolation der berechneten Intensitäten in den Eckpunkten des Polygons geschehen [Gouraud, 1971] oder durch die Interpolation der Eckpunktnormalen [Phong, 1975] und deren Verwendung in der Beleuchtungsberechnung. Das zweite Verfahren ist allerdings rechenintensiver, wenn man berücksichtigt, dass ein aufwändiges Beleuchtungsmodell, wie z.b. das von Phong für jeden Pixel angewendet werden muss. Während der Rasterung kann das Hidden Surface Removal mit Hilfe des Z-Buffer [Catmull, 1974] stattfinden. Dazu wird die Tiefeninformation des aktuellen Pixels mit dem Tiefenpuffer verglichen und der Farbwert nur in den frame buffer geschrieben, wenn der Pixel näher am Betrachter liegt, als alle vorher betrachteten Pixel. Wenn der Farbwert in den frame buffer geschrieben wurde, muss der Tiefenpuffer an der korrespondierenden Stelle mit der Tiefe des Pixels aktualisiert werden.

55 3.4. SURFACE-RENDERING Globale Beleuchtung Die zwei wesentlichen Ansätze zur globalen Beleuchtungsberechnung stellen das Objektraumverfahren Radiosity und das Bildraumverfahren Ray Tracing dar. Mit Hilfe von Radiosity wird versucht, die diffuse Reflexion von Oberflächen möglichst realitätsnah nachzubilden. Insbesondere die unscharfen Konturen von Schatten sind ein charakteristisches Merkmal dieser Methode [Pöpsel et al., 1994]. Das Verfahren beruht grundlegend auf den Hauptsätzen der Thermodynamik, welche unter anderem aussagen, dass die Energie innerhalb eines geschlossenen Systems konstant ist. Da Licht eine Form von Energie darstellt, kann dieser Grundsatz zur Simulation von globalen Beleuchtungsverhältnissen herangezogen werden. Die Energieberechnungen des Radiosity setzen folgende Annahmen voraus: Die in der Szene verwendeten Flächen sind ideal diffus reflektierend. Alle Flächen sind homogen bezüglich ihrer Eigenschaften, wie z.b. Grundfarbe oder Reflektivität. Die Szene bildet ein abgeschlossenes energetisches System. Die von einer Fläche emittierte Energie setzt sich aus der eigenen Energie (im Fall einer Lichtquelle) und der gewichteten Summe aller von anderen Flächen eintreffenden Energien zusammen. Die Berechnung der Energiedichte besteht demnach in der Lösung eines linearen Gleichungssystems, welche den Hauptaufwand dieser Methode bildet. Ein Vorteil besteht darin, dass diese Lösung blickpunktunabhängig ist, d.h. dass Kamerafahrten keine Neuberechnung des Gleichungssystems erfordern. Obwohl Radiosity in der Lage ist, photorealistische Bilder zu generieren, ist es mit dieser Methode nicht möglich, spiegelnde Reflexionen zu simulieren. Dies bleibt dem Ray Tracing vorbehalten. Das auf Whitted [Whitted, 1980] zurückgehende Ray Tracing ist ein Strahlverfolgungsverfahren, welches Lichtstrahlen in umgekehrter Richtung ihrer Ausbreitung zurück verfolgt. Ein Strahl wird solange verfolgt, bis er auf eine rein diffuse Oberfläche trifft, ein bestimmtes Energieminimum unterschreitet oder die Szene verlässt. Durch diese Vorgehensweise ist es möglich, Phänomene wie spiegelnde Reflexionen, refraktierende Transparenzen und (scharfkantige) Schatten zu simulieren [Foley et al., 1990]. Ein Hauptproblem des klassischen Ray Tracing besteht darin, dass sich die Wechselwirkung zwischen Objekten auf den spekularen Reflexionsanteil beschränkt. Die Berücksichtigung einer diffus/diffusen Wechselwirkung würde bedeuten, dass ein Strahl in jedem Auftreffpunkt in alle Richtungen gestreut werden müsste und ist daher praktisch nicht realisierbar. Eine diesbezügliche Kompromisslösung erzielt das von Cook entwickelte verteilte Ray Tracing (distributed ray tracing) [Cook et al., 1984] [Cook, 1986], bei dem an jedem Auftreffpunkt anstatt eines einzelnen gebrochenen oder reflektierenden Strahls eine Gruppe von Strahlen ausgesandt werden. Eine weitere Möglichkeit, um maximalen Realismus bei der Darstellung geometrisch definierter Szenen zu erreichen, besteht in der Kombination von Ray Tra-

56 40 KAPITEL 3. GRUNDLAGEN cing und Radiosity. Der bekannteste Vertreter dieser Mehrwegeverfahren ist der von Ward entwickelte Renderer, mit dem Namen RADIANCE [Ward, 1994] Texture Mapping Blinn und Newell stellen in ihrem Artikel [Blinn und Newell, 1976] die Idee vor, während des Rendering-Prozesses zweidimensionale Bilder mit einem Muster auf dreidimensionalen Geometrien zu befestigen, um den Realismus zu erhöhen ohne den Renderingaufwand deutlich zu vergrößern. Dabei kann der Texturwert die interpolierte Farbe ersetzen oder mit ihr gemischt werden. Dieser Vorgang ist als Texture Mapping bekannt. Im allgemeinen besteht das Verfahren aus zwei Schritten. Im ersten Schritt, der Oberflächenparametrisierung, werden die Texturwerte aus dem Texturraum in den Objektraum transformiert. In einem zweiten Schritt, der Projektion, findet dann eine Transformation vom Objektraum in die Bildebene statt. Je nachdem ob man die Schritte vorwärts oder invers ausführt, bezeichnet Paul Heckbert [Heckbert, 1986] den Vorgang als texture scanning oder screen scanning. Beim texture scanning werden die Texturkoordinaten u und v durchlaufen und die zugehörigen Bildschirmkoordinaten x und y ermittelt. Das screen scanning verläuft genau umgekehrt. Als dritte Möglichkeit verweist Heckbert auf eine 2-Phasen-Methode von Catmull [Catmull, 1980], welche ein 2D Mapping in zwei einzelne 1D Abbildungen zerlegt. Die erste Phase wird auf die Reihen des Bildes angewandt und die zweite Phase auf die Spalten Grafikhardware für das Surface- Rendering Für die Beschleunigung der Surface-Rendering-Pipeline existieren ausgefeilte Algorithmen und spezielle Grafikhardware, welche in zunehmendem Maße die Komponenten des Software-Rendering ersetzt. Mittlerweile hat sich die sogenannte Fixed-Function-Pipeline (siehe Abbildung 3.12 mitte) etabliert. Diese trägt ihren Namen, da der Programmierer das Verhalten der Pipeline und den internen Ablauf nur durch bestimmte Parameter steuern kann. Anders ausgedrückt, legt man beim Start gewisse Rahmenbedingungen (States) für den eigentlichen Arbeitsvorgang innerhalb der Pipeline fest. Im Allgemeinen besteht eine Fixed-Function- Pipeline aus zwei Kernelementen: der Transformation & Lighting-Engine (TnL) und der Multitexturing-Unit (MTU). Während die TnL-Komponente für sämtliche geometrische Transformationen sowie die Beleuchtung verantwortlich ist, kümmert sich die MTU um die Texturierung der Polygone. Im Gegensatz dazu läßt sich bei der zweiten Art von Grafikhardware, der Flexible- Pipeline (siehe Abbildung 3.12 rechts), die Transformation und Beleuchtung frei programmieren. Dies ermöglichen die sogenannten Shader (in der OpenGL API werden sie auch fragment programs genannt), die einmal pro Vertex bzw. einmal pro Pixel aufgerufen werden. Um die CPU zu entlasten, werden die Shader- Programme direkt von dem Grafikprozessor (GPU) ausgeführt. Geschrieben werden die Programme in einer speziellen Maschinensprache, die direkten Zugriff auf die Komponenten der GPU bietet. Moderne Grafik-APIs stellen eine Hochsprache

57 3.4. SURFACE-RENDERING 41 Software Emulation Geometrie (Vertices) TnL Engine Vertex Shader Objekt Culling & Clipping Rasterizer Multitexturing Pixel Shader Rasteroperationen Framebuffer Pixeloperationen Vertex Transformationen Verwendung zur Anzeige Verwendung als Textur Abbildung 3.12: Funktionsweise der 3D-Pipeline : Zu Beginn werden die Eckpunkte der Oberflächenmodelle eingelesen. Anschließend wird anhand der verfügbaren Grafikhardware entschieden, welcher der drei Pfade verfolgt wird. Zur Auswahl stehen dabei die langsame und für die CPU sehr rechenintensive Software-Emulation, die gängige Fixed-Function-Pipeline oder die modernere Flexible-Pipeline. für Shader zu Verfügung, deren Code automatisch in Shader-Maschinensprache kompliliert werden kann [Mark et al., 2003]. Es ist zwar offensichtlich, dass die Verwendung der Flexible-Pipeline einen größeren Arbeitsaufwand als der Einsatz der Fixed-Function-Pipeline mit sich bringt, aber die flexiblen Möglichkeiten erlauben erst die Effekte moderner Grafik-Engines. Ein großer Vorteil selbst entwickelter Shader-Programme besteht darin, dass man ohne viel Aufwand direkten Zugriff auf die 3D-Objekte erhält und diese um aufwendige Spezialeffekte bereichern kann. Aufwendige numerische Algorithmen können somit auf die GPU ausgelagert werden [Krüger und Westermann, 2003b]. In einer Veröffentlichung von Purcell et al. [Purcell et al., 2002] wird ein Algorithmus für Ray Casting auf programmierbare Grafikhardware abgebildet. Der Rasterizer erzeugt die einzelnen Pixel des darzustellenden Bildes. Im nächsten Schritt werden die Pixelinformationen vom Grafikchip mit Hilfe der MTU oder des Pixel-Shader weiterverarbeitet. Auch an dieser Stelle kann der Weg der Fixed-Function- oder der Flexible-Pipeline eingeschlagen werden. Als Beispiel sei das Alpha-Blending erwähnt, welches die Transparenz der Objekte testet und dementsprechend die Texturen übereinanderblendet. Das fertig berechnete Bild

58 42 KAPITEL 3. GRUNDLAGEN im Framebuffer kann entweder auf dem Monitor angezeigt oder als Textur für ein weiteres Objekt verwendet werden. Relevanz für das PREPaRe-System Eine dreidimensionale virtuelle Welt mit animierten Akteuren wird aus Polygonoberflächen modelliert. Anatomische Objekte, die aus medizinischen Schichtdaten extrahiert worden sind, werden ebenfalls über ihre Außenhülle dargstellt. Zusätzlich liegen dreidimensionale Modelle von Prothesen als Oberflächenrepräsentation vor. Sämtliche Polygondatensätze werden mit Methoden des Surface-Rendering hardwarebeschleunigt dargestellt. Mit zunehmender Größe des Grafikkartenspeichers und der Verbesserung der Datenbusanbindung der GPU (z.b. PCI-Express) rückt die Verarbeitung von Voxeldaten auf einer PC- Grafikkarte mit Hilfe von Shader-Programmen in den Bereich der Praxistauglichkeit [Krüger und Westermann, 2003a]. 3.5 Hybrid Rendering In diesem Abschnitt werden die beiden hauptsächlichen Vertreter des Hybrid- Rendering vorgestellt. Beide Datenrepräsentationen (Polygone und Voxel) werden, ohne die eine in die andere umzuwandeln, gemeinsam visualisiert. Zum einen handelt es sich um einen Hybrid Ray Caster und zum anderen um die Verwendung von 3D-Texturen für die hybride Visualisierung Hybrid Ray Caster In der Literatur werden die Bezeichnungen Ray Tracing und Ray Casting oft synonym verwendet. Ein Ray Caster umfasst jedoch im Gegensatz zu einem Ray Tracer keine rekursive Strahlenverfolgung [Foley et al., 1990], also keine Reflexion zwischen Objekten, keine Lichtbrechung bei Transparenzen und in der Regel auch keine Schattenberechnung. Ein Hybrid Ray Tracer ist in der Lage, polygonale und volumetrische Daten gemischt anzuzeigen. In einer Veröffentlichung von Marc Levoy [Levoy, 1990b] ist die Realisierung eines hybriden Ray Tracer beschrieben worden. Dabei handelt es sich um eine Erweiterung eines Ray Tracer für Volumendaten [Levoy, 1988]. Wenn zwischen Ray Tracing und Ray Casting unterschieden wird, handelt es sich gemäß obiger Definition in beiden Veröffentlichungen von Levoy um Ray Casting, da die ausgesandten Strahlen nicht reflektiert oder transmittiert werden und keine rekursive Verfolgung der Strahlen stattfindet. Bei Levoys Ansatz werden einige Konzepte des Volumen-Rendering, wie z.b. die Klassifikation und Beleuchtung der Volumendaten, zunächst als gegeben vorausgesetzt. Während beim Volumen-Rendering das Volumen an festgelegten Punkten entlang des Strahls abgetastet wird, ergeben sich die Strahlbeiträge bei polygonalen Szenen durch Berechnung der Schnittpunkte des Strahls mit allen in der Szene vorhandenen Polygonen (Abbildung 3.14). Die daraus resultierenden Unter-

59 3.5. HYBRID RENDERING 43 reflektierter Strahl transmittierter Strahl T1 R1 T2 O3 O1 R R2 O2 R3 Pixel Bildebene Auge Abbildung 3.13: Ray Tracing. Alle Flächen bis auf O3 sind semitransparent. Die Strahlen T1, R2 und R3 leisten keinen Beitrag zur resultierenden Pixelfarbe, da sie die Szene verlassen. schiede hinsichtlich der Beschaffenheit der Strahlbeiträge sind räumliche Ausdehnung und Präzision der Beschaffenheit von Raumpunkten. An der Stelle, wo der Voxelschnitt eine endliche Tiefe besitzt, ist der Polygonschnitt unendlich dünn. Volumetrische Strahlbeiträge stellen eine approximative Annahme über die Beschaffenheit von Raumpunkten dar, polygonale Beiträge charakterisieren diese präzise. Ein weiterer Unterschied zwischen den beiden Prinzipien besteht in der algorithmischen Reihenfolge der einzelnen Verarbeitungsschritte. Während beim polygonalen Ray Casting die Beleuchtung nach bzw. während der Strahlverfolgung erfolgt, macht es beim Ray Casting der Volumendaten Sinn, die Beleuchtung vorzuberechnen. Dies resultiert aus der Beobachtung, dass ein Voxel einen Farbanteil an mehreren Pixeln hat, da die Auflösung des projizierten Volumendatensatzes in der Regel deutlich unter der Pixelauflösung des Bildraums liegt. Die unterschiedliche Charakteristik der Ausgangsdaten verlangt an vielen Stellen des Algorithmus auch die Anwendung unterschiedlicher Konzepte. So ist bis zum letzten algorithmischen Schritt, der Komposition der Strahlbeiträge, eine getrennte Behandlung der Daten notwendig Grundstruktur des Algorithmus Überblicksartig lässt sich der Algorithmus in vier Schritte zerlegen : 1. Ray Casting und Shading der Polygone liefert Farbinformation und Opazität (Lichtundurchlässigkeit) für Schnittpunkte des Strahls mit den Polygonen.

60 44 KAPITEL 3. GRUNDLAGEN Polygone Voxel Strahlen Schnitt punkt Strahlen Abtast punkt Polygon Voxelraum Bildebene Bildebene Abbildung 3.14: Vergleich von polygonalem (links) und volumetrischem (rechts) Ray Casting. 2. Shading und Klassifikation der Volumendaten liefert Farbinformation und Opazität für Voxel. 3. Durch Resampling der Voxel entlang der Strahlen beim Ray Tracing erhält man Samples mit interpolierten Farben und Opazitäten. 4. Durch einen Compositing-Schritt werden die Farbinformationen und Opazitäten der Schnittpunkte und Samples entlang der Strahlen zusammengeführt. Im Detail betrachtet ergibt sich folgender Ablauf (siehe Abbildung 3.15). Nachdem Volumendaten und Polygondaten in eine gemeinsame Datenbasis geladen wurden, durchläuft der Volumendatensatz zunächst eine Visualisierungspipeline und eine Klassifikationspipeline. Innerhalb der Visualisierungspipeline wird für jedes Voxel mittels eines lokalen Operators ein Gradient bestimmt, mit dessen Hilfe sich nun eine Oberflächennormale berechnen lässt. Diese dient zusammen mit den 3D-transformierten Koordinaten von Lichtquelle(n) und Kamera sowie den Materialeigenschaften der Volumendaten als Eingangsparameter für ein Beleuchtungsmodell nach Phong, welches für jedes Voxel eine Intensität berechnet. In der Klassifikationspipeline wird mittels des bereits berechneten Gradienten sowie einer look up table für die Opazität als Funktion über den Voxelwerten für jedes Voxel eine Opazität bestimmt. Die von Levoy [Levoy, 1988] vorgestellte Klassifikationsmethode kann erweitert werden und die Möglichkeit bieten, bestimmten Gewebetypen bzw. Voxelwerten zusätzlich eine RGB-Farbe sowie eine Materialeigenschaft zuzuordnen. Dies macht es allerdings notwendig, die Reihenfolge der beiden Pipelines zu vertauschen, da die Materialeigenschaft des jeweiligen Voxels im Beleuchtungsmodell benötigt wird.

61 3.5. HYBRID RENDERING 45 Polygondatensatz Volumendatensatz Klassifikation / Beleuchtung Voxel Opazitäten Voxel Farben Strahlverfolgung / Beleuchtung Strahlverfolgung / Neuabtastung Strahlverfolgung / Neuabtastung Punkt Opazitäten Punkt Farben abgetastete Opazitäten abgetastete Farben Farbzusammenführung Farbzusammenführung Polygonale Strahl Farben Strahl Farben Steuerung der Supersampling Abtastrate Abbildung 3.15: Hybrid Ray Tracer, nach [Levoy, 1990b]. Als Resultat des Durchlaufens beider Pipelines besitzt jedes Voxel nun einen Gradienten, eine Opazität, eine RGB-Farbe sowie seinen unveränderten Voxelwert. Am Rande sei bemerkt, dass die entstehenden großen Speichermengen die Ausmaße des darzustellenden Volumenraumes stark einschränken. Als nächstes tritt das eigentliche Ray Casting / Resampling in Aktion. Dabei wird zunächst ein Strahl pro Pixel in den Volumenraum gesendet. Für jedes Pixel des Bildraumes geschieht folgendes: In gleichbleibenden Abständen entlang des Strahls werden trilinear interpolierte Mittelwerte (Abbildung 3.17) getrennt für Farbe und Opazität berechnet. In einem später von Levoy veröffentlichtem Berichtigungsartikel [Levoy, 2000] wird auf die Notwendigkeit einer vor der Interpolation liegenden Farbgewichtung anhand der Opazitäten hingewiesen, da ansonsten an unterschiedlich gefärbten Grenzschichten innerhalb des Volumens Artefakte entstehen. Die interpolierten Farb- und Opazitätswerte werden der Tiefe nach in einer geeigneten Datenstruktur abgelegt. Unabhängig davon wird für jeden Schnittpunkt des Strahls mit einem Polygon mit Hilfe des Phong schen Beleuchtungsmodells eine Farbe und Opazität berechnet, und ebenfalls der Tiefe nach sortiert in einer weitereren Datenstruktur gespeichert. Die anschließende Zusammenführung der Farben und

62 46 KAPITEL 3. GRUNDLAGEN Opazitäten von Volumenbeiträgen und Polygonbeiträgen mit Hilfe einer Transparenzformel ergibt die Farbe des Pixels Selective Supersampling Da Ray Casting ein diskretisierendes Verfahren darstellt, sind, zumindest für die scharfkantige Geometrie der Polygone, Aliasing-Artefakte zu erwarten. Levoy begegnet diesem Problem mit einer weiterentwickelten Form des adaptive supersampling, dem selective supersampling (Abbildung 3.16). Dabei wird der Bildraum zunächst so aufgeteilt, dass für jede der vier Ecken eines Pixels ein Strahl ausgesandt und nach dem bereits beschriebenen Verfahren eine Farbe berechnet wird. Übersteigt die Differenz zwischen größtem und kleinstem Eckfarbwert einen gewissen Schwellwert, wird ein weiteres Quadrupel von Eckfarben ermittelt. Allerdings werden diesmal die Farben der Volumenbeiträge unterdrückt. Liegt die Farbdifferenz immer noch über dem Schwellwert, so ist davon auszugehen, dass sie durch eine durch das Pixel verlaufende Polygonkante bzw. Polygonschnittkante hervorgerufen wird Pixel Strahl Subpixel Abbildung 3.16: Selective Supersampling Ist dies der Fall, wird das Pixel in vier Subpixel unterteilt und der soeben beschriebene Prozess erneut für alle vier Subpixel durchgeführt. Dies geschieht solange, bis die Farbdifferenz der jeweiligen Eckpunkte unter dem gewählten Schwellwert liegt oder die Größe der Subpixel ein festgelegtes Minimum unterschreitet. Die resultierende Farbe eines Pixels bzw. Subpixels ergibt sich jeweils durch bilineare Interpolation (Abbildung 3.17) der Farben der darunterliegenden, höher abgetasteten Ebene Polygon-Volumen-Schnitte Ein weiteres Problem stellt die Sichtbarkeitsberechnung bei Polygon-Volumen- Schnitten dar. Nach der oben vorgestellten Methode der Neuabtastung des Volumenraumes entstehen entlang eines Strahls Volumenquader mit einer Breite und Höhe entsprechend dem Strahlenabstand und einer Dicke entsprechend dem Abstand der genommenen Abtastwerte. Liegt ein Polygonstück innerhalb eines dieser Volumenquader, wird es als absolut davor oder dahinter liegend gespeichert, was

63 3.5. HYBRID RENDERING Abtastpunkt Abbildung 3.17: Lineare Interpolationen bei der Farbzusammenführung zu sichtbaren Artefakten führt. Der folgende Ansatz versucht, dieses Problem zu lösen, indem Polygon-Volumen-Schnitte extra behandelt werden (vergleiche Abbildung 3.18). Es existieren zwei Fälle: Schneidet das Polygon nur die Seiten eines Volumenquaders, wird dieser Quader in zwei getrennte Volumenstücke zerlegt und für beide eine von der mittleren Dicke des jeweiligen Stückes abhängende neue Opazität berechnet. Beide Stücke werden getrennt als Volumenbeiträge gespeichert. Dies macht die Notwendigkeit einer dynamischen Datenstruktur deutlich, da das effiziente Einfügen von neuen Elementen entlang des Strahls nur so realisierbar ist. Im zweiten Fall schneidet das Polygon die Vorderseite und/oder die Rückseite des Volumenquaders und hat somit Einfluss auf mehrere Volumenquader entlang des Strahls. Nach dem in Abschnitt vorgestelltem Supersampling-Verfahren muß eine genauere Abtastung vorgenommen werden, um ein zufriedenstellendes optisches Ergebnis zur erhalten Laufzeitoptimierung Zur algorithmischen Optimierung des Laufzeitverhaltens des Volumen-Rendering- Prozesses können zwei Verfahren herangezogen werden [Levoy, 1990a]. Zum einen das hierarchical spatial enumeration, welches nicht-transparente Voxel mittels eines octree zusammenfasst (siehe Abbildung 3.19), zum anderen das adaptive termination, bei dem die Strahlverfolgung nach dem Erreichen eines bestimmten Transparenzgrades vorzeitig abgebrochen wird. Durch die Integration des octree in den Ray Caster ergeben sich zwei Änderungen im Ablauf des Algorithmus. Zuerst wird auf Grundlage der klassifizierten Volumendaten der Baum in einer bottom-up Reihenfolge aufgebaut. Dabei werden jeweils acht zusammenhängende Zellen, die alle leer oder alle gefüllt sind, zusammengefasst. Durch die Einführung eines dritten Zustandes lassen sich auch gemischte Gebiete auf übergeordneten Ebenen zusammenfassen. Zweitens muss das Ray Casting mit einer Traversierung des Baumes einhergehen. Die Traversierung erfolgt von der Wurzel zu den Blättern des Baumes (top-down). Auf jeder Ebene wird dabei überprüft, welche der acht Subzellen vom Strahl getroffen werden. Bei mehreren getroffenen Subzellen müssen diese bzgl. des Strahleintrittspunktes sor-

64 48 KAPITEL 3. GRUNDLAGEN (a) (b) (c) (d) (e) Abbildung 3.18: Polygon-Volumen-Schnitte, aus [Levoy, 1990b]: a) Entlang eines Strahls entstehen Volumenblöcke homogener Farbe und Opazität b) Polygon schneidet nur die Seitenflächen c) Exakte Lösung der Volumenverdeckung d) Polygon schneidet Vorder- oder Rückseite e) Supersampling in Verbindung mit c) tiert werden. Nur so lässt sich die tiefensortierte Resampling-Reihenfolge entlang des Strahls gewährleisten. Anschließend wird für jede Subzelle überprüft, ob es sich um eine gemischte oder atomare Zelle handelt. Bei einer gemischten Zelle wird rekursiv auf die nächst tiefere Ebene des Baumes hinabgestiegen und die Traversierung fortgesetzt. Für die atomaren Zellen existieren zwei Möglichkeiten. Beträgt der Opazitätswert eins, so findet die Abtastung zwischen Eintritts- und Austrittspunkt des Strahls statt. Beträgt er null, so kann die durch die Zelle abgedeckte Strecke entlang des Suchstrahls komplett übersprungen werden. Genau daraus resultiert der Geschwindigkeitszuwachs beim hierarchical spatial enumeration. Da auch die polygonale Strahlverfolgung bei hoher Objektzahl den Rendering- Prozess signifikant verlangsamt, werden die bounding boxes der Polygone in einer Binärbaumstruktur organisiert (Abbildung 3.20). Über die Traversierung dieser Struktur lässt sich effizient ermitteln, welche Polygone potenziell vom Strahl ge-

65 3.5. HYBRID RENDERING 49 Abbildung 3.19: Octree für Voxel. troffen werden. Diese Vorgehensweise vermindert die Anzahl der rechenintensiven Strahl-Polygon-Schnittpunktberechnungen. Abbildung 3.20: Binärbaum für Bounding Boxes von Polygonen. Als zweite Methode zur Beschleunigung des hybriden Ray Caster kommt eine adaptive Termination bei Erreichen einer ausreichend hohen Gesamtopazität für einen Strahl zum Einsatz. Das Ziel dieser Technik besteht in der Identifikation des letzten Abtastpunktes entlang eines Strahls, der signifikant die Gesamtfarbe des Bildpunktes beeinflusst. Da der dahinterliegende Teil nicht mehr signifikant zum Ergebnis beiträgt, kann eine weitere Abtastung des Strahls unterbleiben. Dies bedeutet in den meisten Fällen eine Steigerung in der Bearbeitungszeit für alle ausgesandten Strahlen. Während kleine Opazitätswerte als gewähltes Ab-

66 50 KAPITEL 3. GRUNDLAGEN bruchkriterium die Rendering-Zeit verringern, reduzieren größere Opazitätswerte auftretende Artefakte in den Bildern. Um adaptive Termination zu integrieren, muss die Zusammenführung der Opazitätswerte schon während des Ray Casting stattfinden (siehe Abbildung 3.21). Da nach jedem Hinzufügen eines Beitrags bereits die akkumulierte Opazität des Strahls benötigt wird, muss das Compositing zweimal erfolgen. Polygondatensatz Volumendatensatz Binärbaum mit Bounding Box Struktur Oktonärbaum mit Opazitäts Struktur Klassifikation Beleuchtung Strahl Polygon Strahl Volumen Schnittpunkt Schnittpunkt Voxel Voxel berechnung berechnung Opazitäten Farben Beleuchtung Adaptive Termination Neuabtastung / Opazitätszusammenführung Polygonaler Strahlbeitrag Volumetrischer Strahlbeitrag Farbzusammenführung / Polygon Volumen Schnittbehandlung Supersampling Polygonale Strahl Farben Strahl Farben Abbildung 3.21: Optimierter Hybrid Ray Caster.

67 3.5. HYBRID RENDERING Hybrid Rendering mit 3D-Texturen Ein zweiter Weg zur hybriden Darstellung von texturierten Polygonen und Volumendaten besteht in der Verwendung von 3D-Texturen. Die Darstellung der Oberflächen der virtuellen Welt geschieht mit Hilfe eines Oberflächen-Renderer. Um die Anzahl der Polygone gering zu halten, werden Details der Szene mit Hilfe von Texturen modelliert. Volumendaten bestehen aus dreidimensionalen Voxeln. Wenn die Voxel über zwei Dimensionen zusammengefasst werden, erhält man eine Voxelebene. Mehrere dieser Ebenen können als dreidimensionale Textur aufgefasst werden (Abbildung 3.22). Innerhalb des aufgespannten Raumes kann für jeden Punkt über die Angabe von drei Texturkoordinaten ein Farbwert interpoliert werden. Legt man nun Schnitte durch den 3D Texturraum, so erhält man zweidimensionale Texturen, die dann auf zusätzliche Polygone in der Szene gemappt werden (Abbildung 3.23). Diese Polygone repräsentieren die Volumendaten in der hybriden Szene. Abbildung 3.22: 3D-Texturraum mit dem R, S, T-Koordinatensystem, aus [OpenGLonSGI] Abbildung 3.23: Schnittebene durch den Texturraum, aus [OpenGLonSGI] Konvertierung der Voxeldaten in eine 3D-Textur Bei der Konvertierung der reinen Voxeldaten wird aus jedem Voxel ein Texel (texture element) der 3D-Textur. Während dieser Umwandlung werden aus den Eigenschaftswerten der Voxel durch Anwendung der Transferfunktion einem Texel drei Farbwerte (Rot, Grün und Blau) zugeordnet. Volumendatensätze mit 8 Bit pro Voxel erlauben 256 verschiedene Eigenschaftswerte, wo hingegen 16-Bit-Modelle unterschiedliche Eigenschaften repräsentieren können. Da ein Voxelmodell in den meisten Fällen wesentlich mehr Voxel als Eigenschaftswerte enthält, ist die Verwendung einer color lookup table von Vorteil. Neben den RGB-Werten können in einer 3D-Textur auch Informationen über die Transparenz jedes Texels festgelegt werden. Die Transferfunktion ordnet den Texeln Alphawerte zu.

68 52 KAPITEL 3. GRUNDLAGEN Erstellung des Polygonschichtenstapels Ein Stapel bestehend aus quadratischen Polygonen spannt einen Würfel auf, der das Volumen vollständig umschließt. Dabei sind die Polygone mit einem geringen Abstand zueinander parallel angeordnet und in Richtung des Betrachters ausgerichtet. Bewegt sich der Betrachter, so werden die Eckpunkte der Polygone jeweils neu berechnet. Auf die jeweils entstandenen Polygone werden die 3D- Texturen aufgebracht und in einem Blending-Prozess mit den restlichen (zum Teil texturierten) Polygonen der Szene gerendert. Da das Volumen innerhalb des umfassenden Würfels frei rotiert werden kann, ergibt sich für die Seitenlänge des Polygon-Würfels die Diagonale des Volumendatensatzes. Um die Eckpunkte des Würfels zu berechnen, wird vorausgesetzt, dass der Koordinatenursprung M des Volumendatensatzes im Mittelpunkt des Volumens liegt. Außerdem wird eine Transformationsmatrix für die Berechnung zwischen Objektkoordinaten und Betrachterkoordinaten (Model-View-Matrix) benötigt. Unter Verwendung dieser Matrix kann die Position P und der up-vektor des Betrachters (auch Kamera genannt) in das Objektkoordinatensystem des Volumens transformiert werden. Der Vektor von der Position P zum Mittelpunkt M des Volumens liefert die Blickrichtung, den sogenannten dir-vektor. Durch Anwendung des Kreuzprodukts auf die Vektoren dir und up erhält man den side-vektor (Abbildung 3.24). Anschließend werden alle drei Richtungsvektoren normiert dir up side M Abbildung 3.24: Würfel um das Volumen mit dem Mittelpunkt M und den drei orthogonalen Vektoren dir, side und up. Abbildung 3.25 zeigt viermal den Polygonschichtenstapel mit einer ansteigenden Anzahl (von oben nach unten und links nach rechts) von texturierten Polygonen. Als Volumendatensatz dienen für jedes Bild 209 Schichten des Kopfbereichs des CT-Datensatzes der Visible Human female [Visible Human Project]. Mit zunehmender Polygonzahl werden weitere Details sichtbar (z.b. das Ohr). Der umschließende Würfel deutet den 3D Texturraum an. In Abhängigkeit von der Anzahl der verwendeten 3D Texturen ist das visuelle Ergebnis sehr unterschiedlich. Ein besserer visueller Eindruck (siehe Abbildung

69 3.5. HYBRID RENDERING 53 (a) (b) (c) (d) Abbildung 3.25: Visualisierung des Kopfes der Visible Human female [Visible Human Project] mit 3D-Texturen und a) 25, b) 100, c) 200 und d) 256 Texturen. 3.25(d) im Vergleich zu Abbildung 3.25(a)) erfordert eine höhere Rechenleistung und kann zur Verminderung der Interaktivität des Systems führen Optimierung des Polygonschichtenstapels Bei dem oben beschriebenen Verfahren der Erstellung des Stapels werden zu viele Texel erzeugt, die gar keine Information über das Volumen enthalten. Die Kantenlänge des Würfels entspricht der Diagonalen des Volumendatensatzes, um

70 54 KAPITEL 3. GRUNDLAGEN beliebige Rotationen des Volumens zu gewährleisten. Um dem Mehraufwand beim Blending-Prozess der Polygone entgegenzuwirken, lassen sich die Polygone des umfassenden Würfels in einer optimierten Weise dem Volumen anpassen. In einem ersten Schritt werden die rechteckigen Schicht-Polygone mit den zwölf Kanten des Volumens geschnitten. Die sich dabei ergebenen Kollisionspunkte liefern die Eckpunkte für die neuen (flächenoptimierten) Polygone (Abbildung 3.26). P2 Polygon P3 P1 Würfelvolumen P4 Abbildung 3.26: Flächenoptimiertes Polygon schneidet das Würfelvolumen. Je nach Position des Polygons ergeben sich ein bis sechs Eckpunkte. Damit die Eckpunkte auch ein konvexes Polygon ergeben, müssen sie in einem Drehsinn sortiert werden (Abbildung 3.27). Dies kann mit Hilfe eines Konvexe-Hülle- Algorithmus oder dem effektiven Theta-Algorithmus geschehen [Sedgwick, 1990]. Mit dieser Optimierung ist es möglich, nur noch 1/5 an Polygonfläche für das folgende Textur-Blending zu erhalten. Dies ist ein nicht zu vernachlässigender Aspekt, da die Polygonfläche beim Blending-Prozess einen größeren Einfluss auf die Performanz ausübt, als die Anzahl der übereinander zu blendenden Polygone Abbildung 3.27: Flächenoptimierte Polygone (konvex vs. konkav) Alpha-Blending Um einen Blick in das Innere zu erlauben, so wie man es vom Volumen-Rendering her kennt, wird jedem Farbwert der Textur zusätzlich ein Alpha-Wert zugeordnet.

71 3.5. HYBRID RENDERING 55 Der Alpha-Wert gibt die Transparenz des Farbwertes an. Wenn die Transparenz gering ist, so ist die Farbe stark sichtbar, wenn sie hoch ist, so ist die Farbe durchsichtig. Die Zuordnung der Voxelwerte zu Farb- und Alpha-Werten erfolgt mit Hilfe einer Transferfunktion. Das Übereinanderblenden der semitransparenten Polygone erlaubt einen Blick in das Innere der Volumendaten. Die gemeinsame Darstellung aller texturierten Polygone erfolgt auf gängigen Grafikkarten hardwareunterstützt. Abbildung 3.28: Alpha-Blending von Texturen Für das Übereinanderblenden von Texturen sind sogenannte Blending- Operationen zuständig (Abbildung 3.28). Diese Operationen definieren, wie sich die verschiedenen Farben der Polygone vermischen. Bei der Durchführung des Blending-Prozesses werden die Objekte, die nach ihrem Abstand zum Betrachter sortiert sind, iteriert. Die gebräuchlichsten Blending-Operationen sind Over, Maximum Intensity Projection (MIP) und Attenuate. Jedes Objekt verändert dabei mit seiner die Quellfarbe f q und seinem Transparenzwert α q Zielfarbe f z und die Zieltransparenz α z, die bereits im frame buffer stehen. Als Ergebnis des Blending-Prozesses erhält man eine Farbe f und einen Tranzparenzwert α. Der Over-Operator wurde schon in den 80er Jahren für das Image Compositing verwendet [Porter und Duff, 1984]. In der Beschreibung des Visualization Toolkits setzen Schroeder et al. den Over-Operator für das Volumen-Rendering ein

72 56 KAPITEL 3. GRUNDLAGEN [Schroeder et al., 1998]. Durch Verwendung dieses Operators läßt sich ein Bild erzeugen, welches in einer groben Vereinfachung dem natürlichen Lichtfluß durch transparentes Material ähnelt. Hierbei läßt jede Schicht (jeder Voxel) nur soviel von der Farbe der Schicht hinter ihm in die Gesamtfarbe einfließen, wie sein eigener Transparenzwert (Alpha) durchlässt. Die Berechnungsformel für den Over-Operator lautet : f = (α q f q ) + (1 α q ) f z (3.10) α = (α q α q ) + ((1 α q ) α z ) (3.11) Beim MIP-Operator wird aus der Liste der zu einem Pixel beitragenden Texel der maximale Wert herausgesucht. Als Auswirkung erkennt man Bereiche mit einem hohen Wert in einer Umgebung mit niedrigen Werten besonders gut, da es zu einer Kontrastverstärkung kommt. Allerdings geht die Information über die Tiefe (Abstand zum Betrachter) der markanten Bereiche bei der Maximumsuche verloren. Für die angegebene Berechnungsformel des MIP-Operators wird angenommen, dass die Farbwerte und der zugehörige Transparenzwert gleich sind : f = max(f q,f z ) (3.12) α = max(α q,α z ) (3.13) Für den Attenuate-Operator werden die einzelnen Werte der Schichten aufsummiert und durch die Anzahl N der Schichten geteilt. Diese Mittelwertbildung wird in [Schroeder et al., 1998] auch Average-Operator genannt. Wie beim MIP- Operator bietet es sich auch beim Attenuate-Operator an nur Grauwerte zu verwenden. Für den Alpha-Wert wird ebenfalls ein Mittelwert berechnet. Dadurch erscheinen dichte Bereiche hell und opak, wohingegen weniger dichte Bereiche dunkel und transparent dargestellt werden. Die Berechnungsformel für den Attenuate-Operator lautet : f = (f q /N) + f z (3.14) α = (α q /N) + α z (3.15) Datenfluß des Hybrid Rendering mit 3D-Texturen In Abbildung 3.29 werden die beiden Verarbeitungswege für Volumen- und Polygondaten schematisch dargestellt. Aus den Volumendaten wird unter Verwendung einer Transferfunktion eine 3D Textur erzeugt. Durch den Volumenwürfel werden neue Polygone, die parallel zueinander ausgerichtet sind, gelegt. Diese erhalten 3D-Texturkoordinaten und können dann mit den restlichen Polygonen der Szene gerendert werden.

73 3.5. HYBRID RENDERING 57 Volumendaten Transferfunktionen Polygondaten 3D Textur Blending Funktion setzen Blending Equation setzen Beleuchtung Berechnung der Vektoren dir, up und side Berechnung der Schnittpunkte Polygone Volumenquader Sortierung der Schnittpunkte Erzeugung neuer Polygone Zuweisung der 3D Texturkoordinaten Zuweisung der 2D Texturkoordinaten Blending der Polygone Abbildung 3.29: Datenfluß des hybriden Rendering unter Verwendung von 3D-Texturen Relevanz für das PREPaRe-System Das hybride Rendering erspart die Umwandlung der gemischten Datenrepräsentationen und erlaubt es, sich der Vorteile beider zu bedienen. Ein Hybrid Ray Caster liefert eine gute Bildqualität bei sehr hohen Anforderungen an die Systemleistung. Im Gegensatz dazu stellt hybrides Rendering mit 3D-Texturen geringere Anforderungen an die Systemleistung. Der Geschwindigkeitsvorteil wird allerdings zu Lasten der Bildqualität erreicht. Für die Darstellung einer dreidimensionalen, virtuellen Welt, in der Volumendaten hybrid dargestellt werden, liegt die Verwendung von 3D-Texturen nah. Ergebnissbilder des Ray Casting können als Projektion in der virtuellen Welt angezeigt werden.

74 58 KAPITEL 3. GRUNDLAGEN 3.6 Transferfunktionen zur Klassifikation Transferfunktionen spielen bei der Bildqualität von direktem Volumen-Rendering eine entscheidende Rolle. Sie weisen den ursprünglichen Daten des zu visualisierenden Objekts optische Eigenschaften, wie z.b. Farbe und Opazität, zu. Leider erweist sich das Finden einer guten Transferfunktion als schwieriges Unterfangen. In einer Panel-Diskussion auf der Visualization 2000 Konferenz traten 4 Vertreter von vielversprechenden Herangehensweisen zur Findung einer Transferfunktion im sogenannten Transfer-Function Bake-Off gegeneinander an [Rhyne und Treinish, 2001] Trial and Error Will Schroeder und sein Team schlagen ein manuelles Experimentieren vor, welches in [Rhyne und Treinish, 2001] trial and error genannt wird. Für ihre Versuche verwenden sie z.b. die Software VolView von Kitware und eine VolumePro- Grafikkarte von RTViz, um in angemessen kurzer Zeit eine geeignete Transferfunktion zu finden. Durch eine intensive Beschäftigung mit den medizinischen Daten bei der Parametersuche für die Visualisierung, kann der Benutzer etwas über die Bedeutung der Inhalte erfahren und jeweils eine spezielle Transferfunktion für die einzelnen Datensätze finden Contour Spectrum Beim Design von Benutzerschnittstellen für die Kontrolle der Parameter bei der Visualisierung von Feldern skalarer Werte sollen dem Benutzer Werkzeuge zur Verfügung gestellt werden, die eine schnelle Veränderung der Parameter ermöglichen, um zu einer effektiveren Visualisierung zu gelangen. Ein Beispiel dafür ist das Isocontouring, welches nur einen einfachen Parameter benötigt, nämlich den Isowert. Da die Isokontur effektiv nur einen Teil der Daten zeigt, ist die Modifikation des Isowertes und eine interaktive Darstellung ein oder mehrerer Konturen oft notwendig, um eine globale Struktur aus den dargestellten Konturen ableiten zu können. Von Bajaj et al. [Bajaj et al., 1997] wird eine Benutzerschnittstelle für das Isocontouring vorgestellt, bei der dem Benutzer eine Sammlung charakteristischer Metriken präsentiert wird, um die Auswahl wichtiger Isowerte zu erleichtern. Zu diesen gehören die Größe der Oberfläche, das Volumen und das Integral des Gradienten, welche für einen kontinuierlichen Bereich von Isowerten berechnet werden. Dem Benutzer werden sich überlappende, eindimensionale Kurven der berechneten Charakteristika präsentiert, so dass per Mausklick ein Isowert selektiert werden kann. Nachdem die Auswahl erfolgt ist, werden die exakten Werte der charakteristischen Metriken quantitativ ausgegeben. Das Contour Spectrum [Bajaj et al., 1997] umfasst die berechneten Metriken für ein Feld skalarer Werte und ihre Darstellung. Auf der Grundlage der Metriken

75 3.6. TRANSFERFUNKTIONEN ZUR KLASSIFIKATION 59 L (w) L ( F (V2) ) F V2 V1 V3 Abbildung 3.30: Ein zweidimensionales Skalarfeld wird als Höhengitter dargestellt (links). Der Anteil einer Iso-Kontur, der in einem Dreieck des Höhengitters enthalten ist (rechts). lassen sich Funktionen zur Verfügung stellen, die eine interaktive Suche im Datensatz unterstützen. Dabei wird in einem zweidimensionalen Bild ein globaler Blick auf das zu untersuchende Feld skalarer Werte gewährt, unabhängig von der Dimension des Datensatzes. Für ein zweidimensionales Feld von Skalarwerten kann die exakte Länge jeder Isokontur der Höhe w berechnet werden, für ein dreidimensionales Feld entsprechend die Fläche jeder Isokontur. Solch ein skalarer Wert wird durch eine Spline- Funktion für den Isowert w repräsentiert. Innerhalb des Contour Spectrum werden die Spline-Funktionen dargestellt. Im Folgenden wird die Ermittlung der zweidimensionalen Konturlänge exemplarisch für die Vorgehensweise der allgemeinen Methode vorgestellt. Ausgehend von einem zweidimensionalen Höhengitter (siehe Abbildung 3.30) bestehend aus Dreiecken t i und Eckpunkten v i, wird eine Spline-Funktion L(w) erzeugt und dargestellt. Dabei ist L(w 0 ) die Länge der Isokontur auf der Höhe w 0. L(w) läßt sich als Summe aller Komponenten L i (w) berechnen, die jede Zelle c i zur Länge der Kontur beiträgt : L(w) = L i (w) (3.16) Als Konsequenz daraus kann man sich auf die Berechnung des generischen Terms L i (w) konzentrieren, der mit dem Dreieck t i assoziiert ist (siehe Abbildung 3.30). Das Dreieck t i besitzt die Eckpunkte v 1, v 2 und v 3 mit den Höhenangaben F(v 1 ) F(v 2 ) F(v 3 ). Sei die Gleichung f(x,y,z) = 0 für die Ebene, die t i enthält, gegeben, so ist der Wert L i (w 0 ) die Länge des Schnittes zwischen t i (Projektion von t i auf den Raum des Höhengitters) und der zweidimensionalen Linie der Gleichung f(x,y,w 0 ) = 0. Mit einer Veränderung des Wertes w 0 erhält man ein Maß für alle Schnitte, die parallel zur Linie f(x,y, 0) = 0 liegen. Allgemein ist aus der Spline-Theorie bekannt, dass für einen d-simplex in R d die Funktion zur Berechnung des Maßes aller parallelen Schnitte dieses simplex ein

76 60 KAPITEL 3. GRUNDLAGEN C d 2 kontinuierlicher B-Spline vom Grade d 1 ist [de Boor, 1978]. Im zweidimensionalen Fall ist der B-Spline eine streckenweise, lineare C 0 Funktion. Somit muß nur die Länge des Segmentes für w = F(v 2 ) berechnet werden und dann mit den beiden anderen Extrempunkten, deren Länge gleich null ist, verbunden werden. Für den Vergleich mit den anderen Techniken wurden drei Datensätze von bildgebenden Verfahren zur Verfügung gestellt [National Library of Medicine]. Es handelt sich bei allen drei um statische Felder von Skalarwerten, welche in einem geradlinigen Gitter angeordnet sind. Als charakteristische Funktion wurde die Funktionskurve des Gradientenintegrals ausgewählt, welche automatisch die verschiedenen Materialien in den jeweiligen Bilddaten separiert und die entsprechenden Farb- und Opazitätstabellen generiert. Diese wurden als Transferfunktion für das abschließende Volumen-Rendering verwendet Histogram Volume and Boundary Emphasis Function Kindlmann und Durkin [Kindlmann und Durkin, 1998] stellen ein semiautomatisches Verfahren zur Bestimmung der Transferfunktion vor. Es arbeitet auf den medizinischen Daten (CT und MR) und verwendet Kantenerkennungsverfahren aus dem Gebiet der Computer Vision, um Grenzschichten zu lokalisieren. Für medizinische Daten gilt, dass eine gute Transferfunktion nur den Voxeln an der Grenze zwischen verschiedenen Materialen einen opaken Wert zuweist, wohingegen Gebiete gleichen Materials einen transparenten Wert erhalten. Eine Transferfunktion, die Grenzschichten sichtbar macht, kann aus dem Verhältnis dreier Faktoren generiert werden. Bei den drei Faktoren handelt es sich um den vorliegenden Datenwert und seine erste und zweite gerichtete Ableitung entlang der Gradientenrichtung. Die gerichtete Ableitung eines Skalarfeldes f entlang eines Vektors v, bezeichnet als D v f, entspricht der Ableitung von f während man sich entlang eines geraden Pfades in Richtung v bewegt. Dabei werden der Datenwert und seine beiden Ableitungen an der Stelle untersucht, an der man direkt durch die Grenzschicht des Objektes fährt - sich also entlang der Richtung des Gradienten bewegt. Die erste gerichtete Ableitung läßt sich anhand der Größe des Gradienten berechnen und für die zweite gerichtete Ableitung schlagen Kindlmann und Durkin unter anderem die Approximation durch den Laplacian 2 f vor [Kindlmann und Durkin, 1998]. In Anlehnung an Kantenerkennungsverfahren aus dem Gebiet Computer Vision wird die Idee aufgegriffen, dass Grenzschichten in Assoziation mit einem Maximum in der ersten Ableitung und/oder einem Nullstellenübergang in der zweiten Ableitung stehen. In einer Datenstruktur, histogram volume genannt, wird die Beziehung zwischen den drei Faktoren für ein Volumen unabhängig von der Position des Datenwertes repräsentiert. Ausgehend von den ursprünglichen Volumendaten, und der ersten und zweiten gerichteten Ableitung in Gradientenrichtung wird eine Abstandsmatrix erstellt, die eine Wahrscheinlichkeit für jeden Voxel über die Zugehörigkeit zur Grenzschicht angibt. Diese Abstandsmatrix wird visualisiert und kann vom Benutzer zur Festlegung der Zuordnung zwischen der Position zur

77 3.6. TRANSFERFUNKTIONEN ZUR KLASSIFIKATION 61 Grenzschicht und einem Opazitätswert (boundary emphasis function) verwendet werden. Der Vorteil dieses Verfahrens liegt darin, dass eine sinnvolle Beschränkung der Transferfunktion durch die Information über die Grenzschichten auf Grund der gemessenen Daten vorliegt und der Benutzer nicht den gesamten Parameterraum aller möglichen Transferfunktionen erforschen muß Design Gallery Der Ansatz, den Marks et al. [Marks et al., 1997] vorschlagen, konzentriert sich auf das Ergebnis der Volumenvisualisierung die gerenderten Bilder. Die Transferfunktion wird an Hand der Ergebnisse, die sie liefert, evaluiert. Das vorgestellte System, Design Gallery (DG), besteht aus mehreren elementaren Bestandteilen. Der Eingabevektor ist eine Liste von Parametern, die die Erzeugung der Ausgabegrafiken durch ein Mapping-Verfahren steuern. Der Ausgabevektor besteht aus einer Liste von Werten, welche die subjektiv wahrnehmbaren Eigenschaften der Ausgabebilder zusammenfassen. Eine Abstandsmetrik legt für die Ausgabebilder ein Ähnlichkeitsmaß fest. Die Streuungsmethode ist dafür zuständig, eine Menge von Eingabevektoren zu finden, welche eine gut verteilte Menge von Ausgabevektoren durch ein gegebenes Mapping-Verfahren generiert. Schließlich werden die erzeugten Ausgabebilder mit Hilfe eines für die Wahrnehmung geeigneten Arrangements und unter Verwendung der Abstandsmetrik dem Benutzer zur Auswahl präsentiert. Diese sechs Elemente Eingabevektor, Mapping-Verfahren, Ausgabevektor, Abstandsmetrik, Streuungsmethode und Anordnungsverfahren charakterisieren das DG-System. Das beschriebene DG-System kann in vielen Bereichen der Computergrafik und Animation bei der Bestimmung von Parametern Einsatz finden. Für den speziellen Fall der Volumenvisualisierung wählt der Computer eine Menge von Eingabeparamtern, die eine möglichst breite Palette an Ausgabebildern gewährleistet. Die unterschiedlichen Ergebnisbilder werden automatisch erzeugt und in einer grafischen Benutzeroberfläche zur Auswahl arrangiert. Die Herausforderung dieses Ansatzes besteht in der Bestimmung des Eingabeparametervektors, der möglichst unterschiedliche Ausgabebilder erzeugt. Um eine weite Streuung zu erhalten, verwenden die Autoren in ihrer Software VolDG (Volume Design Gallery) einen evolutionären Algorithmus. Für eine übersichtliche Anzeige der bis zu 200 Ergebnisbilder, die zur Auswahl stehen, werden die einzelnen Bilder einer multidimensionalen Skalierung (MDS) unterzogen [Borg und Groenen, 1997]. Die MDS bildet die mehrdimensionalen Unterschiede zwischen den Bildern auf eine zweidimensionale Entfernung ab. Relevanz für das PREPaRe-System Wenn bei der Volumenvisualisierung keine vorherige Segmentierung stattgefunden hat, hängt das Ergebniss in erster Linie von der Transferfunktion ab. Wie der oben beschriebene Vergleich nahelegt, ist das Auffinden einer geeigneten Transferfunktion nicht trivial. Aus Zeitgründen scheidet das Finden einer Transferfunktion durch einfaches Ausprobieren aus. Oft lassen sich aber Transferfunktionen, die für eine Art von Schichtdaten gute Ergebnisse liefern auf andere Datensätze der

78 62 KAPITEL 3. GRUNDLAGEN gleichen Art übertragen [Rezk-Salama et al., 2000]. Wenn es die Rechenleistung des Systems und die Zeit zuläßt, dann können die Schichtdaten analysiert werden und auf Basis von Modellen eine geeignete Transferfunktion für den individuellen Volumendatensatz herausgefunden werden. 3.7 Interaktion in Virtuellen Welten Die Schaffung einer vom Computer generierten und vom Menschen aufgenommenen Realität steht hinter dem Begriff Virtual Reality. Dabei soll beim Benutzer das Gefühl entstehen, dass diese virtuelle Realität mehr oder weniger der tatsächlichen entspricht, seine Sinne also so arbeiten, wie in seiner natürlichen Umwelt. Um dieses Ziel zu erreichen, müssen die Sinne des Menschen getäuscht werden. Dazu bedient man sich technischer Hilfsmittel, um den visuellen, akustischen, taktilen Sinn und sogar den Geruchssinn anzusprechen. Mit Hilfe von Virtual Reality wird eine virtuelle, logisch im Computer vorliegende Umgebung über technische Geräte ausgegeben. Die Geräte sollen die menschlichen Sinne stimulieren, um dem Benutzer das Gefühl zu geben, in die virtuelle Umgebung integriert zu sein. Mit Eingabegeräten kann der Benutzer in die virtuelle Realität eingreifen. Dabei darf vom Benutzer nicht verlangt werden, stark von seinem Verhalten in der realen Welt abzuweichen. Neben dem am weitesten verbreiteten Begriff der Virtual Reality (VR) werden außerdem Begriffe wie Cyberspace und Artificial Reality gebraucht. Am besten trifft jedoch der Begriff Virtual Environment (VE) den Kern der Technologie. Im folgenden wird der weitverbreitete Begriff Virtual Reality synonym mit dem Begriff Virtual Environment gebraucht. Als deutsche Übersetzung für VE findet der Begriff Virtuelle Welt Verwendung. An VR-Systeme wird die Anforderung gestellt, den Benutzer in die virtuelle Umgebung zu integrieren. Dazu müssen die drei Is der Virtuellen Realität erfüllt werden [Burdea und Coiffet, 1994]: 1. Immersion (Eintauchen) in die virtuelle Welt bedeutet, daß dem Menschen durch seine Sinne das Gefühl vermittelt wird, in dieser Welt integriert zu sein. Zu den angeregten Sinnen gehören der visuelle, akustische, taktile und der Geruchssinn. Speziell für die jeweiligen Sinnesorgane entwickelte Geräte regen dabei den Sinn an. 2. Interaktion mit der virtuellen Umgebung und den darin vorkommenden virtuellen Objekten integriert den Benutzer in die Virtuelle Realität und gibt ihm die Möglichkeit, diese zu verändern bzw. zu benutzen. 3. Erst durch Imagination (die Vorstellungskraft) entsteht beim Benutzer das Erlebnis, Teil einer Welt zu sein, die in diesem Fall virtuell und nur im Computer existiert. Die Imagination ist in starkem Maße abhängig von der Qualität der Immersion und Interaktion. In einem technischen Bericht von Mark Mine [Mine, 1995] werden grundlegende Formen der Interaktion vorgestellt: Navigation, Selektion, Manipulation und Skalierung. Von diesen vier leitet sich eine fünfte Form ab, die als virtuelles Menü

79 3.7. INTERAKTION IN VIRTUELLEN WELTEN 63 bezeichnet wird. Für jede Art erfolgt eine Beschreibung der Interaktionsaufgabe und eine Aufzählung der notwendigen Parameter, die für die jeweilige Art spezifiziert werden müssen. Obwohl eine Vielzahl an Techniken zur Implementierung der einzelnen Interaktionsarten existieren, können drei Kategorien aufgestellt werden : Direkte Benutzerinteraktion. Dies beinhaltet die Verwendung von 3D- Tracking der Hand, Gesten- und Blickrichtungserkennung, um die Parameter für die Interaktionsaufgabe festzulegen. Bei der direkten Benutzerinteraktion ist auf eine natürliche, intuitive Abbildung der ausgeführten Aktion des Benutzers auf die resultierende Aktion in der virtuellen Welt zu achten. Physikalische Eingabegeräte. Dazu gehören Knöpfe, Schieberegler, Joysticks, Lenkräder und dergleichen. Mit der Verwendung eines physikalischen Eingabegerätes kann die empfundene Präzens in der virtuellen Umgebung erhöht werden. Weiterhin eignen sie sich für die präzise Eingabe der Parameter bei der Interaktionsaufgabe. In einigen Fällen fehlt den physikalischen Geräten die natürliche Abbildung, die eine Benutzerinteraktion erleichtert. Außerdem gestaltet sich beim Tragen eines head mounted display (HMD) die Suche nach den realen Geräten manchmal problematisch. Virtuelle Eingabegeräte. Alle vorstellbaren Kontrollgeräte können im Virtuellen nachgebildet werden. In dieser große Flexibilität liegt der Hauptvorteil der virtuellen Eingabegeräte. Als Nachteil sind das Fehlen einer haptischen Rückkopplung und allgemeine Schwierigkeiten bei der Interaktion mit virtuellen Objekten zu nennen. Besondere Aufmerksamkeit beim Design virtueller Kontrollgeräte und eine angemessene Auswahl der Dimensionalität der Interaktion sind essentiell Navigation Die Navigation wird durch Richtung und Geschwindigkeit parametrisiert. Die Richtung der Bewegung kann mit Hilfe verschiedener Methoden definiert werden. Die Position und Orientierung der Hand des Benutzers kann z.b. mit einem 3D- Tracker gemessen und daraus die Richtung der Bewegung (hand directed) ermittelt werden. Der Benutzer zeigt die Richtung an, in die er sich bewegen möchte. Alternativ kann die Richtung der Bewegung durch den Vektor vom Kopf des Benutzers zum virtuellen Zeiger (cursor) bestimmt werden oder durch den Vektor, der zwischen zwei Händen aufgespannt wird. Die einfachste Möglichkeit, die Bewegungsrichtung anzugeben, besteht darin, die Blickrichtung zu verfolgen (gaze directed). Um die Blickrichtung zu erhalten, werden die Kopforientierung und -position bestimmt. Wenn keine 3D-Tracker zur Verfügung stehen, müssen alternative Methoden angeboten werden. Physikalische Eingabegeräte wie z.b. joysticks, buttons, sliders, etc. können ebenso benutzt werden, um die Bewegungsrichtung zu bestimmen (physical controls). An Stelle der physikalischen Eingabegeräte kann man auch in der virtuellen Welt nachgebildete Eingabegeräte benutzen (virtual controls), z.b. virtuelle Lenkräder. Dies ist eine sehr flexible Methode, die aber den Nachteil in sich birgt, dass die Navigation wegen des Mangels an physikalischer Rückkopplung schwerer fällt, als mit physikalischen Eingabegeräten. Neben der

80 64 KAPITEL 3. GRUNDLAGEN Richtung muss die Geschwindigkeit bei der Bewegung durch die virtuelle Welt spezifiziert werden. Zur besseren Orientierung in der virtuellen Welt dienen Wegweiser und Übersichtskarten. In Fairchild [Fairchild, 1993] werden fünf Kategorien für die Art der Navigation aufgestellt : Relative Bewegung Absolute Bewegung Teleportation Hyperspace Transformation Bei der relativen Fortbewegung gelangt man zum Zielort, indem man eine Reihe von Schritten zurücklegt. Dies ist dem Benutzer aus der realen Welt bekannt. Im Gegensatz dazu wählt man bei der absoluten Fortbewegung einen Punkt auf einer Übersichtskarte, um dorthin zu gelangen. Die Teleportation befördert den Benutzer direkt zu dem mit einem Namen beschreibaren Ort. Im Hyperspace folgt der Anwender den Hyperlinks von einem zum nächsten Ort. Das besondere der letzten Kategorie besteht darin, dass nicht der Benuzter transformiert wird, sondern das ausgewählte Objekt zur Position des Anwenders befördert wird Selektion Die Selektion ist eine weitere Interaktionsaufgabe. Die Objektauswahl ist notwendig, um Interaktionen mit virtuellen Objekten durchzuführen. Eine Voraussetzung für die Selektion ist die eindeutige Identifizierbarkeit aller Objekte in der virtuellen Welt. Eine zweite Voraussetzung ist die Bestätigung der Selektion durch ein Signal oder Kommando, z.b. einen Knopfdruck, eine Geste, oder ein Kommando per Spracheingabe. Der Benutzer bewegt sich (oder ein Zeigegerät) auf das Objekt zu, bis der Selektionsbereich des gewünschten Objekts erreicht wird (lokale Selektion). Wenn der Benutzer das gewünschte Objekt mit seiner Hand nicht direkt erreichen kann, dann kann er dieses Objekt beispielsweise mit Hilfe eines virtuellen Laserstrahls auswählen. Wie bei der Richtungsdefinition durch die Blickrichtung kann auch ein Objekt durch hinschauen selektiert werden (gaze directed). Wenn jedes Objekt der virtuellen Welt einen eindeutigen Namen besitzt und diese dem Benutzer bekannt sind, dann können die Objektselektion und deren Bestätigung durch Spracheingabe realisiert werden, wie z.b. das Kommando Wähle - rote Box (voice directed). Dieses Verfahren hängt stark von der Fähigkeit des Spracherkennungssystems ab. Alternativ zur Spracheingabe kann eine virtuelle Auswahlliste bereitgestellt werden (list selection). Die Rückkopplung für den Benutzer kann durch Farbänderung oder eine umschließende Box (bounding box) geschehen. Im Rahmen einer 3D-Visualisierung muss sichergestellt werden, dass die für den Benutzer interessanten Objekte sichtbar und erkennbar sind. Im Falle einer Verdeckung sind Techniken der Hervorhebung anzuwenden, welche in manchen Situationen erst die Selektion erlauben. Um verdeckte Objekte hervorzuheben genügt

81 3.7. INTERAKTION IN VIRTUELLEN WELTEN 65 es oft nicht nur die Parameter des betroffenen Objekts zu verändern, sondern auch die Eigenschaften anderer, benachbarter Objekte. Dabei ist zu beachten, dass die Auswirkungen und Veränderungen auf andere Objekte so gering wie möglich ausfallen. In einer Veröffentlichung von Preim und Ritter [Preim und Ritter, 2002] findet eine Klassifikation von Hervorhebungstechniken und die Beschreibung ihrer Eigenschaften statt : Farbveränderung Schattenwurf Konturlinien Transparenz verdeckender Objekte Anpassung der Sichtrichtung Cutaway-Ansichten Bounding Box Fadenkreuz Pfeile 3d-Fisheye-Ansichten Zu den lokalen Hervorhebungstechniken gehören die Farbveränderung und der Schattenwurf eines selektierten Objekts. Neben einer Veränderung des Objektes selbst ist die Einblendung zusätzlicher Symbole eine geeignete Möglichkeit, um auf ein spezielles Objekt in der Szene hinzuweisen. Dazu gehören Fadenkreuze, Pfeile und die Boundig Box. Betreffen die Veränderungen zur Hervorhebung des selektierten Objektes auch andere Objekte oder globale Parameter der Visualisierung, so spricht man von regionalen oder globalen Hervorhebungstechniken [Preim und Ritter, 2002]. Zu diesen gehören die Anpassung der Sichtrichtung und die Änderung der Darstellungsparameter (z.b. Tranzparenz) aller Objekte. Durch die Überlagerung mit Konturlinien sind auch transparente Objekte identifizierbar. Bei Cutaway-Ansichten werden verdeckende Regionen derart modifiziert, dass eine freie Sicht auf das hervorzuhebende Objekt möglich ist. Diese Technik wird auch beim texturbasierten Volumen-Rendering eingesetzt [Weiskopf et al., 2002]. Abschließend sei noch die 3d-Fisheye-Ansicht erwähnt, die das hervorzuhebende Objekt auf Kosten der anderen Objekte vergrößert. Dies entspricht in der realen Welt der Verwendung einer Lupe, die über das ausgewählte Objekt gehalten wird. Allerdings ist bei den meisten medizinischen 3D-Visualisierungen die korrekte Wiedergabe der Größenverhältnisse von entscheidender Bedeutung, so dass diese Technik für die Diagnose unakzeptabel ist.

82 66 KAPITEL 3. GRUNDLAGEN Manipulation Die Manipulation von Objekten wird durch drei Parameter beschrieben: Positionsänderung, Orientierungsänderung, und Festlegung des Rotationszentrums. Eine intuitive Positions- und Orientierungsänderung von virtuellen Objekten geschieht durch das Greifen und Bewegen des Objekts. Die Position und Orientierung des Objekts kann durch externe Geräte wie z.b. Joystick oder Schieberegler gesteuert werden Skalierung Eine Skalierungsoperation kann zur interaktiven Konstruktion einer virtuellen Welt verwendet werden, indem die Objekte in ihrer Größe zueinander skaliert werden. Alternativ dient es zur Erkundung der virtuellen Welt und einzelner Gegenstände. Durch Vergrößerungen lassen sich Details betrachten und durch Verkleinerungen läßt sich ein Überblick gewinnen. Die hauptsächlichen Parameter der Skalierungsoperation sind das Skalierungszentrum und der Skalierungsfaktor. Dabei ist zwischen uniformer und nicht-uniformer Skalierung und zwischen Benutzer- und Objektskalierung zu differenzieren Virtuelles Menü Um die Funktionalität einer virtuellen Umgebung zu erweitern, bietet sich die Verwendung von virtuellen Menüs und Toolboxen an. Sie ermöglichen es dem Benutzer Operationen auszuführen, die durch direkte Interaktion nur schwer zu bewerkstelligen wären. Das Hauptunterscheidungsmerkmal für virtuelle Menüs ist ihre Dimensionalität bei der Auswahl eines Menüpunktes. Ein Menü kann ein- oder mehrdimensional aufgebaut sein. Mit zunehmender Dimensionalität des Menüs, wachsen zwar die Interaktionsmöglichkeiten aber auch die Probleme bei der Bedienung. Eines der größten Probleme die virtuelle Menüs mit sich bringen ist ihre Platzierung in der virtuellen Welt und daraus resultierende Verdeckungen. Bei der Gestaltung des Systems muß zwischen leichtem Zugang zum Menü und einer freien Sicht auf die virtuelle Welt abgewogen werden. Relevanz für das PREPaRe-System Bei der Verwendung einer dreidimensionalen Benutzerschnittstelle, wie es das PREPaRe-System vorsieht, unterscheiden sich die Interaktionsmöglichkeiten von denen einer zweidimensionalen Schnittstelle. Dabei ergeben sich sowohl Vorteile als auch Nachteile, die beim Design berücksichtigt und gegeneinander abgewogen werden müßen.

83 67 Kapitel 4 Standards Eine wichtige Basis für einen Systementwurf und die Implementierung ist die Verwendung von internationalen Standards, da diese einen offenen Zugang zu Informationen ermöglichen, im Gegensatz zu proprietären Formaten und Anwendungen. Für diese Arbeit sind vor allem Standards für die Definition von Oberflächenrepräsentationen und Volumendaten wichtig, da diese Daten zwischen mehreren Komponenten und Applikationen ausgetauscht werden sollen und eine standardisierte Schnittstellenbeschreibung für die reibungslose Zusammenarbeit notwendig ist. Da es sich beim Anwendungsgebiet um ein virtuelles Krankenhaus handelt, werden auch Standards aus dem medizinischen Umfeld betrachtet. In Frage kommen zum einen medizinische Schichtdaten und zum anderen Informationen über Patienten, die zum Beispiel in einer elektronische Patientenakte abgelegt werden. 4.1 Oberflächenrepräsentationen Betrachtet man Datenformate für Oberflächenrepräsentationen, so besitzt fast jedes 3D-Modellierungsprogramm sein eigenes proprietäres Format. Um die Anzahl der Konvertierungsfilter für den Austausch von Daten zwischen verschiedenen Programmen zu reduzieren, empfiehlt sich die Verwendung eines Standardformates für die Speicherung der Oberflächenrepräsentation. Die Virtual Reality Modeling Language (VRML97) [ISO/IEC ] stellt einen internationalen Standard für den Austausch von 3D-Modellen zwischen diversen Modellierungsprogrammen dar. Der Nachfolger für VRML97 ist Extensible 3D (X3D) [ISO/IEC 19775], welches vom Web3D Konsortium [Web3D] entwickelt wird. In erster Linie für die Kodierung von digitalen Video- und Audio-Daten entwickelt, enthält der MPEG-4 Standard [MPEG4:N4668] auch Bestandteile zur Speicherung von dreidimensionalen Modellen. Zum einen gibt es das sogenannte Binary Format for Scenes (BIFS) [MPEG4:N2801], welches VRML97 binarisiert, zum anderen enthält der Standard eine Komponente zur Animation von Humanoiden, Body Face Animation (BFA) [MPEG4:N2229]. Ein weiterer Standard für die Animation von virtuellen Akteuren liegt mit Humanoid Animation (H Anim) [ISO 19774:200x] vor.

84 68 KAPITEL 4. STANDARDS VRML Der Standard VRML 1.0 [ISO/IEC ] wurde 1994 entwickelt und basiert auf dem Dateiformat von Open Inventor, einer Szenengraphen-API für das Rendering mit OpenGL. Eine weiterentwickelte Version wurde 1997 als VRML97 Standard [ISO/IEC ] verabschiedet. Eine VRML97-Datei ist eine für Menschen lesbare Textdatei, die aus einem Kopf (header), Kommentaren, Knoten (nodes), Feldern (fields) und Werten (values) besteht. Die Knoten können in einem hierarchischen Szenengraphen angeordnet werden. VRML97 definiert eine Menge von 54 verschiedenen Knoten, z.b. für geometrische Objekte, Transformationen, Lichtquellen, Materialien, etc.. Zusätzliche Knoten können mittels einer Prototypen- Definition erzeugt werden. Im Gegensatz zu anderen 3D-Dateiformaten bietet VRML97 die Möglichkeit Animationen für geometrische Objekte zu definieren (routes) und Interaktionsmöglichkeiten für den Benutzer festzulegen. Außerdem unterstützt es Audio und MPEG1-Video. Es gibt mehrere WWW-Browser-Plugins, die VRML97-Welten anzeigen können. Zusätzlich kann mittels Java/EAI oder JavaScript zur Laufzeit auf die Knoten im VRML-Browser zugegriffen werden und die Werte der Felder geändert werden. Einige VRML-Browser bieten die erweiterte Möglichkeit, Multi-User- Welten anzuzeigen, in denen mehrere Benutzer sich treffen und kommunizieren können. Eine Revision erfuhr der Standard mit VRML2002 (ISO/IEC :2002). Eine Neuerung betrifft die Möglichkeit der Kodierung der Knoten in XML [W3C-XML 1.1] und in einer binarisierten Form. Dies geschah in Anlehnung an die Entwicklung von X3D auf der einen Seite und die Zusammenarbeit mit dem MPEG-4 Gremium auf der anderen Seite. Zur Repräsentation von Oberflächendaten in VRML97 dient der Knoten Indexed- FaceSet. Dieser beschreibt einen dreidimensionalen Körper, welcher durch Flächen (Polygone) aus einer Liste von Eckpunkten geformt wird. Alle Eckpunkte stehen im Feld coord und werden durch das Feld coord- Index referenziert, um Polygone aufzubauen. Ein Index von 1 zeigt dabei an, dass das aktuelle Polygon vollständig definiert ist und das nächste beginnt. Die Indizes von coordindex liegen zwischen 0 und N, wobei es N +1 Koordinaten gibt. Jede Fläche soll mindestens aus drei unterschiedlichen Eckpunkten bestehen, die ein planares, kreuzungsfreies Polygon aufspannen. Im Feld color stehen alle Farben, die in Abhängigkeit vom boolschen Flag colorpervertex für die einzelnen Eckpunkte gelten oder für ganze Polygone. Auf die einzelnen Farben wird über das Feld colorindex zugegriffen. Zusätzlich existieren Felder für Normalen normal und Texturkoordinaten texcoord, die in Listen definiert werden und jeweils über ein Feld von Indizes (normalindex bzw. texcoordindex) referenziert werden können. Das Feld normalpervertex gibt wiederum an, ob die Normalen zu den Eckpunkten oder den Polygonen gehört.

85 4.1. OBERFLÄCHENREPRÄSENTATIONEN 69 Falls das Feld normal leer ist, werden zu Anzeige trotzdem Normalen generiert, deren Ausrichtung durch das Feld creaseangle bestimmt wird. Wenn der Winkel zwischen den geometrischen Normalen von zwei benachbarten Flächen geringer ist als der creaseangle, dann sollen Normalen erzeugt werden, die für einen weichen Übergang an der Kante sorgen. Im Feld ccw (counter clockwise) wird die Reihenfolge der Eckpunkte angegeben. Dies kann mit oder gegen den Uhrzeigersinn sein. Über das Feld solid wird angegeben, ob ein Polygon einseitig oder von beiden Seiten dargestellt werden soll. Dem Feld convex kann entnommen werden, ob alle Polygone konvex sind oder nicht. Jeder Knoten des Szenegraphen wird in VRML durch seinen Namen und seine Attribute definiert. Ein Attribut eines Knoten wird in einem Feld verwaltet. Dieses Feld besteht aus einem Typ, dem Format, dem Namen und einem möglichen Initialwert. Es existieren vier verschiedene Feldtypen: Statische Felder sind vom Typ field. Zur Laufzeit dynamisch veränderbare Attribute werden als exposedfield deklariert. Ein Feld vom Typ eventin dient zum Setzen eines Attributs. Der Feldtyp eventout wird für das Auslesen eines Attributs verwendet. In VRML97 bildet sich die Definition eines IndexedFaceSet wie folgt ab: # VRML97 Standard ISO/IEC :1997 IndexedFaceSet { eventin MFInt32 set_colorindex eventin MFInt32 set_coordindex eventin MFInt32 set_normalindex eventin MFInt32 set_texcoordindex exposedfield SFNode color NULL exposedfield SFNode coord NULL exposedfield SFNode normal NULL exposedfield SFNode texcoord NULL field SFBool ccw TRUE field MFInt32 colorindex [] # [-1, infinity) field SFBool colorpervertex TRUE field SFBool convex TRUE field MFInt32 coordindex [] # [-1, infinity) field SFFloat creaseangle 0 # [0, infinity) field MFInt32 normalindex [] # [-1, infinity) field SFBool normalpervertex TRUE field SFBool solid TRUE field MFInt32 texcoordindex [] # [-1,infinity) }

86 70 KAPITEL 4. STANDARDS Extensible 3D (X3D) Die nächste Generation eines offenen Standards für dreidimensionale Inhalte und offizieller Nachfolger von VRML97 wird derzeit vom Web3D Konsortium in der Arbeitsgruppe X3D entwickelt. Der Name für den zukünftigen Standard lautet Extensible 3D (X3D) [ISO/IEC 19775] und spielt auf die Verwandschaft mit XML an. Er verwendet strukturelle Elemente wie VRML97, basiert allerdings in seiner Syntax auf dem weitaus flexibleren XML-Format. Mit der Integration von XML bietet sich die Möglichkeit verschiedene Dokumenttyp-Deklarationen (DTD) zur Verfügung zu stellen, welche jeweils einen Satz von tags spezifizieren. So können unterschiedliche DTDs, Profile genannt, für spezielle Einsatzgebiete entworfen werden. Bisher existieren zwei offizielle Profile und mehrere Erweiterungen, die in eigenen DTDs beschrieben sind. Bei ersteren handelt es sich um die Profile compact (x3d-compact.dtd) und compromise (x3d-compromise.dtd). Dabei ist zu bemerken, dass beim compromise-profil zusätzliche tags für das wrapping der VRML97 Knoten existieren, die eine Umsetzung von VRML97 nach X3D erleichtern. Zu der zweiten Gruppe gehören : DIS-Java-VRML Profil GeoVRML Profil Humanoid Animation (H anim) Profil Non-Uniform Rational B-Spline (NURBS) Profil Das vom Web3D-Konsortium für MPEG vorgeschlagene Web3D core profile definiert eine umfangreiche aber abgespeckte Untermenge der Knoten in VRML97 und VRML2002, welche allerdings minimale 3D Funktionalität für MPEG-4 Systeme ermöglichen. Es gestattet somit die Implementation kleiner Rendering- Engines, wie z.b. Java-Applets oder ein Browser-Plugin für Terminals mit geringer Rechenleistung. Für die Zukunft sind Software-Renderer für Mobiltelefone und personal digital assistants (PDA) geplant. In der X3D Spezifikation besteht ein IndexedFaceSet aus einer Ansammlung von Knoten für Farben, Eckpunkte, Normalen und Texturkoordinaten, die in beliebiger Reihenfolge auftreten können. Die Listen der Farben, der Eckpunkte und der Normalen werden wie bei VRML97 über Indizes angesprochen, um die Existenz von redundaten Knoten zu unterbinden. Um Hinweise über die Art der Visualisierung zu spezifizieren sind die Felder ccw, creaseangle, solid und convex geeignet. Vervollständigt wird der Knoten IndexedFaceSet durch die Attribute ID und IDREF, welche eine Referenzierung von und zu anderen Knoten ermöglicht.

87 4.1. OBERFLÄCHENREPRÄSENTATIONEN 71 In XML bildet sich die Definition eines IndexedFaceSet wie folgt ab: <!-- Extensible 3D (X3D) Document Type Definition (DTD) x3dcompromise.dtd --> <!ELEMENT IndexedFaceSet ( (color,( (coord,((normal,texcoord?) (texcoord,normal)?)?) (normal,((coord,texcoord?) (texcoord,coord?))?) (texcoord,((coord,normal?) (normal,coord?))?) )? ) (coord,( (color,((normal,texcoord?) (texcoord,normal)?)?) (normal,((color,texcoord?) (texcoord,color?))?) (texcoord,((color,normal?) (normal,color?))?) )? ) (normal,( (color,((coord,texcoord?) (texcoord,coord?))?) (coord,((color,texcoord?) (texcoord,color?))?) (texcoord,((color,coord?) (coord,color?))?) )? ) (texcoord,( (color,((coord,normal?) (normal,coord?))?) (coord,((color,normal?) (normal,color?))?) (normal,((color,coord?) (coord,color?))?) )? )? ) > <!ATTLIST IndexedFaceSet ccw %SFBool; "true" colorindex %MFInt32; #IMPLIED colorpervertex %SFBool; "true" convex %SFBool; #FIXED "true" coordindex %MFInt32; #IMPLIED creaseangle %SFFloat; "0" normalpervertex %SFBool; "true" solid %SFBool; "true" texcoordindex %MFInt32; #IMPLIED containerfield NMTOKEN "geometry" class CDATA "" DEF ID #IMPLIED USE IDREF #IMPLIED> Relevanz für das PREPaRe-System Viele 3D-Modellierprogramme können VRML97-Dateien exportieren und importieren, so dass sich ein Datenaustausch über dieses standardisierte Dateiformat anbietet. Aus Volumenschichtdaten extrahierte Oberflächenmodelle können im VRML97-Dateiformat gespeichert und bei Bedarf über Netzwerke übertragen werden. In den hierarchischen Szenegraphen von VRML97 können mit Hilfe der Prototypendefinition weitere Objekte (z.b. Schichtdaten in Texturen verpackt)

88 72 KAPITEL 4. STANDARDS eingehängt und beliebig transformiert werden. Animationen für 3D-Modelle können ebenfalls in einer VRML97-Datei repräsentiert und kommuniziert werden. Dies ist in Hinblick auf die Erstellung einer interaktiven, virtuellen Welt von Vorteil. Mit X3D steht eine vielversprechende Weiterentwicklung des VRML97- Standards zur Verfügung, die die Funktionalitäten von VRML97 übernimmt und mit der Ausrichtung auf XML eine bessere Kommunikation mit anderen webbasierten Standars ermöglicht. 4.2 Volumendaten Viel Forschungs- und Entwicklungsarbeit wurde in die Verwendung von Computern im medizinischen Bereich investiert. Dies dient der Verbesserung der Qualität und Effektivität im Gesundheitsprozess. Bildgebende Modalitäten, wie z.b. CT, MR und US, generieren Bilddaten, die im PACS (Picture Archiving and Communication System) gespeichert werden [Huang, 1996]. Ein PACS beinhaltet die Vernetzung von bildgebenden Systemen, Diagnosearbeitsplätzen, Befundungsarbeitsplätzen, eine Anbindung an Krankenhausinformationssysteme (zur Verwaltung und Abrechnung), Import- und Exportsystemen und ein oder mehrere Archiv-Rechner zur Bildspeicherung, sowie eine Anbindung an ein externes PACS. Zu den Informationssystemen im Krankenhaus gehören das hospital information system (HIS) und Systeme einzelner Abteilungen, wie z.b. das radiology information system (RIS). Die Aufgabe eines HIS besteht in der Verwaltung von Patientendaten, Befunden, Arzneimitteln, usw.. Aufgabe des RIS ist es, die Planung der Belegung der bildgebenden Systeme zu unterstützen und durchzuführende Aufnahmen mit allen Parametern zu verwalten. Weiterhin erfasst es Patienten- und Abteilungsdaten der Radiologie, die Befundschreibung, Dokumentation, Statistik und Abrechnung. In zunehmendem Maße integrieren medizinische Einrichtungen die verteilten Daten aus PACS, HIS und RIS in eine elektronische Patientenakte. Für die einheitliche Speicherung medizinischer Bilddaten hat sich bei den Geräteherstellern DICOM (Digital Imaging and Communications in Medicine) [DICOM 3.0] etabliert. Als Weiterentwicklung des ACR/NEMA Standards (American College of Radiology/National Electronics Manufacturers Organization) liefert er eine detailierte Spezifikation für die Beschreibung eines Formats für digitale Bilder und zusätzliche Informationen, sowie deren Speicherung und Austausch. Die Spezifikation bezieht sich auf die Operationsweise der Schnittstelle, welche die Daten zu und von den bildgebenden und bildanzeigenden Geräten transportiert. DICOM baut auf Standardnetzwerken auf. Es adressiert die Kommunikation zwischen den bildgebenden Geräten und den Krankenhausinformationssystemen. Zusätzlich unterstützt DICOM die Verbindung von Hardcopy-Geräten im Netzwerk. Abbildung 4.1 zeigt ein Entity-Relation-Graphen mit dem Patient als Wurzel- Knoten. Diesem werden mit Hilfe einer Relation Studien zugeordnet. Eine Studie besteht aus einer oder mehreren Aufnahmeserien, die wiederum Bilddaten und zusätzliche Kontrollinformationen beinhaltet. Der DICOM-Standard gruppiert alle zu speichernden oder zu übermittelnden Informationen zu Klassen und weist jedem Datum eine Markierung (Tag) zu, die den Inhalt des Datums klassifiziert.

89 4.3. HYBRIDE REPRÄSENTATION 73 Patient 1 1,n Studie 1,n Serie definiert räumlich erzeugt Ausrüstung Referenzpunkt 0,n 0,n 0,n 0,n 0,n Kurve Tabelle Radiotherapie Overlay Bild Abbildung 4.1: Relationsdiagramm einer beispielhaften Datenstrukturierung, wie sie dem Standard DICOM zugrunde liegt (nach [Oosterwijk, 2000]). Die DICOM Arbeitsgruppe WG 20 beschäftigt sich mit der Schnittstelle zwischen DICOM und Health Level 7 (HL7) [HL 7]. HL7 (siehe Abschnitt 4.6.2) ist ein wichtiges Bindeglied für die Kommunikation zwischen klinischen Informationssystemen. In der Praxis gestaltet sich der Austausch von DICOM-Daten zwischen Geräten unterschiedlicher Hersteller manchmal problematisch. Obwohl jeder Hersteller seine Geräte mit conformance statement versieht, funktioniert die Kommunikation zwischen DICOM-tauglichen Geräten nicht immer reibungslos. Diesem Problem geht auch die Initiative Integrating the Healthcare Enterprise (IHE) nach (siehe Abschnitt 4.6.5). Relevanz für das PREPaRe-System Für das PREPaRe-System ist die Verwendung von Informationen über den zu visualisierenden Sachverhalt für die Bilddatenverarbeitung essenziell [Tschirley, 2004]. Dem Bilddatensatz im DICOM-Format können Informationen über die Modalität und die Aufnahmegeometrie entnommen werden. In der elektronischen Patientenakte sind Diagnosecodes und Therapiemöglichkeiten verzeichnet, welche für eine patientenorientierte Präsentation ausgewertet werden müßen. 4.3 Hybride Repräsentation Für die hybride Repräsentation von Volumen- und Oberflächendaten existieren bisher keine Standards. Ein hybrides Rendering-System benötigt allerdings einen Zugriff auf beide Arten von Daten. Darum ist die Entwicklung eines neues Datenformats notwendig. Eine Möglichkeit besteht in der Erweiterung eines standardisierten Formats um die fehlende Komponente. VRML97 läßt sich zum Beispiel mit Hilfe eines PROTO-Knoten (Prototyp) um die Verwaltung von Volumendaten erweitern. Ein neuer Knoten in VRML97, namens Volume, könnte die Schichtdaten innerhalb mehrerer Texturen speichern und Transferfunktionen und Projektionskerne für das Volumen-Rendering spezifizieren.

90 74 KAPITEL 4. STANDARDS Mit der Entwicklung von X3D, dem Nachfolger von VRML97, besteht die Möglichkeit auf einem grundlegenden Profil aufbauend ein erweiterndes Profil für ein spezielles Einsatzgebiet zu definieren. Dem Web3D Konsortium liegen Vorschläge für ein generisches Benutzer-Schnittstellen-Framework oder eine NURBS- Erweiterung für X3D vor. Da eine X3D-Datei sowohl in VRML97 Syntax, als auch in XML geschrieben werden kann, können die Elemente für einen Volumendaten- Knoten einfach in einer DTD spezifiziert werden. Relevanz für das PREPaRe-System Die Definition eines Formats für die hybride Repräsentation, welche Oberflächen und Volumen gemeinsam verwaltet, ist ein Teil der Datenmodellierung des Systementwurfs (siehe Abschnitt 5.2.1). 4.4 H-Anim H-Anim [ISO 19774:200x] standarisiert die Beschreibung der Geometrie eines menschlichen Körpers (im weiteren Humanoid). Es wird neben der geometrischen Struktur auch die Struktur der Beschreibung festgelegt. Die Humanoide können per Keyframing, inverser Kinematik oder anderer Techniken animiert werden. Der Standard legt keine Implementationssprache fest, schlägt aber VRML97 und X3D dafür vor. Eine Realisierung von H-Anim kann z.b. durch die Definition von neuen, prototypischen Knoten in VRML97 erfolgen. Dabei wird der menschliche Körper hierarchisch in einer Baumstruktur durch eine Anzahl von Segment-Knoten, welche durch Joint-Knoten miteinander verbunden sind, aufgebaut. Ganz oben in der Hierarchie steht der Humanoid-Knoten (siehe Abbildung 4.2). Segmente sind z.b. Oberarm, Unterarm, Fuß, usw. und Joint-Knoten sind die Gelenke, wie z.b. Ellenbogen und Handgelenk. Segmente sind je einem Joint zugeordnet und statisch mit diesem verbunden, so dass Transformationen auf einen Joint sich auch auf das Segment auswirken. Humanoid Skeleton Skin SkinCoord SkinNormal Joint Segment Joint Site Displacer Abbildung 4.2: Der Humanoid-Knoten und seine untergeordneten Komponenten. Anstatt durch einzelne Segmente kann der Humanoide auch durch ein zusammenhängendes Polygonnetz, Skin genannt, definiert werden. Um die Animation des

91 4.4. H-ANIM 75 Polygonmodells über die Joint-Knoten zu ermöglichen, müßen die Vertices des Polygonnetzes den jeweiligen Joint-Knoten zugeordnet werden. Neben den geometrischen Objekten im Modell existieren zwei weitere Knoten, der Site- und Displacer-Knoten. Ein Site-Knoten definiert eine Position und Orientierung relativ zu einem Segment-Knoten. Seine Aufgabe besteht darin einen Platz zum Anheften von Objekten an Segment-Knoten zur Verfügung zu stellen. Sinnvolle Anwendung finden Site-Knoten als Endeffektor-Position bei der inversen Kinematik, oder bei der Positionierung einer virtuellen Kamera (viewpoint). Als fünften Knoten spezifiziert H-Anim den Displacer-Knoten, der an einem Segment oder einem Teil der Skin hängt und für räumlich beschränkte Modifikationen zur Verfügung steht. Als Anwendungsbeispiel dient die Gesichtsmimik, bei der die Vertices der Augenbrauen oder des Mundes unterschiedlich stark mitverformt werden. Um verschiedene Detailstufen für animierte Humanoide zu ermöglichen, definiert H-Anim vier verschiedene level of articulation (LOA), die eine aufsteigende Anzahl an Joint-Knoten besitzen. Der einfachste, LOA 0, besitzt einen Joint- Knoten und der komplexeste, LOA 3, verfügt über 89 Joint-Knoten. Wichtig zu erwähnen ist, dass LOA 2 einem Modellierungsvorschlag von MPEG-4 entstammt [MPEG4:N2229]. Im Anhang des H-Anim-Standards wird eine Liste von markanten Stellen (feature points) am menschlichen Körper mit Hilfe von site-knoten definiert. Im Attribut name wird der standardisierte Name des Punktes vermerkt und im Attribut coordindex steht der Index des Eckpunktes, der dem feature point am nächsten liegt. Dabei wird die Namensgebung vom CAESAR-Projekt (Civilian American and European Surface Anthropometry Resource) [CAESAR] abgeleitet und an die Konventionen von H-Anim angepasst.

92 76 KAPITEL 4. STANDARDS Eine Definition des Humanoid-Knoten in VRML97 sieht folgendermaßen aus : # This section describes the interface of the Humanoid node # and the fields which allow the functionality of the node # to be defined and accessed. PROTO Humanoid [ field SFVec3f bboxcenter field SFVec3f bboxsize exposedfield SFVec3f center exposedfield MFString info [ ] exposedfield MFNode joints [ ] exposedfield SFString name "" exposedfield SFRotation rotation exposedfield SFVec3f scale exposedfield SFRotation scaleorientation exposedfield MFNode segments [ ] exposedfield MFNode sites [ ] exposedfield MFNode skeleton [ ] exposedfield MFNode skin [ ] exposedfield SFNode skincoord NULL exposedfield SFNode skinnormal NULL exposedfield SFVec3f translation exposedfield SFString version "2.0" exposedfield MFNode viewpoints [ ] ] Das Hauptobkjekt eines Modells ist der Humanoid-Knoten. In diesem wird das gesamte Modell definiert. Es enthält neben allgemeinen Informationen, wie z.b. den Namen und die Versionsnummer, im Attribut skeleton die Definition des Skeletts. Dieses Attribut enthält als child-objekt immer nur den Joint HumanoidRoot. Daneben kann, wenn eine Skin als Definition der Oberfläche des Modells verwendet wird, im Attribut skin ein entsprechendes Polygonnetz definiert werden. Damit eine Applikation nicht die Details der Definition beachten muss, werden die Vertices des Polygonnetzes im Attribut skincoord nach außen zur Verfügung gestellt. Im Attribut skinnormal wird eine Liste der Normalen des Polygonnetzes und in viewpoints eine Liste der vordefinierten Kamerapositionen angelegt. Die Position, Größe und Orientierung des gesamten Modells im Raum wird über die Attribute center, rotation, scale, scaleorientation und translation definiert. Die Bedeutung dieser Attribute ist dem VRML97-Standard entnommen. Relevanz für das PREPaRe-System Um das dreidimensionale, virtuelle Krankenhaus mit Menschen zu füllen, werden virtuelle Akteure erzeugt. Deren Bewegungsanimationen können mit Hilfe des H- Anim Standard repräsentiert werden und im VRML97-Dateiformat gespeichert und kommuniziert werden.

93 4.5. MPEG MPEG-4 Entwickelt von der Motion Picture Experts Group, die bereits MPEG-1 und MPEG-2 erfolgreich als Standard etabliert hat, wurde MPEG-4 [MPEG4] in der Version 1 Ende 1998 eingeführt. Ein Jahr später erschien Version 2, eine erweiterte, aber vollständig abwärtskompatible Version. MPEG-4 integriert die bisher getrennten Bereiche natürlicher und synthetischer Audio-, Video- und 3D- Grafikobjekte in einem umfassenden Standard zur Kodierung, zum Transport und zur Wiedergabe multimedialer Daten. Mittlerweile liegt Version 3 dieses Standards vor MPEG-1 Eine einfache Form der Bewegtbildkodierung besteht darin, jedes Bild als JPEG zu kodieren. Dieses (nicht standardisierte) Verfahren nennt sich MJPEG. Es nutzt die zeitliche Redundanz der Bildfolge nicht, ist dafür aber viel einfacher zu implementieren und weniger rechenaufwendig als fortgeschrittene Methoden wie MPEG. MPEG-1 wurde 1993 als ISO/IEC verabschiedet. Ziel war die Übertragung von Video im SIF-Format (in einer Größe von 352 x 240) sowie Audio bei einer Übertragungsrate zwischen 1 und 1,5 Megabit pro Sekunde, der normalen Geschwindigkeit einer CD. Neben der Videokomprimierung enthält der Standard daher Vorschriften für Audiokodierung und die Verschränkung von Video und Audio, Systems genannt. MPEG-1 findet seinen Einsatz als Codec für die Video CD (VCD) MPEG-2 Der zweite MPEG-Standard wurde 1995 als ISO/IEC verabschiedet. Ursprünglich war geplant, MPEG-2 auf eine noch stärkere Komprimierung zum Beispiel für Videotelephonie auszurichten und MPEG-3 für höchste Bildqualität bei hohen Übertragungsraten zu schaffen. Als man festgestellt hat, dass die Qualität von MPEG-1-Video nicht mehr deutlich zu verbessern war, flossen sowohl verbesserte Kodierungsvarianten, als auch die Möglichkeit hoher Übertragungsraten in MPEG-2 ein. MPEG-3, nicht zu verwechseln mit MP3, existiert daher nicht. Die von MPEG-2 angestrebten Bildgrößen reichen von kleinen Videotelephonie- Formaten bis zu HDTV-Formaten. Die Hauptanwendung von MPEG-2 liegt im Bereich des digitalen Fernsehens (Digital TV). Vertreter für diesen Bereich sind die Super Video CD (SVCD) und die Digital Versatile Disk (DVD) Profilkonzept Mit dem Ansatz, digitales Video, synthetische (grafische) Inhalte und interaktive Multimediadaten in einem Standard zu integrieren, sind die Komplexität und der Umfang von MPEG-4 im Vergleich zu den bisherigen MPEG-Standards deutlich gewachsen. Um diesem Umstand Rechnung zu tragen, wurden für MPEG-4 zahlreiche sogenannte Profile definiert. Das sind Untermengen der Gesamtfunktio-

94 78 KAPITEL 4. STANDARDS nalität der Spezifikation in den Bereichen Audio, Visual und Systems, geordnet und benannt nach den jeweiligen Fähigkeiten der enthaltenen Tools und deren Verwendungszweck. Sinn dieser Profile ist es zum einen, die Anwendungsprogrammierung zu erleichtern, so dass nur die Teile implementiert werden müssen, die auch benötigt werden, ohne dabei die Kompatibilität zu anderen MPEG-4 Devices zu verlieren, die auf demselben Profil basieren. Zum anderen stellt das Profilkonzept einen Ansatzpunkt für das Testen von MPEG-4-Geräten auf Konformität zum Standard dar. Die Profile sind, ähnlich wie auch schon beim MPEG-2-Standard, in Level organisiert. Dabei beschreibt das Profil den Umfang des Toolsets, während der Level die Komplexität, also etwa die Bitrate bei Videoströmen, begrenzt. MPEG-4 schreibt für konkrete Implementationen eines MPEG-4-Geräts keine bestimmten Kombinationen aus Audio-, Visual- und Systems-Profilen vor, wohl aber wurde bei deren Definition darauf geachtet, das die Profil-Level der verschiedenen Bereiche gut zusammenpassen Struktureller Aufbau Das MPEG-Gremium teilte die Spezifikation von MPEG-4 in die folgenden Kernbereiche auf: Systems Visual Audio Delivery Multimedia Integration Framework (DMIF) Systems Der Bereich Systems [MPEG4:N2801] enthält Informationen über das Zusammenspiel der einzelnen Komponenten. Dabei sind folgende drei Hauptkomponenten für das Entstehen einer audiovisuellen Szene verantwortlich: BIFS (Binary Format Scenes) Objekt-Deskriptoren Elementary Streams Bei Elementary Streams (ES) handelt sich um Datenkanäle, die für die Übertragung von einzelnen Medienobjekten verantwortlich sind. Einzelne Medienobjekte können Videosequenzen, Texturen, Sprachübertragungen oder ähnliches sein. BIFS ist eine binäre Sprache zur Beschreibung einer audiovisuellen Szenerie (siehe Abbildung 4.3), welche auf VRML basiert. Diese soll den Zusammenhang der verschiedenen Objekte herstellen. BIFS verfolgt eine hierarchische Struktur, die sich

95 4.5. MPEG-4 79 als azyklischer Baum darstellen lässt. Jeder Knoten stellt dabei ein Medienobjekt oder eine Zusammenfassung von Objekten dar. Objekt-Deskriptoren (OD) dienen als Bindeglied zwischen BIFS und Elementary Streams. Jedes Objekt im BIFS referenziert einen Deskriptor, der wiederum ein oder mehrere ES referenziert. Die Objekt-Deskriptoren und das BIFS haben jeweils ihre eigenen Kanäle ( streams), die durch einen initialen Objekt-Deskriptor (IOD) referenziert werden. Dieser IOD wird seinerseits entweder auf einem OD-Kanal oder beim Initialisieren der Verbindung empfangen. Ein OD kann auch auf mehrere ES zeigen. Wenn es z.b. von demselben Audiosignal zwei Datenströme gibt, einen mit niedriger Bitrate und einen mit hoher, dann würde der OD auf zwei voneinander unabhängige ES zeigen, die dasselbe Objekt im BIFS repräsentieren. Das gibt der Applikation die Möglichkeit, je nach Bandbreite interaktiv auszuwählen, welcher der beiden ES genommen wird. Es ist auch vorstellbar, dass zwei Audiosignale mit unterschiedlichem Inhalt, wie z.b. zwei Sprachkanälen für einen Film, als Kanal vorliegen. Zwei Elementary Streams müssen nicht voneinander unabhängig sein. Man kann auch im Objekt-Deskriptor eine Abhängigkeit festlegen. Dies ist dann der Fall, wenn ein base layer die Grundinformation für ein Signal minderer Qualität enthält, und ein oder mehrere enhancement layer, die auf dem base layer aufsetzen, das Signal räumlich, zeitlich oder qualitativ verbessern. Desweiteren ist es möglich, dass zwei Knoten im BIFS denselben Objekt-Deskriptor referenzieren. Wenn z.b. dieselbe Textur an zwei verschiedenen Orten verwendet wird, braucht man keinen weiteren Datenstrom. Die Objekt-Deskriptoren zeigen aber nicht nur auf ES, die Medienobjekte enthalten, sie können auch auf Datenströme verweisen, die Informationen über Objekte enthalten. Es existiert ein wichtiges Anwendungsgebiet mit dem Namen Intellectual Property Management and Protection (IPMP), welches urheberrechtlichen Schutz von Daten gewährleisten soll. Damit die Interaktivität (wie z.b. die Auswahl eines Tonkanals) nicht auf den Client beschränkt bleibt, besteht die Möglichkeit, einen Rückkanal zum Server aufzubauen, um entsprechend der Anwendung Daten zurückzuschicken (Abbildung 4.3) Visual Im Teil Visual [MPEG4:N2802] der Spezifikation finden sich Repräsentationen synthetischer und natürlicher, sichtbarer Objekte. Es werden Bitraten zwischen 5 kbit/s und 10 MBit/s unterstützt. Zu den visuellen Objekten natürlichen Ursprungs gehören Texturen, Bilder und Videos. Diese liegen in MPEG-4 als atomare Einheiten vor und werden video objects (VO) genannt. Synthetische Objekte in MPEG-4 Visual sind an geometrische Repräsentationen aus dem Gebiet der Computergrafik angelehnt. Beispiele hierfür sind auf der einen Seite die parametrische Beschreibung und Animation von Gesichtern und Körpern (facial animation / body animation) und auf der anderen Seite die Kodierung von statischen und dynamischen Polygonnetzen (2-D animated meshes). Beim face and body animation object (FBA) handelt es sich um einen hierarchischen Szenengraphen, welcher mittels der Knoten von BIFS aufgebaut wird und durch verschiedene Parameter manipuliert werden kann. Die Parameter sind in [MPEG4:N1365] definiert und lassen sich in zwei Kategorien aufteilen. Zum einen

96 80 KAPITEL 4. STANDARDS Abbildung 4.3: MPEG-4 Terminal Architecture ([MPEG4]). gibt es die face and body definition parameter (FDP/BDP), welche die Form und Struktur des Gesichts und Körpers festlegen, und zum anderen die face and body animation parameter (FAP/BAP). Letztere ermöglichen es Gesichtsausdrücke und Körperbewegungen darzustellen. Da FAPs Gesichter verschiedener Größe und Proportion animieren sollen, sind die Werte in sogenannten face animation parameter units (FAPU) definiert. Sie skalieren die FAPs bei generischen Gesichts-

97 4.6. ELEKTRONISCHE PATIENTENAKTE 81 modellen. FAPUs werden in Einheiten von Distanzen zwischen Gesichtsregionen ausgedrückt Audio Äquivalent zum Visual-Teil läßt sich auch der Audio-Teil [MPEG4:N2803] von MPEG-4 in eine synthetische und eine natürliche Repräsentation für hörbare Objekte unterteilen. Beim Audio-Teil kann die Datenrate bis auf 2 kbit/s reduziert werden. Natürliche Audio-Objekte sind in erster Linie Sprache und Musik. Die Generierung von synthetischem Audio kann entweder aus Text (text to speech synthesis) oder der Beschreibung für ein Instrument (z.b. MIDI) geschehen DMIF Das Delivery Multimedia Integrated Framework [MPEG4:N2806] liefert eine Schnittstelle zwischen Systemebene und der darunterliegenden Kommunikationsebene (Abbildung 4.3). Es soll MPEG-4 unabhängig von den eingesetzten Übertragungsprotokollen machen. Für MPEG-2 musste man je nach Einsatzgebiet (Digital TV oder DVD) ein eigenes Protokoll benutzen. DMIF zielt dabei auf drei Hauptechnologien ab: interaktive Netzwerktechnologie wie Internet oder ATM, digitales Fernsehen über Kabel oder Satellit und Speichermedien wie Festplatte, CD oder DVD. Das DMIF Session-Protokoll arbeitet so ähnlich wie FTP. Der einzige essenzielle Unterschied besteht darin, dass FTP direkt Daten zurückliefert, während DMIF Zeiger auf Datenströme zurückgibt, mit denen sich die Anwendung dann diese Daten holen kann. Verglichen mit FTP ist DMIF sowohl ein Framework als auch ein Protokoll. Relevanz für das PREPaRe-System Betrachtet man die Dateigröße für dreidimensionale Schichtdaten, so ist über eine Art der Komprimierung nachzudenken. Da eine verlustfreie Kompression nur geringe Raten erzielt, sollte auch verlustbehaftete Kompression, wie z.b. MPEG-4 in Erwägung gezogen werden. Darüber hinaus integriert MPEG-4 mit seinen BIFS den Szenengraph von VRML97 und mit seiner Gesicht/Körper-Animation einen Vorläufer der H-Anim-Spezifikation zur Definition der Animationen menschlicher Akteure. Da die Volumenvisualisierung nicht primär für diagnostische Zwecke eingesetzt wird, sondern für die Patientenaufklärung und das Gespräch zwischen Arzt und Patient, können die Fehler der verlustbehafteten Kompression für das Anwendungsgebiet des virtuellen Krankenhauses in Kauf genommen werden. 4.6 Elektronische Patientenakte Im Laufe eines Lebens können für einen Patienten mehrere elektronische Patientenakten (EPRs) bei unterschiedlichen medizinischen Einrichtungen erzeugt werden. Diese können zusammen als eine elektronischen Gesundheitsakte (EHR) aufgefasst werden. Patienten sollten dann die Möglichkeit haben, Daten ihrer EHR

98 82 KAPITEL 4. STANDARDS mit anderen medizinischen Informationen zu einer persönlichen, elektronischen, medizinischen Akte (PEMR) zusammenzufassen. Das PREPaRe System (Patient Oriented Access to the Personal Electronic Medical Record) [Märkle et al., 2001] ist eine Realisierung solch einer persönlichen, medizinischen Akte. Um die Kompatibilität verschiedener elektronischer Patientenakten zu gewährleisten, sollten die einzelnen Patientenakten internationalen Standards folgen. Mehrere internationale Standardisierungsgremien haben bereits Vorschläge für eine elektronische Patientenakte geliefert. Zum einen die europäische Normungsbehörde CEN, welche in ihrem technischen Kommittee TC251 den Pre-Standard ENV [CEN 13606] spezifiziert hat. Zum anderen die HL7 Gruppe [HL 7]. Sie standardisiert Protokolle und Strukturen für den Austausch von medizinischen Daten auf der Anwendungsebene, der siebten Ebene des ISO Schichtenmodells. Zu den Hauptbestandteile von HL7 gehören die Clinical Document Architecture (CDA) und das Reference Information Model (RIM). Die CDA stellt ein Austauschmodell für klinische Dokumente zur Verfügung. Das RIM ist eine explizite Repräsentation der semantischen und lexikalischen Verbindungen, die zwischen den Informationen der Felder von HL7-Nachrichten bestehen. In Version 3.0 von HL7 wird XML zur Beschreibung der Daten verwendet CEN Im europäischen Prestandard prenv der CEN/TC 251 [CEN 13606] wird die Kommunikation von elektronischen Patientenakten (EPA), im Englischen Electronic HealthCare Record genannt (EHCR), dargelegt. Dieser Standard baut auf der Grundlage des vorherigen Standards, prenv Electronic Healthcare Record Architecture, auf. Gemäß des Standards ist die elektronische Patientenakte eine technologische Möglichkeit zur Dokumentation des Behandlungsprozesses einer individuellen Person. Für die Patientenakte sind angemessene Repräsentationen der Struktur und des Inhaltes notwendig, um sowohl klinische Informationen abzubilden als auch eine Kommunikation der Akte zu ermöglichen. In Abbildung 4.4 sind die Komponenten des Electronic Healthcare Record (EHCR) nach dem Prestandard prenv dargestellt, die zur Repräsentation der digitalen Bilddaten einer radiologischen Untersuchung notwendig sind. Eine EHCR message component ist laut Standard eine abstrakte Klasse, welche die Attribute und Beziehungen für alle Teile einer elektronischen Patientenakte repräsentiert. Eine mögliche Spezialisierung der EHRC message component ist ein record component. Als ein Teil der EHCR ist diese Komponente identifizierbar und dient der Referenzierung und Revision. Als kleinste strukturelle Einheit dient ein data item, welcher eine Spezialisierung eines record component darstellt. Verwendung findet ein data item zur Bündelung von Informationen. Mögliche Ausprägungen eines data item sind : text data item, external data reference data item und person identifier data item.

99 4.6. ELEKTRONISCHE PATIENTENAKTE 83 EHCR message component subsystem (incomplete) EHCR message component EHCR structured record subsystem (incomplete) is a type of record component component order EHCR data item subsystem (incomplete) data item is a type of external data reference data item external data locator annotation identifier person identifier data item party identifier text data item textblock text markup indicator Abbildung 4.4: Komponenten eines Electronic HealthCare Records (EHCR), nach [CEN 13606]. Mit Hilfe dieser spezialisierten Komponenten lassen sich menschenlesbare Informationen speichern und Referenzen auf digitale Bilddaten in externen Krankenhausinformationssystemen mit demographischen Informationen von Patienten kombinieren. Ein text data item dient zur Beschreibung des Zusammenhangs zwischen den Komponenten. Um externe Informationen in digitaler Form zu referenzieren, wird ein external data reference data item verwendet. Dabei kann es sich z.b. um eine digitale Tomographieaufnahme handeln. Das Objekt selbst hat kein internes Wissen über das Format der digitalen Information, sondern setzt voraus, daß sowohl Sender, als auch Empfänger des zu übermittelnden Objektes ein gemeinsames Verständnis des Informationstyps besitzen. Zur Verwaltung der demographischen Informationen und Identifikation einer Person definiert der Standard ein person identifier data item. Auf einer abstrakteren Ebene spezifiziert der Prestandard prenv Architekturkomponenten zur Aggregation der oben beschriebenen data item-

100 84 KAPITEL 4. STANDARDS Komponenten und Methoden zur Übermittlung dieser Komponenten zwischen am Gesundheitswesen beteiligten Parteien Health Level Seven Der speziell für das Gesundheitswesen entwickelte Kommunikationsstandard HL7 (Health Level Seven) [HL 7] ermöglicht die elektronische Kommunuikation zwischen nahezu allen beteiligten Institutionen und Bereichen. Laut Angaben des HL7-Gremiums liegen umfangreiche Erfahrungen mit dem Einsatz in Krankenhäusern vor. HL7 spezifiziert Kommunikationsinhalte und Austauschformate auf der Anwendungsebene. Im ISO/OSI Schichtenmodell für Kommunikation für die Verbindung offener Systeme ist diese Ebene die siebte, was zum Namen HL7 geführt hat. Zu bemerken bleibt, dass die Kommunikationslösung unabhängig von der verwendeten Software sowie der zugrundeliegenden Hardware und dem gewählten Netzwerk ist. In HL7 werden folgende Elemente standardisiert : die Nachrichtenstrukturen, die Darstellung der Nachrichten für die Übertragung und die nachrichtenauslösenden Anwendungsereignisse. Die Anpassung der Datenstruktur der Anwendungssysteme an die HL7-Nachrichten-Struktur muss individuell gelöst werden. In der Version 3 des HL7-Standards basiert der Nachrichtenaustausch auf einem Datenmodell. Im sogenannten RIM (Reference Information Model) und in DIMs (Domain Information Model) werden Kommunikationsbeziehungen im Gesundheitswesen modelliert. Beide dienen als Grundlage für die Arbeitsgruppen, die sich mit HL7 auseinandersetzen ISO TC215 Das technischen Kommittee TC215 der ISO [ISO/TC 215] trägt auch den Namen health informatics und ist das internationale und damit höchste Standardisierungsgremium im Gesundheitsbereich. Es bemüht sich um die Koordination der verschiedenen Standards CORBAMed Die Object Management Group (OMG) ist ein Zusammenschluss mehrerer IT- Hersteller und verfolgt das Ziel, verteilte, unternehmensweite Interoperabilität heterogener Systeme zu schaffen. Sie hat neben der Entwicklung von CORBA- Med [CORBAMed] auch noch die healthcare domain task force geschaffen, welche einen Beitrag für Standardisierungsvorschläge im medizinischen Bereich leistet. CORBAMed baut auf der Interoperabilität von CORBA auf und versucht Schnittstellen zu DICOM und HL7 zur Verfügung zu stellen. Da sich aber die großen Gerätehersteller für PACS-Systeme nicht direkt an der Standardisierung beteiligen, findet CORBAMed kaum Einzug in Krankenhausinformationssysteme.

101 4.6. ELEKTRONISCHE PATIENTENAKTE IHE Neben den existierenden Standardisierungsgremien hat sich unter dem Kürzel IHE [IHE] die Arbeitsgruppe Integrating the Healtcare Enterprise gebildet. Sie hat sich die Integration der gesundheitsbezogenen Daten zum Ziel gesetzt und versucht die großen Gerätehersteller zur Einigung auf standardisierte Schnittstellen und Datenarchitekturen zu bewegen. Relevanz für das PREPaRe-System Um einen Zugriff des PREPaRe-Systems auf bestehende Krankenhausinformationssysteme zu ermöglichen, orientiert sich die Schnittstellenbeschreibung an den im Gesundheitswesen etablierten Standards. Dies sind zum eine HL7 für die elektronische Patientenakte und DICOM für digitale Schichtdaten. Für die Zukunft wird der europäische Standard CEN von Bedeutung sein, da dessen Gremien Wissenschaftlern frei zugänglich sind und er nicht so sehr von den Interessen großer Firmen abhängt, wie z.b. HL7. In dieser Arbeit und im Entwurf des gesamten PREPaRe-Systems werden die Grundstrukturen der Standards berücksichtigt und die eigenen Datenmodelle, wenn möglich an diesen ausgerichtet. Für den Prestandard prenv liegt noch keine Referenzimplementierung vor. Darum sind die eigenen, in Abschnitt vorgestellten Datenmodelle noch nicht auf der Implementierungsebene mit dem Standard integriert worden. Zu den eigenen Datenmodellen gehört eine Erweiterung der anatomischen Informationen, die einer EPA entnommen werden können, und die Definition einer speziellen, hybriden Repräsentation für Oberflächenmodelle und Volumendaten, die für die spätere Visualisierung als Grundlage dienen.

102 86 KAPITEL 4. STANDARDS

103 87 Kapitel 5 Spezifikation und Entwurf In diesem Kapitel wird der Entwurf des PREPaRe-Systems für eine patientenorientierte Visualisierung von dreidimensionalen, medizinischen Bilddaten vorgestellt. Von den Anwendungsszenarien in Abschnitt 2.2 ausgehend wird der Anforderungskatalog aus Abschnitt 2.4 weiter verfeinert. Dem schließt sich der Entwurf der Komponenten des Visualisierungssubsystems an. Im Vordergrund stehen die zu spezifizierenden Datenmodelle (Abschnitt 5.2.1), die eingesetzten Visualisierungstechniken (Abschnitt 5.2.2) und die Interaktionsmöglichkeiten (Abschnitt 5.2.3) für den Benutzer. Auf dem Gebiet der medizinischen Visualisierung wird unter anderem an Effizienzsteigerung und dem Design von Transferfunktionen geforscht. Radiologische Workstations bzw. Therapieplanungsarbeitsplätze (z.b. für die Strahlentherapie) sind in ihrer Benutzung auf medizinisch ausgebildete Personen ausgerichtet und setzen medizinische Kenntnisse voraus. Sie bieten ein hohes Maß an Flexibilität und die Verarbeitung von echten, patientenspezifischen Bilddaten. Ein Beispiel dafür ist die Multimodalität-Workstation EASYVISION [Easy Vision] von Philips, welche Bilddaten von verschiedenen Modalitäten (z.b. MR, CT) verarbeiten kann und dreidimensionale Rekonstruktionen und fortschrittliche Werkzeuge für die Analyse (wie z.b. functional MRI) zur Verfügung stellt. Ihren Einsatz finden solche professionellen Systeme in der Diagnose und Therapieplanung. Sie erlauben ein flexibles Layout, eine Unterstützung für Vermessungen und die Verknüpfung von Bilddaten unterschiedlicher Modalitäten. Die Visualisierungssoftware AMIRA [AMIRA] stellt neben einer Softwarebibliothek für die Verarbeitung von medizinischen Bilddaten auch eine Benutzerschnittstelle zur Verfügung. Diese ist allerdings sehr auf Entwickler und nicht auf Ärzte ausgerichtet und benötigt eine gewisse Einarbeitungszeit. Das frei erhältliche Visualization Toolkit (VTK) [VTK, 2002] beschränkt sich auf eine Softwarebibliothek und eine Reihe von Demonstrationsprogrammen. VTK stellt nicht nur Oberflächen- und Volumen-Rendering-Methoden zur Verfügung, sondern auch Routinen zur Bildverarbeitung. Für die Ausbildung von Medizinstudenten eignet sich z.b. die Software Voxel-Man [VOXELMAN], welche mit segmentierten Volumendatensätzen arbeitet. Softwarelösungen für den medizinisch nicht ausgebildeten Anwender existieren zwar, beschränken sich allerdings auf die Visualisierung statischer, vorberechneter Modelle (z.b. Primal Pictures series of 3D anatomy [PRIMALPICTURES]). In

104 88 KAPITEL 5. SPEZIFIKATION UND ENTWURF den meisten Fällen ist die Interaktivität auf im voraus festgelegte Möglichkeiten beschränkt. Dafür finden sich bei dieser Art von Anwendung eine große Anzahl erklärender Elemente und die Verknüpfung zu weiterführenden Erläuterungen. In seinem innovativen Ansatz führt das PREPaRe-System die positiven Möglichkeiten aus den vorhandenen Systemen zusammen. Als Ziel des PREPaRe- Systems wird die Visualisierung persönlicher, medizinischer Patientendaten aus einem Krankenhausinformationssystem für den medizinisch nicht ausgebildeten Anwender definiert. Im Rahmen des PREPaRe-Systems werden Volumendaten der elektronischen Patientenakte hybrid mit extrahierten Oberflächenmodellen innerhalb einer virtuellen Welt dargestellt. Erläuternde Elemente in der virtuellen Welt und Verknüpfungen zu externen Informationen bieten eine Unterstützung beim Verständnis der Visualisierung der eigenen Bilddaten. Um eine Einordnung der dargestellten Modelle zu ermöglichen, können generische, anatomische Modelle als Kontext bereitgestellt werden. Statistiken über Grauwerte sind für den Patienten meistens nicht so informativ, wie z.b. Größenvergleiche mit generischen Daten, die aus statistischen Vermessungen gewonnen wurden. Es ist nicht das erklärte Ziel des PREPaRe-Systems, dass der Patient eine Diagnose aus der Visualisierung ableitet. Vielmehr soll das Vertrauensverhältnis zwischen Patient und behandelndem Arzt gestärkt werden und dem Patienten ein Einblick in seine medizinischen Bilddaten ermöglicht werden. Als zusätzlichen Informationsgewinn könnte dem Patienten ein Blick über die Schulter des Arztes bei der Therapieplanung gewährt werden. Generell können mit einem System für die hybride Darstellung von Oberflächenrepräsentationen und Volumendaten verschiedene Sachverhalte im Gebiet der Scientific Visualization dargestellt werden. Überall dort, wo Datensätze von verschiedenen Quellen innerhalb eines Anwendungsgebiets kombiniert dargestellt werden sollen, können die in dieser Arbeit vorgestellten Techniken und Datenmodelle zum Einsatz kommen. 5.1 Spezifikation des PREPaRe- Systems Ausgehend von der Konzeption in Kapitel 2 wird in Abschnitt eine erste Systemspezifikation erarbeitet. Darauf aufbauend wird ein Fragebogen erstellt, mit dessen Hilfe grundsätzlich geprüft werden soll, in wieweit die Vision eines virtuellen Krankenhauses zur Präsentation medizinischer Informationen von potenziellen Benutzern positiv aufgenommen wird und welche Aspekte bei der Realisierung zu berücksichtigen sind. Der Fragebogen hält sich eng an die bereits existierende Systemspezifikation, wodurch in Abschnitt die Gewichtung der einzelnen Anforderungen anhand der Auswertung der Fragebögen validiert werden kann. Als Konsequenz aus der Auswertung der Befragung werden in Abschnitt die Systemspezifikation überarbeitet und die Gewichtungskoeffizienten angepasst. Als letzte Verfeinerung werden in Abschnitt die Benutzeranforderungen auf technische Parameter abgebildet. Diese technischen Parameter sind weitestge-

105 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS 89 hend objektiv bewertbar, so dass eine Validierung eines entworfenen Prototypen möglich wird Benutzeranforderungen Für die weitere Entwicklung des PREPaRe-Systems werden neben den Anforderungen, welche nach DIN/ISO-Norm jede Software erfüllen muss, die speziellen Anforderungen an das PREPaRe-System aufgelistet. Dabei findet der Anforderungskatalog aus Abschnitt 2.4 Berücksichtigung. Nachdem die Benutzeranforderungen gefunden wurden, werden sie in einer Korrelationsmatrix den initialen Anforderungen gegenübergestellt (siehe Anhang B.1). Zur besseren Übersichtlichkeit werden die Anforderungen des Benutzers in sechs Gruppen eingeteilt und später priorisiert. Die Klassifikation von allgemeinen Benutzeranforderungen an Softwaresysteme basiert auf einer arbeitspsychologischen Erarbeitung von Softwarequalitätsmerkmalen durch Becker et al. [Becker et al., 2000]: Kopplungsfähigkeit, Verständlichkeit/Testbarkeit, Portabilität, Sicherheit, Effizienz, Benutzerfreundlichkeit, Funktionserfüllung, Genauigkeit/Korrektheit und Wartungsfreundlichkeit. Bei der Angabe von Qualitätkriterien für Software führt Meyer [Meyer, 1990] ähnliche Punkte auf : Korrektheit, Robustheit, Erweiterbarkeit, Wiederverwendbarkeit, Kompatibilität, Effizienz, Portabilität, Verifizierbarkeit, Integrität und Benutzerfreundlichkeit. 1. Benutzerschnittstelle In dieser Gruppe wird Benutzbarkeit der graphischen Benutzerschittstelle definiert. Hinsichtlich der Mensch-Maschine-Schnittstelle existieren diverse Standards [DIN ] [DIN ] [DIN ] [VDI 5005] [ISO 9241], mit denen die Schnittstellen qualitativ verbessert werden sollen. DIN Teil 3,5 und 8 legen Gestaltungsrichtlinien der Mensch-Maschine- Schnittstelle und der Dialogmöglichkeiten fest. Es werden Formatierung und Gruppierung von alphanumerischen Ein- und Ausgabefeldern, sowie die Aufteilung des Bildschirms in drei Bereiche beschrieben. Bei den drei Bereichen handelt es sich um die Arbeitsdaten, Befehlsdaten und die Ausgabe von Statusinformationen. ISO 9241 Punkt 10 spezifiziert folgende Kategorien : Aufgabenangemessenheit, Selbstbeschreibungsfähigkeit, Steuerbarkeit, Erwartungskonformität, Fehlertoleranz, Individualisierbarkeit und Lernförderlichkeit. Die Integration der Standards für ergonomische Mensch-Maschine-Schnittstellen gestaltet sich schwierig. Die Standards sind nicht universell anwendbar und beziehen sich ausschließlich auf die herkömmliche Gestaltung von zweidimensionalen Bildschirmarbeitsplätzen, die eine Mischung aus Textein- und -ausgabe sowie Grafikausgabe darstellen. Für die Integration einer virtuellen Realität sind solche Vorgaben nicht anwendbar. Einige abstrakte Anforderungen, z.b. Erwartungskonformität und Individualisierbarkeit, können jedoch direkt übernommen werden. Ein Blick in das Forschungsgebiet user interface design liefert weitere Qualitätsmerkmale. Bei dem Design der Benutzerschnittstelle zählt Shneiderman [Shneiderman, 1998] fünf messbare, menschliche Faktoren auf, welche für eine Evaluation von zentraler Bedeutung sind :

106 90 KAPITEL 5. SPEZIFIKATION UND ENTWURF 1. Einarbeitungszeit Wie lange benötigt ein typischer Vertreter aus der Gemeinde der Anwender zum Erlernen der relevanten Kommandos für die anstehenden Aufgaben? 2. Ausführungsgeschwindigkeit/Effizienz Wie lange benötigt man, um die gestellte Aufgabe zu lösen? 3. Fehlerrate bei der Benutzung Wieviele und welche Art von Fehlern machen Benutzer bei der Ausführung der gestellten Aufgabe? Obwohl die Zeit für das Begehen und Korrigieren von Fehlern in die allgemeine Ausführungsgeschwindigkeit mit aufgenommen werden könnte, ist eine ausgedehnte Untersuchung der Fehlerbehandlung für den Gebrauch des Systems von großer Wichtigkeit. 4. Merkfähigkeit der Bedienung über die Zeit Wielange hält die Merkfähigkeit zur Bedienung nach einer Stunde, einem Tag oder einer Woche an? Die Merkfähigkeit kann eng mit der Einarbeitungszeit zusammenhängen und mit der Häufigkeit der Benutzung. 5. Subjektive Zufriedenheit In wieweit waren die Benutzer mit verschiedenen Aspekten des Systems zufrieden? Eine Antwort kann durch mündliche Befragung oder eine schriftliche Umfrage, die eine Zufriedenheitsskala enthält und freie Kommentare zuläßt, eingeholt werden. In seinem Buch usability engineering [Nielsen, 1994] unterteilt Nielsen das zweite Kapitel, welches der Frage nach Benutzbarkeit (usability) nachgeht, ebenfalls in die Abschnitte : Erlernbarkeit, Effizienz der Bedienung, Merkfähigkeit, Fehlerrate und subjektive Zufriedenheit. Diese fünf messbaren Kriterien können für die Evaluierung der Ergonomie der Benutzerschnittstelle herangezogen werden. Die Beschreibung von Aufgaben für den Benutzer in einzelnen Szenarien (vergl. Abschnitt 2.2) führt zu weiteren Benutzeranforderungen. Aus Scenario 2 für das PREPaRe-System geht hervor, daß es sich bei der Benutzerschnittstelle vom Konzept her um eine dreidimensionale, virtuelle Welt handelt. In dieser wird eine Interaktion mit den Objekten der Welt und anderen Benutzern ermöglicht. Ein Hauptaugenmerk liegt bei den Hilfestellungen für die Auswahl der zu visualisierenden Daten. Gemäß Scenario 3 wird die Interaktion mit persönlichen, medizinischen Daten durch Beschriftung der extrahierten Oberflächenmodelle unterstützt. In Scenario 5 wird die Auswahl einer vorgegebenen Transferfunktion für die Volumenvisualisierung als Interaktionsmöglichkeit beschrieben. Als Hilfestellung werden entsprechend der Art der Volumenschichtdaten einige Referenz- Transferfunktionen vorgeschlagen. Anforderung Bedeutung 1 Benutzerschnittstelle 1.1 Verwendung einer dreidimensionalen virtuellen Welt Die Benutzerschnittstelle ist eine dreidimensionale Welt. 1.2 Ergonomische Benutzerschnittstelle Die Bedienung des Programms fällt dem Benutzer leicht. Das Benutzerinterface ist ergonomisch Erwartungskonformität Vorhersagbarkeit der Ergebnisse von Interaktionen.

107 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS 91 Anforderung Bedeutung Selbstbeschreibungsfähigkeit Interaktionsmöglichekeiten müssen nicht beschrieben werden, sondern sprechen für sich selbst (z.b. Verwendung von Ikonen) Robustheit Grad, in dem ein Softwareprodukt eine wohlverständliche Reaktion bei nicht vorhergesehener Verwendung erbringt und seine Funktionsfähigkeit bewahrt Besuchte Stationen erkennbar (History) Die Reihenfolge der in der Sitzung besuchten Stationen ist einseh- und benutzbar Konfigurierbare Benutzerschnittstelle Der Benutzer kann das System nach seinen Präferenzen konfigurieren. 1.3 Hilfe bei der Auswahl der zu visualisierenden Daten Strukturierte Auswahlmöglichkeiten erlauben einen guten Überblick. 1.4 Erlaubt Einpflegen von Daten durch den Patienten Der Benutzer darf Daten selbst in das Repositorium eingeben. 1.5 Interaktion Freie Navigation in der 3D-Welt Bewegung in einer dreidimensionalen Welt Interaktion mit Objekten Die in der Welt befindlichen Objekte sind nicht statisch, sondern können ggf. manipuliert werden Transparenz Die Transparenz eines Objekts ist einstellbar Translation Die Objekte können verschoben werden Rotation Die Objekte können rotiert werden Skalierung Die Objekte können vergrössert und verkleinert werden Interaktion mit anderen Benutzern Kommunikationsmöglichkeiten bei Mehrbenutzersystemen. 1.6 Speicherung beliebiger Systemzustände Beliebige Zustände können zum späteren Wiederauffinden gespeichert werden (Bookmarks). 2. Datenpräsentation Gemäß Scenario 1 ist die Benutzerschnittstelle in einem Web-Portal integriert. Nach den Anforderungen an die Benutzerschnittstelle, folgt eine Betrachtung der Anforderungen an die Präsentation der Daten. Das Hauptanliegen der Datenrepräsentation besteht darin, daß die Ergebnisse der Visualisierung für den Benutzer auch ohne vertiefte, anatomische Kenntnisse verständlich sind. In Bezug auf Szenario 2 (vergl. Abschnitt 2.2) werden persönliche, medizinische Daten aus der elektronischen Patientenakte in einer virtuellen Welt integriert und interaktiv visualisiert. Dabei steht die Verwendung der echten Bilddaten des Patienten im Vordergrund (Scenario 3). Diese sind durch mehrere Vorverarbeitungsschritte patientenorientiert aufbereitet und soweit möglich in einen räumlichen und semantischen Kontext gestellt worden. Wie in Scenario 4 beschrieben, findet eine Einbindung externer, multimedialer Informationen statt, die z.b. mit den extrahierten Oberflächenmodellen verknüpt werden. Soweit die medizinischen Schichtdaten des Patienten lokal vorliegen, können diese mit Hilfe des hybriden Volumen- Rendering in die virtuelle Welt integriert werden (Scenario 5). Eine Simulation und Visualisierung der bevorstehenden Therapie kann gemäß Scenario 6 zur Patientenaufklärung und zum Arzt-Patientengespräch beigetragen.

108 92 KAPITEL 5. SPEZIFIKATION UND ENTWURF Anforderung Bedeutung 2 Datenpräsentation 2.1 Dreidimensionale Darstellung von Untersuchungsobjekten Die Untersuchungsobjekte werden als dreidimensionales Gebilde visualisiert. 2.2 Integrierte Darstellung von medizinischen Objekten in VR-Welt Die Visualisierung der Untersuchungsobjekte findet in der virtuellen Welt statt und nicht in einem separaten Fenster. 2.3 Präsentation vitaler Daten, keine vorberechneten Ansichten Die Visualisierungsinformation wird in Echtzeit berechnet. 2.4 Verwendung echter medizinischer Daten Es werden echte medizinische Daten verwendet, keine synthetisierten Modelle. 2.5 Verwendung der persönlichen medizinischen Daten Es können die persönlichen Daten des Benutzers verwendet werden. 2.6 Verständliche Präsentation der medizinischen Die Inhalte werden verständlich erläutert. Inhalte 2.7 Notwendiges Fachwissen Die Ergebnisse des Programms sind für den Benutzer verständlich. 2.8 Multimedialität Unterschiedliche Medien werden genutzt Einbindung von Textinformationen Das System nutzt Textmaterial zur Unterstützung der Präsentation Einbindung von Bildinformationen Das System nutzt 2D- und 3D- Bildmaterial zur Unterstützung der Präsentation Einbindung von Videoinformationen Das System nutzt Videomaterial zur Unterstützung der Präsentation Einbindung von Audioinformationen Das System nutzt Audiomaterial zur Unterstützung der Präsentation 2.9 Präsentation als WWW-Portal Die Benutzer-Schnittstelle ist in ein WWW-Portal integriert. 3. Systemleistung Unter dem Abschnitt Systemleistung werden Qualitätsfaktoren aufgeführt, die für jede kommerzielle Software gelten. Dies sind Integrität, Effizienz, Modularität, Performanz und in Zeiten des WWW Verteiltheit. Das WWW deutet auf ein in Scenario 1 beschriebenes Portal hin. Zur Integrität des Systems gehört die Vermeidung von Programmabstürzen und die Wahrung konsistenter Systemzustände. Weiterhin ist die Reproduzierbarkeit der Ergebnisse (Determiniertheit) ein Qualitätskriterium für den Benutzer. Bei der Datenpräsentation wird auf kurze Ladezeiten, einen flüssigen Programmablauf und performante Grafikausgabe geachtet. Anforderung Bedeutung 3 Systemleistungen 3.1 Systemintegrität Keine Programmabstürze Das System ist absturzsicher Konsistente Systemzustände Das System befindet sich in einem konsistenten Zustand Reproduzierbare Ergebnisse (Determiniertheit) Die vom System produzierten Ergebnisse sind nur von den offensichtlichen Randbedingungen abhängig. Vorhandene Hardware wird effizient genutzt. 3.2 Effiziente Nutzung der vorhandenen Hardware Nutzung von CPU Das System nutzt verfügbare Hardwareresourcen (CPU-Zeit) effizient..

109 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS 93 Anforderung Bedeutung Nutzung von Speicher Das System nutzt verfügbare Hardwareresourcen (Speicher) effizient Nutzung spezieller Grafikhardware Das System kann spezielle Grafikhardware verwenden (Grafikkarten, Sichtsysteme) Nutzung von verteilten Rechenanlagen Es können verteilte Rechenanlagen zur Durchführung rechenintensiver Operationen genutzt werden. 3.3 Verteilte Datenhaltung durch Meta-Index Verteilte Datenquellen werden verwaltet. 3.4 Performanz Geschwindigkeit des Systems Flüssige Grafikausgabe auf handelsüblichen PCs Die Geschwindigkeit der Grafikausgabe auf durchschnittlichen PCs ist ausreichend Flüssiger Programmablauf Allgemeine Programmausführungsgeschwindigkeit Kurze Ladezeiten Dauer der Programminitialisierung und Reinitialisierung 3.5 Modulare Architektur Das System ist modular angelegt. 4. Systemadministration Zur Systemadministration zählt die Anforderung, daß das Programm problemlos installierbar und deinstallierbar ist. Spezielle Grafikhardware (Grafikkarten, Sichtsysteme) soll automatisch verwendet werden. Der Programmcode kann auf verschiedene Betriebssysteme übertragen werden (Portabilität) und die Software soll auf unterschiedlicher PC-Hardware lauffähig sein. Geringe Anschaffungs- und Wartungskosten, umfassender auch Total Cost of Ownership genannt, sind eine weitere Benutzeranforderung. Anforderung Bedeutung 4 Systemadministration 4.1 Installation Leicht zu installieren Das Programm ist problemlos installierbar Leicht zu deinstallieren Das Programm ist problemlos zu deinstallieren. 4.2 Unabhängigkeit von Hardware / Betriebssystem Betriebssystemunabhängigkeit Der Programmcode kann auf verschiedene Betriebssysteme übertragen werden Hardwareunabhängigkeit Die Software ist auf unterschiedlicher Hardware lauffähig. 4.3 Geringe Anschaffungs/Wartungskosten Total Cost of Ownership 5. Kommunikation Im Zeitalter des Internet sind moderne Systeme kopplungsfähig. Darum müssen Aspekte der Kommunikation zwischen Systemen auch in Betracht gezogen werden. Für das PREPaRe-System ist die Anbindung an Krankenhausinformationssysteme und die Nutzung von Online-Datenquellen Bestandteil des Konzepts. Dies spiegelt sich auch in Scenario 4 wieder. Anforderung 5 Kommunikation 5.1 Anbindung an Krankenhaus-Datenbanksystem Bedeutung Es wird online auf verschiedene Krankenhaussysteme zugegriffen/verwiesen.

110 94 KAPITEL 5. SPEZIFIKATION UND ENTWURF Anforderung Bedeutung 5.2 Anbindung an WWW-Inhalte Es wird auf WWW-Inhalte zugegriffen/verwiesen. 5.3 Nutzung von Offline- und Online- Die Nutzung von Offline-Speichermedien Datenquellen ist ebenfalls möglich. 6. Datenschutz Der Begriff Datenschutz bezieht sich auf den Schutz der persönlichen Daten, die innerhalb des Systems verarbeitet werden, gegen unerlaubten Zugriff von Außen und auf ungewollte Datenmanipulation innerhalb des Systems. Schutzmaßnahmen gegen Außen können durch die Verschlüsselung der Daten bei der Speicherung und Übermittlung ergriffen werden. Aus der Beschreibung von Szenario 1 geht die konzeptionelle Verwendung des Internet hevor, so dass Authentifizierung und Verschlüsselung bei der Realisierung des PREPaRe-Systems Berücksichtigung finden müssen. Zur Sicherstellung der Unversehrtheit und Echtheit der Daten muß zusätzlich die Authenzität und Plausibilität getestet werden. Eine Anforderung an die Verfügbarkeit eines Systems enthält den Wunsch, daß das System auch bei Datenverlust tolerant reagiert. Anforderung Bedeutung 6 Datenschutz 6.1 Vertraulichkeit / Verschlüsselung Daten werden bei Speicherung / Übermittlung verschlüsselt. 6.2 Integrität Die Unversehrtheit, Unbescholtenheit der Daten ist gewährleistet. 6.3 Authentizität der Daten Die Echtheit, Rechtsgültigkeit der Daten ist gewährleistet. 6.4 Datenfreigabe manuell steuerbar Sperrmöglichkeit für bestimmte Daten durch Mediziner. 6.5 Verfügbarkeit Das System reagiert tolerant bei Datenverlust Validierung der Spezifikation Nachdem die Benutzeranforderungen klarer spezifiziert wurden, begann der Entwurf eines Fragebogens, welcher potenziellen Benutzern zur Beantwortung vorgelegt wurde. In einer Einleitung macht der Fragebogen mit der patientenorientierten Visualisierung medizinischer Bilddaten vertraut. Danach soll der Befragte 40 Anforderungen subjektiv bewerten. Zur Erläuterung jeder Anforderung dient neben der Beschreibung ein gutes und ein schlechtes Beispiel für die Erfüllung der jeweiligen Anforderung. Die ausgeteilte Befragung befindet sich im Anhang A. Bei der Befragung konnte die Wichtigkeit der aufgestellten Anforderung für den Befragten in vier Stufen angegeben werden. Diese vier Stufen wurden auf eine progressive Skala abgebildet : Eine Bewertung von 0 bedeutet, daß die Anforderung als unwichtig eingestuft wird. Die Bewertung 1 zeigt an, daß die Erfüllung der Anforderung für den Befragten egal ist.

111 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS 95 Eine Bewertung mit 3 entspricht einer wichtigen Anforderung. Eine Bewertung mit 9 symbolisiert, daß die entsprechende Anforderung sehr wichtig für den Befragten ist. Für die Bearbeitung des Fragebogens wurden ca. 30 Minuten veranschlagt. Der Fragebogen wurde einer nicht repräsentativen Gruppe von 63 Personen im Alter von 22 bis 39 Jahren vorgelegt. Von dieser Gruppe sind ca. 70 % im Umgang mit Computersystemen aus beruflichen Gründen versiert. Bei der Gruppe der Befragten wurden Kenntnisse über Computer, deren grundsätzliche Bedienung und die Verwendung des Internet vorausgesetzt. Diese Vorauswahl ermöglicht eine enge Orientierung des Fragebogens an der Systemspezifikation, ohne eine komplexe Transformation der konkreten Anforderungen in allgemeinverständliche Fragen vornehmen zu müssen. Im Rahmen der Patientenbefragung sind ca. 140 Fragebögen ausgeteilt worden, von denen 65 ausgefüllt zurückgeschickt wurden. Als persönliche Angaben konnten die Befragten ihr Alter, ihr Geschlecht und den Grad ihrer Computerkenntnisse angeben (siehe Tabelle 5.1). Von den Befragten waren 54 männlich und 11 weiblich. Bei der Angabe der Computerkenntnisse standen folgende fünf Kategorien zur Auswahl : 4 = sehr gute Kenntnisse (z.b. IT-Professional/Softwareentwickler) 3 = gute Kenntnisse (z.b. regelmäßige berufliche Nutzung von Computersystemen) 2 = mittlere Kenntnisse (z.b. gelegentliche berufliche Computernutzung) 1 = geringe Kenntnisse (z.b. gelegentliche private Computernutzung) 0 = keine Kenntnisse Minimum Maximum Mittelwert Varianz Alter Computerkenntnisse Tabelle 5.1: Ergebnisse der persönlichen Angaben der Befragten Genaue Ergebnisse der Auswertung aller Anforderungen sind der Tabelle 5.2 zu entnehmen. Die beantworteten Klassen wurden gemäß QFD-Methode [Mizuno und Akao, 1994] mit den Werten 0, 1, 3 und 9 gewichtet. Das arithmetische Mittel wurde gerundet und auf diese Klassen abgebildet. Dies bildet die Grundlage für die in Abschnitt folgende Priorisierung der Benutzeranforderungen. Bei der Auswertung der Befragung fällt auf, dass die Vision der integrierten Visualisierung der medizinischen Bilddaten in einer virtuellen Welt nicht so positiv, wie von den Entwicklern erwartet, aufgenommen wurde. Während die Beantwortung der übrigen Fragen relativ gut vorhersagbar war, weichen die Vorstellungen der Entwickler und der Befragten bei den Punkten zu diesem Thema deutlich voneinander ab. Eine persönliche Befragung ergab, dass die meisten Befragten Probleme damit hatten, sich eine seriöse, medizinische Applikation in einer dreidimensionalen, virtuellen Welt vorzustellen. Die Assoziation zu Computerspielen

112 96 KAPITEL 5. SPEZIFIKATION UND ENTWURF I II III IV V VI VII Name Systemintegrität Keine Programmabstürze 1 9 6,94 2, Reproduzierbare Ergebnisse 1 9 6,75 3, Benutzerschnittstelle Verwendung einer dreidimensionalen virtuellen Welt 0 9 0,95 1,7 1 1 Robustheit 3 9 6,47 2, Erwartungskonformität 1 9 5,4 3, Selbstbeschreibungsfähigkeit 1 9 4,69 2, Besuchte Stationen erkennbar 0 9 2,29 2, Konfigurierbare Benutzerschnittstelle 0 9 2,71 2, Hilfe bei der Auswahl der Daten 0 9 5,57 3, Interaktion Freie Navigation in der 3D-Welt 0 9 1,63 2,2 1 1 Transparenz 0 9 2,32 2, Translation 0 9 2,23 2, Rotation 0 9 3,14 2, Skalierung 0 9 3, Interaktion mit anderen Benutzern 0 9 2,6 2, Speicherung beliebiger Systemzustände 0 9 3,92 3, Datenpräsentation Dreidimensionale Darstellung von med. Objekten 0 9 6,22 3, Integrierte Darstellung von med. Objekten in VR-Welt 0 9 1,97 2, Verwendung echter medizinischer Daten 0 9 6,62 3,2 9 9 VR-Präsentation der Daten, keine vorberechneten Ansichten 0 9 4,45 2, Verwendung der persönlichen med. Daten 0 9 8,2 2, Verständliche Präsentation der med. Inhalte 0 9 6,28 3, Multimedialität Einbindung von Textinformationen 3 9 5,77 3, Einbindung von Bildinformationen 1 9 5,69 3, Einbindung von Videoinformationen 0 9 2,85 2, Einbindung von Audioinformationen 0 9 2,49 2,7 1 3 Flüssige Grafikausgabe 0 9 5,35 3, Flüssiger Programmablauf 0 9 4,52 3, Kurze Ladezeiten 0 9 3,78 3, Systemadministration Leicht zu installieren 0 9 5,08 3, Leicht zu deinstallieren 0 9 5,29 3, Nutzung von CPU und Speicher 0 9 2,75 2, Nutzung spezieller Grafikhardware 0 9 5,43 3,3 3 9 Betriebssystemunabhängigkeit 0 9 4,51 3, Hardwareunabhängigkeit 1 9 5,95 3, Geringe Anschaffungs/Wartungskosten 1 9 5,94 3, Datenschutz Vertraulichkeit / Verschlüsselung 1 9 8,29 2, Integrität 1 9 7,8 2, Verfügbarkeit 1 9 5,25 3, Echtheit der Daten 1 9 7,62 2, Minimum Maximum Mittelwert Varianz Median MW nach Klassen Tabelle 5.2: Auswertung der Befragung potenzieller Benutzer

113 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS 97 liegt auf der Hand. Ähnlich verhält es sich mit dem Bereich, der die Interaktion mit anderen Benutzern betrifft. Die Vorstellung, den ernsthaften Charakter eines medizinischen Informationssystems mit der offenen Atmosphäre eines Chatrooms zu verbinden, erscheint ungewohnt. Anforderung 1.1 Verwendung einer dreidimensionalen virtuellen Welt Freie Navigation in der 3D Welt Tranzparenz Rotation Integrierte Darstellung von medizinischen Objekten in VR-Welt Geringe Anschaffungs- und Wartungskosten 9 1 Bewertung durch Befragung verwendete Bewertung Tabelle 5.3: Abweichung zwischen verwendeter Bewertung und dem Ergebnis der Befragung Bei sechs Anforderungen weicht die zur Priorisierung verwendete Bewertung von dem Resultat der Befragung ab (siehe Tabelle 5.3). Die Begründung dafür liegt in der Tatsache, dass die Designer des PREPaRe-Systems nicht der reservierten Haltung der Befragten folgen wollten. Durch Präsentation der neuartigen Möglichkeiten für den Benutzer und eine intuitve Handhabung des Systems soll die skeptische Haltung der Befragten revidiert werden. Anschließend soll anhand einer wissenschaftlichen Studie die Akzeptanz des virtuellen Krankenhauses als Präsentationsplattform für medizinische Bilddaten untersucht werden Priorisierung der Anforderungen Eine Hierarchisierung der Benutzeranforderungen in einer Baumstruktur erzeugt mehrere Stufen. Bei der Anwendung der QFD-Methode [Mizuno und Akao, 1994] werden allen Anforderungen auf den entsprechenden Stufen die Parameter Importance Rating (IR) und Impact Factor (IF) zugewiesen. Im allgemeinen werden die Parameter Importance Rating und Impact Factor von Experten auf dem Gebiet festgelegt. Um die Stimme des Patienten in die Entwicklung des PREPaRe-Systems einfließen zu lassen, wurde eine Befragung (siehe Abschnitt 5.1.2) durchgeführt. Anhand der Auswertung der Befragung wurde jeder Anforderung eine Priorität zugeordnet, die angibt, wie wichtig eine optimale Erfüllung der Anforderung erscheint. Mit egal angekreuzte Felder wurden nicht berücksichtigt. Wenn mehrere Anforderungen zu einer Gruppe zusammengefasst werden, dann ergibt sich die Priorität der Gruppe aus dem Mittelwert der einzelnen Unterpunkte.

114 98 KAPITEL 5. SPEZIFIKATION UND ENTWURF Das Importance Rating einer Anforderung ergibt sich aus der Verteilung der Prioritäten aller Anforderungen der gleichen Hierarchiestufe innerhalb einer Gruppe, d. h. für jede der n Anforderungen a i,h mit der Priorität p(a i,h ) in der Hierarchiestufe h ergibt sich ein Importance Rating IR(a i,h ): ( n ) 1 IR(a i,h ) = p(a i+1 ) p(a i,h ) i=0 so dass sich für alle Unterpunkte einer Gruppe stets 100% als Summe ergeben. Bei dem Parameter Impact Factor handelt es sich um einen nützlichen Wert, welcher den Einfluß der Benutzeranforderung der Hierarchiestufe n auf der höchsten Stufe der Benutzeranforderungen quantifiziert. Der Wert von IF(a n ) ergibt sich, indem das Produkt aller IR(a n ) gebildet wird, die über der aktuellen Hierarchiestufe liegen. n IF(a n ) = IR(a i ) i=0 Von den Prioritäten der Befragung ausgehend, werden die Parameter Importance Rating und Impact Factor berechnet, welche eine prozentuale Angabe der Gewichtung der einzelnen Benutzeranforderungen ausdrücken (siehe Tabelle 5.4). Indem jede Benutzeranforderung mit einer Priorität versehen wird, läßt sich für die Realisierung des Systems ablesen, in wieweit die Erfüllung der einzelnen Anforderung einen Einfluß auf die gesamte Beurteilung des Systems hat. Anforderung Priorität IR 0 IR 1 IR 2 IR 3 IF 1 Benutzerschnittstelle 6,7 16% 16% 1.1 Verwendung einer dreidimensionalen 9,0 22% 3,6% virtuellen Welt 1.2 Ergonomische Benutzerschnittstelle 6,6 16% 2,7% Erwartungskonformität 9,0 27% 0,7% Selbstbeschreibungsfähigkeit 9,0 27% 0,7% Robustheit 9,0 27% 0,7% Besuchte Stationen erkennbar 3,0 9% 0,2% (History) Konfigurierbare Benutzerschnittstelle 3,0 9% 0,2% 1.3 Hilfe bei der Auswahl der zu 9,0 22% 3,6% visualisierenden Daten 1.4 Erlaubt Einpflegen von Daten 9,0 22% 3,6% durch den Patienten 1.5 Interaktion 3,8 9% 1,5% Freie Navigation in der 3D- 3,0 26% 0,4% Welt Interaktion mit Objekten 5,5 48% 0,7% Transparenz 9,0 41% 0,3% Translation 3,0 14% 0,1% Rotation 9,0 41% 0,3% Skalierung 1,0 5% 0,03%

115 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS 99 Anforderung Priorität IR 0 IR 1 IR 2 IR 3 IF Interaktion mit anderen Benutzern 3,0 26% 0,4% 1.6 Speicherung beliebiger Systemzustände 3,0 7% 1,2% 2 Datenpräsentation 8,0 21% 21,0% 2.1 Dreidimensionale Darstellung 9,0 12% 2,4% von Untersuchungsobjekten 2.2 Integrierte Darstellung von 9,0 12% 2,4% medizinischen Objekten in VR-Welt 2.3 Präsentation vitaler Daten, 9,0 12% 2,4% keine vorberechneten Ansichten 2.4 Verwendung echter medizinische 9,0 12% 2,4% Daten 2.5 Verwendung der persönlichen 9,0 12% 2,4% med. Daten 2.6 Verständliche Präsentation 9,0 12% 2,4% der med. Inhalte 2.7 Notwendiges Fachwissen 9,0 12% 2,4% 2.8 Multimedialität 6,0 8% 1,6% Einbindung von Textinformationen 9,0 38% 0,6% Einbindung von Bildinformationen 9,0 38% 0,6% Einbindung von Videoinformationen 3,0 13% 0,2% Einbindung von Audioinformationen 3,0 13% 0,2% 2.9 Präsentation als WWW- 9,0 12% 2,4% Portal 3 Systemleistungen 7,6 18% 18,9% 3.1 Systemintegrität 9,0 24% 4,4% Keine Programmabstürze 9,0 33% 1,5% Konsistente Systemzustände 9,0 33% 1,5% Reproduzierbare Ergebnisse 9,0 33% 1,5% (Determiniertheit) 3.2 Effiziente Nutzung der vorhandenen 4,0 11% 1,9% Hardware Nutzung von CPU 3,0 19% 0,4% Nutzung von Speicher 3,0 19% 0,4% Nutzung spezieller Grafikhardware 9,0 56% 1,1% Nutzung von verteilten Rechenanlagen 1,0 6% 0,1% 3.3 Verteilte Datenhaltung durch 9,0 24% 4,4% Meta-Index 3.4 Performance 7,0 18% 3,4% Flüssige Grafikausgabe auf 9,0 43% 1,5% handelsüblichen PCs Flüssiger Programmablauf 9,0 43% 1,5% Kurze Ladezeiten 3,0 14% 0,5% 3.5 Modulare Architektur 9,0 24% 4,4%

116 100 KAPITEL 5. SPEZIFIKATION UND ENTWURF Anforderung Priorität IR 0 IR 1 IR 2 IR 3 IF 4 Systemadministration 6,3 15% 15,3% 4.1 Installation 9,0 47% 7,3% Leicht zu installieren 9,0 50% 3,6% Leicht zu deinstallieren 9,0 50% 3,6% 4.2 Unabhängigkeit von Hardware 9,0 47% 7,3% / Betriebssystem Betriebssystemunabhängigkeit 9,0 50% 3,6% Hardwareunabhängigkeit 9,0 50% 3,6% 4.3 Geringe Anschaffungs/Wartungskosten 1,0 5% 0,8% 5 Kommunikation 3,0 7% 7,3% 5.1 Anbindung an Krankenhaus- 3,0 33% 2,4% Datanbanksystem 5.2 Anbindung an WWW- 3,0 33% 2,4% Inhalte 5.3 Nutzung von Offline- und 3,0 33% 2,4% Online-Datenquellen 6 Datenschutz 9,0 22% 21,8% 6.1 Vertraulichkeit / Verschlüsselung 9,0 20% 4,4% 6.2 Integrität 9,0 20% 4,4% 6.3 Authentizität der Daten 9,0 20% 4,4% 6.4 Datenfreigabe manuell steuerbar 9,0 20% 4,4% 6.5 Verfügbarkeit 9,0 20% 4,4% Tabelle 5.4: Priorisierung und Gewichtung der Benutzeranforderungen Technische Parameter nach QFD Die aufgestellten Benutzeranforderungen repräsentieren nach der QFD-Methode die Aufgaben, die zu erfüllen sind ( whats ) [Mizuno und Akao, 1994]. Diesen Aufgaben werden technische Parameter zugeordnet, die beschreiben, wie diese Aufgaben gelöst werden können ( hows ). Zwischen den Benutzeranforderungen und den technischen Parametern existieren Korrelationen, die je nach Stärke mit den Werten 0, 1, 3 und 9 bewertet werden. Diese Korrelationsmatrix läßt eine Reihe von Analysen von Anforderungen und technischen Parametern zu. Beispielsweise muß jeder Anforderung mindestens ein technischer Parameter zugeordnet sein, da sie sonst von der Realisierung scheinbar nicht erfüllt wird. Weiterhin deutet die Existenz von Anforderungen, die nur eine einzige Korrelation besitzen, darauf hin, dass technische Parameter in die Anforderungsliste aufgenommen wurden. Dies ist nur in Ausnahmefällen erwünscht. Bei der Anwendung der QFD-Methode werden die Benutzeranforderungen innerhalb einer Korrelationsmatrix den technischen Parametern gegenüber gestellt. Aus der gesamten Korrelationsmatrix, welche in [Tschirley et al., 2004] veröffentlicht wurde, sind exemplarisch 4 Teiltabellen herausgegriffen worden, die sich inhaltlich auf die Benutzerschnittstelle und die Datenrepräsentation beziehen. Die Tabellen 5.5 und 5.6 zeigen die Korrelation der Benutzeranforderungen (GUI und Datenrepräsentation) zu den technischen Parametern bezüglich der Benut-

117 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS 101 zerschnittstelle. In Tabelle 5.7 und 5.8 werden Benutzeranforderungen aus den Bereichen GUI und Datenrepräsentation den technischen Parametern, die sich inhaltlich mit der Datenrepräsentation beschäftigen, gegenübergestellt. Eine Bewertung von 1, 3 oder 9 gibt darüber Auskunft, wie stark ein technischer Parameter zur Erfüllung einer Benutzeranforderung beiträgt. Um einzelne Systeme zu evaluieren, muß für die technischen Parameter ein Kriterienkatalog (siehe Anhang B.2) aufgestellt werden, der Auskunft über den Grad der Erfüllung jedes einzelnen Parameters gibt. Nachdem die Erfüllung der technischen Parameter für ein System bewertet worden ist, kann über die aufgestellte Matrix die Erfüllung der Benutzeranforderungen zurückgerechnet werden. Jeder technische Parameter tp i erhält eine Bewertung W(tp i ). Für jede Anforderung a j wird die relative Wertung W R (a j ) berechnet, indem alle Bewertungen W(tp i ) mit dem Korrelationswert k(tp i,a j ) multipliziert werden, und die Summe dieser Produkte normiert wird: W R (a j ) = tp i W(tp i ) k(tp i,a j ) 9 tp i k(tp i,a j ) Die relative Wertung der Anforderungsgruppen A k errechnet sich analog dazu aus der Summe über alle Produkte aus relativer Wertung W R (a j ) und Importance Rating IR(a j ) aller Anforderungen der Gruppe: W R (A k ) = W R (a j ) W R (a j ) IR(a j ) Durch Multiplikation der relativen Wertung W R (a j ) mit dem Impact Factor IF(a j ) kann noch die absolute Wertung der Anforderung a j berechnet werden. Dieser Wert ist für die Auswertung jedoch nicht relevant. Als Maß für die Qualität der evaluierten Software werden die relativen Wertungen der Hauptgruppen und gegebenenfalls das nach Importance Rating der Hauptgruppen gewichtete Mittel der relativen Wertungen als Gesamtwertung herangezogen.

118 102 KAPITEL 5. SPEZIFIKATION UND ENTWURF Grafische Bedienoberfläche Benutzerschnittstelle dynamisch anpassbar Bezeichnungen in Landessprache Verwendung von aussagekräftigen Ikonen Einfache Bedienoberfläche Toleranz gegenüber falschen Benutzereingaben Online-Hilfe über Tooltips Hilfe über Dokumentation Hilfe über Hilfe-Assistenten 3D Volumen-Rendering-Funktionen Polygonrendering-Funktionen Virtuelle Lupe Virtuelles Röntgenglas, Alphakanal Integration in virtueller 3D-Welt Freie Navigation in der 3D-Welt Möglichkeit zur Manipulation der Welt Mehrdimensionaler History-Buffer Systemzustand speicherbar A.1 A.2 A.3 A.4 A.5 A.6 A.7 A.8 A.9 A.10 A.11 A.12 A.13 A.14 A.15 A.16 A.17 A.18 1 Benutzerschnittstelle 1.1 Verwendung einer virtuellen Welt Ergonomische Benutzerschnittstelle Erwartungskonformität Selbstbeschreibungsfähigkeit Robustheit Besuchte Stationen erkennbar Konfigurierbare Benutzerschnittstelle Hilfe bei der Auswahl der zu visualisierenden Daten Erlaubt Einpflegen von Daten durch 9 1 den Patienten 1.5 Interaktion Freie Navigation in der 3D-Welt Interaktion mit Objekten Transparenz Translation Rotation Skalierung Interaktion mit anderen Benutzern 1.6 Speicherung beliebiger Systemzustände 9 Tabelle 5.5: QFD-Matrix: Benutzeranforderungen (Benutzerschnittstelle) vs. Technische Parameter (Benutzerschnittstelle)

119 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS Datenpräsentation 2.1 Dreidimensionale Darstellung von Untersuchungsobjekten 2.2 Integrierte Darstellung von med. Objekten in VR-Welt 2.3 Präsentation vitaler Daten, keine vorberechneten Ansichten 2.4 Verwendung echter med. Daten 2.5 Verwendung der persönlichen med. Daten 2.6 Verständliche Präsentation der med. Inhalte Grafische Bedienoberfläche Benutzerschnittstelle dynamisch anpassbar Bezeichnungen der Bedienelemente in Landessprache Verwendung von aussagekräftigen Ikonen Einfache Bedienoberfläche Toleranz gegenüber falschen Benutzereingaben Online-Hilfe ueber Tooltips Hilfe über Dokumentation Hilfe über Hilfe-Assistenten 3D Volumen-Rendering-Funktionen Polygonrendering-Funktionen Virtuelle Lupe Virtuelles Röntgenglas, Alphakanal Integration in virtueller 3D-Welt Freie Navigation in der 3D-Welt Möglichkeit zur Manipulation der Welt Mehrdimensionaler History-Buffer Systemzustand speicherbar A.1 A.2 A.3 A.4 A.5 A.6 A.7 A.8 A.9 A.10 A.11 A.12 A.13 A.14 A.15 A.16 A.17 A Notwendiges Fachwissen Multimedialität Einbindung von Textinformationen Einbindung von Bildinformationen Einbindung von Videoinformationen Einbindung von Audioinformationen Präsentation als WWW-Portal Tabelle 5.6: QFD-Matrix: Benutzeranforderungen (Datenpräsentation) vs. Technische Parameter (Benutzerschnittstelle)

120 104 KAPITEL 5. SPEZIFIKATION UND ENTWURF 1 Benutzerschnittstelle 1.1 Verwendung einer dreidimensionalen virtuellen Welt Datenpräsentation Verwendung von Textinhalten Verwendung von Bildinhalten Verwendung von Videoinhalten Verwendung von Audioinhalten Verwendung von echten 3D-Modellen Technische Bildqualität Diagnostische Bildqualität Alle Bildformate darstellbar Nutzung von Diagnosecodes Nutzung von Annotationen Maßstabsgerechte Skalierung Didaktische Aufbereitung der Informationen Verknüpfungen zu Erklärungen Verknüpfungen zu gleichartigen Informationen Automatische Vorverarbeitung der med. Daten Realisierung als WWW-Portal B B.1 B.2 B.3 B.4 B.5 B.6 B.7 B.8 B.9 B.10 B.11 B.12 B.13 B.14 B.15 B Ergonomische Benutzerschnittstelle Erwartungskonformität Selbstbeschreibungsfähigkeit Robustheit Besuchte Stationen erkennbar (History) Konfigurierbare Benutzerschnittstelle 1.3 Hilfe bei der Auswahl der zu visualisierenden Daten 1.4 Erlaubt Einpflegen von Daten durch den Patienten 1.5 Interaktion Freie Navigation in der 3D-Welt Interaktion mit Objekten Transparenz Translation Rotation Skalierung Interaktion mit anderen Benutzern 1.6 Speicherung beliebiger Systemzustände 9 3 Tabelle 5.7: QFD-Matrix: Benutzeranforderungen (Benutzerschnittstelle) vs. Technische Parameter (Datenpräsentation)

121 5.1. SPEZIFIKATION DES PREPARE-SYSTEMS Datenpräsentation 2.1 Dreidimensionale Darstellung von Untersuchungsobjekten 2.2 Integrierte Darstellung von med. Objekten in VR-Welt 2.3 Präsentation vitaler Daten, keine vorberechneten Ansichten Datenpräsentation Verwendung von Textinhalten Verwendung von Bildinhalten Verwendung von Videoinhalten Verwendung von Audioinhalten Verwendung von echten 3D-Modellen Technische Bildqualität Diagnostische Bildqualität Alle Bildformate darstellbar Nutzung von Diagnosecodes Nutzung von Annotationen Maßstabsgerechte Skalierung Didaktische Aufbereitung der Informationen Verknüpfungen zu Erklärungen Verknüpfungen zu gleichartigen Informationen Automatische Vorverarbeitung der med. Daten Realisierung als WWW-Portal B B.1 B.2 B.3 B.4 B.5 B.6 B.7 B.8 B.9 B.10 B.11 B.12 B.13 B.14 B.15 B Verwendung echter med. Daten Verwendung der persönlichen med Daten 2.6 Verständliche Präsentation der med Inhalte 2.7 Notwendiges Fachwissen Multimedialität Einbindung von Textinformationen Einbindung von Bildinformationen Einbindung von Videoinformationen Einbindung von Audioinformationen Präsentation als WWW-Portal 9 Tabelle 5.8: QFD-Matrix: Benutzeranforderungen (Datenpräsentation) vs. Technische Parameter (Datenpräsentation)

122 106 KAPITEL 5. SPEZIFIKATION UND ENTWURF 5.2 Systemkomponenten der Visualisierung Nachdem die Benutzeranforderungen (BA) und ihre Gewichtungen feststehen, kann der Entwurf des Systems beginnen. Es werden mehrere Systemkomponenten spezifiziert, die innerhalb einer Applikation zusammengeführt werden können. Bei der Entwicklung von Computergrafik-Applikationen ist ist es dienlich, die Komponenten gemäß des Konzepts Model/View/Controller (MVC) [Krasner und Pope, 1988] in drei Module einzuteilen. Im Modell M werden die Objekte der Applikation verwaltet. Ein View V ist eine Bildschirmrepräsentation des Modells. Der Controller C definiert die Art und Weise in der die Benuzterschnittstelle auf die Eingaben des Anwenders reagiert. Von den sechs Gruppen, in die die Benutzeranforderungen eingeteilt sind, konzentriert sich diese Arbeit auf die Gruppen Benutzerschnittstelle und Datenpräsentation, da diese bei der Entwicklung des Subsystems für die Visualisierung aus Abbildung 2.6 (siehe Seite 16) die Hauptrolle spielen. Innerhalb des PRPEPaRe-Systems kann ein Patient über eine Internetverbindung auf seine persönlichen, medizinischen Daten aus einer elektronischen Patientenakte und auf andere WWW-Inhalte zugreifen (entspricht BA: 1.4, 2.3, 2.4, 2.9, 3.3, 5.1, 5.2, 5.3, 6.4). Dabei handelt es sich um multimediale Daten, wie z.b. Text, Bild, Volumen- und Polygondaten (entspricht BA: 2.5, 2.8, 5.1, 5.2, 5.3). Diese müssen vorverarbeitet und geeignet aufbereitet werden, damit auch ein medizinisch nicht ausgebildeter Betrachter die dargestellten Informationen verstehen kann. Zu den Vorverarbeitungsschritten gehört unter anderem die Extraktion von Oberflächenrepräsentationen aus medizinischen Volumendaten. Die Nutzung von Offline- und Online-Datenquellen bereichert die im persönlichen Repositorium abgelegten Informationen (entspricht BA: 1.2.2, 1.3, 2.1, 2.6, 2.7, 3.3, 5.2, 5.3). Um diese Anforderungen zu erfüllen, werden folgende Systemkomponenten, die zum Datenmodell (model) gehören, entworfen : Erweiterte Anatomische Informationen (XAI), siehe Abschnitt Hybrides Datenmodell für Oberflächen und Volumen, siehe Abschnitt Spezifizierung von Volumendaten in VRML97 und X3D, siehe Abschnitt Wie aus dem Datenmodell ersichtlich, liegen im persönlichen Repositorium Oberflächenrepräsentationen und Volumendaten vor, die hybrid dargestellt werden sollen. Dafür existieren verschiedene Visualisierungstechniken, die sich in ihrer Performanz und ihrem Ergebnis voneinander unterscheiden (entspricht BA: 2.2, 2.3, 2.4, 2.8.1, 2.8.2, 2.9, 3.2.3, 3.2.4, 3.4.1, 4.2). Zur Erfüllung der Anforderungen an die Visualisierung (view) werden folgende Systemkomponenten erstellt : Darstellung von Polygonen (Surface-Rendering), siehe Abschnitt Darstellung von semitransparenten Objekten (Alpha-Blending)

123 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 107 Hybrider Ray Caster, siehe Abschnitt Hybrides Rendering mit 3D Texturen, siehe Abschnitt In seiner Konzeption verwendet das PREPaRe-System eine dreidimensionale, virtuelle Welt als Schnittstelle zum Benutzer. Innerhalb dieser Welt kann der Benutzer frei navigieren und mit den Objekten der Welt interagieren und mit anderen Benutzern kommunizieren (entspricht BA: 1.1, 1.5.1, 1.5.2, 1.5.3, 2.2, 2.9). Sollten die Hardwarevoraussetzungen für die interaktive Darstellung einer virtuellen Welt nicht ausreichen, so ist die Bereitstellung von Alternativen, wie z.b. ein dreidimensionaler Modellbetrachter oder eine zweidimensionale Schnittstelle, eine Möglichkeit für den Benutzer auf die Informationen zuzugreifen (entspricht BA: 1.2.3, 1.2.5, 2.1, 2.3, 2.8, 3.1, 3.2, 3.4.1, 3.4.2, 4.2). Folgende Systemkomponenten dienen dazu, die beschriebenen Anforderungen an die Interaktionsmöglichkeiten (controller) zu erfüllen : 2D Benutzerschnittstelle, siehe Abschnitt D Modellbetrachter, siehe Abschnitt D Virtuelle Welt, siehe Abschnitt Einen Überblick über alle Systemkomponenten liefert Abbildung 5.1. Jedes der drei Module ist mit den beiden anderen assoziiert. Im Folgenden werden die einzelnen Systemkomponenten vorgestellt. view Oberflächen darstellung Alpha Blending Hybrid Ray Casting 3D Texture Mapping controller assoziiert mit 2D GUI 3D Modellbetrachter Virtuelle Welt model Elektronische Patientenakte XAI Oberflächen repräsentationen Volumen daten Abbildung 5.1: Module des Systems nach Model-View-Controller unterteilt.

124 108 KAPITEL 5. SPEZIFIKATION UND ENTWURF Abbildung 5.2 veranschaulicht den Datenfluß der unterschiedlichen Informationen, die im Datenmodell spezifiziert sind. Unterschiedliche Visualisierungstechniken erzeugen Ergebnisse, die in den verschiedenen Benutzerschnittstellen präsentiert werden können. Als Eingabedaten bilden die medizinischen Bilddaten, die daraus extrahierten Oberflächenrepräsentationen und 3D-Modelle von künstlichen Prothesen einen Mikrokosmos. Das virtuelle Krankenhaus symbolisiert den Makrokosmos, in dem die anderen Eingabedaten eingebettet werden. Über verschiedene Arten des Hybrid Rendering lassen sich 2D-Ergebnisbilder, ein interaktives 3D-Modell oder eine dreidimensionale Welt aus den Eingabedaten erzeugen. Entsprechende spezialisierte Hardware (Volume Pro, GPU mit Vertex/Pixelshader) vorausgesetzt erfolgt die Visualisierung eines 3D-Modells über Ray Casting interaktiv. Ein zweidimensionales Ergebnisbild kann in einer 2D- GUI angezeigt werden und in einer dreidimensionalen Benutzerschnittstelle als Textur auf einer Oberfläche angebracht werden. Darüber hinaus findet eine Unterteilung in einen 3D-Modellbetrachter und eine 3D-GUI, in der der Benutzer frei navigieren kann, statt.

125 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 109 Mikrokosmos Makrokosmos Bilddaten extrahierte Oberflächen Modell einer Prothese Krankenhaus Hybrid Rendering Ray Casting 3D Texture Mapping Hardware 2D Bild 3D Modell 3D Welt 2D GUI 3D Modellbetrachter 3D GUI Abbildung 5.2: Der Datenfluß innerhalb des Systems.

126 110 KAPITEL 5. SPEZIFIKATION UND ENTWURF Datenmodelle Als Schnittstelle zwischen der Bilddatenverarbeitung und der Visualisierung der hybriden Daten wird ein Datenmodell spezifiziert. Da die Vorverarbeitung und die Visualisierung auf verschiedenen Rechnern stattfinden kann, muß die Möglichkeit des Datenaustauschs gewährleistet sein. Als Grundlage für eine elektronische Patientenakte dienen die Standards DICOM, HL7 und der europäische Prestandard prenv :1999 der CEN/TC 251. Darauf Bezug nehmend werden Modelle für die Verwaltung von Präsentationen der hybriden Daten entwickelt. Neben der Spezifikation eines gemeinsamen Datenmodells für Oberflächen und Volumen, wird die Definition dieser hybriden Repräsentation in VRML97 und in X3D vorgestellt Erweiterte anatomische Informationen Zusätzlich zu den multimedialen Daten der elektronischen Patientenakte müssen Informationen über eine adäquate Präsentation der Daten verwaltet werden. Diese sogenannten Meta-Informationen müssen klar verständlich spezifiziert werden. Die Präsentation von Textinformationen einer elektronischen Patientenakte sollte keine technische Schwierigkeit darstellen und kann dynamisch und flexibel gehalten werden. Ausgewählte Bestandteile der Patientenakte sollen sowohl in einer zweidimensionalen Benutzerschnittstelle dargestellt werden können, als auch in einem dreidimensionalen, virtuellen Krankenhaus präsentiert werden (Abbildung 5.2). An dreidimensionalen Informationen enthält eine elektronischen Patientenakte z.b. medizinische Tomographiedaten aus der Radiologie (z.b. CT, MR, US). Diese Schichtdaten entsprechen unklassifizierten Volumendaten beim Volumen-Rendering. Mit Hilfe von computergestützten Vorverarbeitungsschritten können Oberflächenrepräsentationen aus den Schichtdaten extrahiert werden [Schroeder et al., 1998]. Um die Zuordnung und Lage von anatomischen Objekten innerhalb der Schichtdaten zu ermitteln, können anatomische Atlanten zur Hilfe genommen werden. Die allgemeinverständliche Aufbereitung erfordert umfangreiches medizinisches Wissen. Dieses Wissen auf Computermodelle abzubilden, ist Ziel der (semi-)automatischen Registrierung und Segmentierung mittels anatomischer Atlanten [Hanjal, 2001] [Chen et al., 1999]. Ein Beispiel einer Aufbereitung für eine Computertomographie einer Extremität ist die Extraktion von Haut- und Knochenoberfläche. Der erweiterte anatomische Atlas enthält für einen solchen Fall eine Verarbeitungskette von Algorithmen, wie Anwendung einer Implementierung des Marching Cubes Algorithmus nach erfolgter Rauschunterdrückung, die zur Extraktion der Isooberflächen notwendigen Parameter (Hounsfield-Werte für Haut und Knochen), gefolgt von Oberflächenglättung, Entfernung von kleinen Objekten, und einer Polygondezimierung für optimale Visualisierungsperformanz. In Abbildung 5.3 wird die Struktur einer Präsentationsdatenbank vorgestellt, die es erlaubt eine Zuordnung von Präsentationssequenzen und Fallinformationen vorzunehmen. Zu einer Fallinformation gehören Angaben über : die verwendete Modalität bei der Aufnahme der Tomographiedaten, die örtliche Position bei der Aufnahme der Tomographiedaten und

127 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 111 PresentationDB CaseInformation n n Presentation Sequence Modality Location DiseaseCode 1 1 Visualization Technique Anatomic Structure Abbildung 5.3: Die Struktur der Präsentationsdatenbank, aus [Tschirley et al., 2003]. die Angabe eines disease code [ICD-10] zur Interpretation. Eine Präsentationssequenz fasst die zu verwendenen Visualisierungstechniken und die anatomische Struktur zusammen. Dabei werden nur exemplarische Körperregionen und einzelne medizinische Bilddatentypen verwendet, um die Funktionsfähigkeit des realisierten Systems zu prüfen. Enhanced Atlas Volume Data Tissue Classification CT MRI PET Segmentation Algorithm Registration Algorithm Abbildung 5.4: Aufbau des erweiterten anatomischen Atlanten [Tschirley et al., 2003]. Ein anatomischer Atlas enthält medizinische Volumendaten und/oder Oberflächenrepräsentationen, sowie eine Klassifikation des Gewebes. In einer Erweiterung des anatomischen Atlanten werden Segmentierungs- und Registrierungsalgorithmen spezifiziert, die es erlauben, für bestimmte andere Volumendatensätze eine Klassifikation zu erhalten. Diese Kombination wird im folgenden erweiterter anatomischer Atlas genannt (siehe Abbildung 5.4). Dieser erweiterte Atlas soll zur semiautomatischen Segmentierung und Registrierung von Schichtdaten aus verschiedenen elektronischen Patientenakten verwendet werden [Tschirley et al., 2003]. Die vorverarbeiteten Daten eines Patienten und die klassifizierten Daten des erweiterten, anatomischen Atlanten werden zusammengefaßt und als Extended Anatomic Information (XAI) bezeichnet [Tschirley et al., 2002]. Ein XAI-Objekt

128 112 KAPITEL 5. SPEZIFIKATION UND ENTWURF XAI Klassifizierte Volumendaten des Patienten Extrahierte Oberflächenmodelle des Patienten Generische Oberflächenmodelle aus Atlanten Abbildung 5.5: Extended Anatomic Information (XAI). umfaßt klassifizierte, patientenspezifische Volumendaten, extrahierte Oberflächenmodelle und Oberflächendaten des Atlanten (Abbildung 5.5). Es bildet die Schnittstelle zwischen Vorverarbeitung und Visualiserung. Für die Speicherung eines XAI-Objekts und die Übertragung der Oberflächen- und Volumendaten zwischen den Subsystemen wird im folgenden Kapitel ein Datenmodell definiert Hybrides Datenmodell für Oberflächen und Volumendaten Für das hybride Rendering werden neben den Oberflächenmodellen auch die reinen Volumendaten in einem Modell festgehalten. Um polygonale Objekte zu beschreiben wird zur Zeit der VRML97 Standard verwendet. Zukünftig werden Oberflächenrepräsentationen im World Wide Web vermehrt mit dem X3D-Standard spezifiziert. Darum erfolgt die Festlegung der Modelle sowohl in VRML97 als auch in X3D. Konverter, die Modelle des einen Standards in den anderen umwandeln, werden vom Web3D-Konsortium zur freien Verfügung gestellt. Da VRML97 sehr weit verbreitet ist, bietet es sich an, auch die Volumendaten für das hybride Rendering mit VRML97 (Kapitel ), bzw. X3D (Kapitel ) zu spezifizieren. VRML97 strukturiert seine Bestandteile in einem hierarchischen Szenengraphen. Dieser besteht aus ineinander schachtelbaren Transformationsknoten (entspricht den Transformationsmatrizen), unter denen die eigentlichen Oberflächen eingehängt werden. Da auch die Volumendatensätze frei im dreidimensionalen Raum positionierbar sein sollen, werden sie auch unterhalb der Transformationsknoten in die Hierarchie aufgenommen. Abbildung 5.6 zeigt den Klassenentwurf für einen Szenengraphen in VRML97, der sowohl Oberflächenrepräsentationen, als auch Volumendaten verwalten kann. Eine Oberflächenrepräsentation shape wird in VRML97 durch eine geometrische Beschreibung geometry und ein äußeres Erscheinungsbild appearance spezifiziert. Eine appearance besteht aus einem Material material und gegebenenfalls Texturen (texture). Die Materialeigenschaften werden für die Beleuchtungsberechnung verwendet und die Texturen können über eine Texturtransformation TextureTransform manipuliert werden. In Abschnitt wurde ein IndexedFaceSet vorgestellt, welches eine spezielle Ausprägung einer geometry ist. Neben den Materialeigenschaften für die gesamte Geometrie, kann ein IndexedFaceSet eine Liste von Farben für seine Polygone oder Eckpunkte verwalten. Eine weitere Spezialisie-

129 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 113 vrml97 scenegraph (from vrml97) 1..* Transform (from vrml97) -rotation -translation -scale -center -scaleorientation 1..* Shape (from vrml97) Appearance (from vrml97) geometry (from vrml97) Material (from vrml97) -ambientintensity -diffusecolor -emissivecolor -shininess -specularcolor -transparency TextureTransform (from vrml97) texture (from vrml97) IndexedFaceSet (from vrml97) -coord -coordindex -color -colorindex -colorpervertex -normal -normalindex -normalpervertex -texcoord -texcoordindex -ccw -convex -solid -creaseangle Volume (from vrml97) -VolumeData -volumewidth -volumeheight -volumedepth -widthspacing -heightspacing -depthspacing -uppertreshold -lowertreshold -databitdepth -blendfunction -transalpha -transcolor -brightness ImageTexture (from vrml97) Abbildung 5.6: Klassenentwurf für einen hierarchischen Szenengraphen. rung von geometry stellt der Knoten Volume dar. Die Beschreibung der Attribute befindet sich in Kapitel

130 114 KAPITEL 5. SPEZIFIKATION UND ENTWURF Definition eines Volumendatenmodells in VRML97 Um das Fehlen einer hybriden Repräsentation (siehe Abschnitt 4.3) zu kompensieren, werden die Volumendaten im gleichen Format wie die Oberflächendaten (VRML97 oder X3D) spezifiziert. Dies ist durch die Prototypen-Definition von VRML97 möglich. Ein Schichtdatensatz läßt sich innerhalb mehrerer 2D Texturen unterbringen. Zum Volumen-Rendering mit 3D-Texturen sind weitere Angaben über die zu verwendene Blending-Funktion, den unteren und oberen Wert für eine Schwellwert-Segmentierung, die Dimensionen des Volumens und die Bit-Anzahl eines Voxel notwendig. Für den Fall, dass die Voxel nicht würfelförmig sind, können Werte für die Maße des Quaders (spacing) angegeben werden. Außerdem kann eine Transferfunktion spezifiziert werden, die die Voxelwerte in Farb- und Tranzparenzinformationen überführt. Durch die Angabe eines brightness-faktors, kann die Helligkeit der Volumendarstellung an die Umgebungbeleuchtung der virtuellen Welt angepasst werden. In VRML97 sieht die prototypische Definition eines Knotens, der alle Informationen über einen Volumendatensatz enthält, wie folgt aus : # Volume Node proposal EXTERNPROTO Volume [ field SFString blendfunc # Blending-Funktion, z.b. MIP field SFString volumedata # Volumendatensatz field SFInt32 volumewidth # Weite des Schichtbildes field SFInt32 volumeheight # Höhe des Schichtbildes field SFInt32 volumedepth # Anzahl der Schichtbilder field SFInt32 widthspacing # X-Dimension in der Schicht field SFInt32 heightspacing # Y-Dimension in der Schicht field SFInt32 depthspacing # Abstand der Schichten field SFInt32 upperthreshold # oberer Schwellwert field SFInt32 lowerthreshold # unterer Schwellwert field SFInt32 databitdepth # Bit-Anzahl eines Voxels field MFFloat transalpha # Alphas für Transfer-Funktion field SFFloat brightness # Aufhellungsfaktor field MFColor transcolor # Farbwerte für Transfer- Funktion ][ "urn:inet:xrooms.de:node:volume","protovolume.wrl#volume" ] Definition eines Volumendatenmodells in X3D In X3D wird ein Volumen-Knoten innerhalb einer DTD, z.b. Volume.dtd, spezifiziert. Da es sich beim Volumen-Knoten um ein Blatt handelt, wird innerhalb der ENTITY-Definition hinter dem Namen des Knotens (Volume) der Bezeichner EMPTY angegeben. Die Attributliste enthält die gleichen Bestandteile wie die Definition in VRML97. Allerdings erfolgt in XML die Angabe von Default- Werten hinter der Typangabe. So wird die Blending-Funktion auf MIP und die Bit-Anzahl der Daten auf 8 Bit gesetzt. Außerdem werden die Dimensionen des Datenvolumens und die Schwellwerte für die Segmentierung standardmäßig mit 0

131 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 115 initialisiert. Der brightness-faktor liegt, sofern nicht anders spezifiziert, bei 1, 0. Bei der Transferfunktion handelt es sich um ein fakultatives Attribut, für das es keine Vorgaben gibt. Vervollständigt wird der Volumenknoten durch die Attribute ID und IDREF, welche eine Referenzierung von und zu anderen Knoten ermöglichen. In XML bildet sich die Definition wie folgt ab : <!-- ***** Volume Node Extensions proposal ***** --> <!ELEMENT Volume EMPTY > <!ATTLIST Volume blendfunc %SFString; "MIP" volumedata %MFString; #IMPLIED volumewidth %SFInt32; "0" volumeheight %SFInt32; "0" volumedepth %SFInt32; "0" widthspacing %SFInt32; "1" heightspacing %SFInt32; "1" depthspacing %SFInt32; "1" upperthreshold %SFInt32; "0" lowerthreshold %SFInt32; "0" brightness %SFFloat; "1.0" databitdepth %SFInt32; "8" transcolor %MFColor; #IMPLIED transalpha %MFFloat; #IMPLIED DEF ID #IMPLIED USE IDREF #IMPLIED>

132 116 KAPITEL 5. SPEZIFIKATION UND ENTWURF Visualisierung im virtuellen KH Oberflächendarstellung für 3D Welt Oberflächenrepräsentationen werden zum einen dafür verwendet, die Räumlichkeiten des virtuellen Krankenhauses (Scenario 2) darzustellen und zum anderen die extrahierten Oberflächenmodelle (Scenario 3), welche aus den medizinischen Bilddaten der elektronischen Patientenakte gewonnen wurden. Neben den Räumlichkeiten werden eine Reihe von Einrichtungsgegenständen und medizinische Geräte dreidimensional modelliert (siehe Abbildung 5.7(a)). Um den Detailreichtum der Gegenstände nachzubilden, werden digitale Fotos als Textur verwendet. Dies hat weiterhin den Vorteil, daß die Anzahl der Polygone, aus welchen die gesamte virtuelle Welt besteht, gering gehalten werden kann. (a) (b) Abbildung 5.7: Virtuelles Krankenhaus : a) Blick in einen radiologischen Aufnahmeraum und b) Virtueller Akteur. Nach ihrer Erzeugung sind die medizinischen Geräte zunächst statisch. Innerhalb eines 3D-Modellierprogramms können sie zwar beliebig transformiert (rotiert, bewegt und skaliert) werden, aber nach der Speicherung in einer Datei liegen zunächst keine Interaktionsmöglichkeiten vor. Diese müßen zusätzlich in einem Modellierprogramm erstellt werden. Eine nicht kommerzielle Möglichkeit für die Speicherung von Modellen und Animationen bietet der VRML97-Standard an. Für die Darstellung von medizinischem Personal im OP-Saal werden virtuelle Personen, Akteure genannt, zuerst modelliert und dann mit Animationen versehen. Dafür wird die äußere Hülle der Person aus Polygonen aufgebaut und zur Verbesserung des Detailreichtums mit Texturen versehen (siehe Abbildung 5.7(b)). Durch Anwendung verschiedener Texturen können die Bekleidung und das Gesicht des virtuellen Akteurs verändert werden. Um einen virtuellen Akteur zu animieren, wird er mit einem inneren Skelett versehen. Dann wird eine Zuordnung zwischen den Teilen des Skeletts und jedem Polygon des virtuellen Akteurs definiert. Dies bedeutet, dass bei einer Transformation des Skeletts sich auch die Oberfläche des virtuellen Akteurs mitbewegt. Nun können Bewegungsabläufe für

133 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 117 (a) (b) Abbildung 5.8: a) Blick in einen virtuellen OP-Saal und b) Erklärende Begriffe werden neben extrahierten Oberflächenmodellen eingeblendet. das Skelett erstellt werden, die sich direkt auf die virtuelle Person auswirken. Für die erstellten Bewegungsabläufe existieren Dateiformate, in denen sie separat gespeichert werden können, um sie auch auf andere virtuelle Akteure anwenden zu können. Eine gemeinsame Speicherung der Oberflächenrepräsentation eines Akteurs und einer dazugehörigen Animation erlaubt der Standard H-Anim. Die medizinischen Bilddaten des Patienten werden als Textur auf Objekte in der Szene, z.b. einen Lichtkasten (siehe Abbildung 5.8(a)), gelegt. Durch ein Wechsel der Textur auf Benutzerwunsch kann eine ganze Reihe von Schichtbildern nacheinander angezeigt werden. Neben extrahierten Oberflächenmodellen werden erklärende Begriffe als Text auf dem Objekt oder frei im Raum angezeigt (siehe Abbildung 5.8(b)). Ein einfacher Algorithmus zur Platzierung der Erklärungen kann vom Schwerpunkt des Oberflächenmodells ausgehend den Text ausserhalb des Objektes anzeigen. Um die Zuordnung von Erklärung und Oberflächenmodell zu verdeutlichen, werden verbindende Linien gezogen. Die Ausrichtung der Erklärung nach der Orientierung der virtuellen Kamera unterstützt die Lesbarkeit des Textes. Anspruchsvollere Algorithmen zur Annotation von topographisch komplizierten 3D-Modellen erstellen zuerst ein Skelett vom 3D-Modell und suchen danach geeignete Ankerpunkte, um Linien zwischen den Oberflächen und den Erklärungen zu ziehen [Preim und Raab, 1998]. Zusätzlich können Längenund Größenangaben eingeblendet werden [Preim et al., 2002]. Eine weitere Möglichkeit zur Informationsvermittlung besteht darin, dem Patienten während der Betrachtung eine Audio-Datei mit Erklärungen vorzuspielen. Wenn die einzelnen Oberflächenrepräsentationen neben ihrer Farbe mit einem Tranzparenzwert versehen werden, dann ist es möglich, durch vordere, transparente Objekte, hintere Objekte durchscheinen zu lassen. Diese Methode wird Alpha-Blending genannt.

134 118 KAPITEL 5. SPEZIFIKATION UND ENTWURF Hybrid Ray Casting für gute Bildqualität Um eine gute Bildqualität beim hybriden Rendering von Volumen und Oberflächen zu erhalten, wird Ray Casting eingesetzt. Als Beleuchtungsmodell wird das Phong sche Reflexionsmodell [Phong, 1975] verwendet. Zur Laufzeitoptimierung werden Methoden wie z.b. hierarchical spatial enumeration und adaptive termination eingesetzt (vergleiche Abschnitt ). Abbildung 5.9: Ray Casting eines CT-Datensatz eines Kopfes (links) und eines CT-Datensatz eines Zahns (rechts). Das Modell stammt von der NLM [National Library of Medicine]. Zwei Beispiele für die Bildqualität des Ray Casting sind in Abbildung 5.9 dargestellt. Allerdings liegt die Dauer der Erzeugung dieser Bilder mit reinem Software- Rendering im Sekundenbereich, so dass sie im Rahmen der Visualisierung einer virtuellen Welt nicht interaktiv erzeugt werden können. Es lassen sich nur im voraus berechnete Bilder innerhalb der virtuellen Welt anzeigen. Für eine interaktive Visualisierung von großen Volumendatenmengen ist die Verwendung von speziellen Grafikkarten, wie z.b. die VolumePro 1000, oder neue Fähigkeiten der GPU, wie z.b Pixelshader und Vertexshader, notwendig. Zum Thema Bildqualität, welches in Claim 6 bereits angesprochen wurde, findet in Abbildung 5.10 ein Vergleich der Visualisierung mit einer VolumePro-Grafikkarte und 3D Texture Mapping statt. Wie in Abbildung 5.10(a) zu sehen, ist Ray Casting in der Lage feinere Strukturen abzubilden. Dem gegenüber treten bei der Visualisierung mit Hilfe von 3D Texturen Artefakte auf (siehe Abbildung 5.10(b)) D-Texturen für Interaktivität Eine Möglichkeit der hardwarebeschleunigten Volumenvisualisierung besteht in der Verwendung von 3D-Features allgemeiner PC-Grafikkarten, wie z.b. Transform & Lighting, Vertex- und Pixelshader. Ein Feature aktueller PC-Grafikkarten

135 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 119 (a) (b) Abbildung 5.10: Visualisierung des Kniebereichs der Visible Human female [Visible Human Project] mit a) VolumePro 1000 Grafikkarte und b) 3D Texture Mapping sind die sogenannten 3D-Texturen, in denen die mit einer Transferfunktion klassifizierten Schichtdaten direkt abgelegt werden. Danach können planare Polygone, die innerhalb des eigentlichen Volumendatensatzes liegen, dreidimensionale Texturkoordinaten erhalten und hardwarebeschleunigt mit Transparenzangaben übereinandergeblendet werden. Das Ergebnis ähnelt je nach eingestellter Blending-Funktion einem der beim Ray Casting verwendeten Projektionskerne. In Bezug auf Scenario 5, bei dem es um Volumenvisualisierung und die Verwendung von Transferfunktionen geht, werden im PREPaRe-System 3D-Texturen eingesetzt. Vorausgesetzt, dass die medizinischen Bilddaten des Patienten lokal vorliegen, können unterschiedliche Aspekte sichtbar gemacht werden. In Abbildung 5.11(a) sind die extrahierten Knochen aus dem Kniebereich als Oberflächenmodell visualisiert. Zusätzlich wird eine Schicht aus den Bilddaten unterhalb des Modells eingeblendet und eine Projektion durch die Schichtdaten an eine Wand des umhüllenden Quaders geworfen. Unter Verwendung von 3D-Texturen wird in Abbildung 5.11(b) die Hautoberfläche durch Vorgabe einer Transferfunktion dargestellt. Die Veränderung der Transferfunktion erzeugt eine Visualisierung der Knochen innerhalb der Volumendaten, wie in Abbildung 5.11(c) zu sehen. Eine dritte Transferfunktion zeigt ansatzweise das Gewebe, welches um die Knochen herumliegt. Ein Vorteil, den Volumentexturen bieten, besteht in der leichten Integration von anderen polygonalen Objekten. In Abbildung 5.12 wird ein künstliches Kniegelenk zusammen mit den Volumentexturen eines Knies visualisiert, um die Position der Prothese anschaulich darzustellen. In einer Weiterführung des Integrationsgedanken, wird eine umschliessende virtuelle Welt geschaffen, in der die Volumentexturen zum räumlich besseren Verständnis eingebettet werden. Exemplarisch ist dies in Abbildung 5.13 zu sehen, in der ein Kopf-Datensatz mit Hilfe von Volumentexturen auf einem OP-Tisch in einem virtuellen Krankenhaus dargestellt wird.

136 120 KAPITEL 5. SPEZIFIKATION UND ENTWURF (a) (b) (c) (d) Abbildung 5.11: Visualisierung des Kniebereichs der Visible Human female [Visible Human Project] mit a) Surface-Rendering und b) - d) 3D-Texture-Mapping

137 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 121 Abbildung 5.12: Hybrid-Rendering der Schichtdaten des Kniebereichs der Visible Human female [Visible Human Project] mit einem Polygonmodells eines künstlichen Kniegelenks. Abbildung 5.13: Hybrid Rendering eines CT-Kopf-Datensatzes mit Volumentexturen in einem virtuellen OP.

138 122 KAPITEL 5. SPEZIFIKATION UND ENTWURF Interaktion im virtuellen Krankenhaus Für die Interaktion im virtuellen Krankenhaus werden drei verschiedene Benutzerschnittstellen unterschieden. Zuerst wird ein herkömmlicher, zweidimensionaler Zugang in einem Internet-Browser beschrieben. Als nächstes wird ein dreidimensionaler model viewer zur Betrachtung und Interaktion mit extrahierten Oberflächenmodellen vorgestellt. Abschließend erfolgt die Präsentation eines virtual environment als Benutzerschnittstelle für das virtuelle Krankenhaus D-Benutzerschnittstelle Zur Anzeige multimedialer Daten eignen sich üblicherweise zweidimensionale Benutzerschnittstellen. Wenn es sich bei den digitalen Daten um Inhalte einer elektronischen Patientenakte handelt, sind sie in den meisten Fällen nicht lokal verfügbar, sondern müssen über Netzwerke zur Verfügung gestellt werden. Mit der Verbreitung des Web und dem einfachen Zugang zu diesem, liegt die Verwendung eines Internet-Portals auf der Hand. Durch diese Herangehensweise wird die positive Konsequenz aus Claim 2 genutzt, um auch den Patienten einen Zugriff auf ihre elektronische Patientenakte zu gewähren. Abbildung 5.14: GUI des Java-Applet mit 3D-Modellbetrachter. Bei der Anmeldung in einem medizinischen Portal über das WWW (Scenario 1) muss, da es sich um personenbezogene Daten handelt, eine Benutzerauthentifizierung stattfinden und die übertragenen Daten verschlüsselt werden. Damit

139 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 123 wird die Konsequenz aus Claim 4, Authentisierung und Verschlüsselung, berücksichtigt. Dies geschieht entweder durch die Angabe einer Benutzerkennung und eines gültigen Passworts oder durch die Verwendung einer Chip- bzw. Magnetstreifenkarte, die Mechanismen zur Authentifizierung bereitstellen. Nach dem erfolgreichen Zugang zum Portal zeigt die zweidimensionale Benutzerschnittstelle die aufbereiteten Inhalte der elektronischen Patientenakte als eine Kombination von Text, Bild, Tabelle und Grafik an. Im voraus berechnete Bilder des hybriden Ray Caster können zusätzlich präsentiert werden. Die Interaktion mit der zweidimensionalen GUI geschieht mit zweidimensionalen Menüs und Dialogboxen (Abbildung linke Hälfte) D-Modellbetrachter Durch die Erweiterung der 2D Benutzerschnittstelle um einen Modellbetrachter für dreidimensionale Objekte, ist es dem Benutzer möglich, das Modell interaktiv von allen Seiten zu inspizieren [Köchy et al., 1998] [Köchy et al., 2002a] (Abbildung rechte Hälfte). Die Berechnung der neuen Ansicht erfolgt in Echtzeit, wenn es sich um die Darstellung von Oberflächenrepräsentationen handelt. In Scenario 3 wurde die Interaktion mit den persönlichen Daten vorgestellt. Durch die Einblendung von erklärenden Texten, werden die extrahierten Oberflächenmodelle dem medizinisch nicht ausgebildeten Betrachter kenntlich gemacht (Abbildung 5.8(b)). Abbildung 5.15: Aus dem CT-Schichtdatensatz der Visible Human female [Visible Human Project] extrahierte Oberflächen (Knie und Haut). Weiterführende Informationen können gemäß Scenario 4 nach Selektion eines Objektes zur Anzeige gebracht werden. Neben der Rotation, Translation und Skalierung des aktuellen Objekts, sind z.b. die Anpassung des Transparenzwertes des ausgewählten Objektes möglich. Das Umschalten zwischen verschiedenen Objekten der Szene geschieht per Mausklick. Dadurch wird der Fokus für weitere

140 124 KAPITEL 5. SPEZIFIKATION UND ENTWURF Interaktionen festgelegt. Außerdem ergab sich durch die Befragung der Patienten, dass die Auswahlmöglichkeit der Hintergrundfarbe gewünscht wird. Ein schwarzer Hintergrund, wie er für die Diagnose durch einen Arzt sinnvoll erscheint, wirkt auf einen Patienten unter Umständen abschreckend. Darüber hinaus kann durch die Veränderung des Hintergrundes der Kontrast verstärkt werden, so dass die betrachteten Objekte besser zu erkennen und die erklärende Beschriftung einfacher zu lesen ist. Neben der Visualisierung der extrahierten 3D-Modelle können auch Objekte, die nur zur Interaktion dienen, dreidimensional dargestellt werden (Abbildung 5.15). Einfache Knöpfe zum Start einer Animation oder Schieberegler (slider) zur Einstellung von skalaren Werten sind Bestandteil der 3D Szene. Zur Erläuterung der Interaktionsmöglichkeiten werden Texte in der Szene eingeblendet oder aussagekräftige Piktogrammme verwendet. Um den Benutzer über seine Möglichkeiten zu informieren, ist die Veränderung des Aussehens des Cursors ein adäquates Mittel Virtuelle Welt Eine virtuelle Welt (virtual environment) gestattet es dem Besucher des Krankenhauses, sich in einer virtuellen Umgebung zu bewegen und dort ausgewählte Teile seiner elektronischen Patientenakte als 3D-Modell zu betrachten [Köchy et al., 2002b]. Die Interaktion findet direkt in der virtuellen Welt durch Selektion der visualisierten Gegenstände statt. Im Unterschied zum Modellbetrachter wird um den Betrachter herum eine virtuelle Kulisse aufgebaut. Das betrachtete Objekt befindet sich nicht frei schwebend im Raum, sondern wird in seine Umwelt eingebettet. Beispielsweise kann der Besucher des virtuellen Krankenhauses sich den nachgebildeten Röntgenraum anschauen, in dem die medizinischen Bilddaten aufgenommen wurden (siehe Abbildung 5.16). Fusion der extrahierten 3D-Modelle in VR Ein weiterer Vorteil der virtuellen Welt liegt in der Immersion. Bei der Betrachtung kommt es zu einem Wiedererkennungseffekt und das Vertrauen in die präsentierte Welt wächst an. Der Besucher fühlt sich in die Welt hineingezogen und die Grenze zwischen Realität und Virtualität scheint zu schwinden. Nach einer erfolgreichen Registrierung der aus den Volumendaten extrahierten Oberflächenmodelle, können diese mit einem generischen Körper fusioniert werden (siehe Abbildung 5.17). Der räumliche Zusammenhang ermöglicht es dem Betrachter die gezeigte Repräsentation zu erkennen und richtig einzuordnen. Navigation in VR In Claim 5 wurde bereits festgehalten, dass eine dreidimensionale, virtuelle Welt als Benutzerschnittstelle einen immersiven, mehrdimensionalen und ganzheitlichen Blick auf die medizinischen Bilddaten der elektronischen Patientenakte ermöglichen. Als Konsequenz daraus ist bei der Realisierung allerdings darauf zu achten, dass die Navigationsmöglichkeiten leicht zu erlernen sind, damit das System von den Benutzern akzeptiert wird. Bei der Navigation in der virtuellen Welt ist weiterhin die Abbildung der üblicherweise zweidimensionalen Eingabegeräte auf die dreidimensionalen Fortbewegungsmöglichkeiten zu analysieren. Dabei ist

141 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 125 Abbildung 5.16: Röntgenraum im virtuellen Krankenhaus. der Gefahr des Verlustes der Orientierung entgegenzuwirken und eine Rückführung in eine vom Benutzer kontrollierbare Ausgangsposition als Interaktionsmöglichkeit zur Verfügung zu stellen. Zusätzliche Wegweiser in der virtuellen Welt sind der Realität nachempfunden und unterstützen die Navigation. Selektion in VR Um sich in der virtuellen Umgebung besser zurechtzufinden, werden dem Benutzer kontextsensitve Menüs angezeigt (siehe Abbildung 5.18). Die Auswahlmöglichkeiten sind immer der Situation angepasst. Dabei ist das 3D-Menü transparent und verschwindet nachdem die Auswahl getätigt worden ist. Dem realen Umgang bei der Auswahl von Objekten nachempfunden, steht dem Besucher eine virtuelle Hand zur Verfügung. Dieser dreidimensionale Cursor dient zum Zeigen und Auswählen. In Abhängigkeit vom Eingabegerät ist ein Wechsel zwischen den Interaktionsmodi Navigation, Selektion und Manipulation notwendig. Dabei ist die visuelle Rückmeldung der jeweiligen Interaktion an den Benutzer sehr wichtig. Durch Veränderung des Aussehens der virtuellen Hand können unterschiedliche Interaktionsmöglichkeiten, wie in Abschnitt 3.7 beschrieben, dem Benutzer kenntlich gemacht werden. Simulation einer Therapie Durch die Integration von virtuellen Akteuren (siehe Abbildung 5.19), welche sich animiert in der virtuellen Umgebung bewegen, gewinnt die Szene an Realismus und ermöglicht die Simulation von therapeutischen und operativen Be-

142 126 KAPITEL 5. SPEZIFIKATION UND ENTWURF (a) (b) Abbildung 5.17: Fusion von extrahiertem Oberflächenmodell mit einem generischen Körper. handlungen. In Scenario 6 wird bereits auf die Informationsvermittlung bei der Patientenaufklärung durch Erläuterungen zu möglichen Therapien hingewiesen. Darüber hinaus eröffnet die Simulation und dreidimensionale Visualisierung eine Vergleichsmöglichkeit für Chirurgen untereinander. Bestehende Methoden zur Analyse und Modellierung von chirurgischen Verfahren richten sich auf die Entwicklung von geeigneten Ontologien und Notationen für Arbeitsabläufe (workflows). Arbeiten zum Thema chirurgische Ontologien wurden in einer Reihe von Projekten unternommen [Mori et al., 1997] [Moigno et al., 2002] [CEN 1828]. Eine chirurgische Ontologie kann als formale Terminologie für eine Hierarchie von Konzepten und deren Beziehungen im speziellen klinischen Umfeld chirurgischer Prozeduren und Aktionen definiert werden [Lemke et al., 2004]. Viel Forschungsund Entwicklungsarbeit ist in das komplexe Gebiet der Chirurgie geflossen, welche sich durch eine ausgedehnte Wissensbasis und eine Vielzahl von Aktivitäten auszeichnet. Diese resultierten in informationstechnischen Definitionen für die Chirurgie, z.b. für die Terminologie (siehe CEN ENV1828), und in Notationen für Arbeitsabläufe (z.b. UML, Workflow Management Coalition) [Jannin et al., 2003] [Lawrence, 1997] [Bakaoui et al., 2002]. Durch die formale Beschreibung chirurgischer Arbeitsabläufe erhält man einen koordinierten Satz chirurgischer Aktivitäten, welche in einer spezifischen Reihenfolge miteinander verbunden sind. Mit Hilfe geeigneter 3D-Modellierung, - Visualisierung und Interaktionsmöglichkeiten können chirurgische Arbeitsabläufe in simulierten, virtuellen OP-Umgebungen präsentiert werden, um Einblicke in ausgewählte Abschnitte chirurgischer Eingriffe zu erhalten. Dem Besucher der virtuellen Welt wird ein Blick über die Schulter des Chirurgen gewährt.

143 5.2. SYSTEMKOMPONENTEN DER VISUALISIERUNG 127 Abbildung 5.18: Ein 3D Auswahlmenü in einem virtuellen OP. Abbildung 5.19: Animierte Chirurgen in einem virtuellen OP.

144 128 KAPITEL 5. SPEZIFIKATION UND ENTWURF

145 129 Kapitel 6 Implementation Eine Implementierung soll in der Regel plattformunabhängig sein. Darum stützt sich der Entwurf auf Datenmodelle und Konzepte, die von verschiedenen Applikationen auf unterschiedlichen Plattformen verarbeitet werden können. Eine allgemeine Implementierung des Systems erfolgt in Java (Abschnitt 6.1), um die Lauffähigkeit in beliebigen Systemumgebungen zu demonstrieren. Java ist eine Programmiersprache, die von der Firma SUN für die Entwicklung von Software für das Internet entwickelt worden ist. Das Java SDK umfasst eine große Bibliothek für die Programmierung von objektorientierten, verteilten, architekturunabhängigen Systemen. Von den im Entwurf beschriebenen Methoden zur hybriden Visualisierung wurden zwei implementiert, ein optimierter Hybrid Ray Caster (Abschnitt 6.2) und ein Renderer, der 3D-Texturen verwendet (Abschnitt 6.3). Implementationsspezifische Details von 3D Texturen werden in Anhang C erläutert. 6.1 Virtuelles Krankenhaus mit Java3D Um Oberflächenrepräsentationen plattformunabhängig mit hohen Bildwiederholraten in Java anzuzeigen, empfiehlt sich die Verwendung einer Erweiterung von Java, die den Namen Java3D trägt. In einer Diplomarbeit an der TU-Berlin wurde die Netzwerkübertragung und Verarbeitung von VRML97-Modellen zur dreidimensionalen Visualisierung mittels Java3D implementiert [Kirschbaum, 2002]. Zur Realisierung der sicheren Kommunikation wurde das XML-RPC-Paket [XML-RPC] des Apache-Webserver-Projekts [APACHE] für Java-Applets erweitert. Für die verteilte Architektur wurden drei Server und ein Client-Applet entwickelt (siehe Abbildung 6.1). Ein Session-Server verwaltet die eingeloggten Clients, und ein Media-Server stellt nach erfolgreicher Authentifizierung die gewünschten Daten zur Verfügung. Da das Applet auf zwei verschiedene Server zugreifen soll, wurde ein Relay-Server zwischen die beiden Server und den Client geschaltet. Dieser leitet die Anfragen des Client an den jeweiligen Server weiter und liefert die Antworten der Server zurück. Das Client-Applet verwendet Java Swing und Xj3D [XJ3D] für den dreidimensionalen Modellbetrachter (Abbildung 6.2). Xj3D transformiert VRML97- und

146 130 KAPITEL 6. IMPLEMENTATION Session Server Client Relay Server Media Server Abbildung 6.1: Client-Server-Architektur für das Java-Applet (aus [Kirschbaum, 2002]). X3D-Dateien in einen Java3D-Szenengraphen und zeigt diesen hardwareunterstützt in einem Java-Applet an. Abbildung 6.2: GUI des Virtuellen Krankenhauses (aus [Kirschbaum, 2002]). 6.2 Optimierter Hybrid Ray Caster Software-Rendering hat zwar den Nachteil, dass es in manchen Fällen bei der Visualisierung von Polygonen und Volumen nicht performant genug ist, aber dafür ist es auch nicht abhängig von spezieller Grafikhardware. Eine Systemlösung, die

147 6.3. GLVIEW-RENDERER FÜR VIRTUELLE UMGEBUNGEN 131 den gesamten Rendering-Prozess in Software durchführt, ist flexibel einsetzbar und erfordert nicht die Anschaffung von zusätzlichen Hardwarekomponenten. Abbildung 6.3: GUI des optimierten Hybrid Ray Caster (aus [Schiele, 2002]). Eine auf Darstellungsqualität und reine Verwendung von Softwarealgorithmen ausgelegte Implementierung fand in einer Diplomarbeit an der TU-Berlin statt [Schiele, 2002]. Der von Levoy in [Levoy, 1990b] beschriebene Hybrid Ray Caster wurde um zwei Verfahren zur Laufzeitoptimierung aus [Levoy, 1990a] erweitert. In C++ für die Windows-Oberfläche implementiert, erzeugt der Hybrid Ray Caster seine Ergebnisse ohne spezielle Unterstützung einer 3D-Grafikkarte zu nutzen. In Abbildung 6.3 ist die GUI des Programms zu sehen. In der linken Dialogbox wird die Klassifikation des Volumens vorgenommen und in der rechten Dialogbox können die Eigenschaften des Volumens eingestellt werden. Um Teile des Volumens wegzuschneiden, können sechs Schnittebenen mit Hilfe von Schiebereglern spezifiziert werden. 6.3 GLVIEW-Renderer für virtuelle Umgebungen Eine auf Performanz ausgerichtete Implementierung fand in C++, unter Verwendung von OpenGL und hardwareunterstützten 3D-Texturen, statt. Der Renderer, GLVIEW genannt, ist ein VRML97-Browser für das Windows-Betriebssystem, der im Rahmen einer Diplomarbeit an der TU-Berlin um die Fähigkeit zur Anzeige von Volumendaten erweitert worden ist [Schiewe, 2002]. Der Quellcode von GLVIEW ist in der Version 4.3 als Open Source der Community, die sich mit der

148 132 KAPITEL 6. IMPLEMENTATION Entwicklung des X3D-Standards beschäftigt, zur Verfügung gestellt worden. Außerdem wird der GLVIEW-Renderer für die Bildgenerierung in einer PC-CAVE [Isakovic et al., 2002] verwendet, so dass das hybride Rendering auch in einer immersiven, virtuellen Umgebung mit Stereoprojektion stattfinden kann. Abbildung 6.4: GUI des GLVIEW-Renderer. In Abbildung 6.4 ist die GUI des Programms dargestellt. Über die Buttons im Menü können verschiedene Visualisierungstechniken und Navigationsmöglichkeiten eingestellt werden. Die Dialogbox für den VRML Tree Editor ermöglicht den Zugriff auf jeden Knoten des Szenegraphen und die interaktive Manipulation der Attribute eines Knoten.

149 133 Kapitel 7 Ergebnisse der Renderer In diesem Kapitel werden die Ergebnisse der drei implementierten Programme vorgestellt und miteinander verglichen. Eine Evaluierung nach QFD an Hand der aufgestellten technischen Paramter und ihrer Kriterien, welche im Anhang B.2 zu finden sind, wird in Kapitel 8 durchgeführt. 7.1 Virtuelles Krankenhaus mit Java3D Beim Prototyp des virtuellen Krankenhauses im Java-Applet werden bisher nur Oberflächenrepräsentationen mit Java3D dargestellt. Die Verwendung von 3D- Texturen in Java3D zur Visualisierung von Volumendaten ist noch nicht implementiert worden. Durch die Angabe von Tranzparenzwerten für äußere Objekte, ist es möglich innen liegende Objekte sichtbar zu machen. In Abbildung 7.1 sind zwei extrahierte Oberflächenrepräsentationen aus einem Volumendatensatz zu sehen, wobei der Äußere (die Haut) einen Transparenzwert erhalten hat, so daß man den Inneren (die Knochen) erkennen kann. Nachdem die komprimierte und verschlüsselte VRML97-Datei übertragen wurde, benötigt die Entschlüsselung, Dekomprimierung und Transformation in einen Java3D-Szenengraphen bei grossen Modellen (ca. 200K Polygone) bis zu 3 Minuten. Dieser Vorgang muß allerdings nur für jedes neue Objekt einmalig stattfinden. Danach erfolgt das Polygon-Rendering in Java3D hardwarebeschleunigt, so daß interaktive Darstellungsgeschwindigkeit erreicht werden. Hardware Datensatz Bildauflösung Aufbau des Java3D-Szenengraphen Renderingzeit AMD XP; 256 MB RAM ca Polygone 320x240 bis zu 3 Minuten > 25 fps Tabelle 7.1: Benchmark für den Java3D-Renderer

150 134 KAPITEL 7. ERGEBNISSE DER RENDERER Abbildung 7.1: Ergebnis des Java3D-Renderer

151 7.2. OPTIMIERTER HYBRID RAY CASTER Optimierter Hybrid Ray Caster Das Visualisierungspotenzial des Hybrid Ray Caster besteht in der realistischen und präzisen Wiedergabe hybrider 3D-Szenen. Die Einbettung polygonaler Objekte in Volumina verbessert das Vrständnis und die Interpretierbarkeit volumetrischer Darstellungen. Abbildung 7.2: Vergleich einer hybriden Volumendarstellung eines MRT- Kopfdatensatzes (rechts) mit einem einzelnen Schichtbild (links) desselben Datensatzes. In die Falschfarbendarstellung des Volumens wurde ein Volume-Of-Interest (rot) und ein Markierungselement (grün) eingebettet. Die Qualität der generierten Bilder wird den Ansprüchen, die an die medizinische Visualisierung gestellt werden, gerecht. Dennoch ist festzuhalten, dass die Volumenvisualisierung das Grauwertbild in bezug auf Kontrast und Detailgenauigkeit (noch) nicht zu ersetzen vermag. Dies liegt in erster Linie darin begründet, dass beim Volumen-Rendering die Farbe eines Pixel anhand eines approximativen Gradienten berechnet wird und nicht wie im Grauwertbild, den Abtastwert direkt wiedergibt. Aber auch die Neuabtastung des Volumens un die Verzerrung bei perspektivischer Projektion tragen zu einem gewissen Präzisionsverlust bei. Zum Nachteil des Benutzers dauert die Berechnung zu lange, um noch als interaktiv bezeichnet zu werden. Um eine passende Transferfunktion für einen neuen Datensatz zu finden, ist bei dieser Software viel Geduld auf Seiten des Anwenders erforderlich. Weitere Optimierungen des Programmcodes bis hinab auf die Assembler-Ebene, die Verwendung von MMX-Befehlen der CPU oder die Ausnutzung von GPU-Instruktionen ([Westermann und Ertl, 1998] [Purcell et al., 2002] [Krüger und Westermann, 2003b]) könnten die Ausführungsgeschwindigkeit noch einmal beschleunigen. Abbildung 7.3 zeigt eine Visualisierung eines MRT-Kopfdatensatzes mit eingebetteten polygonalen Orientierungsflächen. Der Volumendatensatz besteht aus 256x256x109 Voxeln, der Polygondatensatz aus 6 semitransparenten Dreiecken. Man beachte das Fehlen jeglicher Aliasing-Artefakte. Die erkennbaren leichten Abstufungen im oberen Kopfbereich entstehen aufgrund zu geringer Voxelauflösung des Datensatzes.

152 136 KAPITEL 7. ERGEBNISSE DER RENDERER Abbildung 7.3: Ergebnis des optimierten Hybrid Ray Caster Hardware Datensatz Bildauflösung Klassifikation Octree-Generierung Beleuchtung Ray-Casting (Volumen) Ray-Casting (Polygone) Gesamte Renderingzeit Pentium III 600 MHz; 128 MB RAM 256x256x109; ca. 7 Mio Voxel 320x240 2 s 7,1 s 6,5 s 3,5 s 0,8 s 19,9 s Tabelle 7.2: Benchmark für den Hybrid Ray Caster Die Tabelle zu Abbildung 7.3 zeigt, daß bei vorberechneter Klassifikation, Oktonärbaumstruktur und Beleuchtung der Zeitbedarf des Ray Casting (ohne Selective Supersampling) im Bereich weniger Sekunden liegt. Die Geschwindigkeit der Bildgenerierung hängt primär von der Anzahl derjenigen Strahlen ab, die tatsächlich auf Objekte der Szene treffen. Da diese Anzahl bei der Verwendung des Selective Supersampling naturgemäß steigt, erhöht sich dementsprechend auch die benötigte Rechenzeit relativ drastisch.

153 7.3. GLVIEW-RENDERER GLVIEW-Renderer Die Darstellungsgeschwindigkeit des GLVIEW-Renderer liegt im interaktiven Bereich. Unter dem Gesichtspunkt Bildqualität sind die Ergebnisse subjektiv betrachtet allerdings nur mittelmässig. Dieser Nachteil könnte durch eine Verbesserung und Verfeinerung des Rendering-Prozesses ausgeglichen werden. Trotz einiger Abstriche bei der Qualität, liefert die Interaktivität einen Informationsgewinn bei der Betrachtung der dreidimensionalen Modelle, da man schnell und einfach um die ausgewählten Objekte herum navigieren kann. Abbildung 7.4: Ergebnis des GLVIEW-Renderer (MIP-Blending) Hardware Grafikkarte Datensatz (Volumen) Datensatz (Oberflächen) Bildauflösung Darstellungsgeschwindigkeit Athlon XP 1600+; 256 MB RAM GeForce 3 Ti200 mit 64 MB 256x256x84; ca. 5,5 Mio Voxel Polygone 320x200 21,1 fps Tabelle 7.3: Benchmark für den GLVIEW-Renderer beim MIP-Blending In den Tabellen 7.3 und 7.4 wird die Performanz des GLVIEW-Renderer beim OVER-Blending und beim MIP-Blending miteinander verglichen.

154 138 KAPITEL 7. ERGEBNISSE DER RENDERER Abbildung 7.5: Ergebnis des GLVIEW-Renderer (OVER-Blending) Hardware Grafikkarte Datensatz Bildauflösung Darstellungsgeschwindigkeit Athlon XP 1600+; 256 MB RAM GeForce 3 Ti200 mit 64 MB 512x512x59 ca. 15 Mio Voxel 320x200 17,0 fps Tabelle 7.4: Benchmark für den GLVIEW-Renderer beim OVER-Blending

155 139 Kapitel 8 Evaluierung des Subsystems zur Visualisierung Mehrere nationale (z.b. [DIN ] [DIN ] [DIN ]) und internationale (z.b. [ISO 9241]) Standards geben Richtlinien für das Design von Benutzerschnittstellen vor. Microsofts Windows Richtlinien für Interface Design wurden im Laufe der Jahre überarbeitet und bieten einen guten Ausgangspunkt für Programmierer [MS Windows Interface Guidelines]. Allerdings stellen Mosier und Smith in einer Untersuchung zur Akzeptanz von Design-Richtlinien fest, dass die Richtlinien zu allgemeingültig sind, um angewendet zu werden [Mosier und Smith, 1986]. Die Entwicklung von Richtlinien zur vollständig objektiven Quantifizierung von Mensch-Mschine-Schnittstellen, die eine softwareergonomische Güte eines Produkts feststellen ließe, stellt wenn unabhängig von der konkreten Interaktion eines Benutzers bewertet werden soll ein bisher ungelöstes Problem dar [Rauterberg, 1995]. Dies führt zu den fünf messbaren, menschlichen Faktoren von Shneiderman [Shneiderman, 1998], welche für eine Evaluation von zentraler Bedeutung sind : Einarbeitungszeit, Ausführungsgeschwindigkeit, Fehlerrate bei der Benutzung, Merkfähigkeit der Bedienung über die Zeit und Subjektive Zufriedenheit (siehe Abschnitt 5.1.1). Ein weiteres Problem, welches beim Entwurf von interaktiven Systemen auftritt, besteht darin, dass der Benutzer noch keine klare Vorstellung vom Aussehen des fertigen Produkts besitzt. Da interaktive Systeme in mehrerer Hinsicht neuartig sind, fällt die Abschätzung der Folgen für eine Designentscheidung nicht leicht. Bedauerlicherweise sind große Änderungen nach einer Implementierung des Systems kosten- und zeitaufwendig. Deshalb haben sich Software-Tools für die Gestaltung von Benutzerschnittstellen etabliert, die eine Erstellung von Prototypen erlauben. Dabei ist zu berücksichtigen, dass diese Prototypen in ihrer Funktionalität eingeschränkt sind und nur zur Veranschaulichung des fertigen Produkts dienen. Ben Shneiderman definiert die drei Säulen für eine erfolgreiche Entwicklung von Benutzerschnittstellen in [Shneiderman, 1998] wie folgt : Richtlinien für Dokumente und Prozesse Software-Tools für Benutzerschnittstellen Begutachtung durch Experten und Benutzertests

156 140 KAPITEL 8. EVALUIERUNG DES SUBSYSTEMS ZUR VISUALISIERUNG Als dritte Säule für die erfolgreiche Entwicklung von Benutzerschnittstellen führt Shneiderman die Begutachtung durch Experten und die Durchführung von Benutzertests an [Shneiderman, 1998]. Bei der Begutachtung durch einen Experten sollte nach Möglichkeit auch eine Benutzung des Prototypen unter den gleichen Bedingungen wie bei einem Benutzertest erfolgen. Um die Evaluierung des PREPaRe-Systems zu unterstützen, wurde ein Kriterienkatalog für die Erfüllung jedes technischen Parameters bei der Realisierung aufgestellt (siehe Anhang B.2). In einer Ausrichtung auf die Bedürfnisse des Benutzers ist die Enstehung von Versuchslaboren für Benutzertests (usability testing and laboratories) bei großen Softwareentwicklungsfirmen zu deuten. Für die Durchführung von Benutzertests spricht auch die in Studien nachgewiesene Beschleunigung von Projekten und die Kosteneinsparungen [Shneiderman, 1998]. Bei der durchgeführten Befragung antworteten die potenziellen Benutzer, auf die Frage (siehe Anhang A), ob die Existenz des PREPaRe-Systems begrüßt würde und es vorstellbar wäre dieses zu benutzen, um die persönlichen Untersuchungsergebnisse einzusehen, zum größten Teil positiv : Ja 46 Nein 4 Weiß nicht 7 Die drei erstellten Prototypen zum Visualisierungssubsystem des PREPaRe- Systems werden in diesem Kapitel einer Evaluierung unterzogen. Dazu wurden aus den Benutzeranforderungen (siehe Abschnitt 5.1.1) technische Parameter (siehe Abschnitt 5.1.4), die bei der Realisierung eines Systems eine Rolle spielen, abgeleitet. 8.1 Evaluierung mit Hilfe der Technischen Parameter Korrektheit und Robustheit eines Systems werden durch ausgiebige Tests untersucht. Die erstellten Programme wurden nur von wenigen Benutzern getestet. Dies schränkt eine verbindliche Aussage über das korrekte Verhalten in allen Situationen ein. Aufgetretene Mängel wurden in der Implementationsphase und bei der späteren Benutzung behoben. Ein Aspekt, der für die weitere Benutzung und Entwicklung des vorgestellten Systems von Bedeutung ist, stellt die Evaluierung der Bildqualität dar. In einer Veröffentlichung von Pommert und Höhne [Pommert und Höhne, 2002] wird ein Überblick über den aktuellen Stand der Forschung auf dem Gebiet der Evaluierung der Bildqualität bei der Visualisierung medizinischer Volumendaten gegeben. Dabei unterscheiden die Autoren in intelligibility (diagnostische Bildqualität) und fidelity (technische Bildqualität). Hinter der diagnostischen Bildqualität steckt der Informationsgehalt, den das Bild zu einem Betrachter kommunizieren kann. Im Gegensatz dazu beschreibt die technische Bildqualität die Abweichung zu einer idealen Aufnahme (auch ground truth genannt) der Szene.

157 8.1. EVALUIERUNG MIT HILFE DER TECHNISCHEN PARAMETER 141 Für das Qualitätskriterium Bildqualität kommt beim GLVIEW-Renderer nur der Punkt intelligibility (diagnostische Bildqualität) in Betracht. Sie reicht zwar nicht für die Diagnose eines Arztes aus, liefert aber für einen Patienten einen Informationsgewinn. Im zweiten Punkt, fidelity (technische Bildqualität), liegen die Ergebnisse des GLVIEW-Renderer noch zu weit von der idealen Aufnahme der Szene entfernt. Sowohl der optimierte Hybrid Ray Caster, als auch Software-Systeme, die eine VolumePro-Grafikkarte verwenden, erreichen eine diagnostische Bildqualität und kommen auch der idealen Aufnahme der Szene nah. In der folgenden Tabelle werden die drei erstellten Prototypen an Hand des Kriterienkatalogs (siehe Anhang B.2) im einzelnen evaluiert. Indem für jeden Parameter des Kriterienkatalogs eine Kategorisierung in 4 Gruppen vorgegeben wird, erhält man eine nachvollziehbare Bewertungsgrundlage. Entsprechend der Erklärung für die jeweilige Kategorie, kann entschieden werden, wie gut der technische Parameter erfüllt worden ist. Im Vergleich mit anderen zu evaluierenden Systemen werden auf diese Weise die Vorzüge und Nachteile des betrachteten Systems aufgezeigt. Technischer Parameter GLVIEW Hybrid Ray Caster VKH-Java3D A.1 Grafische Bedienoberfläche A.2 Benutzerschnittstelle dynamisch anpassbar A.3 Bezeichnungen der Bedienelemente in Landessprache A.4 Verwendung von aussagekräftigen Ikonen A.5 Einfache Bedienoberfläche A.6 Toleranz gegenüber falschen Benutzereingaben A.7 Online-Hilfe über Tooltips A.8 Hilfe über Dokumentation A.9 Hilfe über Hilfe-Assistenten A.10 3D Volumen-Rendering-Funktionen A.11 Polygon-Rendering-Funktionen A.12 Virtuelle Lupe A.13 Virtuelles Röntgenglas, Alphakanal A.14 Integration in virtueller 3D-Welt A.15 Freie Navigation in der 3D-Welt A.16 Möglichkeit zur Manipulation der Welt A.17 Mehrdimensionaler History-Buffer A.18 Systemzustand speicherbar B.1 Verwendung von Textinhalten B.2 Verwendung von Bildinhalten B.3 Verwendung von Videoinhalten B.4 Verwendung von Audioinhalten B.5 Verwendung von echten 3d-Modellen B.6 Technische Bildqualität B.7 Diagnostische Bildqualität B.8 Alle Bildformate darstellbar B.9 Nutzung von Diagnosecodes B.10 Nutzung von Annotationen B.11 Maßstabsgerechte Skalierung B.12 Didaktische Aufbereitung der Informationen 0 0 0

158 142 KAPITEL 8. EVALUIERUNG DES SUBSYSTEMS ZUR VISUALISIERUNG Tabelle 8.1: Evaluierung der drei implementierten Systeme Technischer Parameter GLVIEW Hybrid Ray Caster VKH-Java3D B.13 Verknüpfungen zu Erklärungen B.14 Verknüpfungen zu gleichartigen Informationen B.15 Automatische Vorverarbeitung der med. Daten B.16 Realisierung als WWW-Portal C.1 Eindeutige, duchgängige Benutzeridentifikation C.2 Persistente Benutzerkonfiguration C.3 Korrektur, Zusammenführung nicht konsistenter Daten C.4 Tolerantes Verhalten bei Komponentenausfall C.5 Globaler Szenegraph C.6 Kompakter Szenegraph C.7 Meta-Index zur Verwaltung der Datenquellen C.8 Einheit Bild/Befund durch eindeutige Referenz C.9 Konsistenz Bildinf. v. Erstellung bis Darstellung C.10 Multiuserfähigkeit C.11 Client-Server-Architektur C.12 Softwaredesign nach Stand der Technik D.1 Hohe Bildwiederholrate D.2 Parallele Ausführung zeitkritischer rechenintensiver Aufgaben D.3 Nutzung von Compute-Servern D.4 Pre-Fetching des Szenegraph D.5 Adaptive Nutzung der CPU-Leistung D.6 Adaptive Nutzung des Hauptspeichers (Caching) D.7 Adaptive Nutzung der Grafikhardware D.8 Statische Daten liegen dem Client vor E.1 Anbindung an Krankenhaus Datanbanksystem E.2 Anbindung an WWW-Inhalte E.3 DICOM Offline Transfer: Bilder, Serien, Studien, Befunde E.4 Verschlüsselte Datenübertragung E.5 Sicherung der Integrität durch digitale Signatur E.6 Datenfreigabe manuell steuerbar E.7 Export von Bildern F.1 Geführte/Vollautomatische Installation F.2 Geführte/Vollautomatische Deinstallation F.3 Hardwareunabhängiger Code F.4 Betriebssystemunabhängiger Code 0 0 9

159 8.1. EVALUIERUNG MIT HILFE DER TECHNISCHEN PARAMETER Evaluierung des Virtuellen Krankenhauses mit Java3D Die grafische Bedienoberfläche des Java3D-Applet ist sehr einfach gehalten und verfügt nicht über eine Online-Hilfe oder Tooltips. In der aktuellen Applikation können nur Oberflächenmodelle aus einer Auswahlliste dargestellt werden. Tranzparenzwerte der Objekte müssen in der Vorverarbeitungsphase festgelegt werden und können nicht innerhalb des Applet eingestellt werden. Manipulationen der 3D-Welt werden auf dem Server vorgenommen und nach erneutem Herunterladen auf dem Client zur Anzeige gebracht. Im Java-Applet können Texte und Bilder angezeigt werden und weitere WWW-Informationen über den Web-Browser zugänglich gemacht werden. Die Netzwerkkommunikation des Virtuellen Krankenhauses auf Basis von Java verwendet eine Zugangsauthorisierung beim WWW-Portal und versendet die extrahierten anatomischen Modelle auf einem verschlüsselten Datenkanal. So können patientenspezifische Daten vor dem Zugriff Unbefugter geschützt werden. Für die Verwaltung der 3D-Welt mit den extrahierten Polygonmodellen wird ein Szenengraph eingesetzt. Hohe Bildwiederholraten werden mit Hilfe von Java3D, das auf OpenGL aufsetzt, erreicht. Alle Daten liegen statisch beim Client vor. Die technischen Parameter Hardware- und Plattformunabhängigkeit werden von dem Java-Applet, im Vergleich zu den ausschließlich für die Windows-Plattform implementierten Programmen, am besten erfüllt. Dies erklärt die hohe Bewertung in der Kategorie Systemadministration. Abbildung 8.1: Evaluierungsergebnis des Virtuellen Krankenhauses mit Java3D Evaluierung des Hybrid Ray Caster Die Benutzerschnittstelle des Hybrid Ray Caster stellt eine grafische Bedienoberfläche zur Verfügung, die der Menüstruktur von Microsoft-Windows-Programmen folgt. Durch die Anzeige von Toolstips und Hilfeseiten wird dem Benutzer die Arbeit erleichtert. Ein Hilfe-Assistent steht nicht zur Verfügung. Weiterhin ver-

160 144 KAPITEL 8. EVALUIERUNG DES SUBSYSTEMS ZUR VISUALISIERUNG fügt die Applikation über Volumen- und Polygon-Rendering-Fähigkeiten und die Möglichkeit der Manipulation des Transparenzwertes der Objekte über den Alphakanal. Bei dem Programm handelt es sich um einen Modellbetrachter, der das Abspeichern von geladenen Objekten und erstellten Transferfunktionen gestattet. Zur Datenpräsentation werden Polygonmodelle und echte Volumendaten verwendet, die im Binärformat vorliegen müssen. Die Qualität der generierten Bilder wird den Ansprüchen, die an die medizinische Visualisierung gestellt werden, gerecht. Andere multimediale Daten können nicht verarbeitet werden und es existiert auch keine Verknüpfung zu externen Informationen. Das Software-Design wurde nach dem Stand der Technik durchgeführt und für die Verwaltung der geladenen Objekte findet ein globaler Szenengraph Verwendung. Zur adaptiven Nutzung der CPU wurden Threads programmiert. Als Standalone- Applikation können die qualitativ hochwertigen Ergebnisse des Hybrid Ray Caster als 2D-Bild im persönlichen Repositorium des Benutzers gespeichert werden. Zur Installation müssen sich das Hauptprogramm und die dynamischen Bibliotheken im selben Verzeichnis befinden. An eine Portierung nach Java ist wegen der Ausführungsgeschwindigkeit erst in der Zukunft zu denken. Abbildung 8.2: Evaluierungsergebnis des Hybrid Ray Caster Evaluierung des GLVIEW-Renderer Die Interaktionsmöglichkeiten einer 3D-GUI (GLVIEW-Renderer) gehen über die einer 2D-GUI hinaus, da sämtliche zweidimensionalen Einstellungsmöglichkeiten in 3D nachgebildet werden können. Bei einer 3D-GUI kommen zusätzliche Optionen, z.b. die Navigation, hinzu. Dabei ist zu gewährleisten, dass der Benutzer sich nicht in der virtuellen Welt verliert, sondern durch entsprechende Interaktionsformen geführt wird. Die Applikation verfügt über Online-Hilfe und Tooltips. Unter Verwendung der 3D-Texturen können Polygone und Volumendaten hybrid gerendert werden. Zur Laufzeit können die einzelnen Knoten des globalen Szenegraphen manipuliert werden. Durch die Erweiterung des VRML-Browser, der bereits Text-, Bild-, Video- und Audioinhalte wieder gegeben kann, werden echte Volumendaten in einer 3D-Welt

161 8.2. FAZIT DER EVALUIERUNG 145 dargestellt. Das Software-Design fand nach Stand der Technik statt und die Bildwiederholrate ist interaktiv. Einzelne Standbilder können in verschiedenen Bildformaten gespeichert werden. Unter dem Qualitätskriterium Datenschutz versteht man die Fähigkeit des Softwaresystems, seine verschiedenen Komponenten (Programme, Daten, Dokumente) gegen unberechtigte Zugriffe und Veränderungen zu schützen [Meyer, 1990]. Mit dem GLVIEW-Renderer kann bei einer bestehenden Internetverbindung auf beliebige URL-Adressen zugegriffen werden. Da die Datenübertragung beim GLVIEW-Renderer bisher unverschlüsselt erfolgt, muß die Integrität schlechter bewertet werden, als beim Java-Applet, welches eine verschlüsselte Kommunikation verwendet. Abbildung 8.3: Evaluierungsergebnis des GLVIEW-Renderer 8.2 Fazit der Evaluierung Als Fazit der Evaluierung zeigen die drei Kreisdiagramme (Abbildungen 8.1, 8.2 und 8.3), daß jedes System nur einen Teil der Anforderungen zufriedenstellend erfüllt. Dies ist darauf zurückzuführen, daß die drei in Diplomarbeiten implementierten Programme wegen des Umfangs nur ausgewählte Aspekte des Gesamtsystems prototypisch untersuchen können. Auf dem Prototyp des Virtuellen Krankenhauses mit Java3D läßt sich gut aufbauen, da es sich schon um ein WWW-Portal mit Benutzerverwaltung und Zugriff auf ein persönliches Repositorium handelt. Zur hybriden Volumenvisualisierung muß eine Erweiterung, die 3D-Texturen in Java3D verwendet, implementiert werden. Außerdem ist auf der Seite des WWW-Portals eine Anbindung an Krankenhausinformationssysteme über ein Gateway notwendig, um an die persönlichen, medizinischen Daten des Patienten unter Beachtung der Sicherheitsanforderungen zu gelangen. Von der bestehenden Funktionalität des GLVIEW-Renderer ausgehend, ist eine Erweiterung in Richtung synchronisierter Mehrfachvisualisierung möglich. Diese erlaubt es eine Stereoprojektion, Mehrfachprojektion in einer CAVE oder Mehrbenutzerinteraktion zu realisieren [Isakovic et al., 2002] (siehe Abbildung 8.4).

162 146 KAPITEL 8. EVALUIERUNG DES SUBSYSTEMS ZUR VISUALISIERUNG Abbildung 8.4: Stereoprojektion in einer PC-CAVE. Da die Ergebnisse des optimierten Hybrid Ray Caster subjektiv betrachtet die beste Bildqualität aufweisen, sollte trotz der längeren Berechnungszeiten nicht darauf verzichtet werden. Als Werkzeug für die Erstellung von aussagekräftigen Bildern kann der Hybrid Ray Caster von medizinisch geschulten Anwender dazu verwendet werden, Bilder mit Annotationen zu versehen und diese im persönlichen Repositorium des jeweiligen Patienten abzulegen.

163 147 Kapitel 9 Zusammenfassung In zunehmendem Maße integrieren medizinische Einrichtungen die verteilten Daten aus HIS, RIS und PACS in eine elektronischen Patientenakte, welche digital verfügbar ist. Bisher ist ein Zugriff auf die elektronische Patientenakte nur für Ärzte oder medizinisches Personal vorgesehen, nicht aber für den Patienten. Da im Gesundheitswesen der Patient im Mittelpunkt steht, sollte es dem interessierten Patienten ermöglicht werden, Zugriff auf seine elektronische Patientenakte zu erhalten. In diesem Zusammenhang richtet sich kommerzielle, medizinische 3D-Visualisierungssoftware, die mit echten Patientendaten arbeitet, bisher nur an Personen, die über medizinische Kenntnisse verfügen. Kommerzielle, medizinische 3D-Visualisierungssoftware für den nicht medizinisch ausgebildeten Personenkreis beschränkt sich auf die Verwendung von wenigen vorverarbeiteten, anatomischen Modellen. Eine Verknüpfung beider Optionen, also die medizinische 3D-Visualisierung echter Patientendaten für den medizinisch nicht ausgebildeten Personenkreis, ist die Vision des PREPaRe-Systems und stellt besondere Anforderungen an die zu verwendenden Visualisierungstechniken und Interaktionsmöglichkeiten. Nicht zu vernachlässigen ist die aufwendige Bildanalyse der tatsächlichen Patientendaten. Mit Hilfe des PREPaRe-System sollen dem Patienten Informationen zugänglich gemacht werden, die ihm bisher grundsätzlich nicht offen standen. Als Werkzeug soll der Computer dem Benutzer assistieren und ihm einen Zugang zu seiner elektronischen Patientenakte eröffnen. Dabei muß beachtet werden, dass nicht alles technisch mögliche immer eine Verbesserung mit sich bringt. Das Vertrauensverhältnis zwischen Arzt und Patient darf nicht verschlechert und der Kontakt nicht verringert werden. Im Gegenteil, durch die zusätzliche Aufklärung des Patienten soll das Verständnis zwischen beiden gefördert werden. Diese Arbeit umfasst die grobe Konzeption und Spezifikation des PREPaRe- Systems, sowie Konzeption, Spezifikation und exemplarische Umsetzung eines Subsystems, das die Visualisierung und Benutzerinteraktion umfasst. Um allen fünf messbaren, menschlichen Faktoren (Einarbeitungszeit, Ausführungsgeschwindigkeit/Effizienz, Fehlerrate, Merkfähigkeit der Bedienung über die Zeit und subjektive Zufriedenheit), welche gemäß Shneiderman [Shneiderman, 1998] für eine Evaluation des Designs der Benutzerschnittstelle von zentraler Bedeutung sind, nachzugehen, müßen interessierte Patienten mit eigenen medizinischen

164 148 KAPITEL 9. ZUSAMMENFASSUNG Bilddaten nach der Benutzung eines Prototypen im Rahmen einer Studie befragt werden. Die gemäß der QFD-Methode erarbeiteten Tabellen mit Benutzeranforderungen, technischen Parametern und der Kriterienkatalog können für die Bewertung weiterer Prototypen oder vergleichbarer kommerzieller Software-Systeme verwendet werden. Die Qualitätskontrolle bei der Software-Entwicklung mit Hilfe der QFD- Methode ist ein sehr hilfreiches Werkzeug, um die Anforderungen des Endbenutzers bei der technischen Realisierung nicht aus den Augen zu verlieren. Außerdem bieten die erstellten Tabellen eine einfache Möglichkeit, über die Veränderung oder Hinzunahme von realisierten Features einer Software, die Auswirkungen auf die Erfüllung der Benutzeranforderungen zu ermitteln. In der vorliegenden Arbeit wurden Verfahren zur hybriden Visualisierung von Oberflächenrepräsentationen und Volumendaten für den Einsatz im PREPaRe- System untersucht. Die modulare Aufteilung des Visualisierungssubsystems gemäß dem Model-View-Controller-Konzept ermöglicht eine Präsentation des zugrundeliegenden Modells sowohl in einer zweidimensionalen, als auch in einer dreidimensionalen Benutzerschnittstelle. Den unterschiedlichen Betrachtungsweisen auf das Modell sind angepasste Interaktionsmöglichkeiten zugeordnet worden. Um Volumendaten und Oberflächenrepräsentationen in einem gemeinsamen Datenformat zu verwalten, wurde der VRML97-Standard durch eine Prototypen- Definition für Volumendaten erweitert. Diese Erweiterung ist auch für den Nachfolger von VRML97, X3D genannt, erfolgt. Für die Zukunft sollte die Arbeit der Medical Working Group des Web3D-Konsortiums verfolgt werden, die sich mit der Entwicklung eines offenen Standards, genannt MedX3D [MedX3D], für die Repräsentation menschlicher Anatomie beschäftigt. Als Grundlage für die Verarbeitung werden Daten aus einer Reihe von bildgebenden Modalitäten genannt. Eine dreidimensionale, virtuelle Umgebung bietet einen natürlichen Weg an, räumliche Repräsentationen von anatomischen und pathologischen Informationen zu erkennen und zu untersuchen. Weiterhin ermöglicht sie einen immersiven, mehrdimensionalen und ganzheitlichen Blick auf die medizinischen Bilddaten der elektronischen Patientenakte. Wenn der Datensatz eines Patienten nur räumlich kleine Teile des Körpers abbildet, kann er mit einem generischen Datensatz fusioniert werden, um den anatomischen Zusammenhang zu verdeutlichen. Dafür beinhaltet ein erweiterter anatomischer Atlas die notwendigen Algorithmen zur Registrierung von Patienten- und Atlasdaten. Um die Interaktion in einer virtuellen Welt, bestehend aus Navigation, Selektion und Manipulation, zu erleichtern, wird eine geführte Benutzerinteraktion vorgeschlagen. Wenn einem Benutzer verschiedene Visualisierungsmethoden angeboten werden, dann muß das System einen Satz an möglichen Parametern für die Algorithmen in einem dokumentierten Auswahlmenü zur Verfügung stellen. Für das hybride Rendering von Volumendaten und Oberflächenrepräsentationen wird Hybrid Ray Casting oder das Volumen-Rendering mit 3D-Texturen eingesetzt. Hybrid Ray Caster liefern bei hohen Systemanforderungen eine gute diagnostische Bildqualität. Volumen-Rendering mit Hilfe von 3D-Texturen erlaubt die Erzeugung interaktiver, virtueller Welten unter Verminderung der zur Diagnose notwendigen Bildqualität. Durch die Verwendung spezieller Grafikhardware (VolumePro) oder Ausnutzung der Vertexshader- und Pixelshader-Architekturen

165 149 moderner PC-Grafikkarten kann ein Hybrid Ray Caster in seiner Ausführungsgeschwindigkeit stark beschleunigt werden. Für die Visualisierung anatomischer Strukturen ist die Segmentierung der Oberflächen von Organen notwendig. Aufgrund ihrer Ausbildung und Erfahrung, ist es Radiologen möglich in einer Tomographieschicht alle nötigen Informationen für die Diagnose zu erkennen. Dem medizinisch nicht ausgebildeten Benutzer fehlen allerdings die Voraussetzungen zu Interpretation des Tomographiedatensatzes. Aus diesem Grund werden im PREPaRe-System anatomische Oberflächenmodelle extrahiert, die auf Basis von Allgemeinwissen einen hohen Wiedererkennungswert besitzen. Nach wie vor stellt die automatische Segmentierung ein schwieriges Gebiet der Bildverarbeitung dar. Eine automatische Segmentierung beliebiger Strukturen in beliebigen Bilddaten ist derzeit weder möglich noch in naher Zukunft absehbar. Wenn für einen Anwendungsfall keine stabilen Segmentierungsalgorithmen bekannt sind, dann müssen die Bilddaten manuell vorverarbeitet werden. Gesetz den Fall, dass weder automatische noch semiautomatische Verfahren anwendbar sind, so kann keine zielgruppengerechte Visualisierung stattfinden. In der Präsentationsdatenbank werden einer Reihe von Anwendungsfällen passende Segementierungsverfahren mit den entsprechenden Parametern zugeordnet. Das Wissen über die Zuordnung muß von Experten auf dem Gebiet bereitgestellt werden. Da es sich bei den Daten der elektronischen Patientenakte um persönliche Informationen handelt und die Informationssysteme verteilt sind, ist beim Zugang eine Benutzerauthentisierung und bei der Datenübertragung eine Veschlüsselung nach dem Stand der Technik obligatorisch. Neben der Verschlüsselung der Daten ist bei der Dateigröße für dreidimensionale Schichtdaten über die Art einer Komprimierung nachzudenken. Da eine verlustfreie Kompression nur geringe Raten erzielt, sollte auch verlustbehaftete Kompression, wie z.b. MPEG-4 in Erwägung gezogen werden. Darüberhinaus integriert MPEG-4 mit seinen BIFS den Szenengraph von VRML 97 und mit den FBAs einen Vorläufer der H-Anim Spezifikation zur Definition der Animationen menschlicher Akteure. Da die Volumenvisualisierung nicht primär für diagnostische Zwecke eingesetzt wird, sondern für die Patientenaufklärung durch den Arztes, können die Fehler der verlustbehafteten Kompression für das Anwendungsgebiet des virtuellen Krankenhauses in Kauf genommen werden. Durch einen Beschluss der Europäischen Kommission im vergangenen Jahr erhält die Idee der elektronischen Gesundheitskarte neuen Schwung. Es wurde beschlossen, das Formular E110/E111 durch die Europäische Gesundheitskarte (European Health Insurance Card) zu ersetzen und das elektronische Verfahren hierfür 2008 einzuführen. In mehreren europäischen Ländern laufen bereits landesweite Kartenprojekte. Die ecard soll von Anfang an eine Karte mit digitaler Signatur sein und administrative Daten speichern. Die mit der Sozialversicherungsnummer versehene Karte soll auch als Bürger- und Bankenkarte nutzbar sein. Neben einem verpflichtenden administrativen Teil enthält die elektronische Gesundheitskarte einen medizinischen Teil, der auf freiwilliger Basis genutzt werden kann. Dort finden sich dann Arzneimitteldokumentationen, Notfalldaten, elektronische Ärztebriefe und in Zukunkt auch Messdaten von Untersuchungen chronisch Erkrankter. Für die Weiterentwicklung des PREPaRe-Systems ist die Integration der elektronischen Gesundheitskarte zu analysieren.

166 150 KAPITEL 9. ZUSAMMENFASSUNG

167 151 Kapitel 10 Glossar ACR-NEMA American College of Radiology - National Electronics Manufacturers Organization. Von ACR und NEMA gemeinsam gegründetes Kommitee für die Standardisierung der Codierung und Übertragung digitaler Bilder in der Radiologie. Seit Oktober 1996 DICOM-Kommitee. ANSI American National Standards Institute. Amerikanisches Standardisierungsgremium. ANSI HISB Healthcare Informatics Standard Board der ANSI. API Application Program Interface. Anwendungsprogramm-Schnittstelle. ATM Asynchronous Transfer Mode. Asynchroner Übertragungsmodus. BIFS Binary Format for Scenes. Binäres Format für eine Szenenbeschreibung in MPEG-4. BFA Body Face Animation. Körper- und Gesichtsanimation in MPEG-4. CAR Computer Assisted Radiology. Computerassistierte Radiologie. CAS Computer Assisted Surgery. Computerassistierte Chirugie. CEN Center European de Normalisation. Europäisches Institut für Normung. CORBAmed Common Object Request Broker Architecture medicine. Standard für die Verteilung objektorientierter System in der Medizin. CT Computer Tomography. Bildgebendes Verfahren auf Grundlage der Röntgenstrahlabsorption. DICOM Digital Imaging and Communications in Medicine. Internationaler Standard für Codierung und Kommunikation von Bilddaten in der Medizin. Entwicklet von ACR-NEMA. DIN Deutsches Institut für Normung. DOM Document Object Model. Ein Modell, das Bestandteile eines Dokuments als Objekte repräsentiert, die manipuliert werden können.

168 152 KAPITEL 10. GLOSSAR DTD Document Type Definition. EPR Electronic Patient Record. Elektronische Patientenakte. EHCR Electronic Health Care Record. Elektronische Patientenakte. EHR Electronic Health Record. Elektronische Gesundheitsakte. FTP File Transfer Protocol. Protokoll zur netzweiten Übertragung von Dateien. GUI Graphical User Interface. Grafische Benutzungsschnittstelle. H Anim Humanoid Animation. Standard für die Animation menschlicher Körper. HIS Hospital Information System. Krankenhaus-Informationssystem, dient zur Verwaltung von Patientendaten, Befunden, Arzneimitteln, usw. HL-7 Health Level 7. Standard für die Codierung und Kommunikation allgemeiner Daten im Gesundheitswesen. HTML Hypertext Markup Language. Eine Sprache zur Beschreibung von miteinander verknüpften Hypertexten. HTTP Hypertext Transfer Protocol. Ein Protokoll der ISO-OSI Anwendungsschicht zur Übertragung von Hypertext-Dokumenten. Setzt auf TCP auf. HU Hounsfield Unit. Auf den Wertebereich bis normierte Einheit des Absorptionskoeffizienten von organischen Gewebetypen in Bezug auf hochfrequente Röntgenstrahlung. Benannt nach Godfrey N. Hounsfield, einem der Entwickler der Röntgen-Computertomographie. IEC International Electronic Committee. IHE Integrating the Healthcare Enterprise. IP Internet Protocol. Ein Protokoll zur zwei Systemen in einem Netzwerk. Übertragung von Paketen zwischen ISO International Standard Organisation. Internationales Normungsgremium. ISO-OSI ISO-Standard für die Verbindung von Systemen untereinander mit Hilfe eines Netzwerks. Referenzmodell aus sieben Schichten. JPEG Joint Photographic Image Experts Group. Standardisierungsgremium für das gleichnamige Bildformat. JPEG erlaubt die verlustfreie und verlustbehaftete Kompression von Graustufen- und Farbbildern. MP3 MPEG Audio Layer 3. Teil des MPEG-Standards für Audiokompression. MPEG-4 Motion Picture Expert Group 4. Standard für Video- und Audiokompression. Nachfolger von MPEG-1 und MPEG-2. Die geplante dritte Stufe des MPEG-Standards wurde in MPEG-2 realisiert. MR/MRI Magnetic Resonance Imaging. Bildgebendes Aufnahmeverfahren.

169 153 NFS Network File System. Standardprotokoll zur netzweiten Nutzung von Speichermedien. OMG Object Management Group. Herstellerneutrales Konsortium zur Weiterentwicklung und Standardisierung objektorientierter Technologie. OpenGL Open Graphics Library. Offene Software-Schnittstelle für Grafikhardware. OSI Open Systems Interconnection. Standard zur Verbindung offener Systeme. PACS Picture Archiving and Communication System. System zur Speicherung und zum Abruf diagnostischer Bilddaten. PEMR Personal Electronic Medical Record. PREPaRe Personal Repository of the Electronic Patient Record. RIS Radiology Information System. SGML Standard Generalized Markup Language. Meta-Sprache für die Definition von Dokumentenstrukturen. SMIL Synchronized Multimedia Integration Language. Eine auf XML basierende Sprache zur Integration von Videos und Multimediainhalten in Web- Dokumenten. SSL Secure Sockets Layer. Mit Verschlüsselung arbeitender Kommunikationskanal. TCP Transmission Control Protocol. Protokoll der Transportschicht, das eine zuverlässige verbindungsorientierte Kommunikation zwischen zwei Teilnehmern ermöglicht. TCP unterteilt einen Datenstrom in einzelne Pakete und setzt auf IP zur Übertragung dieser Datenpakete auf. UDP User Datagram Protocol. Verbindungsloses Datenaustauschprotokoll basierend auf IP. URL Uniform Resource Locator. Adressierung eines Dokuments über dessen Ortsangabe im Web. US Ultrasound. Ultraschall. Bildgebendes Verfahren. VRML Virtual Reality Modeling Language. Beschreibungssprache für Oberflächenrepräsentationen im Web. XAI Extended Anatomical Information. X3D Extensible 3D. Beschreibungssprache für Oberflächenrepräsentationen im Web. Basiert auf XML. XML Extensible Markup Language. Eine auf SGML basierende Beschreibungssprache für Hypertexte im Web. XSL Extensible Stylesheet Language. Beschreibungssprache um XML-Begriffe mit Formatierungssemantik zu versehen und damit die Transformation von XML-Dokumenten zu ermöglichen.

170 154 KAPITEL 10. GLOSSAR

171 Literaturverzeichnis [Akeley, 1993] Akeley, K. (1993). Reality engine graphics. In SIGGRAPH 1993; Computer Graphics Proceedings, Seiten ACM Press. [AMIRA] AMIRA - Advanced 3D Visualization and Volume Modeling. Indeed, Visual Concepts GmbH, [APACHE] (1999). The Apache HTTP Server. The Apache Software Foundation, [Bajaj et al., 1997] Bajaj, C. L., Pascucci, V., und Schikore, D. R. (1997). The contour spectrum. In Proceedings of IEEE Visualization, Seiten ACM Press. [Bakaoui et al., 2002] Bakaoui, K., Dechambre, P., und Hachicha, R. (2002). Verification and optimisation of an operating room workflow. In Proceedings of the 35th Hawaii International Conference on System Sciences. [Barrett und Mortensen, 1997] Barrett, W. und Mortensen, E. (1997). Interactive live-wire boundary extraction. Medical Image Analysis, 1(4): [Becker et al., 2000] Becker, M., Haberfellner, R., und Liebetrau, G. (2000). EDV-Wissen für Anwender. Verlag Industrielle Organisation, Zürich. 12. Auflage. [Blinn und Newell, 1976] Blinn, J. F. und Newell, M. E. (1976). Texture and reflection in computer generated images. Communication of the ACM, 19(10): [Borg und Groenen, 1997] Borg, I. und Groenen, P. (1997). Modern Multidimensional Scaling : Theory and Applications. Springer-Verlag. [Burdea und Coiffet, 1994] Burdea, G. und Coiffet, P. (1994). Virtual Reality Technology. John Wiley & Sons Inc. ISBN [Cabral et al., 1994] Cabral, B., Cam, N., und Foran, J. (1994). Accelerated volume rendering and tomographic reconstuction using texture mapping hardware. In Kaufman, A. und Krüger, W., Editoren, Symposium on Volume Visualization, Seiten ACM SIGGRAPH. ISBN [CAESAR] Civilian American and European Surface Anthropometry Resource.

172 156 LITERATURVERZEICHNIS [Carroll, 2000] Carroll, J. (2000). Making Use : scenario-based design of humancomputer interactions. MIT Press, Cambridge, London. ISBN [Carroll und Kellogg, 1989] Carroll, J. M. und Kellogg, W. A. (1989). Artifact as theory nexus: Hermeneutics meets theory-based desing. In Proceedings of CHI: Human Factors in Computing Systems, Seiten [Carroll und Rosson, 1991] Carroll, J. M. und Rosson, M. B. (1991). Deliberated evolution: Stalking the view matcher in design space. In Human-Computer Interaction, Seiten [Carroll und Rosson, 1992] Carroll, J. M. und Rosson, M. B. (1992). Getting around the task-artifact cycle: How to make claims and design by scenario. In ACM Transaction on Information Systems, Seiten [Catmull, 1974] Catmull, E. (1974). A Subdivison Algorithm for Computer Display of Curved Surfaces. Dissertationsschrift, University of Utah. [Catmull, 1980] Catmull, E. (1980). 3-d transformations of images in scanline order. Computer Graphics, 14(3): [CEN 13606] (1999). Health informatics - Electronic healthcare record communication. CEN TC251 ENV 13606, [CEN 1828] (1999). Structure for Classification and Coding of Surgical Procedures. CEN European Committee for Standardisation pren [Chen et al., 1999] Chen, M., Kanade, T., Pomerleau, D., und Rowley, H. A. (1999). Anomaly detection through registration. Journal of the Pattern Recognition Society, 32: [Chiueh et al., 1997] Chiueh, C., Yang, C., He, T., Pfister, H., und Kaufman, A. (1997). Integrated volume compression and visualisation. In Proceedings of Visualization, Seiten [Cignoni et al., 1998] Cignoni, P., Montani, C., und Scopigno, R. (1998). Tetrahedra based volume visualization. In Hege, H.-C. und Polthier, K., Editoren, Visualization and Mathematics; Proceedings of VisMath 97, Seiten Springer Verlag. ISBN [Cline et al., 1988] Cline, H. E., Lorensen, W. E., Ludke, S., Crawford, C. R., und Teeter, B. C. (1988). Two algorithms for three-dimensional reconstruction of tomograms. AAPM: Medical Physics, 15(3): [Cohen und Sheffer, 1993] Cohen, D. und Sheffer, Z. (1993). Proximity clouds - an acceleration technique for 3d grid traversal. Technical Report 93/01, Math & Computer Science, Ben Gurion University, Beer-Sheva 84105, Israel. [Cook, 1986] Cook, R. (1986). Stochastic sampling in computer graphics. Transactions on Computer Graphics, 5(1): [Cook et al., 1984] Cook, R., Porter, T., und Carpenter, L. (1984). Distributed ray tracing. Computer Graphics, 18(3):

173 LITERATURVERZEICHNIS 157 [CORBAMed] (1999). CORBAMed : Healthcare Domain Specification. Object Management Group (OMG), [Danskin und Hanrahan, 1992] Danskin, J. M. und Hanrahan, P. (1992). Fast algorithms for volume ray tracing. In ACM Workshop on Volume Visualization, Seiten [de Boor, 1978] de Boor, C. (1978). A practical guide to splines. Springer-Verlag. [DICOM 3.0] (2001). Digital Imaging and Communication (DICOM) Version 3.0. National Electric Manufacturers Association (NEMA), [DIN ] (1981). DIN Teil 3: Bildschirmarbeitsplätze, Gruppierung und Formatierung von Daten. DIN, Deutsches Institut für Normung. [DIN ] (1981). DIN Teil 5: Bildschirmarbeitsplätze, Codierung von Informationen. DIN, Deutsches Institut für Normung. [DIN ] (1988). DIN Teil 8: Bildschirmarbeitsplätze, Grundsätze der Dialoggestaltung. DIN, Deutsches Institut für Normung. [DOM] DOM - Document Object Model. [Easy Vision] Easy Vision -The Advanced Multi-modality Processing Workstation. itproductsolutions/radiolo%gy/products/easyvision/. [Elvins, 1992] Elvins, T. (1992). A survey of algorithms for volume rendering. Computer Graphics, 26(3): [Fairchild, 1993] Fairchild, K. M. (1993). Information management using virtual reality-based visualization. In Wexelblat, A., Editor, Virtual Reality: Applications and Explorations. Acedemic Press. [Fisher, 1995] Fisher, Y. (1995). Fractal Image Compression. Theory and Application. Springer-Verlag. [Foley et al., 1990] Foley, J., van Dam, A., Feiner, S. K., und Hughes, J. F. (1990). Computer Graphics : Principles and Practice. Addison-Wesley, second edition. ISBN [Fowler und Yagel, 1994] Fowler, J. und Yagel, R. (1994). Lossless compression of volume data. In Symposium on Volume Visualization, Seiten [Fuchs et al., 1977] Fuchs, H., Kedem, Z., und Uselton, S. (1977). Optimal surface reconstruction from planar contours. Communications of the ACM, 20(10): [Gelder und Kim, 1996] Gelder, A. V. und Kim, K. (1996). Direct volume rendering with shading via three-dimensional textures. In Symposium on Volume Visualization, Seiten IEEE Press.

174 158 LITERATURVERZEICHNIS [Günther et al., 1995] Günther, T., Poliwoda, C., Reinhart, C., Hesser, J., Männer, R., Meinzer, H.-P., und Baur, H.-J. (1995). Virim : A massively parallel processor for realtime volume visualization in medicine. Computer & Graphics, 19(5): [Gouraud, 1971] Gouraud, H. (1971). Continous shading of curved surfaces. IEEE Transactions on Computers, 20(6): [Haberäker, 1987] Haberäker, P. (1987). Digitale Bildverarbeitung : Grundlagen und Anwendungen. Carl Hanser Verlag. [Hanjal, 2001] Hanjal, J. V. (2001). Medical Image Registration. Biomedical Engineering Series. CRC Press LLC, Boca Raton. ISBN [Haralick et al., 1973] Haralick, R. M., Shanmugam, K., und Dinstein, I. (1973). Textural features for image classification. IEEE SMC, 3: [Haralick und Shapiro, 1985] Haralick, R. M. und Shapiro, L. G. (1985). Survey: Image segmentation techniques. Computer Vision, Graphics and Image Processing, 29: [Heckbert, 1986] Heckbert, P. S. (1986). Survey of texture mapping. IEEE Computer Graphics and Applications, 6(11): [Höhne und Bernstein, 1986] Höhne, K. H. und Bernstein, R. (1986). Shading 3d-images from ct using gray-level gradients. IEEE Transactions on Medical Imaging, 5(1): [HL 7] Health Level 7. [Huang, 1996] Huang, H. K. (1996). PACS - Picture Archiving and Communication Systems in Biomedical Imaging. VCH Publisher, Inc. ISBN [ICD-10] ICD-10 (1996). ICD-10 Langversion: Systematisches Verzeichnis, volume 1. Deutscher Ärzte-Verlag. ISBN [IHE] Integrating the Healthcare Enterprise. [Isakovic et al., 2002] Isakovic, K., Dudziak, T., und Köchy, K. (2002). X-rooms : A pc-based immersive visualization environment. In Proceedings of the Web3D Symposium 2002, Seiten ACM Press. [ISO 19774:200x] (2003). Information technology Computer graphics and image processing - Humanoid animation (H-Anim). ISO/IEC FDC 19774:200x, http: //h-anim.org/. [ISO 9241] (1993). Ergonomic Requirements for Visual Display Terminals. International Organization for Standards, Geneva. ISBN [ISO/IEC ] (1997). Information technology Computer graphics and image processing The Virtual Reality Modelling Language Part 1: Functional specification and UTF-8 encoding. ISO/IEC :1997, org/technicalinfo/specifications.

175 LITERATURVERZEICHNIS 159 [ISO/IEC ] (1995). The Virtual Reality Modelling Language (VRML) 1.0. ISO/IEC 14772, [ISO/IEC 19775] (2003). Extensible 3D - Architecture and API. ISO/IEC FCD 19775:200x, draft specification edition. [ISO/TC 215] Health Informatics. COMMIT/ISO/ISOTC215. ISO/TC 215, [Jannin et al., 2003] Jannin, P., Raimbault, M., Morandi, X., Riffaud, L., und Gibaud, G. (2003). Models of surgical procedures for multimodal image-guided neurosurgery. Computer Aided Surgery, 8: [Kass et al., 1988] Kass, M., Witkin, A., und Terzopoulos, D. (1988). Snakes: active contour models. International Journal of Computer Vision, 1(4): [Kaufman, 1996] Kaufman, A. (1996). Volume visualization. In Tucker, A., Editor, Handbook of Computer Science and Engeneering, Seiten CRC Press. [Kaufman, 1997] Kaufman, A. (1997). Volume visualization: Principles and advances. In ACM SIGGRAPH 97 Course Notes No. 31. [Kaufman und Simony, 1986] Kaufman, A. und Simony, E. (1986). Scanconversion algorithms for voxel-based graphics. In Proceedings of ACM Workshop on Interactive 3D Graphics, Seiten [Keppel, 1975] Keppel, E. (1975). Approximating complex surfaces by triangulation of contour lines. IBM Journal of Research and Development, 19(1):2 11. [Kindlmann und Durkin, 1998] Kindlmann, G. und Durkin, J. W. (1998). Semiautomatic generation of transfer functions for direct volume rendering. In Proceedings of the 1998 IEEE Symposium on Volume Visualization, Seiten ACM Press. [Kirschbaum, 2002] Kirschbaum, C. (2002). Retrieval and processing of surface representations for 3d visualization. Diplomarbeit, Technische Universität Berlin. [Klette und Zamperoni, 1995] Klette, R. und Zamperoni, P. (1995). Handbuch der Operatoren für die Bildverarbeitung. Vieweg Verlanggesellschaft mbh Braunschweig Wiesbaden. ISBN X. [Köchy et al., 2002a] Köchy, K., Kirschbaum, C., Tschirley, R., und Märkle, S. (2002a). A client server architecture based on secure communication for visualization of and interaction with 3-d medical data. In Niinimäki, J., Ilkko, E., und Reponen, J., Editoren, Proceedings of EuroPACS 2002, Seiten Oulu University Press, Oulu. ISBN

176 160 LITERATURVERZEICHNIS [Köchy et al., 1998] Köchy, K., Kraus, M., und Neumann, P. (1998). Interactive manipulation of realtime visualisation from medical volume data by using 2-handed vr-techniques. In Piqueras, J. und Carreno, J.-C., Editoren, Proceedings of EuroPACS 1998, Seiten Vall d Hebron Hospitals; Barcelona; Spanien. [Köchy et al., 2002b] Köchy, K., Tschirley, R., und Märkle, S. (2002b). Patientoriented visualisation and interaction in a three dimensional environment. In Lemke, H. U., Vannier, M. W., Inamura, K., Farman, A. G., Doi, K., und Reiber, J. H. C., Editoren, Proceedings of CARS 2002 Computer Assisted Radiology and Surgery, Seiten Springer Verlag. Berlin, Heidelberg. ISBN [Krasner und Pope, 1988] Krasner, G. E. und Pope, S. T. (1988). A cookbook for using the model-view-controller user interface paradigm in smalltalk-80. Journal of Object-Oriented Programming, 1(3): [Krüger und Westermann, 2003a] Krüger, J. und Westermann, R. (2003a). Acceleration techniques for gpu-based volume rendering. In Proceedings of the 2003 IEEE Visualization. ACM Press. [Krüger und Westermann, 2003b] Krüger, J. und Westermann, R. (2003b). Linear operators for gpu implementation of numerical algorithms. In SIGGRAPH 2003; Computer Graphics Proceedings, Seiten ACM Press. [Kuhnigk et al., 2003a] Kuhnigk, J.-M., Hahn, H. K., Hindennach, M., Dicken, V., Krass, S., und Peitgen, H.-O. (2003a). Lung lobe segmentation by anatomyguided 3d watershed transform. In Proceedings of SPIE Conference on Medical Imaging. [Kuhnigk et al., 2003b] Kuhnigk, J.-M., Hahn, H. K., Hindennach, M., Krass, V. D. S., und Peitgen, H.-O. (2003b). 3D-Lungenlappensegmentierung durch Kombination von Region Growing. In Bildverarbeitung für die Medizin, Seiten [Kundu, 1990] Kundu, A. (1990). Local segmentation of biomedical images. Computerizes Medical Imaging and Graphics, 14: [Lacroute und Levoy, 1994] Lacroute, P. und Levoy, M. (1994). Fast volume rendering using a shear-warp factorization of the viewing transformation. Computer Graphics, 28(Annual Conference Series): [Lawrence, 1997] Lawrence, P. (1997). Workflow Handbook, Workflow Management Coalition. John Wiley and Sons. [Lehmann et al., 1997] Lehmann, T., Oberschelp, W., Pelikan, E., und Repges, R. (1997). Bildverarbeitung für die Medizin. Springer-Verlag, first edition edition. ISBN [Lemke et al., 2004] Lemke, H. U., Köchy, K., Trantakis, C., Müller, A., Strauss, G., und Meixensberger, J. (2004). Workflow analysis for mechatronic and imaging assistance in head surgery. In Lemke, H. U., Vannier, M. W., Inamura,

177 LITERATURVERZEICHNIS 161 K., Farman, A. G., und Doi, K., Editoren, Proceedings of CARS 2004 Computer Assisted Radiology and Surgery, Excerpta Medica International Congress Series, Seiten Elsevier-Verlag, Amsterdam. ISBN. [Levoy, 1988] Levoy, M. (1988). Display of surfaces from volume data. IEEE Computer Graphics and Applications, 8(3): [Levoy, 1990a] Levoy, M. (1990a). Efficient ray tracing of volume data. ACM Transactions on Graphics, 9(3): [Levoy, 1990b] Levoy, M. (1990b). A hybrid ray tracer for rendering polygon and volume data. IEEE Computer Graphics and Applications, 10(2): [Levoy, 2000] Levoy, M. (2000). Error in volume rendering paper was in exposition only. IEEE Computer Graphics and Applications, 20(4):6. [Lichtenbelt et al., 1998] Lichtenbelt, B., Crane, R., und Naqvi, S. (1998). Introduction to Volume Visualization. Prentice Hall, first edition edition. ISBN [Liu, 1977] Liu, H. K. (1977). Two- and three-dimensional boundary detection. Computer Graphics and Image Processing, 6: [Lorensen und Cline, 1987] Lorensen, W. E. und Cline, H. E. (1987). Marching cubes: A high resolution 3d surface construction algorithm. Computer Graphics, 21(4): [Mark et al., 2003] Mark, W., Glanville, R., Akeley, K., und Kilgard, M. (2003). Cg : A system for programming graphics hardware in a c-like language. In SIG- GRAPH 2003; Computer Graphics Proceedings, Seiten ACM Press. [Märkle et al., 2001] Märkle, S., Köchy, K., Tschirley, R., und Lemke, H. U. (2001). The prepare system patient oriented access to the personal electronic medical record. In Lemke, H. U., Vannier, M. W., Inamura, K., Farman, A. G., und Doi, K., Editoren, Proceedings of CARS 2001 Computer Assisted Radiology and Surgery, Excerpta Medica International Congress Series, Seiten Elsevier-Verlag, Amsterdam. ISBN [Marks et al., 1997] Marks, J., Andalman, B., Beardsley, P. A., Freeman, W., Gibson, S., Hodgins, J., Kang, T., Mirtich, B., Pfister, H., Ruml, W., Ryall, K., Seims, J., und Shieber, S. (1997). Design galleries: a general approach to setting parameters for computer graphics and animation. In SIGGRAPH 1997; Computer Graphics Proceedings, Seiten ACM Press/Addison-Wesley Publishing Co. [MedX3D] (2004). Medical real-time visualization and communication using X3D. Web3D Consortium, index.html. [Meyer, 1990] Meyer, B. (1990). Objektorientierte Softwareentwicklung. Carl Hanser Verlag & Prentice Hall International. ISBN [MS Windows Interface Guidelines] Microsoft (1995). The Windows Interface Guidelines for Software Design. Microsoft Press, Redmond, WA.

178 162 LITERATURVERZEICHNIS [Mine, 1995] Mine, M. R. (1995). Virtual environment interaction techniques. Technical Report , University of North Carolina. [Mizuno und Akao, 1994] Mizuno, S. und Akao, Y. (1994). QFD : The Customer- Driven Approach to Quality Planning and Deployment. Productivity Press Inc. ISBN [Moigno et al., 2002] Moigno, S. L., Charlet, J., Bourigault, D., Degoulet, P., und Jaulent, M.-C. (2002). Terminology extraction from the text to build an ontology in surgical intensive care. In Proceedings of ECAI 2002 Workshop. [Molnar et al., 1992] Molnar, S., Eyles, J., und Poulton, J. (1992). Pixelflow : High-speed rendering using image composition. In SIGGRAPH 92; Computer Graphics Proceedings, volume 26, Seiten ACM Press. [Mori et al., 1997] Mori, A. R., Gangemi, A., Steve, G., Consorti, F., und Galeazzi, E. (1997). An ontological analysis of surgical deeds. In Proceedings of AIME [Mortensen et al., 1992] Mortensen, E., Morse, B., Barrett, W., und Udupa, J. (1992). Adaptive boundary detection using live-wire two-dimensional dynamic programming. In IEEE Computers in Cardiology, Seiten IEEE Computer Society Press. [Mosier und Smith, 1986] Mosier, J. N. und Smith, S. L. (1986). Application of guidelines for designing user interface software. Behaviour and Information Technology, 5(1): [MPEG4] (2003). The Moving Pictures Expert Group (MPEG) Homepage. ISO/IEC JTC1/SC29/WG11, [MPEG4:N1365] (1996). Face and body definition and animation parameters. ISO/IEC JTC1/SC29/WG11 N1365. [MPEG4:N2229] (1998). SNHC Verification Model 8.0. ISO/IEC JTC1/SC29/WG11 N2229. [MPEG4:N2801] (1998). Information Technology - Generic Coding of audiovisual objects - Part 1:Systems. ISO/IEC :1998. [MPEG4:N2802] (1998). Information Technology - Generic Coding of audiovisual objects - Part 2:Visual. ISO/IEC :1998. [MPEG4:N2803] (1998). Information Technology - Generic Coding of audiovisual objects - Part 3:Audio. ISO/IEC :1998. [MPEG4:N2806] (1998). Information Technology - Generic Coding of audiovisual objects - Part 6:Delivery Multimedia Integration Framework (DMIF). ISO/IEC :1998. [MPEG4:N4668] (2002). MPEG-4 Overview (V.21). ISO/IEC JTC1/SC29/WG11 N4668, 4/mpeg-4.htm.

179 LITERATURVERZEICHNIS 163 [Muraki, 1993] Muraki, S. (1993). Volume data and wavelet transforms. IEEE Computer Graphics and Applications, 13(4): [National Library of Medicine] NLM - National Library of Medicine. [Nielsen, 1994] Nielsen, J. (1994). Usability Engineering. Morgan Kaufmann, San Francisco. ISBN [Ning und Hesselink, 1992] Ning, P. und Hesselink, L. (1992). Vector quantization for volume rendering. In Workshop on Volume Visualization, Seiten [Ning und Hesselink, 1993] Ning, P. und Hesselink, L. (1993). Fast volume rendering of compressed data. In Proceedings of IEEE Visualization, Seiten [Oosterwijk, 2000] Oosterwijk, H. (2000). DICOM Basics. OTech Inc. ISBN X. [Pfister und et al., 1999] Pfister, H. und et al. (1999). The volume pro real-timeray-casting system. In SIGGRAPH 99; Computer Graphics Proceedings, Seiten ACM Press. [Phong, 1975] Phong, B. T. (1975). Illumination for computer generated pictures. Communications of the ACM, 18(6): [Pommert und Höhne, 2002] Pommert, A. und Höhne, K. (2002). Evaluation of image quality in medical volume visualization : State of the art. In MICCAI, Seiten [Porter und Duff, 1984] Porter, T. und Duff, T. (1984). images. Computer Graphics, 18(3): Compositing digital [Pöpsel et al., 1994] Pöpsel, J., Claussen, U., Klein, R., und Plate, J. (1994). Computergrafik : Algorithmen und Implementierung. Springer-Verlag. ISBN [Preim und Raab, 1998] Preim, B. und Raab, A. (1998). Annotation topographisch komplizierter 3D-Modelle. Simulation und Visualisierung, Seiten [Preim und Ritter, 2002] Preim, B. und Ritter, F. (2002). Techniken zur interaktiven Hervorhebung von Objekten in medizinischen 3d-Visualisierungen. Simulation und Visualisierung, Seiten [Preim et al., 2002] Preim, B., Tietjen, C., Spindler, W., und Peitgen, H.-O. (2002). Integration of measurement tools in medical visualizations. In Proceedings of IEEE Visualization, Seiten ACM Press. [PRIMALPICTURES] Primal Pictures : Interactive 3D series. [Purcell et al., 2002] Purcell, T. J., Buck, I., Mark, W. R., und Hanrahan, P. (2002). Ray tracing on programmable graphics hardware. In SIGGRAPH 2002; Computer Graphics Proceedings, Seiten ACM Press.

180 164 LITERATURVERZEICHNIS [Ratering, 1998] Ratering, R. (1998). Texturbasiertes Volumen-Rendering medizinischer Bilddaten. Diplomarbeit, Rheinische Friedrich-Wilhelms-Universität Bonn. [Rauterberg, 1995] Rauterberg, M. (1995). Ein Konzept zur Quantifizierung software-ergonomischer Richtlinien. Dissertationsschrift, ETH Zürich. ISBN [Rezk-Salama et al., 2000] Rezk-Salama, C., Hastreiter, P., Scherer, J., und Greiner, G. (2000). Automatic adjustment of transfer functions for 3d volume visualization. In Proceedings of Vision, Modelling, and Visualization. [Rhyne und Treinish, 2001] Rhyne, T. und Treinish, L. (2001). The transferfunction bake-off. IEEE Computer Graphics and Applications, Seiten [Robb, 1998] Robb, R. A. (1998). Three-Dimensional Biomedical Imaging. Wiley, New York. ISBN [Roerdink und Meijster, 2000] Roerdink, J. B. T. M. und Meijster, A. (2000). The watershed transform: Definitions, algorithms and parallelization strategies. Fundamenta Informaticae, 41(1 2): [Rosenfeld und Kak, 1982] Rosenfeld, A. und Kak, A. C. (1982). Digital Picture Processing, volume 1-2. Academic Press, New York. [Sabella, 1988] Sabella, P. (1988). A rendering algorithm for visualizing 3d scalar fields. SIGGRAPH 88; Computer Graphics Proceedings, 22(4): [Schenk et al., 2001] Schenk, A., Prause, G., und Peitgen, H.-O. (2001). Local cost computation for efficient segmentation of 3d objects with live wire. In Medical Imaging 2001: Image Processing, Proceedings of SPIE Vol. 4322, Seiten [Schiele, 2002] Schiele, S. (2002). Entwicklung eines Hybrid Ray Casters zur kombinierten Darstellung volumetrischer und polygonaler Daten. Diplomarbeit, Technische Universität Berlin. [Schiewe, 2002] Schiewe, M. (2002). Interaktives Volumen-Rendering mit Hilfe von 3D-Texturen in OpenGL. Diplomarbeit, Technische Universität Berlin. [Schroeder et al., 1998] Schroeder, W., Martin, K., und Lorensen, W. (1998). The Visualization Toolkit. Prentice Hall Inc. Upper Saddle River, New Jersey, USA, second edition. ISBN [Schubert et al., 2002] Schubert, A., Hahn, H., und Peitgen, H.-O. (2002). Robuste vollautomatische Gehirnsegmentierung basierend auf einer 3D- Wasserscheidentransformation. In Bildverarbeitung für die Medizin, Seiten Springer. [Sedgwick, 1990] Sedgwick, R. (1990). Algorithms in C. Addison-Wesley. ISBN

181 LITERATURVERZEICHNIS 165 [OpenGLonSGI] SGI. Techpubs Library, Chapter 7 : Texture Extensions. bks/sgi\_de%veloper/books/openglonsgi/sgi\_html/ch07.html. [Shneiderman, 1998] Shneiderman, B. (1998). Designing the User Interface : Startegies for Effective Human-Computer Interaction. Addison Wesley Longman. ISBN [Sowizral et al., 2000] Sowizral, H., Rushforth, K., und Deering, M. (2000). The Java 3D API Specification. Addison-Wesley, second edition. ISBN [Speray und Kennon, 1990] Speray, D. und Kennon, S. (1990). Volume probes: Interactive data exploration on arbitrary grids. Computer Graphics, 24(5):5 12. [Tiede, 1999] Tiede, U. (1999). Realistische 3D-Visualisierung multiattributierter und multiparametrischer Volumendaten. Dissertationsschrift, Universität Hamburg. [Tönnies und Lemke, 1994] Tönnies, K. D. und Lemke, H. U. (1994). 3D- Computergrafische Darstellungen. Oldenburg Verlag. ISBN [Totsuka und Levoy, 1993] Totsuka, T. und Levoy, M. (1993). Frequency domain volume rendering. In SIGGRAPH 93; Computer Graphics Proceedings, Seiten ACM Press. [Tschirley, 2004] Tschirley, R. (2004). Patientenorientierte Verarbeitung und Präsentation medizinischer Bilddaten. Dissertationsschrift, Technische Universität Berlin. [Tschirley et al., 2002] Tschirley, R., Köchy, K., und Märkle, S. (2002). Patientoriented segmentation and visualization of medical data. In Hamza, M. H., Editor, Proceedings of CGIM 2002 Computer Graphics and Imaging. ACTA Press, Anaheim, USA. [Tschirley et al., 2003] Tschirley, R., Köchy, K., und Märkle, S. (2003). Ein virtuelles Krankenhaus zur patientengerechten Visualisierung von medizinischen Tomographiedaten. In Schulze, T., Schlechtweg, S., und Hinz, V., Editoren, Tagungsband Simulation und Visualisierung 2003, Seiten SCS-European Publishing House. ISBN [Tschirley et al., 2004] Tschirley, R., Köchy, K., und Märkle, S. (2004). Konzeption und Spezifikation eines Webbasierten virtuellen Krankenhauses. Technical Report 2003/12, Technical University of Berlin. ISSN [Upson und Keeler, 1988] Upson, C. und Keeler, M. (1988). Vbuffer: Visible volume rendering. Computer Graphics, 22(4): [VDI 5005] (1990). VDI-Richtlinie 5005, Bürokommunikation Software- Ergonomie in der Bürokommunikation. Verein Deutscher Ingenieure. [Visible Human Project] The Visible Human Project. National Library of Medicine,

182 166 LITERATURVERZEICHNIS [VOXELMAN] VoxelMan - Programme und Produkte. medizin/informatik/forschung/vm/index.en.html. [VTK, 2002] (2002). The Visualization Toolkit. Kitware Inc., kitware.com/vtk. [W3C-XML 1.1] (2002). Extensible Markup Language (XML) 1.1. W3C, http: // candidate recommendation edition. [Ward, 1994] Ward, G. J. (1994). The radiance lighting simulation and rendering system. In SIGGRAPH; Computer Graphics Proceedings, Seiten [Watt, 2002] Watt, A. (2002). 3D-Computergrafik. Addison-Wesley. 3. Auflage. [Web3D] The Web3D Consortium. [Weiskopf et al., 2002] Weiskopf, D., Engel, K., und Ertl, T. (2002). Volume clipping via per-fragment operations in texture-based volume visualization. In Proceedings of IEEE Visualization, Seiten ACM Press. [Westermann, 1994] Westermann, R. (1994). A multiresolution framework for volume rendering. In Symposium on Volume Visualization, Seiten ACM Press. [Westermann und Ertl, 1998] Westermann, R. und Ertl, T. (1998). Efficiently using graphics hardware in volume rendering applications. In SIGGRAPH 98; Computer Graphics Proceedings, Seiten ACM Press. [Westover, 1990] Westover, L. (1990). Footprint evaluation for volume rendering. Seiten [Whitted, 1980] Whitted, T. (1980). An improved illumination model for shaded display. Communications of the ACM, 23(6): [Wilson et al., 1994] Wilson, O., Gelder, A. V., und Wilhelms, J. (1994). Direct volume rendering via 3d textures. In Technical Report UCSC-CRL University of California, Baskin Center for Computer Engineering and Information Sciences. [Woo et al., 1999] Woo, M., Neider, J., Davis, T., und Shreiner, D. (1999). OpenGL Programming Guide; Release 1.2; 3rd Edition. Addison-Wesley. ISBN [XJ3D] (1998). Xj3D Open Source VRML/X3D Toolkit. Java3D Working Group, [XML-RPC] (2002). The XML-RPC Specification. UserLand Software, Inc., [Yagel, 1996] Yagel, R. (1996). Towards realtime volume rendering. In Proceedings of GRAPHICON, Seiten

183 167 Anhang A Fragebogen für Patienten Die durchgeführte Patientenbefragung dient zur Findung einer Priorisierung der aufgestellten Benutzeranforderungen. Auf den folgenden Seiten befindet sich die ausgeteilte Patientenbefragung.

184 Patientenbefragung Hintergrund und Motivation Technische Universität Berlin berlin FAKULTÄT IV Institut für Technische Informatik Fachgebiet Computer Graphics In der medizinischen Fürsorge steht der Patient im Mittelpunkt. Während der letzten Jahrzehnte wurde viel Forschungs- und Entwicklungsarbeit in die Verwendung von Computern im medizinischen Bereich gesteckt. Dies dient der Verbesserung der Qualität und Effektivität im Gesundheitsprozess. In zunehmendem Maße integrieren medizinische Einrichtungen die verteilten Daten aus verschiedenen klinischen Datenbanken in eine elektronische Patientenakte. Bisher ist ein Zugriff nur für Ärzte und medizinisches Personal vorgesehen, nicht aber für den Patienten. Existierende Computerprogramme, die elektronisch gespeicherte Untersuchungsergebnisse wie Tomographiedaten verwenden, wurden für medizinisches oder administratives Personal entworfen. Eine offensichtliche Ursache hierfür liegt im notwendigen Fachwissen, über das der Betrachter solcher Daten verfügen muss, um sie korrekt interpretieren zu können. Ein medizinischer Laie ist ohne geeignete Aufbereitung der Datensätze nur selten in der Lage, aus medizinischen Bilddaten Erkenntnisse zu gewinnen. Abbildung 1 zeigt beispielhafte Abbildungen aus Computertomographien, wie sie für Medizinier aussagekräftig sein können, für Laien jedoch teilweise unverständlich sind. Da im Gesundheitswesen der Patient im Mittelpunkt steht, sollte es dem interessierten Patienten ermöglicht werden, Zugriff auf seine elektronische Patientenakte zu erhalten. Bereits heute ist festzustellen, dass Patienten verfügbare Informationsquellen dazu nutzen, sich über medizinische Sachverhalte zu informieren. Dies ist besonders bei solchen Patientengruppen der Fall, die unter chronischen Beschwerden leiden, die die Lebensqualität empfindlich verringern können. Um interessierten Patienten die Möglichkeit zu geben, sich selbst aktiv um ihre Gesundheit zu kümmern, wird von einer Forschungsgruppe an der TU Berlin ein Computersystem namens PREPaRe entwickelt. Es ermöglicht dem Anwender den Abruf seiner eigenen Gesundheitsdaten vom heimischen Personal Computer in der Umgebung seiner Familie oder aus der Praxis des behandelnden Arztes zu einem vertieften Beratungsgespräch. Eine Vielzahl von elektronischen Patientenakten, die im Leben des Patienten von verschiedenen Institutionen angelegt werden, können mit Hilfe des Systems zu einer persönlichen Gesundheitsakte zusammengefasst werden, so dass die enthaltenen Informationen mit Hilfe geeigneter computergestützter Analysemethoden dargestellt werden können. Ein Schwerpunkt des Systems liegt in der patientengerechten Visualisierung der multimedialen, medizinischen Daten, ein anderer in einer geführten, intuitiven Benutzerinteraktion. Die Benutzerschnittstelle stellt sich als virtuelle Welt dar, in der ein reales Krankenhaus samt Räumlichkeiten und Untersuchungsgeräten abgebildet wird. Diese stellen die Präsentations- Abbildung 1: Schichtbilder aus einer Röntgen-Computer-Tomographie. Links: Ein horizontaler Schnitt durch die Knie. Rechts: Ein vertikaler Schnitt durch den Kopf. Abbildung 2: Computergenerierte Ansichten. Links: Knie. Rechts: Hüfte. plattform dar, auf der der Benutzer seine persönlichen, aus der elektronischen Patientenakte entnommenen Daten erfahren kann. Zusätzlich zur Präsentation der eigenen Gesundheitsdaten soll das virtuelle Krankenhaus als Austauschplattform dienen können, falls das Bedürfnis nach Kommunikation besteht. Die Vielfalt heutiger Chat-Foren legt die Vermutung nahe, dass die Notwendigkeit für solche Kommunikationszentren besteht. Im virtuellen Krankenhaus können sich Patienten untereinander verständigen, z. B. in einem Raum, in dem ein spezielles Leiden diskutiert wird. Hier können Erfahrungsberichte ausgetauscht werden. Die Möglichkeit der Beantwortung von Fragen durch einen Mediziner ist selbstverständlich auch gegeben. Wir bitten um Ihre Mithilfe Im Rahmen von praktischen Lehrveranstaltungen wurden bereits einige Teile des PREPaRe- Systems realisiert. Dabei flossen Phantasie und gestalterische Kreativität der Studenten und Dozenten ein, die das System so bauten, wie sie es sich vorstellten. Für eine wissenschaftliche Analyse bedarf es jedoch einer statistischen Untersuchung, in der es zu erfragen gilt, worauf sich 168 ANHANG A. FRAGEBOGEN FÜR PATIENTEN