Modellierung chirurgischer Simulationsszenarien für das Virtuelle Endoskopie Trainingssystem Çakmak H.K. 1, Maaß H. 1, Strauss G. 2, Trantakis C. 3, Nowatius E. 4, Kühnapfel U. 1 (1) Institut für Angewandte Informatik, Forschungszentrum Karlsruhe (2) Klinik und Poliklinik für HNO, Universitätsklinik Leipzig (3) Klinik und Poliklinik für Neurochirurgie, Universitätsklinik Leipzig (4) Zwo-Null-Media, D-Leipzig KEYWORDS: MODELLIERUNG, SEGMENTATION, CHIRURGIE-SIMULATION, VEST, HAPTIC-IO Zielstellung Die Aus- und Weiterbildung von Chirurgen spielt eine immer größere Rolle, da Risiken für den Patienten minimiert, Kosten gesenkt und die Effizienz gesteigert werden können. Traditionell werden Plastikmodelle, Tier- oder Leichenpräparate für das chirurgische Training eingesetzt, die jedoch aufgrund optischer und physikalischer Materialeigenschaften die Realität nicht wiedergeben können. Somit war der Wunsch nach höherem Realismus, Material-, Kosten- und Zeiteinsparung sowie ethische und moralische Fragen in bezug auf Tierexperimente Auslöser für die Suche nach alternativen Ausbildungs- und Trainingsmethoden. Die enorme Rechenkapazität heutiger Computersysteme gekoppelt mit Techniken der virtuellen Realität (VR) und neuartigen Simulationsmethoden ermöglichte ein Aufkommen VR-basierter Trainingssysteme seit Beginn der 90er Jahre als Alternative zu traditionellen Trainingsmethoden. Ein akzeptables VR-System bedarf jedoch der Abbildung der Realität in die virtuelle Welt, sowohl im visuellen Erscheinungsbild als auch im gegenseitigen Verhalten der Objekte untereinander, aber auch dem Trainierenden gegenüber (Haptik). Realistische Modelle bilden somit neben der Simulation ihres Verhaltens (Deformationssimulation, Dynamik, Kinematik, Haptik) die Grundlage eines VRbasierten Simulationssystems. In diesem Beitrag werden Modellierverfahren der Softwarepakete KisMo und Vesuv für die Erstellung von Simulationsszenarien für das VEST System der Fa. Select IT, einem Trainingssystem für die minimal invasive Chirurgie sowie für die im Rahmen des BMBF Verbundprojektes Haptic-IO erstellten Chirurgie Trainingssimulatoren im Bereich der HNO und Neurologie vorgestellt. Material und Methoden Die Grundlage für die realistische Modellierung von chirurgischen Simulationsszenarien bilden medizinische Bilddaten aus Computer (CT) oder Magnet Resonanz Tomographen (MR). Die Weiterverarbeitung dieser Bilddaten, die typischerweise im DICOM-Format vorliegen, können mit den am Institut für Angewandte Informatik des Forschungszentrum Karlsruhe entwickelten Modellierwerkzeugen KisMo und Vesuv vorgenommen werden. Während Vesuv Software- Module für die Segmentation und Rekonstruktion zur Verfügung stellt, ermöglicht KisMo die interaktive Modellierung mit 3D-Freiformflächen. Ein komplettes Simulationsszenario, die von der Simulationssoftware KISMET verarbeitet werden kann, wird schließlich mit KisMo erstellt und nach entsprechender Anpassung des Simulationsmodells für die Ansteuerung der Eingabegeräte auf die entsprechenden Trainingssysteme übertragen. Die folgende Abbildung zeigt den Fluß der Daten von der Erzeugung der Bilddaten bis hin zum Simulationsmodell an einem Trainingssystem.
CT / MR Dicom KisMo: Modellierung VEST System Projekt Anpassung Vesuv: Segmentation KISMET: Simulation Deformierbare Objekte Schichtbilder/Volumen Polygonale Daten Abbildung 1: Datenfluß für die Modellierung Segmentation und Rekonstruktion mit Vesuv Vesuv ist eine Software zur interaktiven Segmentation und Erstellung von Polygonnetzen aus Volumendatensätzen. Sie beinhaltet Komponenten zur: Volumendatenvorverarbeitung Schichtbildverarbeitung Datenverbesserung Segmentation Polygonnetzerstellung Interaktion Die Volumendatenvorverarbeitung umfasst das Importieren von Schichtbilddaten im DICOM- Format, das Zuschneiden und die Neuberechnung der Auflösung der Volumendaten. Diese Daten können im KISMET-Format exportiert und in KISMET und KisMo visualisiert werden. Weitere Transformationen sind das Skalieren, Spiegeln und die Datenausrichtung durch Verschieben (Shift) der Volumendaten. Die Schichtbildverarbeitung ermöglicht die Verarbeitung von Farb- und Grauwertdaten. Eine Datenverbesserung kann erreicht werden, indem die Grauwertdaten durch Histogrammoperatoren, Einsatz von Filtern und lokalen Datenoperatoren manipuliert werden. Die Segmentation beinhaltet für die Auswahl von Bildpunkten und Bildregionen ein Region- Growing-Algorithmus, ein Schwellwertverfahren, das interaktive Zeichnen von Bereichen mittels Pinsel, Zauberstab, und geschlossenen Bezierkurven. Zudem stehen Maskenoperatoren für das Öffnen und Verbinden von ausgewählten Regionen zur Verfügung. Die Erstellung von Polygonnetzen erfolgt mit dem Marching-Cubes-Algorithmus, wobei die erzeugten Polygonnetze zusätzlich geglättet werden können. Die direkte Erstellung von elastodynamischen Primitiven aus den segmentierten und rekonstruierten Objekten ist in Bearbeitung. Die Operatoren sind in einer übersichtlichen Baumstruktur angeordnet und können beliebig zusammengestellt und abgearbeitet werden. Vordefinierte Prozeduren ermöglichen auch dem ungeübten Anwender schnelle und qualitativ hochwertige Ergebnisse. Die nächsten Abbildungen zeigen die Segmentierung des Knochens in einem CT-Datensatz mittels Schwellwertverfahren und Anwendung geschlossener Bezier-Kurven sowie die 3D-Rekonstruktion der Segmente mit dem Marching-Cubes-Algorithmus.
Abbildung 2a,b: Segmentation und 3D-Rekonstruktion mit Vesuv Modellierung deformierbarer Objekte mit KisMo Die Modellierung deformierbarer Objekte erfolgt mit KisMo. Dieser bietet eine Schnittstelle zu Volumendatensätzen, die entweder als Schichtbilder oder als Volumenblock visualisiert werden. Anders als bei Vesuv bietet KisMo keine Bildverarbeitungs-Methoden zur Objektsegmentierung an, vielmehr dienen Bilddaten zur Approximation der Lage und Gestalt der zu modellierenden Objekte. Die Modellierung basiert auf dreidimensionalen Freiformflächen, insbesondere auf interpolierenden Hermite-Splines. Dabei stehen dem Anwender zwei Vorgehensweisen zur Verfügung: Modellierung mit vordefinierten und interaktiv definierten Freiformflächen. Bei beiden Vorgehensweisen kann der Anwender das Objekt aus drei Grundformen (Gewebe, Rohr, Ball) auswählen und die initialen Eigenschaften wie Größe, Modellgenauigkeit und Objektbezeichnung definieren. Bei vordefinierten Freiformflächen werden die spezifizierten Grundformen generiert, die nachher interaktiv an die Strukturen im Volumendatensatz angepasst werden. Hierzu werden die einzelnen Kontrollpunkte und die Ableitungsvektoren interaktiv positioniert. Die Ableitungsvektoren können entweder automatisch aus der Lage der benachbarten Kontrollpunkte berechnet oder interaktiv-graphisch mit freier Wahl der Stetigkeiten (G 0, G 1, C 0, C 1 ) gesetzt werden. Die Festlegung der Kontrollpunkte und Ableitungsvektoren erlaubt die Berechnung der Interpolationspunkte der Freiformfläche, deren Positionen für eine Fein-Approximation interaktiv per Offset-Vektor verändert werden können. Aber auch die Modellgenauigkeit kann durch interaktive Festlegung der Anzahl der Interpolationspunkte definiert werden. Im Gegensatz zu vordefinierten Freiformflächen, bei der ausgehend von einer Grundform die endgültige Form approximiert wird, können bei interaktiv definierten Freiformflächen die einzelnen Freiformkurven einer Freiformfläche interaktiv auf Schichtbildern eines Volumendatensatzes konstruiert und dem Umriß des zu modellierenden Objekts angepaßt werden. Hierfür werden Kontrollpunkte interaktiv gesetzt, gelöscht und verschoben. Für die interaktive Konstruktion der Freiformflächen ist die Wahl der Schichtrichtung der Bilddaten zwingend, die der Objektachse des Modells entspricht. Entlang der Objektachse kann pro Schichtbild maximal eine Freiformkurve definiert werden. Wird ein anderes Schichtbild gewählt, so werden aus den bereits definierten Querschnitten mittels Interpolation ein Vorschlag für eine Freiformkurve gemacht, die der Modellierer akzeptieren und manipulieren kann. Nach Beendigung der Konstruktion werden zwischen den definierten Querschnitten entlang der Objektachse weitere Freiformkurven interpoliert. Ihr Anzahl kann nachträglich verändert werden, aber auch alle andere Objekt-Manipulationen wie bei vordefinierten Freiformflächen stehen dem Anwender zur Verfügung. Diese Art der Modellierung verzichtet vollkommen auf semi-automatische Segmentationsalgorithmen und verlagert die Verantwortung bewusst den Modellierer, der im Optimal-Fall identisch mit dem Chirurgen ist und sein Expertenwissen voll einbringen kann.
Die intuitiv gestaltete Modelliersoftware unterstützt durch einen Szenenbaum und objektorientierten Dialog-Fenstern ermöglicht ein schnelles Erlernen und Erstellen komplexer Simulationsszenarien, die kompatibel zur Simulationssoftware KISMET sind. Die folgenden Abbildungen stellen die interaktive Modellierung der Leber im Visible Human Datensatz dar, wobei zunächst mehrere Umrisse der Leber mittels Interpolations-Splinekurven interaktiv definiert werden, die zusammen das endgültige Leber-Modell ergeben. Abbildung 3a,b: Interaktive Objekt-Selektion mittels Hermite-Splines und deformierbares Lebermodell des Visible Human Datensatzes Zusammen mit der Objektgeometrie werden in KisMo auch die Deformations-Eigenschaften eines modellierten Objektes festgelegt. Eine integrierte Datenbank ermöglicht die Definition und Zuweisung physikalischer Deformations-Parameter auf Objekte in der Simulationsszene. Die physikalischen Parameter wurden durch Messungen an lebendem und totem Gewebe in (1) bestimmt und tabelliert. Deformations- und Interaktions-Simulation Die physikalischen Parameter werden für die Deformations-Simulation in KISMET benötigt. KISMET stellt eine Reihe von Methoden für die Deformationssimulation zur Verfügung: Fast- Finite-Element (FFE), Volumendeformation und Feder-Masse-Netze. KisMo erstellt für die modellierten Objekte ein Feder-Masse-Netzwerk anhand der Modell-Geometrie, die eine Deformationssimulation mittels FFE und Feder-Masse-Netzwerke Simulation ermöglicht (2). Weiterhin stellt KISMET für die chirurgische Simulation mit deformierbaren Objekten mehrere Interaktions-Module wie Greifen, Klemmen, Schneiden, Spülen, Saugen, Nähen, Präparieren und Fräsen zur Verfügung. Hierfür wurden hierarchische Algorithmen für die Kollisionserkennung und Kollisionsantwort implementiert (3). Neben visuellen Effekten liefert auch das implementierte Haptik-Modul ein realistisches Trainingsgefühl. Ergebnisse Unter Verwendung von KisMo und Vesuv wurden mehrere Simulationsmodelle für verschiedene chirurgische Anwendungsgebiete erstellt. Diese sind die Gynäkologie, Cholezystektomie, Ventrikulo-Zisternomie und Felsenbein-OP, die nachfolgend im Detail vorgestellt werden. Simulationsmodelle für das VEST System der Fa. Select IT In Zusammenarbeit mit der Uniklinik Kiel wurde unter Verwendung von KisMo ein Simulationsszenario für die endoskopische Gynäkologie erstellt. Insgesamt wurden 21 elastodynamisch-verformbare Objekte (Uterus, Eileiter, Ligamente, Ovarien, etc.) mit 2.751 Masseknoten und 10.942 Federelementen modelliert. Ein weiteres Simulationsmodell wurde in Zusammenarbeit mit der Universitätsklinik Benjamin- Franklin-Berlin im Rahmen des BMBF Verbundprojektes Haptic-IO erstellt und erlaubt die Simulation der endoskopischen Gallenblasenentfernung. Das Modell umfasst 12 elasto-
dynamisch-verformbare Objekte (Leber, Gallenblase, Gallengänge, Fett- und Bindegewebe) mit 3.797 Masseknoten und 13.100 Federelementen. Abbildung 4a,b: Simulationsmodelle für die Gynäkologie und Cholezystektomie Simulationsmodell für die Ventrikulo-Zisternomie Im Rahmen des BMBF-Verbundprojektes Haptic-IO wurde in Zusammenarbeit mit der Universitätsklinik Leipzig-Neurochirurgie und der Fa. Zwo-Null-Media ein Basismodell für die Ventrikulo-Zisternomie erstellt. Damit lassen sich endoskopische Operationen an den Hirnwasserkammern insbesondere am III. Ventrikel trainieren. Neben Tumorresektionen und Probebiopsien ist die Behebung der Kommunikationsstörung der Ventrikel I-III mit dem IV. Ventrikel eine der wichtigsten chirurgischen Eingriffe. Dabei besteht eine Störung des Liquor- Abflusses aus dem Ventrikelsystem, was zu einer Erhöhung des Drucks im Schädelinneren führt. Die Therapie besteht in der Schaffung einer künstlichen Öffnung am Boden des III. Ventrikels, so dass der Liquor-Abfluß reibungslos erfolgen kann. Hierfür müssen endoskopische Instrumente bis zu den Hirnwasserkammern eingeführt und der Boden des III. Ventrikels perforiert werden ohne gesunde Hirnareale zu beschädigen. Hierfür wurde mit Vesuv und KisMo ein Simulationsszenario erstellt, das aus drei Ventrikelmodellen, dem Fornix und dem Boden des dritten Ventrikels besteht. Sie besteht aus 872 Masseknoten und 3.335 Federelementen und garantiert eine Echtzeit-Simulation auf Windowsbasierten Hochleistungsgraphik-Rechnern (z.b.: 2xPentium XEON, 1000 MHz). Als haptisches Eingabegerät wird das Phantom der Fa. Sensable Technologies eingesetzt. Für die Interaktion mit den simulierten Objekten wurden die notwendigen chirurgischen Instrumente (Endoskop, Greifzange, Bipolator, Schere) modelliert und ihre Kinematik definiert. Die folgenden Abbildungen zeigen eine OP-Aufnahme, in der der Boden des III. Ventrikels dargestellt ist sowie die Simulationsmodelle, beim Einführen des Endoskops durch das rechte Ventrikel und die Perforation des Ventrikelbodens am III. Ventrikel. Abbildung 5a,b,c: Ventrikulo-Zisternomie-OP, Flug durch das rechte Ventrikelmodell, Perforation des Ventrikelbodens des Ventrikel III
Simulationsmodell für die Felsenbein-Chirurgie Ein weiteres Simulationsmodell wurde im Rahmen des BMBF-Verbundprojektes Haptic-IO in Zusammenarbeit mit der Universitätsklinik Leipzig-HNO für die Felsenbein-Chirurgie erstellt. Das knöcherne Felsenbein enthält u.a. das Sinnesorgan für das Hören und Gleichgewicht, das Mittelohr, den Gesichtsnerven und grenzt unmittelbar an die Hirnschlagader, Hirnhaut und wichtige Nervenbahnen an und zählt somit zu den kompliziertesten anatomischen Regionen des Körpers. Operative Eingriffe in dieser Region dienen u.a. der Behandlung einer chronischen Mittelohrentzündung und der hörverbessernden Operation bei Versteifung der Gehörknöchelchenkette. Das hybride Simulationsmodell besteht aus elastodynamisch verformbaren Objekten und aus einem Volumenmodell, das aus medizinischen Schichtbildern im DICOM-Format mit Hilfe von Vesuv zunächst in das KISMET-Format umgewandelt und mittels 2D- bzw. - je nach Verfügbarkeit von Spezialhardware - mit 3D-Texturen visualisiert wird. Bei der Fräs-Simulation wird als haptisches Eingabegerät das Phantom der Fa. Sensable Technologies eingesetzt und damit ein virtueller Bohrer mit 5 definierten Kollisionspunkten gesteuert. Kollisionen mit Volumen-Elementen (Voxel) werden registriert und an das Eingabegerät als spürbare Kräfte zurückgegeben. Die Kräfte werden aus den Grauwertdaten des Volumendatensatzes und der Eindringtiefe berechnet. Bei Aktivierung des Fräsers werden - wie in der folgenden Abbildung dargestellt - Voxel aus dem Volumendatensatz entfernt. Bei Interaktion mit elastodynamischen Objekten erfolgt eine Deformations-Simulation, wobei auch Verletzungen von Weichgewebe mittels Spezialeffekte optisch wiedergegeben werden. Abbildung 6a,b: Trainingsumgebung für die Felsenbein-OP, Fräs-Simulation am Knochenmodell mit integrierten elastodynamischen Objekten Diskussion Es wurde gezeigt, dass sich die vorgestellten Modellierwerkzeuge KisMo und Vesuv für die Erzeugung von Simulationsszenarien für unterschiedliche chirurgische Anwendungsbereiche sehr gut eignen, aber auch dass die Simulationssoftware KISMET als universelle Basis-Software für unterschiedliche chirurgische Trainings-Applikationen eingesetzt werden kann. Im Rahmen der durchgeführten Projekte ist weitere Entwicklungsarbeit notwendig: Diese umfasst die Verbesserung der Modelle, Anpassung der Simulation (Physiologie, visuelle Effekte, etc.) an die Applikation, aber auch die Entwicklung neuartiger haptischer Eingaberäte, an die chirurgische Original-Instrumente problemlos gekoppelt werden können. Literatur (1) Maaß, H., Kühnapfel, U.: Noninvasive Measurement of Elastic Properties of Living Tissue, CARS '99, Paris, F, June 23-26, 1999, pp 865-870 (2) Kühnapfel U., Çakmak H. K., Maass H.: Endoscopic Surgery Training using Virtual Reality and deformable Tissue Simulation Computers & Graphics 24(2000) 671-682, Elsevier (2000) (3) Çakmak H. K., Kühnapfel U.: Animation and Simulation Techniques for VR-Training Systems in Endoscopic Surgery, EGCAS '2000, Interlaken/CH, 21.-22.08.2000, pp. 173-185