Proseminar Informatik in der Medizin. Generierung von dreidimensionalen Oberflächenmodellen aus Schichtbildern Der Marching Cubes Algorithmus

Transkript

1 Proseminar Informatik in der Medizin Generierung von dreidimensionalen Oberflächenmodellen aus Schichtbildern Der Marching Cubes Algorithmus Tobias Gaugler Betreuer: Sascha Däuber Karlsruhe im WS2000/0 Dreidimensionale Oberflächenmodelle stellen für die Medizin heutzutage ein wichtiges Mittel bereit, komplexe Strukturen innerhalb von Körpern anschaulich darzustellen. Im folgenden soll nun am Beispiel des Marching Cubes Algorithmus gezeigt werden, wie solche Modelle aus Schichtbildern erzeugt werden können. Inhalt:. Einleitung Vom Schichtbild zum Oberflächenmodell Zur Generierung von 3D Oberflächen Die Vorgehensweise des Algorithmus Der Marching Squares Algorithmus Der Marching Cubes Algorithmus Probleme / Problembehebung Verminderung der Dreiecksanzahl Lochbildung / Vermeidung der Entstehung von Löchern Verbesserung des Algorithmus Solid Modelling Beispielbild Zusammenfassung Literaturnachweis...

2 . Einleitung Der Medizin stehen heutzutage durch Computertomographie (CT), Magnetresonanztomographie (MRT) oder Single-Photon-Emissioncomputertomographie (SPECT) verschiedene Verfahren zur Verfügung mit denen man dreidimensionale Bildfolgen in Form von Schichtbildern erstellen kann. Diese Schichtbilder ermöglichen es, anatomische und pathologische Strukturen eines Körpervolumens darzustellen. Mit dem 987 von William E. Lorensen und Harvey E. Cline vorgestellten Marching Cubes Algorithmus ist es möglich, aus solchen Schichtbildern sehr schnell hochauflösende, dreidimensionale Oberflächenmodelle zu erstellen. Für Ärzte sind solche Modelle sehr nützlich, da dadurch Strukturen innerhalb des Körpers sehr anschaulich und genau dargestellt werden können. Im Gegensatz zu Schichtbildern, auf denen oft nur für besonders geschultes und erfahrenes Personal etwas zu erkennen ist, stellen 3D Modelle ein Mittel bereit, auch weniger erfahrenen Benutzern feinste Merkmale innerhalb eines menschlichen Körpers klar und zusammenhängend darzustellen. Deshalb werden solche Modelle oft zur Lehre oder zur Operationsplanung eingesetzt. Im folgenden soll nun zunächst der Weg der Schichtbildfolge zum Oberflächenmodell beschrieben werden. Danach wird erklärt, wie der Marching Cubes Algorithmus im einzelnen arbeitet, es werden seine Vor- und Nachteile beschrieben und es werden Methoden zur Behebung dieser Nachteile gezeigt. 2. Vom Schichtbild zum Oberflächenmodell Die Daten zur Darstellung von dreidimensionalen Oberflächenmodellen gewinnt man durch bildgebende Verfahren wie CT, MRT oder SPECT. Die hierdurch entstandenen Schichtbilder sind zur direkten Verarbeitung oft noch zu komplex und müssen deshalb zuerst noch vorverarbeitet werden, um spezielle Merkmale besser hervorzuheben. Die unterschiedlichen bildgebenden Verfahren sind unterschiedlich gut dafür geeignet, verschiedene Strukturen darzustellen. So sind CT - Bilder beispielsweise besonders gut für die Darstellung harter Teile, wie Knochen geeignet. Mit Hilfe von SPECT - Bildern lässt sich Blut im Körper gut darstellen. MRT Bilder wiederum stellen Weichteile besonders detailliert dar. Gewinnung der Daten CT MRT SPECT Bildverarbeitung Segmentierung Filtern Oberflächengenerierung Modell aus Voxeln oder Polygonen Durch Wahl eines Helligkeitswertes wird eine Oberfläche ausgewählt Abbildung : Darstellung Beleuchtung, Schattierung Entstehung von medizinischen 3D Modellen Durch den Detailreichtum dieser Bilder ist es je nach Verwendungszweck nötig, die darzustellenden Objekte zuerst zu Segmentieren oder durch Filterung besonders hervorzuheben. Die Segmentierung kann teilweise mittels bestimmter Algorithmen, die Strukturen im Datensatz finden, automatisch erfolgen, jedoch bei sehr feinen Strukturen ist dies nicht immer möglich. Durch die Filterung kann die Qualität der Bilder verbessert werden, indem Rauscheinflüsse reduziert werden oder Artefakte entfernt werden. 2

3 Abbildung 2: Axiale, sagittale und coronare Sekundärschnittbilder aus einer magnetresonanztomographischen 3D-Bildfolge. Die eingezeichneten Linien beschreiben jeweils die Lage der orthogonalen Schichtebenen. Aus [] Die vorliegenden Bilder bilden nun axiale Schnitte durch den Körper. Weitere Bilder in frei wählbarer Schichtführung können nun unter Verwendung von Interpolationsverfahren im Volumendatensatz berechnet werden. So wird beispielsweise die Darstellung von sagittalen oder coronaren Schnitten von Schichtbildern möglich (siehe Abb. 2). Jedoch sind auf diesen Bildern nur für das geschulte Auge Zusammenhänge zu erkennen und man kann sich schlecht vorstellen wie das Dargestellte in Wirklichkeit aussieht. Deshalb erstellt man Oberflächenmodelle aus dem 3D - Datensatz. Dies kann mittels voxelbasierender oder polygonbasierender Verfahren, wie dem Marching Cubes Algorithmus, geschehen. Die voxelbasierenden Verfahren werden im folgenden nicht behandelt. Beim Marching Cubes Algorithmus wird die jeweils gewünschte Oberfläche durch den Benutzer mittels eines Schwellwertes ausgewählt. Dieser Schwellwert repräsentiert einen bestimmten Grauwert innerhalb des Volumendatensatzes. Nach der Oberflächenbildung kann der dreidimensionale Effekt das entstandenen Modells noch durch entsprechende Beleuchtung und Schattierung hervorgehoben werden. 3. Zur Generierung von 3D Oberflächen Dreidimensionale Modelle können auf verschiedene Weisen erstellt werden. Einerseits gibt es voxelbasierende Verfahren, die direkt im 3D Bilddatensatz, also direkt im Voxelraum, arbeiten. Hierbei wird das jeweils einem Bildpunkt zugeordnete Voxel als Quader aufgefasst, der durch seine Koordinaten und seinen Grauwert beschrieben ist. Die zu erzeugenden Modelle werden quasi als Anhäufung von solchen Voxeln gesehen. Andererseits gibt es polygonbasierende Verfahren, die die Oberfläche mittels Voxelraum segmentierte Bilddaten Voxelbasierte Algorithmen Beleuchtung Marching Cubes Algorithmus Triangulation Beleuchtung Schattierung Polygonoberfläche Abbildung 3: Entstehung von 3D Oberflächen 3

4 eines Polygonnetzes erstellen, welches aus Dreiecken besteht. Bei den polygonbasierenden Verfahren wäre zunächst einmal die konturbasierte Triangulation zu nennen. Dieses Verfahren geht von schichtweise segmentierten Objektkonturen aus, es arbeitet also nicht direkt im Voxelraum. Die Außenkonturen des segmentierten Objektes müssen hierbei schichtweise markiert vorliegen. Zur Segmentierung können einerseits spezielle Algorithmen zur Strukturfindung eingesetzt werden, andererseits muss bei Objekten, die sich nur schlecht von ihrer Umgebung abgrenzen lassen, manuell mittels Scherenmaske eingegriffen werden. Bei der Triangulation werden dann die segmentierten Objekte von je zwei benachbarten Schichten betrachtet und mittels Dreiecken verbunden. Es werden jeweils zwei Punkte einer Kontur und ein Punkt der benachbarten Kontur verbunden. Diese Dreiecke bilden dann ein Polygonnetz (siehe Abb. 2, rechts unten). Der entscheidende Nachteil bei diesem Verfahren besteht darin, dass bei der automatischen Segmentierung oft nicht unterschieden werden kann, zu welcher Kontur welches Objekt gehört. Deshalb kann es beispielsweise bei sich von Schicht zu Schicht stark ändernden Konturen wie Gefäßen nur eingeschränkt eingesetzt werden. Die Erstellung einer dreidimensionalen Oberfläche mit diesem Verfahren ist deshalb oft ein interaktiver Prozess mit einem erfahrenen Benutzer. Ein weitaus besseres, genaueres und schnelleres Verfahren, das automatisch eine Oberfläche erzeugt, ist der Marching Cubes Algorithmus, der im folgenden Abschnitt beschrieben wird. 4. Die Vorgehensweise des Algorithmus Der Marching Cubes Algorithmus ist ein Verfahren, das speziell für die Generierung von dreidimensionalen Oberflächenmodellen aus medizinischen Bilddaten entwickelt wurde. Der Algorithmus benutzt dabei eine Teile - und - Herrsche Strategie, indem er das Problem der Oberflächengewinnung auf wenige bekannte Grundkonfigurationen zurückführt. Die Pixel der einzelnen Schichtbilder werden bei diesem Verfahren als Eckpunkte von Quadern angesehen, die jeweils einen bestimmten Grauwert f(x, y, z) besitzen. Der gesamte 3D-Bilddatensatz wird somit als Punktegitter aufgefasst. Durch Vorgabe eines frei wählbaren Helligkeitswertes t kann jetzt eine Oberfläche O t definiert werden: Ot={(x,y,z) f(x,y,z)=t} Die Oberfläche O t ist die Menge aller Punkte mit dem Helligkeitswert t. Es kann also folgendermaßen entschieden werden, ob sich ein Punkt außerhalb oder innerhalb der Objektoberfläche befindet: B(x, y, z) 0, =, falls f(x, y, z) falls f(x, y, z) Das bedeutet, falls der betrachtete Punkt einen größeren Helligkeitswert besitzt als der Schwellwert t, so befindet sich der Punkt außerhalb der zu bildenden Oberfläche. Hat der betrachtete Punkt hingegen einen gleichen oder kleineren Helligkeitswert wie der Schwellwert t, so liegt der Punkt auf bzw. innerhalb der zu bildenden Oberfläche. Wenn nun bei zwei benachbarten Punkten der eine innerhalb und der andere außerhalb liegt, so muss die die beiden Punkte verbindende Kante von der Oberfläche durchschnitten werden. Aufgrund > t t 4

5 dieser Tatsache ist es möglich, die verschiedenen Schnittmöglichkeiten schon im voraus in Form von Grundkonfigurationen darzustellen. Mit dieser Methode ist es möglich, durch Wahl unterschiedlicher Helligkeitswerte unterschiedliche Objekt des menschlichen Körpers darzustellen, da z.b. Knochen in Schichtbildern einen anderen Helligkeitswert haben als die Haut. Eine einfachere Variante des Marching Cubes Algorithmus ist der Marching Squares Algorithmus, der im Gegensatz zum Marching Cubes Algorithmus statt im dreidimensionalen im zweidimensionalen arbeitet. Anstatt einer Oberfläche entsteht hierbei eine Kontur. Index: Fall 0 Fall Fall 2 Fall 3 Fall 4 Fall 5 Fall 6 Fall Index: Fall 5 Fall 4 Fall 3 Fall 2 Fall Fall 0 Fall 9 Fall bit Index: entspricht 0, d.h. die Ecke ist außerhalb der Kontur entspricht, d.h. die Ecke ist innerhalb der Kontur v4 v3 v4 v3 v2 v Abb. 4: Die 6 Grundkonfigurationen des Marching Squares Algorithmus v v2 4.. Der Marching Squares Algorithmus Beim Marching Squares Algorithmus wird das zugrundeliegende Bild zuerst in gleichgroße Quadrate eingeteilt. Jeder Eckpunkt der Quadrate besitzt den Helligkeitswert des an dieser Stelle im Bild liegenden Pixels. Durch Vorgabe eines Helligkeits-Schwellenwertes kann nun bestimmt werden, ob das Quadrat innerhalb oder außerhalb der Kontur liegt, oder ob es von der Kontur geschnitten wird. Es gibt 2 4 Möglichkeiten (=2 Anzahl der Ecken ) wie eine Kontur solch ein Quadrat schneiden kann. Die 6 Möglichkeiten (Grundkonfigurationen) sind in Abb. 4 dargestellt. Diese können auf 5 Konfigurationen (Fälle 0,, 3, 5, 5a(gestrichelter Schnitt)) reduziert Abbildung 5: Beispiel des Marching Squares Algorithmus. Schwellwert ist hier 5. 5

6 werden, da alle anderen Fälle durch Rotation und Inversion dargestellt werden können. Der Algorithmus geht nach der Enteilung in Quadrate nun folgendermaßen vor: Anfangs prüft er alle Ecken, ob sie oberhalb oder unterhalb des Schwellwertes liegen. Dadurch erkennt er, ob die Ecke innerhalb oder außerhalb der Kontur liegt. Hieraus entsteht nun für jedes Quadrat ein 4-bit Index. Der Index wird dadurch erzeugt, dass jeder Ecke eines Quadrates, die außerhalb der Kontur liegt, eine 0 zugeordnet wird, und jeder Ecke, die innerhalb der Kontur liegt, eine zugeordnet wird. Durch Vergleichen der Indizes mit den Grundkonfigurationen kann herausgefunden werden, wie die Kontur das jeweilige Quadrat schneidet. Das Verfahren kann gleichzeitig in allen Quadraten angewandt werden. Dadurch entsteht sehr schnell eine Kontur des gewünschten Objektes Der Marching Cubes Algorithmus Der Marching Cubes Algorithmus arbeitet im dreidimensionalen. Seine Vorgehensweise besteht nun darin, dass er zuerst aus 2 benachbarten Schichten jeweils 4 übereinanderliegende Pixel auswählt und aus diesen Quader bzw. Würfel bildet. Die Ecken dieser Würfel repräsentieren die jeweiligen Helligkeitswerte an diesen Stellen. Der Algorithmus bestimmt nun wie die zu bildende Oberfläche den jeweils betrachteten Würfel schneidet. Dann wandert er (marches) zum nächsten Würfel. Index: Pixel Schicht i+ Schicht i Abbildung 6: Voxelkonfiguration und Indexbildung beim Marching Cubes Algorithmus Um die Schnittstellen im Würfel zu berechnen, vergleicht er, gleich wie der Marching Squares Algorithmus, die Helligkeitswerte mit dem vorgewählten Schwellwert. Ist der Helligkeitswert oberhalb des Schwellwertes oder gleich, so liegt der Würfel innerhalb oder auf der Oberfläche und der Ecke des Würfels wird eine zugeordnet. Liegt er Helligkeitswert unterhalb des Schwellwertes, so liegt der Eckpunkt außerhalb der entstehenden Oberfläche und erhält eine 0. Da Würfel betrachtet werden, ergibt sich jetzt ein 8-bit Index. Aufgrund der Tatsache, dass jede Ecke entweder innerhalb oder außerhalb der Oberfläche liegen kann, gibt es 2 8 Möglichkeiten, wie die Oberfläche einen solchen Würfel schneidet. Der Algorithmus bildet im Gegensatz zu Marching Squares keine Linien sondern Dreiecke. Die einzelnen Schnittmöglichkeiten sind in Abbildung 7 dargestellt. Die 256 Möglichkeiten des Schnittes durch einen Würfel lassen sich aufgrund von Symmetrieeigenschaften auf 5 begrenzen. Diese Symmetrieeigenschaften sind im einzelnen: Drehung um die drei Hauptachsen Spiegelung an den drei Hauptachsen und Invertierung der Eckenmarkierungen (0 wird zu oder umgekehrt) 6

7 Durch Durchwandern der einzelnen Würfel und vergleichen der Indizes mit den Grundkonfigurationen kann nun ein Polygonnetz aufgespannt werden. Diese so entstandene Oberfläche ist jedoch sehr kantig. Sie kann durch lineare Interpolation geglättet werden. Die Oberfläche schneidet dann die Kanten nicht mehr genau in der Mitte, sondern etwas weiter zu den Ecken hin verschoben. Der letzte Schritt beim Marching Cubes Algorithmus ist die Berechnung der Normalenvektoren für jeden Eckpunkt der Dreiecke. Diese werden für die Beleuchtung und Schattierung des Modells benötigt. Zu diesem Vorgang ist es nötig, gleichzeitig vier Schichten im Speicher zu halten. Zur Bildung der Oberflächenschnitte werden immer die mittleren beiden Schichten betrachtet. Abbildung 7: Die von Lorensen und Cline vorgeschlagenen 5 Grundkonfigurationen. Aus [4] Nochmals zusammengefasst erstellt der Marching Cubes Algorithmus aus einem 3D Datensatz eine Oberfläche folgendermaßen:. Einlesen von vier Schichten in den Speicher 2. Erstellen der Würfel in den mittlern Schichten aus je vier Pixel der einen und vier Pixel der benachbarten Schicht 3. Berechnung der Indizes für die Würfel durch Vergleichen der 8 Helligkeitswerte mit dem Schwellwert 4. Vergleichen der Indizes mit denen der Grundkonfigurationen 5. Finden der Oberflächenschnitte durch lineare Interpolation 6. Berechnung der Normalenvektoren zur Beleuchtung 7. Ausgabe der Dreieckskanten und Normalen 7

8 5. Probleme / Problembehebung 5..Verminderung der Dreiecksanzahl Falls alle Punkte innerhalb oder außerhalb der Oberfläche liegen, entstehen in einem Würfel keine Dreiecke. Ansonsten werden je nach Schnitt zwischen einem und vier Dreiecken gebildet. Es können deshalb sehr viele Dreiecken entstehen. Bei 00 Schichten zu 52x52 Pixel können schon etwa eine Million Dreiecke generiert werden. Dies ist selbst bei heutigen Graphikcomputern noch sehr viel und kann nicht in Echtzeit dargestellt werden. Um eine vernünftige Verarbeitungsgeschwindigkeit garantieren zu können, müssen also Dreiecke zusammengefasst werden. Lorensen hat für diesen Zweck zusammen mit William J. Schroeder und Jonathan A. Zarge Abbildung 8: 3D Drahtgittermodell der Kopfhaut mit 4653 Dreiecken nach Anwendung des Ausdünnungsverfahrens. Aus []. ein Verfahren entwickelt (Decimation of Triangle Meshes), mit dem die Anzahl der Dreiecke um bis zu 90% vermindert werden kann, ohne große Einbußen in der Genauigkeit hinnehmen zu müssen. Dies ist möglich, da glatte Flächen durch große Dreiecke dargestellt werden können, nur bei feinen Details müssen die Dreiecke so klein bleiben, wie sie vom Marching Cubes Algorithmus geliefert werden. Die Reduzierung der Auflösung der Schichtbilder verringert zusätzlich die Anzahl der Dreiecke, verbessert die Oberfläche und glättet das Modell. Dies kann beispielsweise dadurch geschehen, dass der Mittelwert von vier Pixel zu einem verschmolzen werden Lochbildung / Vermeidung der Entstehung von Löchern Ein weiteres Problem des Marching Square bzw. des Marching Cubes Algorithmus ist die Lochbildung. Bei genauerer Betrachtung der Grundkonfigurationen zeigt sich, dass diese nicht eindeutig sind. So besteht beim Marching Squares Algorithmus bei Konfiguration 0 die Möglichkeit, die Kontur entweder zu schließen, oder offen zu lassen (s. Abb. 9 oben). Dieses Problem ist einfach zu beheben, da von Fall zu Fall manuell entschieden werden kann und die Entscheidung einer Konturauswahl unabhängig von allen anderen ist. Beim Marching Cubes Algorithmus ist dies nicht so einfach. Wenn hier z.b. Konfiguration 4 auf Konfiguration 7c trifft (s. Abb. 9 unten) so entsteht ein Loch in der erzeugten Oberfläche. Dieses Abbildung 9: Lochbildung beim Marching Squares Algorithmus (oben) und beim Marching Cubes Algorithmus (unten) 8

9 Problem kann mit den Grundkonfigurationen nicht behoben werden. In Schroeder et al. [4] werden deshalb zusätzliche Konfigurationen vorgeschlagen (s. Abb.0), mit denen das Entstehen einer geschlossenen Oberfläche garantiert werden kann. Abbildung 0: Zusätzliche Konfigurationen. Aus [4] 6. Verbesserung des Algorithmus Ein großer Vorteil des Marching Cubes Algorithmus ist es, dass er praktisch die Schnitte durch alle Würfel gleichzeitig, d.h. parallel, berechnen könnte. Dabei rechnet er jedoch die Schnitte durch viele Kanten doppelt aus. Erheblicher Rechenaufwand kann deshalb durch dynamisches Programmieren eingespart werden. In Abb. beispielsweise müssen, wenn die Schnitte durch die beiden Abbildung : Beispiel für dynamisches Programmieren beim Marching Cube äußeren Würfel bereits berechnet sind, beim mittleren Würfel statt 2 nur noch 4 Schnitte berechnet werden. 7. Solid Modelling Oft möchte man die erzeugte Oberfläche nicht nur von außen betrachten, sondern auch verschiedene Teile herausschneiden und durch diese Löcher in das Innere schauen. Dazu muss das Polygonmodell mit einer Schnittfigur geschnitten werden. Dies wäre sehr aufwendig. 9

10 Sehr einfach geht es jedoch, wenn man die schon berechneten Indizes der einzelnen Voxel verwendet. Denn dieser Index beschreibt, ob das Voxel innerhalb (Index=255), außerhalb (Index=0) oder auf (0<Index<255) dem Objekt liegt. Für einen Schnitt müssen nun für jeden Voxel der Index des zu schneidenden Objekts mit dem Index der Schnittfigur verglichen werden. Wenn der Voxel innerhalb der Schnittfigur liegt, werden die normalen Oberflächen des Objektes generiert, liegt er auf der Schnittfigur und innerhalb des Objektes, werden die Flächen der Schnittfigur verwendet. Nur wenn der Voxel auf beiden Flächen liegt, müssen die einzelnen Dreiecke konventionell miteinander geschnitten werden. Die erzeugte Schnittfläche kann nun mit Hilfe einer Textur verdeutlicht werden. 8. Beispielbild Abbildung 2: Durch den Marching Cubes Algorithmus aus Schichtbildern generiertes Modell eines Skeletts. Für weitere Beispielbilder siehe z.b. The Visible Human Project [6] 9. Zusammenfassung Der Marching Cubes Algorithmus berechnet aus zweidimensionalen Schichtbildern dreidimensionale Modelle, die anschauliche Einblicke in den menschlichen Körper geben. Er unterteilt dabei das zu bildende Modell in Würfel. Durch Vorgabe eines Helligkeits- 0

11 Schwellwerts und aufgrund von vorgegebenen Schnittkonfigurationen kann man mit diesem Algorithmus bereits mit relativ billiger Hardware sehr schnell Ergebnisse erzielen. Zusammengefasst ergeben sich als Vorteile: - Eindeutige Lösbarkeit der Oberflächengenerierung - Eine beliebige Reihenfolge der Abarbeitung - Eine glatte Oberflächenbeschreibung Als Nachteile sind lediglich die große Anzahl von Dreiecken zu nennen. 0. Literaturnachweis [] Heinz Handels Medizinische Bildverarbeitung, S , Teubner [2] Karsten Kaiser, Hardwareorientierte Schnittflächendarstellung und interaktive Objektmanipulation mit OpenGL, Diplomarbeit, Fachbereich Informatik der Universität Hamburg, S. 0-4, Juni [3] W. E. Lorensen, H. E. Cline. Marching Cubes: A high resolution 3D surface construction algorithm. Computer Graphics, 2(4): S.63-69, 987. [4] W. Schroeder, K. Martin, B. Lorensen. The Visualization Toolkit. 2 nd edition, Prentice Hall PTR, New Jersey, 998. Internet: [5] [6] Marching through the visible man,