Vergleich von deformierbaren 3D/3D Registrierungsmethoden für MRT- und CT-Volumendaten. Diplomarbeit

Transkript

1 Fachbereich 4: Informatik Universitätsklinik Tübingen, Radiologische Diagnostik Vergleich von deformierbaren 3D/3D Registrierungsmethoden für MRT- und CT-Volumendaten Diplomarbeit zur Erlangung des Grades einer Diplom-Informatikerin im Studiengang Computervisualistik vorgelegt von Verena Scheel Erstgutachter: Zweitgutachter: Prof. Dr. Stefan Müller (Institut für Computervisualistik, AG Computergraphik) PD Dr. Bernd Pichler (Labor für präklinische Bildgebung und Bildgebungstechnologie) Koblenz, im Juli 2007

2 Erklärung Ich versichere, dass ich die vorliegende Arbeit selbständig verfasst und keine anderen als die angegebenen Quellen und Hilfsmittel benutzt habe. Ja Nein Mit der Einstellung der Arbeit in die Bibliothek bin ich einverstanden. Der Veröffentlichung dieser Arbeit im Internet stimme ich zu (Ort, Datum) (Unterschrift) 1

3 Inhaltsverzeichnis 1 Motivation Einleitung Ziel der Diplomarbeit Überblick Registrierungsmethoden Definition Klassifizierung Aufbau der Registrierungsmethoden in ITK Transformation Basis-Splines Die Modellierung der dreidimensionalen Deformation durch B-Splines Darstellung der Deformation Ähnlichkeitsmaße Mutual Information Normalisierte Mutual Information Mattes Mutual Information Optimierungsalgorithmus 33 6 Interpolation Lineare Interpolation B-Spline Interpolation Otsu-Schwellwertverfahren 36 8 Registrierung und ITK Vorverarbeitung: rigide Registrierung Erstellung der Referenzdaten Deformierbare Registrierung i

4 8.4 Matcher3D Maß Bearbeitung des MR-Bildes Bearbeitung des CT-Bildes Vergleich und Bewertung Diskussion Bestimmung geeigneter Datensätze und die rigide Vorregistrierung mit MiraView Deformierbare Registrierung der Referenzdaten mit Mira- View Rigide Registrierung in ITK Deformierbare Registrierung in ITK Vergleichsmaß Quintessenz und Ausblick 74 Literaturverzeichnis77 ii

5 1 Motivation 1.1 Einleitung Die deformierbare Registrierung multimodaler, dreidimensionaler Bilddaten und die Bestimmung der Güte dieser Registrierungsmethoden ist ein umfassendes Thema der aktuellen Bildverarbeitung. Ziel ist dabei, die geometrischen Unterschiede der Bilder, entstanden durch die Verwendung von verschiedenen Aufnahmegeräten und der Umbettung des Patienten, zu minimieren. Durch die Entwicklung neuer bildgebender Verfahren in der Medizin tauchen neue Problemstellungen auf. Die Kombination der herkömmlichen Geräte liefert multimodale Bildinformation und ermöglicht patientenschonendere und zeitlich unaufwändigere Untersuchungen, jedoch ist die Realisierung und Optimierung für den klinischen Gebrauch und die Aufbereitung der Bilddaten komplex und erfordert viel Innovation. Durch das Zusammenbringen der Positronen-Emissionstomographie(PET) und der Magnetresonanztomographie (MRT) in einem Gerät ist das funktionelle und anatomische Abbilden des Körpers bestens aufeinander abgestimmt, allerdings ist die Entwicklung neuer Software und neuer Bild- Korrekturalgorithmen für dieses multimodale Gerät essentiell. Ein aktuelles und wichtiges Thema ist die MR-basierte PET Schwächungskorrektur. Die kombinierte PET/Computertomographie (CT) ist ein seit mehreren Jahren etabliertes Verfahren und wird insbesondere in der Krebsdiagnostik klinisch eingesetzt. PET liefert eine quantitative Information über die Anreicherung eines radioaktiv markierten Biometers, beispielsweise in Tumorgewebe. Diese quantitative Information wird für Diagnose und Therapieplanung gleichermassen verwendet. Um eine möglichst genaue quantitative Aussage zu bekommen, ist die Schwächung der radioaktiven Strahlung durch das unterschiedlich dichte Körpergewebe zu berücksichtigen und zu korrigieren. Üblicherweise wird die Schwächungs- 1

6 korrektur des PET-Bildes beim PET/CT basierend auf der CT-Information, die die Schwächung der Röntgenstrahlung durch das Gewebe wiedergibt, durchgeführt. Beim MR hingegen wird die Protonendichte des Gewebes und nicht die Schwächung gewonnen. Daher müssen innovative Methoden entwickelt werden, um die Schwächung bei PET-Bildern mittels der MR-Information zu korrigieren. Ein Ansatz zur Berechnung der Schwächungskarte des PET-Bildes ist die Erstellung eines Pseudo-CTs aus dem zum PET-Bild parallel akquirierten MR-Bild. Dieses Verfahren basiert auf Methoden des maschinellen Lernens und benötigt eine große Anzahl möglichst korrekt registrierter MR-CT-Paare, die als Trainingsdaten fungieren [HSS + ]. Im Hinblick auf die Erstellung dieses MR-CT-Atlasses ist es nötig eine Methode zu finden, die die benötigte Genauigkeit der geforderten Überlagerung erreicht. Die landmarkenbasierte, manuelle Registrierung von zwei Bilddatensätzen erwies sich als zeitaufwändig, weshalb vollautomatische Methoden zum Einsatz kommen sollten. Der Vergleich von vorhandenen Methoden aus dem Insight Registration and Segmentation Toolkit (ITK) und die Evaluierung der Resultate anhand klinischer Patientendaten bot sich als Aufgabenstellung an. Durch die spezifischen Eigenschaften der Aufnahmegeräte sind die gewonnenen Bilder aus dem MRT und CT sehr unterschiedlich. Im MR-Bild ist die Abbildung der wasserhaltigen Gewebeklassen des Körpers sehr detailgetreu, wobei Knochen und Luft darin wenig bis kein Signal erzeugen und im Bild dunkel erscheinen. Das CT-Bild zeigt die Unterschiede dieser Strukturen hingegen deutlich, da ihre Abschwächung des Röntgenstrahls stark differiert. Knochen, als die Gewebeklasse mit der größten Dichte, erscheint im CT-Bild hell, darauf folgen Weichgewebe, die eine geringere Dichte aufweisen. Die Abschwächung des Röntgenstrahls durch Luft ist zu vernachlässigen, weshalb diese Klasse im Bild schwarz erscheint. 2

7 Durch diese multimodale Kombination ist die Registrierung der Bilder erschwert, da die Abbildung der Gewebeklassen nicht nach ihrer Erscheinung, den Intensitäten im Bild, erfolgen kann (allgemein: Knochen ist im MR- dunkel, im CT-Bild dagegen hell, Luft ist in Beiden die dunkelste Klasse). Aufgrund von Magnetfeldinhomogenitäten, welche die Korrektheit der MR-Bilder beeinflussen, eventuellen anatomischen Veränderungen zwischen den Aufnahmen und lagerungsbedingten Unterschieden des Patienten in beiden Modalitäten, ist die Transformation zwischen den Bildern nicht trivial. Eine große Menge an Parametern wird für die Anpassung benötigt, da die Verzerrungen nicht einheitlich sind. Sie können nicht durch Rotationen und Translationen ausgeglichen werden, weshalb der Einsatz von deformierbaren Registrierungsmethoden, die möglichst geometrisch unabhängig funktionieren sollten, äußerst wichtig ist. 1.2 Ziel der Diplomarbeit Das Ziel dieser Diplomarbeit war das Finden und Implementieren eines geeigneten Ähnlichkeitsmaßes (Metrik) für den unabhängigen Vergleich, der in ITK implementierten Registrierungsbausteine. Dazu mussten angemessene Datensätze gefunden und für die Verwendung mit der deformierbaren Registrierung vorbereitet werden. Die von ITK angebotenen Bausteine mussten kombiniert und daraus funktionsfähige Programme erstellt werden. Dazu gehörte die Wahl eines geeigneten Dateiformates, das Einlesen der Bilder, die Abstimmung der Parameter für das korrekte Verzerren der Bilder, das Verstehen der Funtionsweise der Registrierung und das Speichern der transformierten Bilder. 3

8 1.3 Überblick Im Kapitel Registrierungsmethoden sind die Grundlagen der Registrierung beschrieben, sowie eine Zusammenfassung der Bestandteile und Klassifizierung der Inhalte dieser Methoden allgemein. Der Aufbau der in ITK implementierten Funktionen ist ein zusätzlicher Punkt, auf welchen eingegangen wird. Ab dem folgenden Abschnitt sind die für die verwendeten Registrierungsmethoden wichtigen Bausteine näher erläutert. Das Kapitel Transformation beschreibt, wie Verformungen der dreidimensionalen Bilder kalkuliert und dargestellt werden. In Ähnlichkeitsmaße folgt die Erläuterung der für den Vergleich der Bilder notwendigen Bestandteile der Registrierung. Die Kapitel Optimierungsalgorithmus, Interpolation und Otsu-Schwellwertverfahren sind weitere Beschreibungen der Grundlagen. Darin werden die Verfahren zur Maximierung der Ähnlichkeit zwischen den Bildern beschrieben, sowie der Ausgleich der durch die Verzerrung entstandenen Unregelmäßigkeiten der Bildintensitäten. Das Verfahren von Otsu findet bei der Begutachtung der Registrierung und dem Vergleich der Methoden Verwendung. In diesem Teil ist das Vorgehen zur Trennung des Bildes in verschiedene Helligkeitsstufen der Bildintensitäten erläutert. In Kapitel 8 und 9 sind die Materialien und Methoden beschreiben, die zur Anfertigung der Diplomarbeit nötig waren. Das sind unter Anderem die Registrierungsmethoden, sowie das Vergleichsmaß basierend auf den segmentierten Gewebeklassen aus beiden Bildern. Zum Abschluss folgen die erzielten Ergebnisse, die Diskussion und der Quintessenz und Ausblick. 4

9 2 Registrierungsmethoden 2.1 Definition Wird von Registrierung gesprochen, ist die Rede vom Finden einer Abbildung, die zwei gegebene Bilder A und B möglichst genau in Deckung bringt. Es wird zwischen zwei grundlegenden Varianten unterschieden, da zwei Koordinatensysteme betrachtet werden, der Koordinaten- und der Bildraum [HBHH01]. Bezieht sich die Transformation allein auf die Positionen im Bild, die Koordinaten, wird das Symbol T verwendet. Das Zeichen T beschreibt Transformationen, die die Intensitäten der Pixel, die Pixelwerte im Bildraum, mitberücksichtigen. Diese Art von Transformationen beinhaltet Resampling, d. h. die Veränderung der Auflösung der Bilder und Interpolation zwischen den Intensitäten. Die Transformation T, kann als Abbildung der Position x des ersten Bildes in das Koordinatensystem des zweiten Bildes gesehen werden. T : x A x B T (x A ) = x B (1) Die vollständige Abbildung muss jedoch die Intensitäten beinhalten, damit nicht nur die Koordinaten berücksichtigt werden, sondern auch die Informationen, die die Bilder enthalten und deren Veränderung durch Interpolation und Resampling. Die Beschreibung der Bilder kann durch A : x A Ω A A(x A ) (2) und B : x B Ω B B(x B ) (3) 5

10 erfolgen. Die Punkte innerhalb des Patienten liegen in den Domänen Ω der Bilder (Field of View) und werden dabei auf die Intensitäten im Bild übertragen. Dabei wird jede Position in der Domäne Ω dem Bild eindeutig zugeordnet. Um die Bilder vergleichen zu können, müssen sich ihre Domänen überlappen. Die Schwierigkeit ergibt sich daraus, dass B(x A ) nicht definiert ist. Das mit T transformierte Bild B wird im Folgenden mit B T bezeichnet. Ist die korrekte Transformation T zwischen den Bildern gefunden, zeigen die Intensitäten A(x A ) in Bild A und B T (x A ) in Bild B auf dieselbe Position im Patienten im Bild. Da die Intensitäten beider Bilder jedoch nicht übereinstimmen müssen - dies tritt vorallem bei Aufnahmen aus verschiedenen Modalitäten der Bildgebung auf - muss dazugesagt werden, dass die behandelten Transformationen diese nicht ineinander überführen. Um Bilder aber vergleichen zu können, muss ein Bezug zwischen den Intensitäten beider Bilder hergestellt werden. Dies basiert bei einigen Methoden auf herausragenden Strukturen innerhalb der Bilder, wie Kanten und Oberflächen, bei anderen Methoden hingegen beispielsweise auf der Messung der Ähnlichkeitsmerkmale der Intensitäten zwischen den Bildern. Da beide Bilder in geometrischem Sinne ähnlich sind - sie zeigen dasselbe Objekt - kann eine überlappende Domäne definiert werden: Ω T A,B = {x A Ω A T 1 (x A ) Ω B } (4) Diese überlappende Domäne beinhaltet alle Koordinaten x A und x B der Bilder A und B. Werden nun bestimmte Intensitäten in Bild A auf bestimmte Intensitäten im Bild B durch Transformation T abgebildet, können diese mit Ω a = {x A Ω A A(x A ) = a} (5) 6

11 allen Positionen x A in Bild A mit Intensität a beschrieben werden. Die Transformation jedoch basiert auf der überlappenden Domäne Ω T A,B und der Menge an gleichen Intensitäten in Bild A: Ω T a = {x A Ω T A,B A(x A ) = a} (6) Ähnlich für Pixel in Bild A, die gleiche Intensitäten in Bild B aufweisen: Ω T b = {x A Ω T A,B B T (x A ) = b} (7) Die überlappende Domäne Ω T A,B ist in der Regel kleiner, als die Domänen der einzelnen Bilder Ω A und Ω B, welche in ihrer Größe und Ausrichtung verschieden sein können. Beinhaltet eines der Bilder Merkmale, die im anderen Bild nicht sichtbar sind, kann die Registrierung problembehaftet sein. Besonders bei Methoden, die die komplette Bildinformation verwenden und die Transformation T iterativ annähern, können leicht Unregelmäßigkeiten auftreten, da die Abbildung von vorhandenen Strukturen auf eventuell fehlende Teile im korrespondierenden Bild fehlschlägt. 7

12 2.2 Klassifizierung Registrierungsalgorithmen werden nach neun Kriterien klassifiziert[mv98]: 1. Dimension 2. Basis der Registrierung 3. Art der Transformation 4. Domäne der Transformation 5. Interaktion 6. Optimierungsalgorithmus und Metrik 7. beinhaltete Modalitäten 8. Subjekt 9. Objekt 1. Dimension: Die Eingabedaten werden geometrisch in 2D/2D, 2D/3D und 3D/3D unterteilt. Die Zeit kann als eine zusätzliche Achse der Klassifizierung gesehen werden. Sie ergänzt die jeweiligen räumlichen Achsen. Es entstehen 4D Daten, zeitliche Abfolgen von Bildserien, die beispielsweise zum Überwachen des Wachstums von Tumoren oder anderen anatomischen Veränderungen verwendet werden können. 2. Basis der Registrierung: Werden vor der Bilderzeugung am Patienten externe Marker, wie Schrauben (invasiv) oder Markierungen der Haut (nicht-invasiv) angebracht, kann, wenn in allen Modalitäten gut sichtbar, die Registrierung diese Kennzeichnungen als Anhaltspunkte verwenden. Diese Methoden werden als extrinsisch bezeichnet. Intrinsisch sind hingegen Methoden, die nur auf 8

13 bereits im Bild vorhandene Strukturen zurückgreifen. Dies können interaktiv gesetzte Landmarken sein (anatomisch, geometrisch), oder durch Segmentierung hervorgehobene und markierte Bereiche, wie Punkte, Kanten und Oberflächen. Andere Methoden verwenden ausschließlich die Intensitäten der Pixel. Es werden entweder alle Pixel im Bild berücksichtigt (nicht reduktive Methoden) oder die Anzahl der Werte reduziert, zum Beispiel auf Hauptachsen und Momenten der Volumen (reduktive Methoden). Als letzte noch zu nennende Basis, muss diejenige erwähnt werden, welche ausschließlich auf die Kalibrierung der Koordinatensysteme der unterschiedlichen Scanner zurückgreift. Diese Methoden verwenden keinerlei Bildinformation. 3. Art der Transformation: Unterschiede der Transformationen werden in der Anzahl der benötigten Parameter sichtbar. Eine rigide Transformation besteht ausschließlich aus Rotationen und Translationen (eventuell auch Spiegelungen). Ist sie dreidimensional, beinhaltet sie sechs Freiheitsgrade, drei für die Rotationswinkel und drei für die Verschiebung. Die ursprüngliche Form der Merkmale des transformierten Bildes bleibt bestehen. Bei affinen Transformationen besteht die zusätzliche Möglichkeit der Scherung. Linien bleiben bestehen und parallele Linien werden auf parallele Linien abgebildet. Die projektive Transformation bildet Linien auf Linien ab. Alle Winkel, Abstände und andere Abhängigkeiten zwischen Merkmalen im Bild können verändert werden. Die umfassendste Transformation ist die Deformierbare. Sie bildet Linien auf Kurven ab, die Anzahl ihrer Parameter ist unbestimmt und bezieht sich auf die Komplexität und Vielfältigkeit der auftretenden Verformungen im Bild. Ihre Darstellung erfolgt meist durch Deformationsfelder, die die Verschiebungsvektoren der einzelnen Pixel oder von zusammengefassten Bereichen im Bild beinhalten. Im Allgemeinen gilt: rigide affin projektiv deformierbar (8) 9

14 4. Domäne der Transformation: Die Domäne einer Transformation ist derjenige Bereich eines Bildes, der durch die Transformation beeinflusst wird. Wird das komplette Bild zusammenhängend verändert, spricht man von globalen Transformationen. Beschränkt sich eine einheitliche Veränderung jedoch nur auf bestimmte Regionen des Bildes, ist von lokalen Transformationen die Rede. Bei einer deformierbaren Transformation kann von vielen lokalen Transformationen gesprochen werden. Die Verformungen bleiben über den Bildraum nicht einheitlich, sondern verändern ihre Richtung und ihr Ausmaß oft von Pixel zu Pixel. 5. Interaktion: Drei Stufen der Interaktion des Benutzers werden unterschieden: - Interaktiv - Halbautomatisch - Automatisch Methoden, bei welchen Interaktion zugelassen wird, basieren auf Eingriffen des Anwenders. Sie sind meist in Software eingebettet, die dem Benutzer visuelle Überprüfung ermöglicht. Die Bilder werden oft fusioniert dargestellt und der Anwender kann durch Rotieren oder Verschieben die geeignete Transformation bestimmen. Halbautomatische Methoden machen Gebrauch von vordefinierten Strukturen, wie Landmarken oder segmentierten Bereichen. Der Anwender kann die Methode in die erwünschte Richtung leiten, indem er fehlgeschlagene automatische Veränderungen korrigiert. Das Initialisieren der Methode mit gewünschten Parametern zählt auch zu den interaktiven Handlungen. Vollautomatische Methoden verzichten komplett auf Eingriffe von Außen. Ob entwickelte Methoden besser auf Eingriffe verzichten, oder ob die Kontrolle von Außen den Registrierungsprozess verbessert, hängt unter Anderem von der Komplexität der Transformationen und Optimierungen ab. Sind die Parameter einfach zu steuern, oder lassen sich fehlgeschlagene Versuche leicht 10

15 rückgängig machen, profitiert die Methode und der Rechen- und Zeitaufwand wird minimiert. Viele Methoden arbeiten hingegen mit einer Genauigkeit und Komplexität, in denen der Anwender durch visuelle Verifikation schnell überfordert wäre. Sind Eingriffe von Außen zugelassen, müssen diese auch akkurat und schnell erfolgen, damit eine eventuelle Verbesserung zügig umgesetzt werden kann. 6. Optimierungsalgorithmus (engl. Optimizer) und Metrik: Der Optimizer berechnet die Parameter der Registrierungsfunktion. Sie bestimmen die Abbildung des beweglichen Bildes auf das Referenzbild. Zwei Möglichkeiten dieser Berechnung werden unterschieden. Zum Einen können die Parameter anhand von korrespondierenden Punkten in beiden Bildern direkt gefunden werden. Die Registrierung beruht dann ausschließlich auf den dort eingesetzten Informationen und ist nur für die ausgewählten Bildbereiche definiert. Andere Optimizer basieren auf Suchalgorithmen, die iterativ die bestmöglichste Annäherung der Bildinformationen des kompletten Bildes oder von definierten Ausschnitten der Bilder bestimmen. In diesen Fall liegen keine bekannten Abhängigkeiten zwischen den Geometrien der Bilder vor. Diese Methoden machen Gebrauch von den Ähnlichkeiten der Bilder, die in jedem Iterationsschritt neu berechnet werden. Der Vergleich der Bilder erfolgt über ein Ähnlichkeitsmaß, die sogenannte Metrik. Im fortschreitenden Ablauf sollten die Differenzen zwischen den Bildern minimiert werden, bis der Algorithmus schließlich terminiert. Die Bestimmung der Abbruchbedingung erfolgt vor dem Start des Registrierungsprozesses. 11

16 7. beinhaltete Modalitäten: Abhängig von den involvierten Modalitäten der Bildgebung, können Registrierungsalgorithmen in vier Gruppen eingeteilt werden: - Monomodal - Multimodal - Modalität zu Modell - Modalität zu Patient Bei monomodalen Registrierungsproblemen sind die behandelten Bilder mit derselben Modalität akquiriert worden. Mögliche bildgebende Verfahren sind, unter Anderem, CT, MRT, PET, SPECT (Singlepositronenemissionstomographie), Ultraschall, Video, Röntgen oder DSA (digitale Substraktionsangiographie). Im multimodalen Fall unterscheiden sich die Bilder durch ihre Aufnahmegeräte. Alle denkenswerten Kombinationen von bildgebenden Verfahren sind möglich. Dies ist eine ungleich schwierigere Aufgabenstellung, da die Ähnlichkeiten der Bilder oft nicht direkt aus den Intensitäten der Bilder und deren Positionen im Bildraum abgeleitet werden können. Die letzten beiden Gruppen benötigen nur eine Modalität im herkömmlichen Sinn. Sie beinhalten als Gegenstück zum aufgenommenen Bild kein Weiteres, die Registrierung erfolgt stattdessen entweder zu einem vordefinierten Modell, beispielsweise einer dreidimensionalen Nachbildung eines Organs oder zum Patienten selbst, angewendet in intra-operativen, minimal-invasiven Verfahren, die den Operateur bei der Lokalisation der Instrumente im Inneren des Körpers unterstützen. 12

17 8. Subjekt: Drei Arten der Registrierung werden unterschieden, wenn der im Bild dargestellte Patient als Subjekt des Registrierungsprozesses eine Rolle spielt: 1. engl. intrasubject 2. engl. intersubject 3. Atlasbasiert Sind die verwendeten Bilder Ausschnitte des Körpers eines einzelnen Patienten, wird von intrasubject registration gesprochen, unter Einbeziehung zweier verschiedener Personen, intersubject registration. Die atlasbasierte Registrierung ist intersubject und beinhaltet Bildinformation, die aus einer Sammlung von vielen Patientenbildern zum Beispiel aus einer Datenbank stammen. 9. Objekt: Das Objekt der Registrierung ist der im Bild dargestellte Bereich des Körpers. Dies können zum Beispiel der Kopf, das Gehirn, der Thorax, das Herz, die Lunge oder die Wirbelsäule sein. 13

18 2.3 Aufbau der Registrierungsmethoden in ITK Die deformierbare Registrierung ist in ITK [ISNC05] als ein iterativer Optimierungsprozess gestaltet, der in jedem Schritt die Bilder besser aneinander anpasst. Vier Bausteine bilden die Grundlage für jedes Registrierungsproblem: 1. Metrik 2. Optimierungsalgorithmus 3. Transformation 4. Interpolator Die Eingabe besteht aus zwei Bildern, wobei Eines davon im Prozess als Referenzbild (fixed image), das Andere als Bewegtbild (moving image) verwendet werden. Die beiden Bilder werden in jeder Iteration in Bezug auf Ihre Ähnlichkeit verglichen (Metrik). Der Wert dieser Metrik geht in den Optimierungsalgorithmus ein, welcher, basierend auf den Parametern der Transformation, die optimale Lösung der Registrierung annähert. Dabei wird das Bewegtbild in jeder Iteration deformiert. Der Interpolator berechnet für jede Pixelposition des Bewegtbildes, die nicht mehr mit den integer Pixeln des Referenzbildes übereinstimmen, einen neuen Farbwert, damit die Bilder in der Metrik wieder für den nächsten Schritt verglichen werden können. Abbildung 1 zeigt das Schema, nach welchem die Registrierungsschritte in ITK verlaufen. Nachdem der Optimierungsalgorithmus ein Abruchkriterium erreicht hat, wird das verzerrte Bewegtbild ausgegeben. 14

19 Abbildung 1: Aufbau der Registrierungsmethoden in ITK; nach der Eingabe werden die Bausteine Metrik, Optimizer, Transformation und Interpolator zyklisch wiederholt, bis der Optimizer ein Abbruchkriterium erreicht 15

20 3 Transformation 3.1 Basis-Splines Die Deformation eines Bildes wird durch die Verwendung eines Gitternetzes mit uniformen Knotenpunktabständen angenähert. Die Idee der Basis- Spline (B-Spline) Transformation ist, die Verformung des Bildes durch das Verschieben der einzelnen Knotenpunkte des Gitternetzes zu modellieren. Dies ist eine Maßnahme, um den hohen Rechenaufwand, der die Verformung der jeweiligen einzelnen Pixeln kosten würde, zu minimieren. Anhand der B-Splines werden die Verschiebungsvektoren der Knotenpunkte des Gitternetzes in die Zwischenbereiche für jedes Pixel interpoliert. B-Splines bestehen aus der Kombination stückweiser Polynome, die eine Raumkurve durch gegebene Kontrollpunkte approximieren. Sie können zum Beispiel auch zur Modellierung von Oberflächen verwendet werden, wie es im Design der Autoindustrie vorkommt. B-Splines Grundlagen: Aus einer Punktemenge P i R 2, den Kontrollpunkten, und einer monotonen Menge von Parametern x i, den Knoten, wobei 0 i n, wird mit X(t) = n N i,k (t)p i, (9) i=1 und t [t 0, t n ] und 1 k n eine planare B-Spline Kurve des Grades k 1 erzeugt. Der Vektor (x 0,..., x n ) ist der sogenannte Knotenvektor. Bei dem Grad k 1 werden die Polynome N i,k (t) für 1 k n nach der Cox-de Boor Rekursion berechnet: 1, x i t < x i+1 N i,0 (t) = 0, sonst (10) 16

21 und N i,k (t) = (t t 0)N i,k 1 (t) t i+k 1 t i + (t i+k t)n i+1,k 1 (t) t i+k t i+1 (11) Mithilfe dieser Rekursion können Raumkurven beliebigen Grades erzeugt werden. Ist k = 1, der Grad des B-Splines 0, fließen im Parameterbereich zwischen zwei Punkten keine Nachbarn mit in die Berechnung ein. Die Kurve besteht ausschließlich aus den Kontrollpunkten selbst, da keine Interpolation stattfindet. k = 2 entspricht einer linearen Interpolation, da für den Bereich zwischen zwei Punkten jeweils nur die beiden nächsten Nachbarn berücksichtigt werden. Bei k = 3 besteht der B-Spline aus der Kombination von Parabeln. Der Einflussbereich dieser Parabeln besteht aus drei Intervallen, das heißt, dass bei der Interpolation zwischen Punkt 1 und Punkt 2, der dritte Punkt trotzdem noch miteinfließt. Da die Anzahl der beeinflussenden Nachbarpunkte mit dem Grad des B-Splines steigt, sind bei höherem Grad mehrere Punkte nötig, um eine durchgehende Kurve gleicher Länge zu erzeugen. Abbildung 2 zeigt links den Parameterbereich eines B-Splines zwischen x 1 und x 6 und rechts die entstandene Kurve im Zweidimensionalen. Durch den Einfluß der Basisfunktionen, im Falle k = 3 und Grad 2 des B-Splines, ist die Kurve nur im Parameterbereich x 3 t x 4 definiert, da nur in diesem Bereich alle drei Basisfunktionen eine Rolle spielen. Um eine längere Kurve zu erzeugen, müssten mehrere Kontrollpunkte und somit auch eine längere Abfolge von aneinandergereihten Basisfunktionen definiert werden [SE00]. 17

22 Abbildung 2: bei k = 1 ist im Parameterbereich t kein Einfluss der benachbarten Punkte, die Kurve besteht aus den Kontrollpunkten selbst, k = 2 entspricht einer stückweisen linearen Interpolation und bei k = 3 setzt sich die Interpolation anteilig aus den drei in diesem Bereich beeinflussenden Polynomen zusammen 18

23 3.2 Die Modellierung der dreidimensionalen Deformation durch B-Splines Um die B-Splines zur Berechnung der Verformung in drei Dimensionen verwenden zu können, müssen sie kombiniert werden[rsh + 99]. Dazu wird ein Gitternetz-Volumen aus quadratischen Einzelteilen erzeugt. Die Kontrollpunkte sind somit uniform über das Bild verteilt. Es besteht kein Zusammenhang zwischen den Informationen im Bild und der Verteilung der Knotenpunkte. Abbildung 3 zeigt ein Gitternetz im Zweidimensionalen. An jedem Schittpunkt der einzelnen Quadrate werden die Verschiebungsvektoren durch die Transformation berechnet. Die Interpolation zwischen diesen Vektoren anhand der B-Splines führt zu den jeweiligen Verschiebungen der einzelnen Pixel. Abbildung 3: links: Verschiebungsvektoren an den Gitternetzpunkten, rechts: interpolierte Verschiebungsvektoren für jedes Pixel Das Gitternetz Φ, definiert durch Anzahl Kontrollpunkte n, Ursprung und Elementgröße δ und mit n x n y n z Kontrollpunkten Φ i,j,k liegt in der Domäne Ω = {(x, y, z) 0 x < X, 0 y < Y, 0 z < Z} des Volumens. X, Y und Z ist die Auflösung des Bildes in allen drei Dimensionen. Ein Tensorprodukt über die drei Dimensionen beschreibt, wie die Verformung eines Punktes im Bild zustande kommt. Dabei werden die beschriebenen B-Splines wie folgt kombiniert: 19

24 3 3 3 T (x, y, z) = N l (u)n m (v)n n (w)φ i+l,j+m,k+n (12) l=0 m=0 n=0 mit i = x/n x 1, j = y/n y 1, k = z/n z 1, den Indizes der Zelle zwischen den Kontrollpunkten, die den jeweiligen Punkt der Stelle (x, y, z) beinhaltet, u = x/n x x/n x, v = y/n y y/n y, w = z/n z z/n z, den relativen Positionen dieses Punktes innerhalb der Zelle und l, m, n, den l-, m- und n- ten Basisfunktionen des B-Splines. Analog zu den bereits beschriebenen quadratischen B-Splines, werden bei den hier verwendeten kubischen B-Splines die Basisfunktionen kombiniert. Die Basisfunktionen werden analog zu den bereits beschriebenen quadratischen B-Splines kombiniert. Durch ihren Einflussbereich auf die einzelnen Knotenpunkte kommen für jeden Parameterbereich vier Basisfunktionen zum Tragen, da bei kubischen B-Splines vier Nachbarpunkte die Verschiebung für einen Punkt des Gitternetzes beeinflussen. Folgende Basisfunktionen werden verwendet, die, je nach Pixelposition im Bild, unterschiedlich gewichtet in die Interpolation der Verschiebungsvektoren miteinfließen: N 0 (t) = (1 t) 3 /6 (13) N 1 (t) = (3t 3 6t 2 + 4)/6 (14) N 2 (t) = ( 3t 3 + 3t 2 + 3t + 1) 3 /6 (15) 20

25 N 3 (t) = (t) 3 /6 (16) Abbildung 4: die Gewichtung der im Parameterbereich beeinflussenden Nachbarpunkte anhand der vier Basisfunktionen kubischer B-Splines Werden viele Kontrollpunkte aneinandergereiht, ist der Einfluß der Basisfunktionen für jeden Parameterabschnitt zwischen zwei Punkten wie in Abbildung 4 berechnet. Dabei sind die vier Funktionen kombiniert aus den Einflüssen der Kontrollpunkte der nächsten Nachbarschaft t = 3 bis t = 4. Der große Vorteil der B-Splines ist die lokale Kontrolle ihrer Knotenpunkte. Die Veränderung eines Kontrollpunktes macht sich nur innerhalb der nächsten Nachbarschaft bemerkbar. Die Anzahl n der Knotenpunkte geht in die Transformation als Paramenter ein, somit beträgt die Anzahl der Freiheitsgrade bei einem Gitternetz Durch Variation der Größe des Gitternetzes, können, bei geringer Anzahl Knotenpunkte, globale und weitläufige Deformationen berechnet werden. Bei vielen Kontrollpunkten hingegen, werden die Verformungen lokaler und die Transformation gewinnt an Komplexität. 21

26 3.3 Darstellung der Deformation Abbildung 5: Deformationsfeld eines CT-Bildes Durch die große Anzahl der Parameter einer deformierbaren Registrierung kann die Transformation nicht durch 3 3 -Matrizen, wie im Falle der rigiden Registrierung, dargestellt werden. Um die Verformung trotzdem zu veranschaulichen, werden Deformationsfelder visualisiert. Diese Deformationsfelder stellen die Verschiebung der einzelnen Pixel anhand angezeigter Vektoren im zweidimensionalen oder dreidimensionalen Raum dar. Abbildung 5 zeigt ein Deformationsfeld eines CT-Bildes. 22

27 4 Ähnlichkeitsmaße 4.1 Mutual Information Die Metrik mutual information zählt zu den nicht einschränkenden Registrierungsmaßen. Dies bedeutet, dass die kompletten Bildinformationen, die Positionen der Pixel und Intensitäten an den jeweiligen Stellen, verwendet werden. Bei mutual information kommen informationstheoretische Ansätze zu tragen. Das Problem des Messens der Registrierungsgenauigkeit kann mit diesem Hintergrund als ein Versuch, die gemeinsame Information zweier Bilder zu maximieren, angesehen werden[hbhh01]. Bei der Betrachtung zweier Bilder, die überlagert werden sollen, fallen Gemeinsamkeiten auf: Dies können zum Beispiel, bei Kopfbildern, die Nase, die Ohren oder die Augen sein. Diese Strukturen sind bei beiden verwendeten Modalitäten, MR und CT, gut zu erkennen. Sind die Bilder noch nicht oder schlecht registriert, liegen die Strukturen nicht deckungsgleich übereinander. Zu erkennen sind zwei Nasen, vier Ohren und vier Augen. Das Maß mutual information bewertet die gemeinsame Information, die aus der Kombination der Bilder gezogen werden kann. Diese gemeinsame Information steigt mit dem Fall der allgemeinen Information der kombinierten Bilder. Werden die vorhandenen Strukturen gut aufeinander abgebildet, sinkt der Informationsgehalt der kombinierten Bilder, aus vier Augen werden zwei, und die gemeinsame Information steigt, ein Auge im transformierten Bild stellt das korrespondierende Auge im Referenzbild dar. Mutual information ist ein von der Modalität unabhängiges Maß. Es ist daher oft bei multimodalen Registrierungsproblemen wiederzufinden. Bei funktionellen, bildgebenden Verfahren, z.b. PET oder SPECT, kann mutual information auch sehr gut eingesetzt werden, da in allen Bildern Strukturen auftreten, die in irgendeiner Form Gemeinsamkeiten mit dem zu registrierenden Bild aufweisen, wenn beide denselben Körperausschnitt zeigen. Bei PET kann dies die Anreicherung des Kontrastmittels in einem Tumor sein, welcher im dazugehörigen MR- oder CT-Bild ebenfalls als ein homo- 23

28 gener Farbbereich der Intensitäten der Pixel auftritt. Informationstheorie: Die Shannon-Weaver Entropie, entwickelt in den 1940er Jahren, ist das meist verwendete Maß für Information in der Signal- und Bildverarbeitung. Sie wurde als ein Teil der Kommunikationstheorie entwickelt und beschreibt den mittleren Informationsgehalt, der aus einer Menge von n Symbolen mit den Wahrscheinlichkeiten p 1, p 2, p 3,..., p n hervor geht: n H = p i log p i (17) i=1 Diese Entropie ist maximal bei der gleichverteilten Wahrscheinlichkeit p i = 1 und minimal, wenn eines der Symbole mit einer Wahrscheinlichkeit von n 1 auftritt, die restlichen Symbole hingegen mit 0. Bei der Bildverarbeitung können die Eigenschaften dieser Entropie auf die Intensitäten der Bilder angewandt werden. Wird aus einem Bild ein Histogramm berechnet, welches für jeden möglichen Farbwert eine Spalte enthält, beeinflusst die Anzahl der auftretenden Farbwerte und deren Verteilung die Entropie und den Informationsgehalt des Bildes. Bei einem einheitlichen Bild, das für alle Pixel einen einzigen Farbwert enthält, ist die Entropie minimal, da dieser Farbwert im Histogramm einen Peak darstellt und die Wahrscheinlichkeit seines Auftretens 1 ist. Wird ein Bild mit unterschiedlichen Farbwerten bearbeitet, fällt die Entropie, sobald die Intensitäten interpoliert oder in allgemeiner Art verwischt oder weichgezeichnet werden, da dies immer eine Angleichung der Intensitäten und damit eine Diskretisierung des Histogramms bedeutet. In Abbildung 6 und 7 sind jeweils ein Histogramm aus MR- und CT-Bild dargestellt. Die horizontale Achse enthält alle auftretenden Intensitäten des Bildes, die Vertikale die Häufigkeit des Auftretens der einzelnen Intensitäten. 24

29 x MR Intensities Abbildung 6: Histogramm eines MR-Bildes 2.5 x CT Intensities (HU) Abbildung 7: Histogramm eines CT-Bildes, Intensitäten nach der Hounsfield-Skala Bewertung Bei der Registrierung spielt eine weitere Entropie eine große Rolle: die gemeinsame Entropie beider Bilder (engl. joint entropy). Für jedes Pixel im Bild liegen nun zwei Werte vor, die Wahrscheinlichkeit der Intensität an dieser Stelle im Bild A und analog dazu die Wahrscheinlichkeit dieses Pixelwerts im Bild B. Die joint entropy misst den gemeinsamen Informationsgehalt der kombinierten Bilder. Sind A und B in höchstem Grade unabhängig, das heißt, es gibt keine Ähnlichkeit zwischen ihnen, wird die joint entropy wie folgt berechnet: H(A, B) = H(A) + H(B) (18) Umso ähnlicher sich die Bilder sind, desto kleiner wird die joint entropy im 25

30 Vergleich zu den addierten, einzelnen Entropien der individuellen Bilder, da die korrekte Überlagerung der Strukturen im Bild die Streuung der Farbwerte im kombinierten Bild verringert: H(A, B) < H(A) + H(B) (19) Das kombinierte Histogramm, welches die Intensitäten der überlappenden Pixel der Bilder A und B T enthält, kann als Wahrscheinlichkeitsverteilung der Kombination aus den in beiden Bildern auftretenden Intensitäten angesehen werden. Nach der Normalisierung durch die Anzahl der Pixel in der überlappenden Domäne Ω T A,B beider Bilder ist die joint entropy gegeben durch: H(A, B) = a p T AB(a, b) log p T AB(a, b) (20) b mit p T AB (a, b), der Wahrscheinlichkeit des Auftretens der Kombination der Intensitäten a aus Bild A und b aus Bild B an der selben Stelle des gemeinsamen Koordinatensystems der zueinander registrierten Bilder. Die Registrierung ist demnach ein Suchen nach der Transformation, die die joint entropy minimiert und damit möglichst viele Gewebeklassen korrekt aufeinander abbildet. Das kombinierte Histogramm zweier Bilder (siehe Abbildung 8) wird diskreter, umso mehr gleiche Farbwerte in Bild A auf gleiche Farbwerte in Bild B T abgebildet werden. Wird die joint entropy als alleiniges Maß der Registrierung verwendet, treten Probleme auf, wenn die Überlagerung der umgebenden Luft zu groß ist, im Vergleich zur Überlagerung des Körpers. In diesem Fall würde die joint entropy bei einer Vergrößerung der Überlagerung der Luft abfallen, obwohl die Entropie, die die Überlagerung des Körpers erzeugt, steigen würde. Dies hätte zur Folge, dass die Registrierung fehlschlägt. 26

31 CT Intensities x 105 x MR Intensities Abbildung 8: kombiniertes Histogramm aus CT- und MR-Bild Mutual Information: Um dieses Problem der Missregistrierung bei zu geringer Überlagerung des Vordergrunds und zu großer Überlagerung des Hintergrunds der Bilder zu umgehen, wird bei mutual information nur der gemeinsame Bereich beider Bilder betrachtet: H(A) = a p T A(a) log p T a A(x A ) = a x A Ω T A,B (21) H(B) = b p T B(b) log p T b B T (x A ) = b x A Ω T A,B (22) 27

32 wobei für alle Positionen A(x A ) die Intensitäten a des Bildes A an Stelle x A und B T (x A ) die Intensitäten b des transformierten Bildes B an Stelle x A gelten. Es werden nur die Positionen aus der überlappenden Domäne beider Bilder betrachtet. p T A und pt B sind die jeweiligen Wahrscheinlichkeitsverteilungen der Intensitäten der einzelnen Bilder. Für Bild A wird die Transformation T verwendet, welche im Gegensatz zu T für Bild B die Intensitäten bei jedem Anpassungsschritt der Registrierung nicht interpoliert. Die mutual information I(A, B) ist folgendermaßen definiert: I(A, B) = H(A) + H(B) H(A, B) = a b p T AB(a, b) log pt AB (a, b) p T A (a) pt B (b) (23) Mutual information kann als Maß der Aussagekraft eines Bildes über ein Anderes gesehen werden. Mit dem Fall der joint entropy und dem Anstieg der einzelnen Entropien steigt die mutual information. Werden die Wahrscheinlichkeiten betrachtet, insbesondere die bedingte Wahrscheinlichkeit p(b a), die beschreibt mit welcher Wahrscheinlichkeit in Bild B der Farbwert b auftritt, gegeben des Farbwertes a in Bild A. Die bedingte Entropie ist also die mittlere Entropie von B für jede Intensität in A, abhängig von der Auftrittswahrscheinlichkeit der jeweiligen Intensitäten in A. Sie beschreibt die Entropie von Bild B, wenn die Entropie von Bild A bekannt ist. H(B A) = a,b p(a, b) log p(b a) = H(A, B) H(A) (24) Damit wird mutual information zu: 28

33 I(A, B) = H(A) H(B A) = H(B) H(A B) (25) Wird die bedingte Entropie minimiert und die einzelne Entropie eines Bildes maximiert, steigt die mutual information. Ist der Farbwert A(x A ) bekannt und die bedingte Entropie H(B A) = 0, kann der korrespondierende Farbwert des Bildes B T exakt vorausgesagt werden. In der Registrierung kann die Eigenschaft der mutual information genutzt werden, um die Güte der Übereinstimmung der Bilder zu messen. Sind die Bilder korrekt überlagert, ist die bedingte Entropie minimal und die Wahrscheinlichkeit, dass aufeinander abgebildete Pixel dieselbe Gewebeklasse darstellen, maximal. 29

34 4.2 Normalisierte Mutual Information Trotz der Einschränkung der mutual information auf die überlappende Domäne Ω T A,B der Bilder, wird der Registrierungsprozess durch die niedrigen Intensitätsklassen des Hintergrunds stark beeinflusst. Es kann nicht unterschieden werden zwischen den Informationen, die für die Registrierung wichtig sind, das heißt, den Gewebeklassen des Körpers, und der zusätzlichen Störfaktoren, die die mutual information beeinflussen. In der Informationstheorie wird dieses Problem von Shannon [SW98], Zitat: What is the rate of transmission of information? aufgegriffen. Das Rauschen, welches durch einen Peak im Histogramm die Entropie ansteigen lässt, muss vermindert werden. Gerade die bedingte Entropie macht darüber eine Aussage, inwiefern die gegebene Information, die Intensitäten des Bildes A, mit der Ausgabe, also den Intensitäten des Bildes B, zusammenhängt. Und analog, wieviel die bekannte Ausgabe über die Eingabe, die Intensitäten des Bildes A verrät (siehe Gleichung 25). Sie misst also die mittlere Unsicherheit des empfangenen Signals, das heißt der Intensitäten gehörend zu den Gewebeklassen des Körpers des zu transformierenden Bildes. Auf die Intensitäten der Bilder übertragen: Mit welcher Wahrscheinlichkeit wird die Intensität einer Gewebeklasse aus Bild A auf eine Gewebeklasse aus Bild B abgebildet, oder auf den Hintergrund? Dieses Wissen wird nun in der normalisierten mutual information zusätzlich verwendet. Die mutual information wird normalisiert auf die kombinierte Information aus beiden Bildern, da diese eine Aussage über die Wahrscheinlichkeitsverteilung der kombinierten Intensitäten aus beiden Bildern enthält. Ist die joint entropy größer, was bei schlecht registrierten Bildern der Fall ist, bleibt die normalisierte mutual information kleiner. NMI(A, B) = 1 + I(A, B) H(A, B) = H(A) + H(B) H(A, B) (26) 30

35 4.3 Mattes Mutual Information Mattes et al.[mhv + 03] stellen eine negative Form der mutual information vor: S(µ) = a p(a, b µ) p(a, b µ) log p B (a µ)p A (b) b (27) die analog zu der mutual information in Gleichung 23 berechnet wird, aber zusätzlich µ, die Transformationsparameter beinhaltet. p, p B, p A sind die kombinierte Wahrscheinlichkeitsverteilung der Intensitäten der Bilder, die des transformierten Bildes und die des Referenzbildes. Diese mutual information ist für die Registrierung geeigneter, wie im Folgenden beschrieben wird: Da die kombinierten und einzelnen Wahrscheinlichkeitsverteilungen der Intensitäten der Bilder nicht direkt (das heißt schnell genug) zu berechnen sind, um in der Registrierung verwendet werden zu können, werden Stichproben der Intensitäten entnommen. Mithilfe dieser Stichproben werden die Wahrscheinlichkeitsverteilungen geschätzt. Dabei wird ein Histogramm erstellt, welches die erhaltenen Intensitäten der Stichproben enthält. Über jeden Histogrammeintrag einer Intensität werden Basisfunktionen gelegt, welche überlagert eine Dichte entstehen lassen (siehe Abbildung 9). Als Basisfunktionen kommen beispielsweise Gauß-, B- Spline- oder Boxcarfunktionen in Frage. 31

36 Abbildung 9: über die Histogrammeinträge jeder Intensität werden die Basisfunktionen gelegt, die die Wahrscheinlichkeitsverteilung der Intensitäten annähern Der Vorteil der von Mattes et al. vorgestellten mutual information besteht nun darin, dass die Wahrscheinlichkeitsverteilung des Referenzbildes den Verlauf der Metrik über die Iterationen nicht beeinflusst (sie ist unabhängig von den Transformationsparametern). Es reicht daher aus, B-Spline-Basisfunktionen nullten Grades für die Berechnung heranzuziehen, da die Wahrscheinlichkeitsverteilung im Optimierungsalgorithmus nicht verwendet wird und deshalb nicht glatt sein muss. Für die Wahrscheinlichkeitsverteilung im Bewegtbild werden B-Spline-Basisfunktionen 3. Grades verwendet [ISNC05]. 32

37 5 Optimierungsalgorithmus Limited Memory Broyden, Fletcher, Goldfarb and Shanno (LBFGS) Algorithmus Der Limited Memory Broyden, Fletcher, Goldfarb and Shanno (LBFGS) Algorithmus ist ein Quasi-Newton Verfahren, bei welchem mittels der ersten Ableitung (Jacobi-Matrix) die zweite Ableitung (Hesse-Matrix) angenähert wird. Anhand einer bestimmten Anzahl durchlaufener Iterationen und einer Suchrichtung, wird ein neuer Schritt berechnet, welcher auf einen niedrigeren Funktionswert, als die Funktionswerte der vorhergegangenen Iterationen zielt. Diese Methode benötigt keine zweiten Ableitungen und kein Wissen über die Struktur der zu minimierenden Kostenfunktion. Sie ist daher gut geeignet für Minimierung, bei der die Hesse- Matrix schwierig zu bestimmen ist. Die Anzahl der miteinzubeziehenden vorhergegangen Iterationen wird in diesem Verfahren beschränkt, um den benötigten Speicher möglichst klein zu halten. Als Abbruchbedingung kann eine maximale Anzahl an Evaluationen der Kostenfunktion gewählt werden. Dieser Algorithmus, erweitert um die Möglichkeit, die Variablen des Suchraums zu beschränken heißt LBFGSB. Es können obere und untere Schranken (engl. bounds) angegeben werden, die die Variablen nicht unter- oder überschreiten dürfen[nw99] [BLNZ94]. 33

38 6 Interpolation 6.1 Lineare Interpolation Bei linearer Interpolation wird zwischen zwei gegebenen Punkten, Vektoren oder Skalaren a, b gemittelt und anhand eines Parameters t, der mit dem Abstand zum jeweiligen Punkt gewichtet wird, eine Verbindung zwischen diesen Werten geschaffen (Abbildung 10). An der Stelle t = 0 und t = 1 sind gerade diese Werte erreicht. Abbildung 11 zeigt eine Interpolation von Grauwerten. Abbildung 10: lineare Interpolation zwischen den Werten a und b Abbildung 11: Beispiel einer Interpolation für Graustufen zwischen Schwarz und Weiß 34

39 6.2 B-Spline Interpolation Die Interpolation der Intensitäten anhand von B-Splines ist aufwändiger als die Lineare Interpolation, erreicht aber einen weicheren Farbverlauf, wenn der Grad des verwendeten B-Splines größer 1 ist. Da die Möglichkeit besteht, dass zuvor im Bild nicht existierende Farbwerte entstehen, muss Rücksicht auf die verwendeten Datentypen genommen werden. 35

40 7 Otsu-Schwellwertverfahren Zur Unterscheidung zwischen Vorder- und Hintergrund und zur Bestimmung und Segmentierung der verscheidenen Gewebeklassen in MR- und CT-Bild wurde das Otsu-Schwellwertverfahren verwendet [Ots79]. Dieses Verfahren basiert ausschließlich auf dem Histogramm des Bildes, ohne anderes Vorwissen wie Gradienten oder Gaußverteilungen der Intensitäten zu benötigen. Die Trennung eines Bildes in Klassen von zusammengehörigen Intensitäten, genannt Clustering, ist abhängig von der Anzahl, der Streuung und der Verschiedenheit der auftretenden Farbwerte. Besteht ein Bild aus einem einzigen Farbwert für alle Pixel, ist keine Unterscheidung notwendig und alle Pixel gehören derselben Klasse an. Am deutlichsten und einfachsten ist die Trennung, wenn in einem Bild nur zwei verscheidene Farbwerte auftreten (dies ist zum Beispiel in einem Binärbild der Fall, in welchem nur schwarze und weiße Pixel existieren). Umso differenzierter oder verrauschter das Bild ist, desto schwieriger wird die Aufteilung und die Bestimmung des Schwellwerts, der die Klassen trennen soll, wird komplexer. Ist das Histogramm eines Bildes nicht eindeutig genug, da die Verteilung der Intensitäten keine Stelle (z.b. ein lokales Minimum) aufweist, an der eine Trennung stattfinden könnte, ist ein möglicher Schwellwert schwierig zu finden. Das Otsu-Schwellwertverfahren sucht mithilfe eines Klassifizierers diejenige Stelle im Histogramm, der die Verteilungen der Intensitäten der oberen und unteren Klasse am deutlichsten trennt. Die Wahrscheinlichkeit ω k des Auftretens einer Klasse, separiert durch den Schwellwert k vom restlichen Bild, wird bezeichnet durch: ω k = k p i (28) i=1 mit p i = n i N den Wahrscheinlichkeiten der Anzahl n i der auftretenden 36

41 Grauwerte der Graustufe i und N der Anzahl aller Pixel im Bild. Mithilfe dieser Wahrscheinlichkeiten, des Erwartungswerts der Intensitäten vom kompletten Bild µ T, wobei L die Anzahl aller Graustufen im Bild ist, µ T = L ip i (29) i=1 des Erwartungswerts µ k der Intensitäten der Klasse unterhalb des Schwellwertes k, µ k = k ip i (30) i=1 und der Varianz der Intensitäten des kompletten Bildes σ 2 T σ 2 T = L (i µ L ) 2 p i (31) i=1 wird eine Varianz σb 2 (k) berechnet, die zwischen den beiden durch den Schwellwert getrennten Klassen der Intensitäten des Bildes liegen soll - also die Verteilung der Grauwerte an der Stelle des berechneten Schwellwertes beschreibt. σ 2 B(k) = [µ T ω(k) µ(k)] 2 ω(k)[1 ω(k)] (32) 37

42 Der optimale Schwellwert k wird nun so gesucht, dass diese Varianz am größten wird, da dadurch im Histogramm ein lokales Minimum oder im Idealfall eine breite Stelle mit großer Streuung der Intensitäten gefunden werden kann: σ 2 B(k ) = max 1 k<l σ2 B(k) (33) Dieses Verfahren ist vollautomatisch und schnell. Mit dem Einsatz von binären Bildern ist die Auftrennung des MR- oder CT-Bildes in die verschiedenen Gewebeklassen durch mehrfaches Anwenden dieser Methode einfach, da jeweils entweder die Intensitäten oberhalb oder unterhalb des gefundenen Schwellwerts mit einer binären Maske entnommen werden können. 38

43 8 Registrierung und ITK Das Insight Segmentation and Registration Toolkit (ITK) [ISNC05] ist eine open-source Software die templatebasierte Programmcodebausteine für Bildverarbeitung, Segmentierung und Registrierung anbietet. Sein objektorientierter Aufbau ermöglicht zum Beispiel die Kombination verschiedenster Einlese-, Ausgaberoutinen, Filter und Transformationen. ITK unterstützt unter Anderem etliche medizinische und allgemeine Bildformate, 2D/3D Meshes, Punktmengen, Baumstrukturen, Statistik, Clustering. Das Projekt ITK wurde im Jahre 1999 vom US National Library of Medicine of the National Institutes of Health ins Leben gerufen. Mit drei Industriepartnern, GE Corporate R&D, Kitware, Inc., Mathsoft und drei Universitäten, North Carolina, Tennessee and Pennsylvania gelang 2002 die erste offizielle Veröffentlichung. Seither wird ITK ständig weiterentwickelt. Die in dieser Arbeit verwendete Version ist ITK 2.4. Unter einer Linux Fedora Core4 Umgebung, wurden mit einem Intel Xeon CPU 3.20GHz folgende Schritte unternommen: 8.1 Vorverarbeitung: rigide Registrierung Bei dem Versuch, die MR- und CT-Bilder mit ITK rigide zu registrieren, traten einige Probleme auf. Durch die Unterschiede in Auflösung, Voxelspacing und dem Field of View der Bilder, konnte die rigide Registrierung nicht schnell als Vorverarbeitungsschritt behandelt werden. Zusätzlich war das medizinische Dateiformat Digital Imaging and Communications in Medicine (DICOM) eine Herausforderung, da der Aufbau der einzelnen Dateien, als Folge von Schnittbildern, das Einlesen erschwerte. Auch die innere Struktur der DICOM-Dateien stellte ein Problem dar, wie im folgenden Abschnitt erläutert wird. 39

44 Aufbau DICOM: Abbildung 12: DICOM, zweidimensionales Schnittbild eines dreidimensionalen Datensatzes, innerer Aufbau Das Data Dictionary der DICOM-Datei (siehe Abbildung 12) ist derjenige Teil, der die Hintergrundinformationen über den Aufbau des Bildes enthält. In ihm werden unter Anderem die Auflösung, die Position des Patienten, die Pixelwerte und die Aufnahmemodalität gespeichert. Die Einleseroutinen von ITK greifen, um die Schnittbilder zu ordnen, auf verschiedene Einträge dieses Data Dictionary zu, welches als Bestandteil in jedem Schnittbild, welche als separate Dateien gespeichert sind, wie- 40

45 derzufinden ist. Da der DICOM-Standard jedoch viele verschiedene Varianten einzelner DICOM-Spezifikationen zulässt und große Unterschiede zwischen einzelnen Datensätzen möglich sind, traten einige Probleme auf. Es wurden benötigte Einträge nicht gefunden, Andere entsprachen nicht dem ITK-DICOM-Standard und konnten nicht interpretiert werden. Beim Einlesen konnte die Reihenfolge der Schnittbilder nicht geordnet werden, die Ausrichtung des Patienten war unterschiedlich zwischen den Bildern oder durch die Unterschiede im Voxelspacing wurden Teile des Bildes abgeschnitten. Ein anderes Problem war die Veränderung der Anzahl der Schnittbilder durch die Anpassung der Auflösung des CT-Bildes an das MR-Bild. Da das Data Dictionary gerade solche Informationen enthält, musste es nach der Registrierung und vor dem Schreiben der neu entstandenen Datei geändert werden, wobei wieder Probleme auftraten. Durch die Häufung der von DICOM abhängigen Schwierigkeiten, wurde auf die rigide Vorregistrierung durch ITK verzichtet. Stattdessen wurde MiraView (Siemens, Preclinical Solutions, USA) verwendet (Abbildung 13). Durch interaktive Rotation und Translation konnten die DICOM-Bilder überlagert und in gleicher Auflösung exportiert werden. Nach dem Exportieren der vorregistrierten DICOM-Bilder aus MiraView wurden sie mithilfe von AMIDE (A Medical Image Data Examiner) in das ANALYZE-Format konvertiert. Die ANALYZE-Datei besteht aus zwei zusammengehörigen Teilen, einer Headerdatei und einer Datei, die die Bildinformationen trägt. Diese beiden Teile speichern die komplette Information des dreidimensionalen Datensatzes. Folgende ITK-Bausteine wurden zur rigiden Registrierung getestet: SubsampleVolume, wobei versucht wurde, die Auflösung zu skalieren, die Voxelgröße und das Voxelspacing anzugleichen ImageRegistration8 mit itk::mattesmutualinformationimagetoimage- Metric und der DICOM-Einleseroutine itk::imageseriesreader, der 41

46 Abbildung 13: Screenshot MiraView, oben: fusioniertes CT auf MR, unten: CT Original General DICOM Ein- und Ausgabe itk::gdcmimageio, itk::gdcmseriesfilenames einem Generator für neue Dateinamen der Schnittbilder, itk::metadatadictionary in welchem die DICOM- Einträge versucht wurden zu ändern und der DICOM-Ausgaberoutine itk::imageserieswriter ImageRegistration4 mit itk::imageseriesreader, itk::dicomseriesfilenames ImageRegistration2 ImageRegistration8 mit itk::mattesmutualinformationimageto- ImageMetric, itk::imageseriesreader, itk::dicomseriesfilenames, itk::gdcmimageio, itk::gdcmseriesfilenames, itk::imageseries- Writer und itk::metadatadictionary 42

47 8.2 Erstellung der Referenzdaten Um einen Anhaltspunkt für den Vergleich der Registrierungsmethoden in ITK zu erhalten, wurden Referenzdaten hergestellt. Die rigide vorregistrierten Datensätze wurden dazu mithilfe der interaktiven, deformierbaren, landmarkenbasierten Registrierung in MiraView überlagert. Es wurden korrespondierende Punkte in MR- und CT-Bild gesucht und die Landmarken an den jeweiligen Stellen platziert. Die Überlagerung erfolgte automatisch und konnte nach dem Setzen der einzelnen Landmarken zur Überprüfung der Registrierung ausgeführt werden. Durch visuelle Kontrolle wurden die Landmarken so gewählt, dass die Registrierung so genau wie möglich erfolgte. Abhängig von den Unterschieden der Verzerrungen der Bilder wurden für die 10 Patienten zwischen 13 und 99 Landmarken benötigt. Die Registrierung wurde abgebrochen, wenn das Ergebniss zufriedenstellend war. 43

48 8.3 Deformierbare Registrierung Es wurden vier voneinander unabhängige Registrierungsmethoden verwendet. Die Bausteine der in ITK vorimplementierten Funktionen, die Transformation, die Metrik, der Optimizer und der Interpolator wurden in verschiedenen Kombinationen zusammengefügt: Methode 1: B-Spline Transformation, Mattes Mutual Information, LBFGSB Optimizer und lineare Interpolation (Beispielprogramm) Methode 2: B-Spline Transformation, Mattes Mutual Information, LBFGSB Optimizer und BSpline Interpolation Methode 3: B-Spline Transformation, normalisierte Mutual Information, LBFGSB Optimizer und lineare Interpolation Methode 4: ein multiresolution Ansatz mit B-Spline Transformation, Mattes Mutual Information, LBFGS Optimizer und linearer Interpolation, bei welchem das B-Spline-Gitternetz nacheinander in zwei verschiedenen Auflösungen die Verformungen annähert. Die erste Transformation wird mit 5 5 5, die Zweite mit Patches berechnet. B-SplineTransformation: Die Klasse itk::bsplinedeformabletransform generiert ein Deformationsfeld, basierend auf einem uniformen 3D Gitternetz, welches über das Bild gelegt wird. Die Verschiebungsvektoren der einzelnen Pixel werden durch B-Spline basierte Interpolation zwischen den transformierten Punkten des Gitternetzes errechnet. Ausserhalb des Gitternetzes ist die Deformation, sowie der Support der B-Spline-Interpolation, Null. Da diese Klasse keine großen Rotationen, Scherungen und Translationen berechnen kann, ist es möglich eine initiale rigide Transformation vorzuschalten. Die BSplineDeformableTransform erwartet jedoch zwei Bilder derselben Auflösung, weshalb auf diesen initialen Schritt der rigiden 44

49 Transformation verzichtet wurde, um die Dimensionen der Bilder im Vorfeld anzupassen. Die rigide Vorregistrierung wurde deshalb schon in der Vorverarbeitung erledigt. Durch die hohe Anzahl der Parameter, die erwartet werden - drei Verschiebungsvektoren pro Gitternetzpunkt, können nur bestimmte Optimierungsfunktionen verwendet werden. Diese sind zum Beispiel der itk::lbfgsoptimizer und itk::lbfgsbopimizer. Benutzerdefinierte Angaben der Klasse sind: Größe der GridRegion - die Anzahl der Patches in allen drei Dimensionen das GridSpacing - der Größe der Patches und der GridOrigin - der Ursprung des Gitternetzes. Mattes Mutual Information: Der Unterschied zwischen der herkömmlichen Mutual Information-Implementation und Mattes Mutual Information-Implementation in ITK ist, dass bei Letzterem nur eine einzige Menge an Stichproben für die Berechnung der Wahrscheinlichkeitsverteilungen im kompletten Registrierungsprozess verwendet wird. Damit wird die Kostenfunktion glatter und ermöglicht die Verwendung von komplexeren und intelligenteren Optimizern. Durch die Funktionen SetFixedImage() und SetMovingImage() werden die beiden Bilder als Eingabe definiert. Es müssen außerdem mit SetTransform() und SetInterpolator() diese jeweiligen Klassen verknüpft werden. Um die Anzahl der Stichproben und der der verwendeten Bins des Histogramms zu definieren, werden zusätzlich Funktionen aufgerufen. 45

50 Normalisierte Mutual Information: Durch die Eigenschaft der normalisierten Mutual Information, dass sie von den Unterschieden im Überlapp der Bilder und die Überschneidung des Hintergrunds unabhängiger ist, folgt eine bessere Genauigkeit der Bemaßung in jedem Iterationsschritt. Da die verwendeten Bilder jedoch schon durch eine rigide Registrierung angepasst wurden, hat diese Tatsache in diesem Fall weniger Gewicht. Die Klasse itk:: NormalizedMutualInformationHistogramImageToImageMetric benötigt ein benutzerdefiniertes Histogramm, um die Intensitäten der Bilder zu vergleichen. LBFGS Optimizer: Der Limited Memory Broyden, Fletcher, Goldfarb and Shanno Optimizer, implementiert in itk::lbfgsoptimizer bekommt folgende Eingaben: SetGradientConvergenceTolerance(), welche die Genauigkeit der gefundenen Lösung des Optimierungsprozesses mit der als Parameter übergebenen Zahl vergleicht und die Abbruchbedingung darstellt SetLineSearchAccuracy() bestimmt die Genauigkeit der Line Search. Ist eine geringe Anzahl an Iterationen erwünscht, im Vergleich zu den Kosten der Optimierungsfunktion, sollte diese Toleranz möglichst klein gewählt werden SetDefaultStepLength() übergibt die Länge der Schritte in der Line Search der Optimierungsfunktion Bei TraceOn() gibt der Optimizer Informationen der aktuellen Iteration zurück SetMaximumNumberOfFunctionEvaluations() beschränkt die Anzahl der Approximationen der Optimierungsfunktion [NW99] 46

51 LBFGSB Optimizer: Der LBFGSB Optimizer ist eine geänderte Form des LBFGS Optimizers, der zusätzlich eine Beschränkung der Parameter des Suchraums zulässt. Dieser Optimierungsalgorithmus wurde jedoch ohne Variablenbeschränkung eingesetzt. Benutzerdefinierte Eingaben sind: SetUpperBound() und SetLowerBound(), welche jedoch nicht berücksichtigt wurden SetCostFunctionConvergenceFactor() bestimmt eine Abbruchbedingung. Ist der Faktor, um welcher sich die Kostenfunktion verändert, kleiner, als der angegebene Wert, terminiert der Algorithmus. SetProjectedGradientTolerance() bestimmt eine Abbruchbedingung. Der Algorithmus terminiert, wenn der Abstand der Gradiente der Suchrichtung zur Beschränkung zu gering wird oder eine Beschränkung erreicht wird. SetMaximumNumberOfIterations() bestimmt eine Abbruchbedingung. Beschränkt die Anzahl der Iterationen und damit die Approximation der Kostenfunktion. SetMaximumNumberOfEvaluations() bestimmt eine Abbruchbedingung. Beschränkt die Anzahl der Approximationen der Optimierungsfunktion. SetMaximumNumberOfCorrections() bestimmt die Anzahl der gespeicherten Korrekturpaare, die Informationen über die Krümmung der Funktion enthalten, in jeder Iteration [NW99]. 47

52 Lineare Interpolation: Die Klasse itk::linearinterpolateimagefunction bekommt keine Eingaben vom Anwender, sondern wird nur mit der Registrierungsfunktion itk::imageregistrationmethod über SetInterpolator() verknüpft. Sie beinhaltet Interpolation der Bildintensitäten für skalare Pixeltypen. BSpline Interpolation: Um einen weicheren Farbverlauf zu erreichen, werden die Intensitäten anhand von B-Spline Kurven interpoliert. Diese Methode ist im Vergleich zu linearer Interpolation zeitaufwändiger. Die Klasse itk::bsplinedeformabletransform bekommt über SetSplineOrder() den Grad der B-Splines übergeben und mit SetInputImage() das Bild, über welches interpoliert werden soll. 48

53 8.4 Matcher3D Der neue Algorithmus Matcher3D [SBYA05], implementiert von Matthias Söhn, war zusätzlich vorgesehen in den Vergleich miteinzufließen. Die globale deformierbare Transformation wird bei diesem Algorithmus, basierend auf kleinen, lokalen Translationen einzelner Bildauschnitte zusammengesetzt. In der Größenordnung zwischen mm und mm wird das Bild in kleine Regionen unterteilt, für welche unabhängig voneinander an ihrer Position die Metrik normalisierte Mutual Information berechnet wird. Die Regionen sind uniform über das Bild verteilt und können bei Bedarf auf bestimmte Ausschnitte beschränkt werden (siehe Abbildung 14). Der Algorithmus eignet sich besonders gut für komplexe, lokale Transformationen, da die Größe der Regionen an das Registrierungsproblem angepasst werden kann und sich die einzelnen Regionen unabhängig voneinander bewegen. Um eine unnatürliche, globale Deformation zu verhindern, sind die einzelnen Regionen mit ihren Nachbarn über Federn verbunden, die die Deformation über die Iterationsschritte hinweg beschränken. Da dieser Algorithmus mit dem Dateiformat Pinnacle arbeitet, mussten die DICOM-Dateien für die Verwendung vorbereitet und konvertiert werden. Nach der Registrierung wurden, anstatt die Pinnacle-Bilder direkt zu verwenden, die Deformationsfelder in ITK eingeladen und auf das original CT-Bild im ANALYZE-Format angewandt. Durch die Veränderungen der verwendeten Originaldateien, konnten sie jedoch leider nicht mit der deformierbaren Registrierung aus ITK verglichen werden. Vorverarbeitung der DICOM-Dateien: 1. Konvertierung zu ANALYZE mit Amide 2. Einlesen in ITK und Hinzufügen eines schwarzen Randes mit itk::imagefilereader, itk::shiftscaleimagefilter, itk::imageregioniteratorwithindex 49

54 3. Speichern als DICOM-Schnittbildfolge durch Erzeugen eines neuen itk::metadatadictionary, wobei einige DICOM-Einträge, wie die Breite der Schnittbilder oder ein anonymer Patientennamen hinzugefügt wurden 4. Konvertierung zu Pinnacle mit dem Programm dcmconv basierend auf dem DCMTK-Toolkit (OFFIS e.v., Oldenburg, Deutschland) Abbildung 14: Screenshot Matcher3D 50

55 9 Maß Es wurde, um die Qualität der Registrierung zu überprüfen, ein Maß implementiert, welches die Abbildung von Luft und Knochen vom CT-Bild auf das MR-Bild überprüft. Aufbauend auf dem Ansatz von Malik et al. [MPL + ], der mit der Verwendung des Otsu-Threshold Filters Knochen durch Clustering aus dem MR-Bild segmentiert, wird hier auch die segmentierte Luft des MR-Bildes miteinbezogen. Da die Intensitätsklassen von Luft und Knochen im MR-Bild sehr nahe beieinander liegen, können sie beide mithilfe des Otsu-Threshold Filters bestimmt werden. Das CT- Bild wurde, um Luft und Knochen zu extrahieren, gesondert behandelt. Im folgenden Abschnitt ist das Vorgehen näher erläutert. 9.1 Bearbeitung des MR-Bildes Stufe 1: Aus dem Originalbild wird derjenige Schwellwert berechnet, der es am deutlichsten in hohe und niedrige Intensitäten trennt. Hohe Intensitäten sind im T1 gewichteten MR-Bild die Gewebeklassen, die niedrigen Intensitäten stellen die Luft, Fett, Knochen, Implantate und einige Gewebearten mit wenig Wasseranteil dar. Nach der ersten Anwendung des Otsu- Threshold Filters ist das Bild in diese beiden größten Klassen getrennt. Da die Klasse der niedrigen Intensitäten jedoch mehrere verschiedene Strukturen enthält, ist die Unterscheidung für die Segmentierung von Luft oder Knochen noch nicht fein genug, außerdem ist der Hintergrund noch im Bild enthalten. Abbildung 15 zeigt die segmentierten Bereiche des MR- Bildes, wobei Schwarz, die hohen Intensitäten aus dem Bild, entfernt werden. Weiß ist der Hintergrund und die niedrigen Intensitäten, diese bleiben im Bild für die nächsten Schritte. 51

56 Abbildung 15: hohe Intensitäten des T1 gewichteten MR-Bildes werden entfernt (schwarz) Stufe 2: Wird der Otsu-Threshold Filter ein zweites Mal über die verbleibenden niedrigen Intensitätsklassen angewandt, können diese erneut aufgetrennt werden. Dieser Schritt ist ein Zwischenschritt und trennt hauptsächlich die niedrigste Klasse, Luft, also Hintergrund, von den nächsthöheren Klassen, den Gewebearten, Knochen, Fett, Implantaten, Hirn- und Rückenmarkflüssigkeiten. Der daraus resultierende Schwellwert wird auf das originale MR-Bild angewandt; so können wieder mit einer binären Maske die ungewünschten Intensitäten entfernt werden. Da in diesem Schritt die Luft als Klasse identifiziert und segmentiert werden konnte, müssen für den nächsten Schritt die höheren Intensitäten verbleiben, um sie wieder in Klassen unterscheiden zu können. 52

57 Stufe 3: Die in Stufe 2 erhaltene, obere Klasse, wird zur Festlegung des endgültigen Schwellwertes, noch einmal mit dem Otsu-Threshold Filter behandelt. Die verbleibenden Intensitäten der unteren Klasse, sind diejenigen, die zu Knochen und Hirn- und Rückenmarkflüssigkeiten zählen. Wird nun das Originalbild mit diesem dritten Schwellwert aufgeteilt, enthält die untere Klasse Luft, Knochen und Hirn- und Rückenmarksflüssigkeiten, die Obere alle Arten von Gewebe, Fett und Implantaten. Abbildung 16 zeigt links die binäre Maske, die nun aus dem Bild die hohen Intensitäten herauslöscht und rechts das originale MR-Bild, aus welchem alle höheren Intensitäten entfernt wurden. Abbildung 16: links: binäre Maske mit Weiß: der unteren Klasse, die Luft-, Knochen und Hirn- und Rückenmarksflüssigkeiten enthält, Schwarz: die höheren Intensitäten, welche entfernt werden sollen, Rechts: segmentiertes MR-Bild unter Schwellwert 3 53

58 9.2 Bearbeitung des CT-Bildes Anstatt die Knochen per festgelegtem Wert aus dem CT-Bild zu segmentieren, wird, um die natürliche Varianz der Knochendichte von Patient zu Patient zu berücksichtigen, auch hier der Otsu-Threshold Filter verwendet. Der hier erhaltene Schwellwert entspricht dem niedrigsten Hounsfield-Wert für Knochen des jeweiligen Patienten. Trennung in Vorder- und Hintergrund und die Eliminierung der Fixierungen des Kopfes: Durch die Anwendung des Otsu-Threshold Filters über das CT-Bild, wird ein erster Schwellwert berechnet. Dieser teilt das Bild in Vorder- und Hintergrund, wobei als Vordergrund die Klassen Gewebe und Knochen zählen, zum Hintergrund die Luft. Es wird eine binäre Maske über das Bild gelegt, die ein Neues erzeugt, in welchem nun nur noch die Luft des Originalbildes vorhanden ist. Um im weiteren Vorgehen mit dem Vordergrund, den Gewebeklassen des Kopfes, arbeiten zu können, müssen noch weitere Schritte unternommen werden. Da im CT-Bild, von den Fixierungen des Kopfes im CT-Scanner und dem Patientenbett Artefakte zu sehen sind, die die spätere Segmentierung der Luft beeinflussen, muss das berechnete Bild mit zwei weiteren Filtern behandelt werden: 1. Dilatation: Dieser Filter erweitert die Bereiche des Hintergrunds um Pixel in einem gewissen Radius. Die schmalen Artefakte der Fixierung des Kopfes, die rechts und links des Kopfes auftauchen, können mit einer sehr kleinen Filtermaske entfernt werden. Der Dilatationsfilter beeinflusst jedoch außerdem die Verästelungen der kopfinternen Luft. 54

59 2. Erosion: Um die Strukturen im Inneren des Kopfes möglichst wiederherzustellen, wird ein Erosionsfilter über das Bild gelegt, welcher den Hintergrund wieder verringert. Derselbe Radius, der bei dem Dilatationsfilter zum Einsatz kam, macht den größten Teil der vorherigen Veränderungen wieder rückgängig. Da bei der Behandlung mit dem Dilatationsfilter die Fixierungen jedoch entfernt wurden, sind diese Bereiche von der Erosion nicht mehr beeinflusst. Abbildung 17 zeigt drei binäre Masken. Oben rechts ist diejenige Maske zu sehen, welche den Vorder- und Hintergrund des CT-Bildes trennt. Am linken Rand ist die Fixierung des Kopfes zu erkennen, welche durch den Erosions- und Dilatationsfilter eliminiert werden soll. Ausserdem treten an den Rändern Artefakte auf, die von der Transformation der Registrierung herrühren. Die Ränder wurden, nachdem die Verschiebung der Pixel stattgefunden hat, mit einem Standardwert aufgefüllt, um die Originalauflösung beizubehalten. Schmale Randartefakte werden durch den Dilatationsfilter minimiert. Oben links ist das Ergebnis des Dilatationsfilters zu sehen. Die Strukturen im Inneren des Kopfes sind geweitet und die Artefakte vermindert oder eliminiert. Die untere Maske zeigt das Ergebnis nach Anwendung des Erosionsfilters. Die Artefakte sind eliminiert und die Strukturen im Inneren des Kopfes nahezu wiederhergestellt. 55

60 Abbildung 17: links oben: Original Maske, mit der Fixierung am linken Rand, rechts oben: Maske nach Anwendung des Dilatationsfilters, links unten: Maske nach Anwendung des Erosionsfilters Segmentierung des Knochens: Mithilfe dieser Maske wird nun ein Bild extrahiert, welches nur noch den Vordergrund des CT-Bildes enthält. Über dieses Vordergrundbild wird der Otsu-Threshold Filter ein zweites Mal angewendet. Es erfolgt die Trennung von Gewebe und Knochen. In Abbildung 18 ist der segmentierte Knochen aus dem CT-Bild zu sehen. Luft und anderes Gewebe werden eliminiert. 56

61 Abbildung 18: Niedrige Intensitäten wie Gewebe und Luft werden entfernt, der Knochen bleibt im Bild Segmentierung der kopfinternen Luft: Um nun aus diesem Vordergrundbild die kopfinterne Luft zu segmentieren, wird die binäre Maske wie folgt bearbeitet: Über jede Zeile des Bildes verlaufen in X-Richtung zwei Iteratoren in gegensätzlicher Richtung zueinander. Beide starten zeitgleich und treffen sich in der Mitte des Bildes. Diese Iteratoren stellen fest, ob sich die Luft an der jeweiligen Stelle des Bildes innerhalb oder außerhalb des Kopfes befindet, indem der erste Übergang von Luft zu Gewebe als Initialzustand gespeichert wird. Darauf folgende Übergänge von Luft zu Gewebe oder von Gewebe zu Luft werden erkannt und die Bereiche der Luft in ein neues Binärbild mit der Zahl 1 übernommen. Durch das gegenläufige Prozessieren der Linien des Bildes und das Terminieren der Iteratoren in der Mitte, entfällt die Notwendigkeit, den Austritt der Iteratoren aus dem Bereich des Kopfes zu erkennen. Dies würde sich als schwierig erweisen, da durch die Gegebenheiten des Bildes, das heißt den Intensitäten der Klasse Luft, kein Unterschied zwischen internen und externen Bereichen, al- 57

62 so Vorder- und Hintergrund-Luft, zu erkennen ist. Um den Austritt aus dem Kopf feststellen zu können, müsste somit Wissen über die kopfinterne Verteilung der Luft vorhanden sein. Da im Hals-, Nasen-, Ohrenbereich die Luft jedoch nicht klar strukturiert ist und in jeder Zeile die Wechsel zwischen Gewebe und Luft in unterschiedlicher Weise aufeinander folgen, kann kein Muster erkannt und als Anhaltspunkt verwendet werden. In der theoretischen Informatik würde man von einer kontextsensitiven (cs) Grammatik L 2 sprechen [PE00], da sie innere Rekursionen in beliebiger Reihenfolge enthalten kann und trotzdem durch das Wissen, dass die Ränder des Bildes aus Luft bestehen, abhängig ist, von der Reihenfolge der Farbwerte: Definition Grammatik: Eine Grammatik G ist ein Tupel G = (V, T, R, S) mit V einer endlichen Menge an Variablen, T einer endlichen Menge an Terminalen mit V T = Ø, R einer endlichen Menge von Regeln und S dem Startsymbol, S V. Eine Regel bezeichnet ein Element (P, Q) mit P aus ((V T ) V (V T ) ) und Q aus (V T ). P ist also ein Wort über (V T ), welches mindestens ein V enthält und Q ist ein Wort über (V T ). P, auch bezeichnet als Prämisse, geht über in Q, als Conclusio der Regel: P Q. Als Variablen werden Großbuchstaben verwendet, zum Beispiel V = {S, C}, mit S, dem Startsymbol, und C, einer internen Variable. Terminale sind in diesem Falle Luft und Gewebe T = {a, b}, sie werden im Allgemeinen mit Kleinbuchstaben geschrieben. Regeln R = {R 1, R 2, R 3 } könnten sein: 58

63 R 1 = S aca, R 2 = C aca bcb acb bca und R 3 = D ɛ ɛ ist das leere Wort und kann als Abbruchbedingung gesehen werden. Mit dieser Grammatik können folgende Zeilen aus Zeichenfolgen entstehen, die im Bild einer Linie aus Intensitäten entsprechen könnten: S aca aacaa aabcaaa aabbcbaaa aabbbaaa (34) oder S aca aacba aabcaba aabacaaba aabaaaba (35) Es ist zu erkennen, dass der Wechsel von a (Luft) und b (Gewebe) durch die Rekursion der Regel R 2 nicht vorhersagbar ist und vor dem letzten Terminal der Zeichenfolge nicht entschieden werden kann, ob das Ende der Linie erreicht ist, oder neues Gewebe folgen kann. Um dieses Problem zu umgehen, treffen sich die beiden Iteratoren in der Mitte des Bildes, da deshalb für alle Vorkommen von Luft, nach dem ersten Erkennen des Gewebes, angenommen werden kann, dass sie sich innerhalb des Kopfes befinden. Abbildung 19 zeigt die Fehler an den Regionen der Augen und Ohren, die durch die Prozessierung des Bildes in X-Richtung auftreten. Die Gründe dieser Fehler sind, im Falle der Augen, die in X-Richtung konkaven Formen, die von den Iteratoren als kopfinterne Luft gespeichert werden, im Falle der Ohren die fehlerhafte Klassifizierung der Luft dahinter, als kopfintern. 59

64 Abbildung 19: links: Maske nach Anwendung des Erosionsfilters, rechts: die segmentierte Luft durch die Iteratoren aus X-Richtung Durch die zusätzliche Prozessierung des Bildes in Y-Richtung können diese Artefakte vermindert werden. Abbildung 20 zeigt links die entstandene Maske nach Segmentierung der Luft aus Y-Richtung. Durch das Patientenbett entstehen rechts und links vom Kopf neue Artefakte. Diese Maske wird nun mit der durch die Segmentierung in X-Richtung entstandenen Maske zusammengefügt, sodass nur noch die Luftbereiche, die in beiden Richtungen erkannt wurden, übernommen werden (Abbildung 20 rechts). 60

65 Abbildung 20: links: segmentierte Luft aus Y-Richtung, rechts: Kombination der beiden Masken Kombination von segmentierten Luft- und Knochenbereichen und die Eliminierung der Artefakte des Patientenbettes: Die beiden entstandenen Masken für Luft und Knochen, werden mit einer bitweisen Antivalenz (exklusives Oder) kombiniert. Das Ergebnis ist eine Maske, die für die Bereiche Knochen und Luft innerhalb des Kopfes weiße Pixel enthält. Da das Patientenbett des CT-Scanners noch nicht behandelt wurde, erfolgt dies im nächsten Schritt: Unter der Annahme, dass im hinteren Kopfteil keine Luft existiert, kann die Maske, die zur Segmentierung der Knochen aus dem CT-Bild verwendet wurde, zur Eliminierung des Patientenbettes herangezogen werden. Dabei wird der hintere Teil, ab einer gewissen Grenze, durch die Maske der Knochen aus dem CT-Bild ersetzt, da dort keine Luft zu erwarten ist. Das Ergebnis ist die endgültige Maske in Abbildung 21, die nun, angewendet auf das Original CT-Bild, diejenigen Pixel segmentiert, die entweder Knochen oder kopfinterne Luft enthalten. Die Bemaßung der Registrierung erfolgt nun durch das Abbilden der CT- Maske auf das Bild, welches die niedrigen Intensitätsklassen des MR enthält. Die Überschneidung der Bereiche wird mit ihrer Anzahl der überlappenden Pixel und der Anzahl der falsch registrierten Pixel gespeichert und quantifiziert. 61

66 Abbildung 21: segmentierte Luft und Knochen aus dem CT-Bild, das Patientenbett ist eliminiert, die Artefakte an den Ohren bleiben bestehen 62

67 10 Vergleich und Bewertung Zehn Datensätze von jeweils MR- und CT-Bild des Kopfes unterschiedlicher Patienten wurden zum Vergleich der Methoden herangezogen. Nach der rigiden Vorregistrierung hatten alle Datensätze eine Auflösung von Pixel in X-, Y- und Z-Richtung. Es wurde jeweils die Verformung des CT- auf das MR-Bild berechnet, da durch Interpolation die Grauwertverteilungen der Bilder beeinflusst werden können und ein Verschwimmen der Strukturen im Bild möglich ist. Das CT-Bild enthält weniger Abstufungen der Grauwerte und weniger feine Strukturen, sodass die Interpolation hier nicht so stark beeinflusst. Das MR-Bild wurde deshalb als Referenzbild verwendet. Abbildungen 22 und 23 zeigen das CTund MR-Bild aus den drei anatomischen Hauptperspektiven - transversal, quer zur Längsachse des Körpers, sagittal, der vertikale Schnitt durch Front- und Rückseite des Körpers und coronar, der vertikale Schnitt entlang der Querachse. In Abbildung 24 ist die Überlagerung der Knochen des CT-Bildes auf das MR-Bild dargestellt. Die beiden oberen Ausschnitte zeigen links die rigide Vorregistrierung und rechts das Ergebnis der deformierbaren Registrierung. Im unteren Bild sind beide Registrierungen überlagert. An Bereichen wie Nasenbein oder Schläfe ist die Verzerrung in transversaler Ebene gut zu erkennen. Abbildung 22: links: CT transversal, mitte: CT sagittal, rechts: CT coronar 63

68 Abbildung 23: links: MR transversal, mitte: MR sagittal, rechts: MR coronar Die vier Registrierungsmethoden aus ITK wurden für alle 10 Patienten angewandt. Die Rechenzeiten variierten abhängig von Methode und Patient zwischen 106 und 213 Sekunden. Um die Ergebnisse der vier verschiedenen Registrierungsmethoden anhand der Referenzdaten zu vergleichen, wurde das implementierte Maß eingesetzt. Der Schwellwert für die Segmentierung der Intensitäten des Knochens aus dem CT-Bild schwankte zwischen 435 und 705 der Hounsfield-Skala, was durch die anatomischen Unterschiede des Knochen zwischen den Patienten begründet ist. Die beste Genauigkeit erreichte Methode 3 (BSpline Transformation, normalisierte Mutual Information, LBFGSB Optimizer und lineare Interpolation). Darauf folgen Methode 4 (multiresolution Ansatz mit BSplineTransformation, Mattes Mutual Information, LBFGS Optimizer und linearer Interpolation) und Methode 2 (BSpline Transformation, Mattes Mutual Information, LBFGSB Optimizer und BSpline Interpolation). 64

69 Referenz Methode 1 Methode 2 Methode 3 Methode 4 Pat % 28.29% 27.76% 28.29% 28.47% Pat % 28.23% 22.45% 28.23% 28.2% Pat % 23.7% 22.17% 23.7% 25.18% Pat % 38.73% 37.97% 38.73% 39.03% Pat % 32.38% 32.23% 32.38% 31.86% Pat % 33.43% 34.02% 33.43% 32.45% Pat % 25.38% 24.12% 25.38% 24.23% Pat % 39.93% 38.8% 39.93% 38% Pat % 21.64% 21.45% 21.64% 21.47% Pat % 39.78% 39.56% 39.78% 38.98% Tabelle 1: Prozentuales Verhältnis vom Überlapp der abgebildeten Voxel von CT- auf MR-Bild für die Referenzdaten und Methoden aus ITK Methode 1 (BSpline Transformation, Mattes Mutual Information, LBFGSB Optimizer und lineare Interpolation) erzielte dieselben Ergebnisse wie Methode 3, da derselbe Optimierungsalgorithmus und dieselbe Interpolation verwendet wurden. Der Unterschied zwischen Mutual Information und normalisierter Mutual Information spielte bei den geringen Unterschieden im Überlapp des Hintergrunds keine Rolle. Abbildung 26 zeigt die relativen Abweichungen der Genauigkeit im Verhältnis zu den Referenzdaten. Die Ergebnisse der manuellen Registrierung der Referenzdaten wurden auf 1 normiert, um die Abweichung deutlich zu machen. Tabelle 1 zeigt das prozentuale Verhältnis von korrekt abgebildeten Pixeln zur kompletten Anzahl der Pixel in der CT-Maske. Dabei wurde der Überlapp der Knochen und Luft aus dem CT-Bild auf die segmentierten Bereiche des MR-Bildes berechnet (beschrieben in Kapitel 9) und die Anzahl der Treffer im Vergleich zur Anzahl der auf den Hintergrund abgebildeten Pixel gespeichert (siehe Abbildung 25). Durch die große Patientenabhängigkeit entstanden jedoch hohe Standardabweichungen (siehe Tabelle 2). 65

70 (a) (b) (c) Abbildung 24: (a) Grau: MR-Bild, Blau: Knochen aus CT-Bild, rigide registriert, (b) Grau: MR-Bild, Gelb: Knochen aus CT-Bild, nach deformierbarer Registrierung, (c) Grau: MR-Bild, Unterschied rigide und deformierbare Registrierung Methode 1 Methode 2 Methode 3 Methode 4 Mittelwert Standardabweichung Tabelle 2: Mittelwerte und Standardabweichungen der Methoden aus ITK im Vergleich zu den Referenzdaten 66

71 (a) (b) (c) (d) (e) Abbildung 25: (a) Original MR-Bild (b) registriertes CT-Bild (c) MR- Maske, niedrige Intensitäten (d) segmentierte Luft und Knochen aus CT- Bild (e) kombinierte Masken abgebildet auf das MR-Bild, wobei korrekt registrierte Pixel weiß erscheinen, falsch registrierte rot 67