Inhalt Bildregistrierung in der Medizin mittels Mutual Information Daniel Woltering 1 Einleitung 2 1.1 Motivation............................................ 2 2 Bildregistrierung 3 2.1 Grundlagen............................................ 3 2.2 Bedeutung für die Medizin.................................... 3 2.3 Vorform der Registrierung nach Woods............................. 4 2.4 Weiterentwicklung nach Hill................................... 4 2.5 Transformation.......................................... 5 3 Herleitung der Mutual Information 7 3.1 Informationsgehalt von Bildern................................. 7 3.1.1 Entropie.......................................... 7 3.2 Definition der Mutual Information............................... 9 3.3 Eigenschaften........................................... 11 4 Anwendung und Methoden 11 4.1 Kurzer Überblick......................................... 11 4.2 Implementierung und Interpolation............................... 12 4.3 Registrierung von mehr als zwei Bildern............................ 14 4.4 Andere Berechnungsmöglichkeiten............................... 14 4.4.1 Vorstellung........................................ 14 4.4.2 Mutual Information höherer Ordnung......................... 14 4.4.3 Kozachenko-Leonenko Schätzer............................. 15 4.4.4 Methode.......................................... 15 5 Fazit 16 1
2 Daniel Woltering Zusammenfassung Dieses Seminar soll verdeutlichen, was Mutual Information ist und wie sie zur Registrierung von medizinischem Bildmaterial genutzt werden kann. Dazu werden die Grundlagen der Bildregistrierung beschrieben, die den Bezug zur Medizin verdeutlichen. Anlehnend werden die Grundlagen der Bildvorbereitung, die im Prozess der Registrierung genutzt werden, sowie Methoden zur Erfassung des Informationsgehaltes der Bilder vorgestellt. Aus diesen Voraussetzungen werden anschließend die Verbindungen zur Mutual Information hergestellt, die den informellen Zusammenhang zwischen Bildern beschreibt. Die Funktionsweisen der Techniken werden im Verlauf mit Beispielen belegt und abschließend eine Alternative zur Berechnung der Mutual Information ohne histogrammbasierende Verfahren vorgestellt. Keywords: Mutual Information, Bildregistrierung, Entropie 1 Einleitung 1.1 Motivation Mit den heutigen bildgebenden Verfahren in der Medizin ist es möglich, sehr viele Informationen über Krankheiten zu erhalten, die in weiteren Schritten auszuwerten sind. Aus diesen Informationen können zweidimensionale oder auch dreidimensionale Modelle, je nach Informationsgehalt des Materials, erstellt werden. Um diese von Interesse geprägten Positionen des Körpers auf all diesen Grafiken wiederzufinden und die Stellen von Interesse gleich zu deuten, existiert die Technik, Bilder unter verschiedenen Gesichtspunkten miteinander zu registrieren. In diesem Seminar soll darauf eingegangen werden, wie der Registrierungsprozess abläuft und welche Voraussetzungen gegeben sein müssen. Anfangs wird dazu erklärt, was Bildregistrierung im Allgemeinen ist und wie sie der Medizin zuträglich ist. Danach wird die Theorie näher beleuchtet, die beschreibt, welchen Informationsgehalt Bilder tragen und wie diese miteinander vergleichbar sind, auch, wenn Bilder verschiedenster medizinischer Messherkunft zusammen genutzt werden sollen. Es wird danach auf die Mutual Information eingegangen, welche die Informationszusammenhänge zwischen Bildern beschreibt und wie diese durch verschiedene Techniken der Computergrafik optimiert werden kann. Abschließend wird eine Alternative zur Registrierung mittels Mutual Information vorgestellt, die durch stochastische Verfahren geprägt ist. In dieser Arbeit soll ein Überblick gegeben werden, wie Mutual Information die Bildregistrierung beeinflusst hat. Dies beinhaltet auch die Zukunftsperspektiven, die dieser Technik eingeräumt werden aufgrund der Weiterentwicklung von medizinischer Behandlung und dem Fortschritt in der Entwicklung von medizinischen Geräten. (a) PET Bild (b) Bild mit Markern (c) Röntgenaufnahme Abb. 1.1: Beispiel einer ermittelten Transformation (b) von Bild (a) und Bild (c)
Bildregistrierung in der Medizin mittels Mutual Information 3 2 Bildregistrierung 2.1 Grundlagen Die Informatik bietet die Möglichkeit, Bilder unter verschiedensten Gesichtspunkten miteinander zu registrieren. Dazu werden zwei Bilder mit ähnlichen Strukturen in eine möglichst optimale räumliche Übereinstimmung gebracht. Im Verfahren bedeutet dies, dass ein Referenzbild (Abb. 1.1(c)) und ein Objektbild (Abb. 1.1(a)) existiert, die durch eine Tansformation T in Übereinstimmung gebracht werden. Um Änderungen (bei zeitlich unterschiedlichen Bildern) oder Unterschiede (bei Registrierungen zeitgleicher Bilder verschiedener Art) miteinander vergleichen zu können, muss gewährleistet sein, dass auf den Bildern die gleiche Position des Körpers getroffen ist. Die Transformation T minimiert dabei bestmöglich die Abweichung der Bilder voneinander und kann dabei rigider, affiner, projektiver oder auch nicht rigider Form sein. Es gibt viele verschiedene Arten der Transformationen, die sich in ihrer Komplexität stark unterscheiden. Um Registrierungen von verschiedenen Bildern zu ermöglichen, müssen einige Voraussetzungen geschaffen werden, wie zum Beispiel die Größenanpassung durch Interpolation. Dies schafft bessere Voraussetzungen, um die Strukturen der Bilder besser vergleichen zu können. Die Stellen von Interesse, werden von Markern markiert, die entweder vom Benutzer selbst eingefügt werden, oder aber auch automatisch anhand von Flächen erkannt werden können (Abb. 1.1(b)). Um den Grad der Übereinstimung zu überprüfen, wird ein Ähnlichkeitsmaß definiert, welches die Informationswerte der Bilder nutzt. Diese können über die Intensitätswerte der Bildpunkte bestimmt werden. Anhand des Ähnlichkeitsmaßes kann abschließend überprüft werden, ob weitere Transformationen nötig sind. 2.2 Bedeutung für die Medizin Bei der Betrachtung eines Krankheitsverlaufes werden viele Bilder erstellt, die bei Untersuchungen benötigt werden. Dazu können viele verschiedene Typen von Bildern verschiedener Verfahren gehören (z.b. Computertomographie (CT), Magnetresonanztomographie (MRT), Positronen Emissions Tomographie (PET), Röntgen (Abb. 1c) oder Fotos), die ein und die selbe Stelle am Körper abbilden. Oft liegen viele dieser Bilder direkt in digitaler Form vor. Aus dieser Fülle von Informationen, die einerseits zeitliche Unterschiede, andererseits strukturelle Differenzen aufweisen, muss eine bestmögliche Auswertung für eine möglichst genaue Diagnose erstellt werden. Zum Erreichen dieses Ziels erfolgt eine Transformation, deren Parameter gefunden werden müssen. Dies ist zum Beispiel bei der Atmung der Fall. Diese Verschiebung des Brustkorbs erzeugt immer eine kleine Verschiebung der Körperteile in den Bildern. Um zu gleichen Positionsbestimmungen der betrachteten Merkmale zu kommen, muss diese Verschiebung ausgeglichen werden. Ein weiteres Problem entsteht, wenn die Bilder qualitative Unterschiede aufweisen, wie es beim Vergleich sehr alter und neuer Bilder auftreten kann (Bildrauschen, schlechte Belichtung, Unschärfe). In diesem Fall muss eine ausreichende Vorbearbeitung des alten Bildmaterials vorgenommen werden. Verschiedene bildgebende Verfahren, wie CT, MRT und PET basieren auf grundsätzlich unterschiedlichen physikalischen Verfahren und stellen aus diesem Grund auch die Gewebe und Strukturen unterschiedlich dar. Dabei entsteht eine Informationsflut, die es zu einer guten Auswertung richtig zu ordnen gilt. Verschiedenste Stellen in Krankenhäusern profitieren daher von der Analyse und automatischen Auswertung der Bilder, die es ermöglichen, eine optimale Darstellung der Informationen an den Arzt weiterzugeben. Beispielsweise ist es bei der Tumorbehandlung notwendig, die Strahlendosen der Bestrahlung von CT Bildern abhängig zu machen, während die genaue Positionsbestimmung des Tumors mittels eines MRT Modells geschieht. Anhand des CT Bildes kann dabei die vorliegende Dicke der Knochen bestimmt werden, die es von den Stahlen zu durchdringen gilt. Das MRT Bild gibt hingegen die Gewebearten und Weichteilarten wieder, die zur Positionsbestimmung wichtig sind. Gleiches gilt für die Untersuchung von Gehirnaktivitäten, die durch PET Material belegt, aber erneut durch ein MRT lokalisiert werden können. Um dies weiter auszuführen, kann man auch zeitlich unterschiedliche Aufnahmen miteinander nutzen, durch welche man dann ein Modell des Krankheitsverlaufs errechnen kann. Das gibt die Möglichkeit, eine komplexe Gewebeveränderung einfach darzustellen. Als ein letzter Punkt sei die Forschung genannt, die nicht die Bilder eines Patienten miteinander registriert, sondern die Bilder vieler Patienten des gleichen Krankheitstyps, um eventuelle Gemeinsamkeiten aufzuspüren oder ein besseres Bild der unterschiedlichen Krankheitsverlaufsmöglichkeiten zu bekommen. Natürlich spielt auch die Weiterentwicklung der medizinischen, bildgebenden Geräte eine nicht unerhebliche Rolle. Betrachtet man beispielsweise den Umstand, dass viele Scanner der verschiedenen Verfahren
4 Daniel Woltering heutzutage schon genaue geometrische Ortsangaben des Bildes mit an das Material anhängen und dies hinterher weder berechnet noch eingerechnet werden muss, wird bei den Bildoperationen vor der Registrierung viel Arbeitszeit eingespart. Gleiches ist für die Genauigkeit der Modelle zu erwarten. Um eine interessante weitere Möglichkeit für die Registrierung von Bildern zu nennen, sei hier angeführt, dass man nicht nur zwei Bilder miteinander registrieren kann. Des Weiteren ist man auch hier nicht auf 2 Dimensionen beschränkt. Liegt in ausreichender Form Bildmaterial in drei Dimensionen vor, welches mit den dazugehörigen Positionsmarkern bestückt worden ist, können die Informationen aus den mitregistrierten Bildern, sofern auch hier die dazugehörigen Positionsmarker gegeben sind, in ein gemeinsames dreidimensionales Modell eingerechnet werden (Abb. 1.2). Dies hat den Vorteil, dass beispielsweise einem Arzt vor einer Operation das Modell mit den zu behandelnden Körperregionen vorliegt. Aus dieser computergestützten Hilfe hat sich ein Forschungsfeld ergeben, das Medizinern die Möglichkeit eröffnet, ihre Aktionen während einer Operation im Menschen live in dieses dreidimensionale Modell mit eingerechnet zu bekommen. Somit würde die Präzision und Genauigkeit bei Operationen nochmals gesteigert werden können. Was als Auswertung vieler einzelner Bilder als Schichten des CT begonnen hat, kann nun zu einem übersichtlichen Modell zusammengerechnet werden. Abb. 1.2: 3D Modell des Körpers 2.3 Vorform der Registrierung nach Woods Woods et al. [1] begann sehr früh mit einer recht einfachen Methode der Registrierung von Bildern. Er betrachtete zwei Bilder und verglich die Regionen gleichen Gewebes miteinander. Er hat diese Stellen im Referenzbild lokalisiert und dann versucht aufgrund der gewonnenen Informationen die gleichen Stellen im Objektbild zu suchen. In diesen Regionen sind die Grauwerte im Normalfall sehr ähnlich. Die Idee besagt, dass der Unterschied der verglichenen Pixelpaare durch einen Faktor beschrieben werden kann. Liegen die Strukturen nicht gut aufeinander, wird der Faktor stark variieren. Nachdem der Faktor errechnet ist, wird dann iterativ das Objektbild verschoben bis die Varianz minimiert ist. 2.4 Weiterentwicklung nach Hill Hill et al. [2] hat diese Art der Registrierung von Bildern verfeinert. Zur Beurteilung der Gewebeflächen, die miteinander registriert werden sollen, wird hierzu ein sogenannter feature space oder auch gemeinsames Histogramm 1.3 (joint histogram) genutzt. Dort werden die Kombinationen der Grauwerte entsprechend der zusammengehörigen Punkte beider Bilder dargestellt. Seien zwei Bilder A und B gegeben. Dann werden die gezählten Grauwerte beide im joint histogram aufgetragen. Durch die vorliegenden zwei Auswertungen entsteht ein zweidimensionales Ergebnis, welches in einem zugehörigen Koordinatensystem aufgetragen werden kann. In den Koordinaten (x, y) dieses Systems wird die Wahrscheinlichkeit p(x, y)
Bildregistrierung in der Medizin mittels Mutual Information 5 eingetragen, die das gemeinsame Auftreten der Grauwerte an den beiden Punkten in den zugehörigen Bildern hat. Damit schlagen sich gemeinsame Strukturen des Referenz- und des Objektbildes in Punktwolken im gemeinsamen Histogramm nieder (Abb. 1.3). Sind beide Bilder identisch, werden alle Punkte auf einer Diagonalen liegen. Ist eine breite Streuung der Punkte im Histogramm sichtbar, so ist eine starke Transformation des Objektbildes nötig, um die Strukturen besser anzunähern. Das gemeinsame Histogramm gibt darüber Auskunft, ob Bilder ausreichend transformiert worden sind, damit die Strukturen übereinanderliegen und welche Regionen des Bildes für die Registrierung geeignet sind.[3] Abb. 1.3: Gemeinsames Histogramm bei verschiedenen Bildverschiebungen 2.5 Transformation Nachdem die Grundidee der Registrierung geschildert wurdet, betrachten wir den Vorgang im Ganzen (Abb. 1.4). Um eine gute Registrierung der Bilder erzeugen zu können, müssen die Strukturen der Bilder möglichst exakt aufeinander plaziert werden. Leider ist dies nicht oft als Grundlage gegeben, wie aus der Einleitung bekannt ist. Um dieses Problem zu beheben werden im Folgenden einige Möglichkeiten vorgestellt, die Bilder bestmöglich vorzubereiten. Transformationen sind ein wichtiger Bestandteil der Registrierung. Nach der Analyse der Bilder und der Lokalisierung der zur Registrierung interessanten Stellen, sind wir darauf angewiesen, die Bilder anzupassen. Dazu werden die meist verwendeten Methoden im Folgenden vorgestellt. Für alle Transformationen muss beachtet werden, dass diese global oder lokal durchgeführt werden können. Eine lokale Transformation wird nur in bestimmten Teilbereichen des Bildes durchgeführt(als Beispiel kann dazu eine leicht geknickte Papierseite im Kopierer dienen). Lokale Transformationen werden sehr selten angewendet, da ohne Speicherung der Operation eine irreversible Operation am Bild vorgenommen wird. Zudem besteht dies oft aus vielen Einzeloperationen, die nicht ohne erheblichen Speicheraufwand rückgängig gemacht werden können. Des Weiteren stellt es einen hohen Rechenaufwand dar, den zu transformierenden Bereich zu identifizieren. Es gibt viele verschiedene Arten von Transformationen, wovon nun vier der wichtigsten erläutert werden.
6 Daniel Woltering Abb. 1.4: Registrierungsprozess von Bilddaten rigide Transformation In die Klasse der rigiden Transformationen fallen Rotationen und Verschiebungen. Dies sind die am häufigsten auftretenden Transformationen und können durch den einfachen Term T(x) = Ax + t dargestellt werden, wobei A die Rotationsmatrix und t den Verschiebungsvektor darstellen. In den gleichen Bereich fällt auch die Größenänderung des vorliegenden Materials, welches durch die einfache Ergänzung des Terms zu T(x) = s Ax+t erreicht werden kann. Durch diese Transformation kann das Problem der falschen Orientierung, Verschobenheit, Drehung, Aufnahmeabstand und Größenänderung behoben werden. Es handelt sich um einfache Rechenoperationen im Vergleich zu den nachfolgend beschriebenen. affine Transformationen Unter affin werden die schrägen Verschiebungen eingeordnet. Diese können über Matrizen bereinigt werden. Im Term nutzen wir T(x) = Mx+t, mit M als Matrix und t als Verschiebung. Verschiebungen können schnell entstehen, da Patienten nie genau gleich fixiert werden können, wenn eine bildgebende Untersuchung angewendet wird. In der Berechnung kann bei Anwendung dieser Transformationen recht schnell ein hoher Rechenaufwand entstehen, abhängig von der Größe der Matrix, die zur Berichtigung genutzt wird. projektive Transformationen In die projektive Klasse fallen die Bilder, die perspektivisch verschoben sind. Dieses Problem ist wie bei den affinen Transformationen über Matrizen zu lösen und hat damit auch einen ähnlichen Aufwand. gekrümmte Transformationen Gekrümmte Transformationen sind wesentlich komplexer zu lösen, als die bisher beschriebenen. Diese Transformationen können nicht durch Matrizen gelöst werden, da die Verformung sehr individuell sein kann. Zu diesem Zweck wird die Transformation meist über polynomiale Anpassungen oder aber Vektorfelder der Form y i = x i +t i (x) gelöst. Da diese Methoden wesentlich schwerer zu berechnen sind und die Verformung sehr genau geplant sein muss, werden diese vermieden. Über diese vorgestellten Transformationen hinaus existieren viele weitere, die wesentlich kompliziertere Bildprobleme beheben können. Dies geht bis zur freien Transformation von einzelnen Bildteilen.
Bildregistrierung in der Medizin mittels Mutual Information 7 Abb. 1.5: Transformationen im Überblick 3 Herleitung der Mutual Information 3.1 Informationsgehalt von Bildern In der Medizin werden Optimierung, Analyse und Auswertung von Bildinformation viel genutzt, um vorliegendes Bildmaterial auf- und vorzubereiten. Oft liegen Bilder vor, die in ihrer Farbzahl aufgrund des medizinischen Verfahrens beschränkt sind, wie beispielsweise Röntgen oder CT Bilder. Diese enthalten damit nur Grauwerte und scheinen in der Information auf einem niedrigeren Level zu liegen als Farbbilder. Auf der anderen Seite gibt es farbgebende Verfahren, wie zum Beispiel PET Bilder. Auf diesen werden oft Aktivitäten der Hirnareale betrachtet. Die Aktivität der Areale wird durch Farben kenntlich gemacht, die danach ausgewertet werden können. Auf diesen Bildern stehen dem Betrachter neben den Grauwerten noch drei weitere Farbkanäle zur Verfügung, die auch Information kodieren, aber dennoch unterschiedlich viel Information enthalten. Vergleicht man die Verfahren fällt auf, dass im Bild mit den Grauwerten verschiedene Gewebe kenntlich gemacht werden und in den PET Bildern Aktivitäten durch Farben markiert werden. Ginge es nur um die Darstellung der Aktivität, könnte dies auch in Grauwerten erfolgen, jedoch würden dann die Umrisse des Gewebes bei Inaktivität nicht mehr sichtbar sein. Es steht uns durch die zusätzlichen Farben eine Zusatzinformation zur Verfügung. Da die Messung des Informationsgehaltes nicht vom verwendeten Verfahren und dem damit verbundenen Bildmaterial abhängen sollte, gilt es ein Maß für die Information zu finden, was die Informationsdichte unabhängig beschreiben kann. Um dies im Registrierungsprozess nutzen zu können, kann über den Informationsgehalt eines Bildes auch dessen Ähnlichkeit zu einem zweiten Bild festgestellt werden. 3.1.1 Entropie Um zu bestimmen, wie groß die Information ist, die in einem Bild enthalten ist, wird die Kommunikationstheorie hinzugezogen. Dort wird versucht durch möglichst wenige Symbole, eine maximale und fehlerfreie Informationskodierung zu erreichen, damit die Kapazität der Datenkanäle bei der Übertragung entlastet wird. Die Entropie wird dabei als Maß gewählt, die benötigte Bandbreite zu bestimmen, die ein Datenkanal für eine Nachricht besitzen muss. Im Jahr 1928 begann Hartley [4] sich mit dem Informationsgehalt von Nachrichten auseinander zu setzen. Er suchte eine Möglichkeit, ein Maß für diese eben geforderten Attribute zu finden und erreichte dabei das Maß der Entropie. Betrachtet man einen syntaxfreien String, mit n Zeichen, die jeweils m Zustände annehmen können, dann gibt es die Möglichkeit, n m verschiedene Strings zu bilden. Da mit dieser Annahme die maximal möglichen Strings mit der Erhöhung von n exponentiell steigen und dies nicht zu einer realistischen Anwendung führen würde, musste Hartley zu einer anderen Idee greifen, da er ein lineares Wachstum erreichen wollte. Dies
8 Daniel Woltering (a) PET Bild (b) Röntgenaufnahme (c) fertige Registrierung Abb. 1.6: Fertige Registrierung (c) der beiden Bilder (a) und (b) brachteihnzuderformh = KnwobeiK einekonstanteinabhängigkeitvonmist.diezweiteannahme, die zutreffen sollte, ist die Gleichheit der Informationsmasse von zwei Strings n 1 und n 2 gleicher Länge mit den möglichen Symbolen m 1 und m 2, so dass n 1 m 1 = n 2 m 2. Aus diesen beiden Annahmen ergab [5] sich die folgende Formel: H H = mlogn = logn m (1.1) Somit ist ersichtlich, dass der Informationsgehalt des Strings mit der Anzahl der maximalen Möglichkeiten wächst. Wir können aus stochastischer Sichtweise damit die Unsicherheit, mit der ein bestimmter String auftritt, messen. Der Begriff der Unsicherheit beschreibt den Umstand der Vorhersage eines Ereignisses. Betrachtet man beispielsweise eine Variable, die mehrere verschiedene Zustände annehmen kann, beschreibt dies die Unsicherheit, die wir über das Auftreten einer der möglichen Zustände haben. Dies kann natürlich auch auf mehr als eine Variable ausgeweitet werden, in der Art, dass eine Betrachtung als String erfolgen kann. Nutzt man ein Symbol, welches nur eine Ausprägung annehmen kann, ist sichergestellt, dass immer nur dieses auftreten wird. Die Unsicherheit ist dabei nicht vorhanden (log 1 = 0). Hartley ging davon aus, dass alle Symbole, die auftreten können, dies mit der gleichen Häufigkeit tun, was den Situationen in der Nachrichtenübertragung oft nicht gerecht wird. Dies kann einfach belegt werden, wenn die Alphabete verschiedener Sprachen betrachtet werden. Es fällt auf, das die Symbole der Alphabete in Schriftstücken verschieden oft enthalten sind. Um diesem Umstand gerecht zu werden muss also noch eine Gewichtung des Auftretens mit einfließen. Shannon hat dies durch eine Erweiterung der Formel erreicht [6]. Dabei wird die Summe über die Symbole betrachtet, die den Informationsgehalt, abhängig von ihrer Auftrittswahrscheinlichkeit, aufaddiert. Somit erhalten wir H S = i p i log 1 p i = i p i logp i (1.2) Um den direkten Bezug zu Hartleys Formel herzustellen, können wir in diese Formel die gleichen Auftrittswahrscheinlichkeiten aller Symbole 1 n m einsetzen. Dies führt uns dann durch die Umstellung H = 1 n m log 1 n m = 1 n m lognm = logn m (1.3) wieder zur Ausgangsformel zurück. Zusammenfassend kann man aus der Shannon Entropie ableiten, dass der Informationsgehalt maximal wird, wenn alle Symbole mit gleicher Wahrscheinlichkeit auftreten, da man nicht sagen kann, welches Symbol als Nächstes auftritt. Sind große Unterschiede vorhanden, ist die Erwartungshaltung bestimmter Symbole weitaus höher, als die von anderen. Da meistens diese Erwartungshaltung auch erfüllt wird, führen auch die selteneren Ereignisse (welche natürlich dadurch mehr Aussagekraft haben) nicht zu einer höheren Entropie. Um Shannons Formel zu verdeutlichen, betrachten wir den Graphen des Terms (Abb. 1.2) [7]. Der Einfachheit halber sei hier der Fall für zwei Symbole betrachtet. Es fällt auf, dass die Kurve symmetrisch
Bildregistrierung in der Medizin mittels Mutual Information 9 verläuft und bei zwei gleichwahrscheinlichen Ereignissen ihr Maximum erreicht. Daraus ist ersichtlich, dass die Unsicherheit bei gleichwahrscheinlichen Ereignissen am größten ist. Sobald sich die Wahrscheinlichkeiten verschieben, fällt die Kurve ab. Abb. 1.7: Plot der H-Funktion für zwei Symbole [7] Sei ein letztes Beispiel zur Entropie gegeben. Das Ziehen von Spielfarben soll in einen Binärstring kodiert werden. Dieser wird aus einem Spielkartenberg gezogen, der einige nicht vollständige Kartenspiele enthält. Notiert wird dabei nur die Spielfarbe. Seien die Ziehwahrscheinlichkeiten gegeben durch P Kreuz = 1 8,P Pik = 1 8,P Herz = 1 4,P Karo = 1 2 (1.4) mit den Auftrittswerten ( log 2 P i ) u Kreuz = 3,u Pik = 3,u Herz = 2,u Karo = 1 (1.5) Damit kann die Entropie über die Formel i p ilogp i bestimmt werden und es ergibt sich H = 3 1 8 +3 1 8 +2 1 4 +1 1 = 1.75 (1.6) 2 Die Entropie beträgt damit 1.75. Um den String zu kodieren, der beschreibt, welche Spielfarbe gezogen wird, braucht man durchschnittlich 1.75 Bits pro Symbol. Würden die einzelnen Spielfarben noch bitweise kodieren werden, genügen für häufig auftretende Ereignisse weniger Bits, als für seltenere. Weitere Informationen dazu können beispielsweise im Fano-Code gefunden werden [8]. Die vorherigen Ausführungen leiten zu der Möglichkeit, die Verfahren auch zur Messung von Information in Bildern zu nutzen. Betrachtet man ein Bild nicht als Ganzes, sondern als eine Aneinanderreihung von Punkten, so haben wir einen Pixelstring. Wird vorher noch die Anzahl der verschiedenen Grauwerte bestimmt und zählt man das Auftreten jedes Wertes, kann mit Shannons Formel der Informationsgehalt des Bildes bestimmt werden. Durch dieses Vorgehen entsteht auch das Histogramm eines Bildes. Zusammenfassend bedeutet dies, dass Entropie den Informationsgehalt einer Nachricht beschreibt und die Häufigkeit des Auftretens eines Symbols und deren Verteilung mit einbezieht. Da diese Methode als einfach und robust erscheint, kann man eine häufige Anwendung feststellen. 3.2 Definition der Mutual Information Betrachten wir nun die Definition der Mutual Information [5][9] oder auch gemeinsame Information. Der Begriff beschreibt die wechselseitige Information, die beide Bilder über sich enthalten. Es soll explizit darauf hingewiesen werden, dass dies eine symmetrische Information darstellt und somit die Information, die Bild A über Bild B enthält, auch in der entgegengesetzten Reihenfolge nutzbar ist. Unter der Voraussetzung, dass wir die Shannon Entropie nutzen, kann Mutual Information in drei Formen ausgedrückt werden, die ineinander überführt werden können. Um dies zu verdeutlichen seien die beiden Bilder A
10 Daniel Woltering und B gegeben, die als Referenz- und Objektbild dienen sollen. Die Definition der Mutual Information bezeichnen wir mit I. Für A und B gilt, I(A,B) = H(B) H(B A) (1.7) wobei H die Shannon Entropie darstellt und sich auf die Grauwerte des Bildes bezieht. H(B A) bezeichnet die bedingte Wahrscheinlichkeit eines Grauwertes des Pixels b in B, wenn in Bild A der zugehörige Pixel a einen bestimmten Grauwert hat. Zusammenfassend bezeichnet also I(A, B) die Verringerung der Unsicherheit über das Bild B, wenn A gegeben ist. Andersherum kann man auch sagen, dass es die Information bezeichnet, die A über B enthält. Ziel der Registrierung ist es, die Mutual Information zu maximieren. Um dieses Ziel zu erreichen, werden Transformationen genutzt, wie sie bereits zu Beginn beschrieben wurden. Ist dieses Ziel erreicht, haben wir in jedem Bild eine maximale Information über das jeweils andere. Eine weitere Form der Definition verwendet die gemeinsame Entropie, die sich, wie im Vorhinein beschrieben, mimimiert, wenn die Formen in den einbezogenen Bildern optimal aufeinander liegen. Aus diesem Umstand kann man dann die Formel I(A,B) = H(A)+H(B) H(A,B) (1.8) erschließen, die die joint entropy H(A, B) verwendet. Diese beschreibt die Entropie, die die Bilder gemeinsam enthalten. Betrachten wir den Term in Einzelteilen, addieren wir die Shannon Entropie von H(A) und H(B) auf und ziehen die Unsicherheit, die durch ihre Unterschiede bei der Registrierung entstehen vom Gesamten ab. Wir erhalten somit die maximal mögliche Information, die die beiden Bilder über das jeweils andere in sich tragen. Betrachtet man hier die Herangehensweise um die Mutual Information zu berechnen, fällt auf, dass in dieser Variante die Entropien beider Bilder verwendet werden. In der ersten Definition wurde nur die Entropie des Bildes B genutzt und davon die Unsicherheit über B abgezogen, wenn A bekannt ist. Damit diese Aussagen möglich sind, muss, wie im Späteren ersichtlich wird, Mutual Information symmetrisch sein. Der Vorteil dieser Darstellung der Mutual Information liegt in der Nutzung beider Entropien der Bilder begründet. Sei die Situation gegeben, dass zwei Bilder mit großem Hintergrundanteil vorliegen, dann würde ein joint histogram mit minimaler Streuung auftreten, weil die Hintergründe meist strukturlos sind und immer im gleichen Farbverhältnis stehen. Dies würde eine gute Position des Referenzbildes zum Objektbild wiederspiegeln, obwohl die Transformierung des Inhalts nicht erfolgreich war. Durch die Nutzung der Entropie der beiden Bilder, die aufgrund der minimalen Strukturen und damit minimalen Unterschiede im Bild sehr gering ausfällt, wird der Fehler der joint entropie wieder aufgefangen. Die letzte Möglichkeit, Mutual Information zu messen, die hier vorgestellt werden soll, basiert auf der Kullback-Leibler-Divergenz. Wir betrachten dabei die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen p und q, die dasselbe Ereignis beschreiben. Die Definition der Kullback-Leibler Divergenz ist gegeben durch i p(i)log(p(i) q(i) ), was zum Term I(A,B) = a,b p(a,b)log p(a,b) p(a)p(b) (1.9) führt. Betrachten wir p(a,b) als das zuvor benannte p und p(a)p(b) als q. p(a,b) entspricht dabei den zusammenhängenden Grauwerten beider Bilder und p(a)p(b) den Grauwerten der Bilder im Falle derer Unabhängigkeit. Der Term misst nun den Abstand zwischen p und q. Hier kann noch einmal der Bezug zu Hartleys Formel hergestellt werden. Hartley begann mit einer Anzahl von Ereignissen mit gleicher Wahrscheinlichkeit und definierte daraus eine monoton wachsende, normierte Funktion H = logm n. Shannon erweiterte dies daraufhin um die Möglichkeit, den Ereignissen verschiedene Wahrscheinlichkeiten zuzuordnen und damit auch verschiedenen Informationsgehalt. Dies geschah über die Shannon Entropie i p ilogp i. Seien nun q = (q(1),...,q(i)) die reellen Grauwertwahrscheinlichkeiten und p = (p(1),..., p(i)) die errechneten Grauwertverteilungen, dann gelangen wir direkt zu der Kullback-Leiber Divergenz, in die wir dann die Definitionen der Grauwertvergleiche einsetzen. Das Ziel dieser Terme (7)(8)(9) lässt sich über zwei verschiedene Möglichkeiten definieren. Beide greifen dabei auf die Transformation zurück, die beide Bilder aufeinander anpassen. Bezeichne E das Maß der Unabhängigkeit der Bilder A und B und seinen F und G Zufallsvariablen mit F,G : f(x i )
Bildregistrierung in der Medizin mittels Mutual Information 11 F,g(x i ) G,(f(x i ),g(x i )) (F,G), dann ist die optimale Transformation T gegeben durch T = argmine(f(x),g(t(x))) (1.10) T Somit wird versucht, die bestmögliche Transformation zu finden, die es ermöglicht, die Unterschiedlichkeit der Bilder A und B zu minimieren und dadurch eine optimale Registrierung herzustellen. Im Gegensatz zur Minimierung der Unterschiedlichkeit wird das Ziel oft auch in der gegensätzlichen Form definiert. Sei dazu T α die Transformation mit dem Parameter α. Betrachten wir nun die Mutual Information I(A,B), so definieren wir α = argmaxi(a, B) (1.11) α als die Maximierung des Arguments α, so, dass die Mutual Information durch die Transformation T α zwischen beiden Bildern maximal wird. Zusammenfassend ist die Mutual Information das Maß der Abhängigkeit zweier Bilder. Die Abhängigkeit der Bilder wird maximal, wenn die Bilder optimal übereinander liegen. Mit diesen drei Definitionen, der Mutual Information werden im Folgenden einige Eigenschaften erläutert. 3.3 Eigenschaften Betrachtet man den Begriff der gemeinsamen Information wird schnell klar, dass dies ein symmetrisches Maß ist. Die Mutual Information ist das Maß der Information, die Bild A über Bild B enthält. Gleiches gilt für Bild B zu Bild A.(12) I(A,B) = I(B,A) (1.12) Die Information, die in A über sich selbst enthalten ist entspricht der Information, die im Bild A enthalten ist.(13) I(A, A) = H(A) (1.13) Die Mutual Information zweier Bilder A und B ist kleiner als die Information, die in den jeweiligen Einzelbildern enthalten ist.(14) I(A,B) H(A),I(A,B) H(B) (1.14) Die Unsicherheit über Bild A wird durch die Information von B nicht erhöht. Falls Bild B die Information über Bild A nicht beeinflusst, gilt die folgende Eigenschaft (15): I(A,B) 0 (1.15) Falls die Mutual Information 0 beträgt, liegt keine Übereinstimmungen der beiden Bildern vor und sie sind unabhängig. (16) I(A,B) = 0 (1.16) 4 Anwendung und Methoden 4.1 Kurzer Überblick Die Möglichkeiten der Bildvergleichbarkeit sind, wie zu Beginn schon angemerkt, nicht beschränkt. Bilder können in veschiedenster Form miteinander registriert und ausgewertet werden. Um die drei wichtigsten Formen zu nennen, betrachten wir die Registrierung von 2D/2D, 3D/3D und 2D/3D Bildern. Wie in den vorangegangenen Beispielen ist die meist genutzte Variante die Registrierung von 2D/2D Bildern, da die meisten bildgebenden Untersuchungsverfahren heutzutage zweidimensional messen. Oft wird nur die Registrierung zweier Bilder genutzt, jedoch bietet es sich auch an, mehr Bilder miteinander zu registrieren, sofern diese vorhanden sind. Dazu können auch die Bilder verschiedener Untersuchungsmethoden genutzt werden (Röntgen, PET, Fotomaterial). Durch die Weiterentwicklung der Medizin liegt häufiger auch dreidimensionales Bildmaterial vor (z.b. aus CT oder MRT aufnahmen). Diese Bilder geben durch die Erzeugung des Raums weitaus mehr Aufschluss über die vorliegende Situation im Körper, jedoch steigt die zu verarbeitende Information im Bildmaterial stark an. Wenn dreidimensionales Material vorliegt, kann
12 Daniel Woltering Abb. 1.8: Beispiel für den Unterschied eines korrekt registriertes Bildes zu einem inkorrekt registrierten ein Modell des Körpers erzeugt werden. In diesem können dann die untersuchungsspezifischen Marker dargestellt werden. Wenn dazu noch zweidimensionales Bildmaterial existiert, bei welchem die Positon der Aufnahme zum Aufnahmezeitpunkt ausgemessen und protokolliert wurde, können auch zwei- und dreidimensionales Material miteinander registriert werden. Als eine letzte Perspektive soll noch genannt werden, dass auch zweidimensionales Material genutzt werden kann, bei dem die Position vorher nicht mit angegeben worden ist, welches allerdings aufgrund der Strukturen in das dreidimensionale Modell eingepasst werden kann. Durch die Hinzunahme einer weiteren Dimension steigt auch das Interesse an effizienten Algorithmen stark an. 4.2 Implementierung und Interpolation Da die Art der Implementierung eines Algorithmus zur Berechnung entscheidend die Laufzeit und Ergebnisgüte beeinflusst, ist bei häufiger Anwendung im klinischen Umfeld ein Kompromiss zwischen diesen beiden Faktoren zu wählen. Um dies zu verdeutlichen, wird im Folgenden ein Problem betrachtet, welches beide zuvor genannten Punkte besonders betrifft. Im Prozess der Transformation tritt dies stark im Bereich der Interpolation auf. In der Vorbereitung der Bilder für den Registrierungsprozess tritt oft das Problem auf, Bilder unterschiedlicher Größe oder Auflösung vorliegen zu haben. Diese müssen dann mittels Transformationen auf die richtigen Größen korrigiert werden. Gleiches gilt für den Fall, dass nur gewisse Bildteile miteinander registriert werden sollen. Innerhalb dieses Vorgangs kann es zu mehr als einer nötigen Anpassung (Transformation) kommen, was bei qualitativ nicht ausreichenden Algorithmen zu Problemen führt, da die Bildqualität zunehmend sinkt. Diese Probleme schlagen sich in der Qualitätsminderung des zu registrierenden Materials nieder, was schlechtere Registrierungsergebnisse zur Folge hat. Im Bereich der Größenänderung bedeutet dies, dass bei der Vergrößerung eines Bildes (Abb. 1.9a) die Pixelzwischenräume, die durch die Streckung entstehen (Abb. 1.9b), durch geschätzte Werte gefüllt werden müssen (Abb. 1.9c). Das gleiche Problem tritt auch ein, wenn Rotationskorrekturen nötig sind, die keine Vielfachen von 90 sind. Zu diesem Problem sollen nun Techniken der Interpolation [10] vorgestellt werden. Das Ziel der gesuchten Funktion ist es, eine möglichst optimale Schätzung eines Zwischenwertes zu erhalten, die den Fehler, der mit der Weiterverarbeitung des Bildes entsteht, minimal hält. Obwohl Interpolation in verschiedenen Transformationen angewandt wird, soll hier zur Verdeutlichung das Beispiel der Streckung eines Bildes genutzt werden. Um mit einer einfachen und schnell zu berechnenden Möglichkeit der Interpolation zu beginnen, betrachten wir die Methode der nearest neighbor Interpolation. Diese Interpolationsmethode ist die bisher schnellste Methode. Sie betrachtet den kürzesten Abstand des zu schätzenden Pixels zu seinen Nachbarn und kopiert dann dessen Farbe. Für sehr einfache Applikationen ist dieser Algorithmus zu verwenden, jedoch versagt die Genauigkeit, sobald stark strukturierte Bilder auftreten. Betrachtet man die Funktionsweise, werden die Pixelwerte einfach kopiert und die Strukturen dadurch größer. Somit würden feine
Bildregistrierung in der Medizin mittels Mutual Information 13 (a) Originalbild (b) Streckung (c) Interpolation (d) Ohne Interpolation Abb. 1.9: Beispiel einer einfachen Interpolation Strukturen in Geweben im Registrierungsprozess der Bilder stark verändert. Eine etwas rechenintensivere Möglichkeit der Interpolation ist die bilineare Interpolation[11]. Die bilineare Interpolation bewertet die umliegenden 2x2 Pixel, um den neuen Pixelwert errechnen zu können. In Abhängigkeit von der Lage des zu errechnenden Punktes wird erst der Wert zwischen den Punkten n 1 und n 2 errechnet. Dies geschieht unter Berücksichtigung der Lage des zu errechnenden Punktes auf der Achse zwischen den beiden Punkten. Beispielsweise kann dies für den Wert zwischen n 1 und n 2 beschrieben werden durch X 1 = x2 x x 2 x 1 f(n 1 ) + x x1 x 2 x 1 f(n 2 ). Wenn Gleiches noch für den Abstand zwischen den Punkten n 3 und n 4 errechnet wird, können beide Werte, die auf der x-achse berechnet worden sind noch in Abhängigkeit des Abstandes auf der y-achse in Bezug gesetzt werden. Somit wird ein linear interpolierter Wert der Projektion des Punktes auf die Achse zwischen n 1 und n 2 errechnet, Gleiches für die Projektion des Punktes auf die Achse zwischen n 4 und n 3 und abschließend eine lineare Interpolation zwischen den beiden errechneten Werten mit der Projektion des zu berechnenden Punktes auf der y-achse. Sollte der für uns günstigste Fall vorliegen, der zwischen den bekannten Pixeln nur eine Lücke aufweist und damit den gesuchten Punkt genau in der Mitte der 4 Referenzpunkte platziert, bedeutet dies, dass der Mittelwert aller vier Referenzpunkte den gesuchten Wert repräsentiert. Betrachtet man den Rechenaufwand, ist diese Methode ein guter Kompromiss zwischen Rechenaufwand und Qualität. Man findet ihn oft in dreidimensionalen Anwendungen, wenn Texturen auf Körper aufgebracht werden. (a) nearest neighbor (b) bilineare Interpolation Abb. 1.10: Als letzte Interpolationsmethode sei hier die bicubische Interpolation erwähnt. Diese Methode wird bevorzugt gegenüber der bilinearen Interpolation verwendet, wenn es nicht darum geht, Rechenzeit zu sparen. Das Verfahren benutzt die umliegende 4x4 Nachbarschaft des zu errechnenden Pixel. Damit wird der gesuchte Wert in Abhängigkeit von 16 Pixeln errechnet. Es fällt auf, dass die Anzahl der hinzugezogenen Pixel stetig steigt und dadurch eine nicht zu vernachlässigende Steigerung des Rechenaufwandes in Kauf genommen werden muss, jedoch produziert dieser Algorithmus wesentlich schärfere Ergebnisse, als die bilineare Interpolation. In der Industrie kann diese Methode oft in Digitalkameras und Treibern für bildausgebende Geräte wie Drucker gefunden werden. Es scheint, dass damit ein gutes Mittel zwischen
14 Daniel Woltering Qualität und Rechenaufwand gefunden worden ist, das auch anderen Anwendungen in der Industrie genügt. Darüber hinaus gibt es noch viele weitere Interpolationsmethoden, die auf verschiedenste Weise versuchen, gute Zwischenwerte zu errechnen, wie zum Beispiel trilineare Interpolation, spline Interpolation und sinc Interpolation. Diese Methoden versuchen alle die drei Hauptprobleme zu umgehen, die bei der Bildregistrierung zu Problemen führen. Dies umfasst die Ecken und Kantenbildung in Schrägen, die zunehmende Unschärfe in Bildern und die starke Kontrastbildung an Kanten. Im Registrierungsprozess können dadurch schnell Strukturen erkannt werden, die durch die Transformation entstanden sind. Die Wahl des Algorithmus bei der Berechnung von Mutual Information kann das Ergebnis stark beeinflussen. Wenn ein histogrammbasierendes Verfahren zur Berechnung genutzt wird, können durch die Interpolation wie sie gerade beschrieben worden ist neue Grauwerte auftreten, die zwischen den Pixeln errechnet worden sind. Diese schlagen sich im Histogramm nieder und damit auch im Maximierungsprozess der Mutual Information. 4.3 Registrierung von mehr als zwei Bildern Manchmal kann es erforderlich sein, mehr als zwei Bilder miteinander zu registrieren. Dies zielt nicht unbedingt auf die Hinzunahme einer dritten Dimension ab, sondern fügt vielmehr die Möglichkeit hinzu, Zeitreihen oder mehrere verschiedene Bildtypen zu verknüpfen. Es sei kurz erwähnt, dass dies ein breites Forschungsfeld ist, da es die Unterscheidung von Bildersammlungen mit Positionsbestimmungen gibt, diese aber auch ohne vorliegen können. Zum Zweck der Registrierung von beispielsweise drei Bildern sind drei weitere Terme entwickelt worden, mit denen es möglich ist, Schnittmengen von drei Bildern zu bilden und somit die benötigten Informationen zu filtern. H(A)+H(B)+H(C) H(A,B) H(A,C) H(B,C)+H(A,B,C) (1.17) H(A)+H(B)+H(C) H(A,B,C) (1.18) H(A B)+H(C) H(A B,C) (1.19) Diese beinhalten die Schnittmenge aller drei Bilder (17), die Schnittmenge jedes der Bilder mit seinen Partnern, der doppelten Gesamtschnittmenge (18) und die Schnittmenge eines Bildes mit zwei weiteren (19). Dies kann helfen, die Marker für bestimmte Diagnosezwecke auch nur von den relevanten Bildern abhängig zu machen. 4.4 Andere Berechnungsmöglichkeiten 4.4.1 Vorstellung Bisher sind viele Ansätze vorgestellt worden, wie die Bilder mittels Mutual Information gut registriert werden können. Dazu ist die Shannon Entropie genutzt worden und die damit verbundene Auswertung über Histogramme. Darüber hinaus gibt es noch weitere Möglichkeiten die Mutual Information zu bestimmen. Es soll dazu noch ein Einblick in die Berechnung mittels eines Schätzers gegeben werden. Der Vorteil gegenüber den histogrammbasierten Berechnungen liegt in der Möglichkeit, Merkmale höherer Dimensionen zu berechnen. Dazu gehören beispielsweise höhere Bilddimensionen und mehr Farbkanäle. Zu diesem Zweck wird hier der Kozachenko-Leonenko Schätzer genutzt. 4.4.2 Mutual Information höherer Ordnung Die Idee, Mutual Information höherer Ordnung zu verwenden, entstand aus dem Umstand heraus, Bilder mit starken Störungen registrieren zu wollen, was sich in einer geringeren gemeinsamen Information niederschlägt. Anstatt nur die Werte beider Bilder in ein gemeinsames Histogramm zu rechnen, wird versucht, mehr Information der Bilder mit einzubeziehen. Um dies zu erreichen, werden anstatt die einzelnen Pixel der Bilder zu nutzen die Informationen der benachbarten Pixel mit einbezogen. Betrachten wir alle benachbarten Pixelpaare P = {(x i,x j )} im Bild f, können wir die Mutual Information höherer Ordnung definieren als: H 2 (F) = p(f(x i ),f(x j ))log(p(f(x i ),f(x j ))) (1.20) (i,j) P p(f(x i ),f(x j )) stellt dabei die Auftrittswahrscheinlichkeit des Pixelpaares {f(x i ),f(x j )} dar und wird in einem Histogramm von H 2 (F) eingetragen. Betrachtet man diese Form genauer, stellt man fest, dass
Bildregistrierung in der Medizin mittels Mutual Information 15 diese Formel die gleiche Form wie (3) hat und damit die Entropie misst. Die Werte, die bei der Berechnung auftreten, liegen für Pixelpaare, die keinen großen farblichen Unterschieden unterliegen, sehr nah bei der Diagonalen. Bei starken Farbunterschieden streut das Histogramm sehr stark. Diesem Umstand zufolge enthält das Histogram nicht nur Werte, welche die Intensitätswerte beinhalten, sondern lässt auch Rückschlüsse auf die Schärfe der Konturen und Kanten zu. Sei nun H 2 (F) die Entropie höherer Ordnung, dann muss die Mutual Information zweiter Ordnung auch neu definiert werden als: I 2 (F,G) = H 2 (f)+h 2 (g) H 2 (F,G) (1.21) mit der dazugehörigen Wahrscheinlichkeit p FG2 (f(x i ),f(x j ),g(x i ),g(x j )) Wenn nun höher dimensionierte Mutual Information berechnet werden soll und mehrere verschiedenartige Wahrscheinlichkeiten das Histogramm beeinflussen, kann es dazukommen, dass die Aussagekräftigkeit des Histograms stark sinkt. Diese Senkung - bedingt durch die starke Verteilung der Werte - führt zu dem Problem, einen Kompromiss eingehen zu müssen zwischen der Anzahl zur Verfügung stehender Pixel und der Streuung. 4.4.3 Kozachenko-Leonenko Schätzer Der Kozachenko-Leonenko Schätzer [12] wurde eingeführt, um die Robustheit in Bezug zur Bildqualität zu erhöhen. Genutzt wird dabei die statistische Verteilung der benachbarten Pixel. Er basiert auf der Berechnung des nearest neighbor graph(nn), der den gerichteten Graphen der nächsten Nachbarn aus der Masse von Pixeln errechnet, wo es zwischen den Punkten p und s keinen Punkt z gibt, der einen kleineren Abstand zu p hat als q. Dieser Schätzer wurde als erstes von Kybic [12] zur Bildregistrierung eingesetzt. Der Term ist definiert als H NS KL (f) = D 2N S N S log( f(n) f NN (n) )+K (1.22) n=1 f NN (n) = argmin x n f(n) f(x) (1.23) K = log (N S 1)π D/2 Γ(1+ D 2 ) +γ (1.24) wobei γ die Eulerkonstante darstellt und D die Dimension von f angibt. Es wird dort der Abstand der betrachteten Pixel von Ihrem jeweiligen nearest neighbor berechnet (23). Bezogen auf die Pixel kann in dem Term jedoch ein Fehler entstehen, wenn der nearest neighbor eines Pixels wieder er selbst ist. f NN (i) = f(i) f NN (i) f(i) (1.25) Kybic modifizierte den Term, indem er im Falle eines Nullwertes ein definiertes ǫ nutzte. Somit hat er den Term erweitert und dieses Problem eingeschränkt. H NS DKL (f) = D 2N S N S log(max( f(n) f NN (n) ),ǫ)+k (1.26) n=1 In den weiteren Tests die Kybic et al. durchgeführt haben, zeigt sich, dass diese Form eines Schätzers immer noch stark schwankende Ergebnisse produziert und ihr Maximum nicht bei Übereinstimmung der Bilder hat. Dies lässt sich jedoch durch Anpassungen der Dimensionen auf ein Minimum beschränken [13]. 4.4.4 Methode Bedenkt man die unterschiedliche Herangehensweise an die Errechnung der Mutual Information, so stößt man auch bei dieser Methode auf ähnliche Probleme. Kybic zeigte in seinem Paper, dass mit sich selbst registrierte Bilder mit dem Schätzer genauso gut registriert werden können. Bei stark veränderten Kopien der Bilder, wie zum Beispiel durch Unschärfe und Kantenmarkierung bearbeitete Versionen, produzieren die anfangs beschriebenen Verfahren keine nutzbaren Ergebnisse, wohingegen durch die Berechnung mit dem Schätzer wesentlich bessere Registrierungen durchgeführt werden konnten. Es stellt sich die Frage, ob diese Art der Registrierung die bessere ist, jedoch scheint es auch bei dieser Methode zu lösende Probleme zu geben. Betrachtet man die Voraussetzungen, die erfüllt sein müssen, stellt man fest, dass die Erstellung des nearest neighbor graph der rechenintensivste Schritt dieses Verfahrens ist. Der native Ansatz einer brute force - Suche mit D Dimensionen und N Samples erfordert eine Laufzeit von O(DN S 2 ), was gerade bei hohen Dimensionszahlen viel Rechenzeit kostet. Auch für dieses Problem wurde ein Lösungsansatz entwickelt, der die Laufzeit verringert. Die gefundenen Werte können damit in kd - Bäumen gespeichert werden, die die Suchzeit stark verringern.
16 Daniel Woltering 5 Fazit Um aus Bildern der gleichen Körperregion die bestmögliche Auswertung für die Medizin zu gewinnen, gibt es die Möglichkeit, Bilder unter verschiedenen Gesichtspunkten miteinander zu registrieren. Damit diese bestmöglich übereinander gelegt werden können, müssen Transformationen auf das Objektbild angewendet werden, damit es optimal auf das Referenzbild angepasst werden kann. Die Vergleichbarkeit der beiden Bilder wird durch ein Ähnlichkeitsmaß vorgegeben. Hier wurde die Mutual Information gewählt, welche die Informationen anhand von Histogrammen, beziehungsweise der Entropie von Bildern gewinnt. Ziel der Registrierung mittels Mutual Information ist es, diese zu maximieren, da damit die Bilder bestmöglich übereinander liegen. Aufgrund der histogrammbasierten Analyse der Bilder ist es ohne zusätzlichen Aufwand möglich, Bilder verschiedenster bildgebender Verfahren zu nutzen und diese, ohne auf deren spezielle Farbgebung zu achten, miteinander zu registrieren. Es sind somit viele der sonst problematischen und hinderlichen Schwierigkeiten der Bildvergleichbarkeit umgangen worden, was die Mutual Information zusätzlich zum Mittel der Wahl macht, wenn es um einfache Umsetzung geht. Anfällig ist dieses Verfahren jedoch für qualitativ nicht ausreichende Interpolationen, die bei den Transformationen durchgeführt werden müssen, da diese starken Einfluss auf das Histogramm durch die neu berechneten Grauwerte haben oder auch Strukturen im Bild verändert werden können. Da es eine Vielzahl von veschiedenen Markern gibt, mit denen die Bilder unter verschiedensten Aspekten miteinander verknüpft werden können, gibt es im Einsatz praktisch keinerlei Grenzen und es können beliebig Erweiterungen für viele Applikationen hinzugefügt werden. Diese mittlerweile weit verbreitete Möglichkeit zur Registrierung hat sich, seit sie 1995 von Collignon et al. [14] und Viola und Wells [15] vorgestellt wurde, zu einem mächtigen Instrument entwickelt. Wie im letzten Beispiel gezeigt wurde, kann auch durch andere stochastische Verfahren die gegenseitige Information der Bilder errechnet werden. Diese sind teilweise wesentlich stabiler in problematischen Bildsituationen, benötigen auf der anderen Seite aber auch einen wesentlich höheren Vorbereitungsaufwand der Bilder. Betrachtet man die Transformationen der Bilder, die vor den Registrierungsschritten durchgeführt werden, muss auch streng darauf geachtet werden, den für das jeweilige Verfahren benötigten Qualitätsansprüchen gerecht zu werden. Auch, wenn die Rechenleistung schnell wächst, sollte bei allen Verfahren die Laufzeit der Algorithmen beachtet werden. Diese kann schnell mit der Anzahl der Merkmale und der Bildgröße ansteigen und ein Verfahren für eine Anwendung als ungeeignet erscheinen lassen. Allgemein bleibt zu bemerken, dass Mutual Information nicht durch ein spezielles Verfahren berechnet werden muss, sondern der zu wählende Algorithmus sehr stark an die vorliegende Situation angepasst werden kann. Die Medizin ist einer der vorrangigen Nutzer dieser Technik und es ist aufgrund der vielen Veröffentlichungen zu diesem Thema absehbar, dass dieses Forschungsfeld viel Potential bietet, die Medizin zu stützen. Durch die Weiterentwicklung der medizinischen Geräte werden zunehmend qualitativ bessere und größere Bilder zur Registrierung bereit stehen und auch die Möglichkeit in dreidimensionalen Applikationen vorzubereiten und zu arbeiten scheint immer stärker in den Forschungsmittelpunkt zu rücken. Literatur [1] Woods RP, Cherry SR, Mazziotta JC. Rapid automated algorithm for aligning and reslicing PET images. Journal of Computer Assisted Tomography. 1992;16:620 633. [2] Hill DLG, Hawkes DJ, Harrison NA, Ruff CF. A Strategy for Automated Multimodality Image Registration Incorporating Anatomical Knowledge and Imager Characteristics. In: IPMI 93: Proceedings of the 13th International Conference on Information Processing in Medical Imaging. London, UK: Springer-Verlag; 1993. p. 182 196. [3] Seim H. Automatische Registrierung mittels Mutual-Information am Beispiel von Schädel-CT- und MR-Datensätzen [Praktikumsbericht]; 2004. [4] Hartley RVL. Transmission of Information. Bell Syst Tech Journal. 1928;7:535 563. [5] Pluim JPW, Maintz JBA, Viergever MA. Mutual-information-based registration of medical images: a survey. Medical Imaging, IEEE Transactions on. 2003 aug;22(8):986 1004. [6] Shannon CE. A Mathematical Theory of Communication. The Bell System Technical Journal. 1948 July, October;27:379 423,623 656.
Bildregistrierung in der Medizin mittels Mutual Information 17 [7] Schneider TD. Plot des H Graphen; 1995. Http://www.lecb.ncifcrf.gov/ toms/delila/hgraph.html. Web. [8] Schneider TD. Information Theory Primer; 2007. Http://wwwlmmb.ncifcrf.gov/ toms/paper/primer/. Web. [9] Maes F, Vandermeulen D, Suetens P. Medical image registration using mutual information. Proceedings of the IEEE. 2003 oct;91(10):1699 1722. [10] McHugh ST. Digital Image Interpolation [Webpage]; 2010. [cited 2010 Jun 29]Availiable from: Http://www.cambridgeincolour.com/tutorials/image-interpolation.htm. [11] Kim H, Park S, Wang J, Kim Y, Jeong J. Advanced Bilinear Image Interpolation Based on Edge Features. In: Advances in Multimedia, 2009. MMEDIA 09. First International Conference on; 2009. p. 33 36. [12] Garcia-Arteaga JD, Kybic J. Regional image similarity criteria based on the Kozachenko-Leonenko entropy estimator. In: Computer Vision and Pattern Recognition Workshops, 2008. CVPRW 08. IEEE Computer Society Conference on; 2008. p. 1 8. [13] Kybic J. High-dimensional mutual information estimation for image registration. In: Image Processing, 2004. ICIP 04. 2004 International Conference on. Vol. 3; 2004. p. 1779 1782 Vol. 3. [14] Maes F, Collignon A, V D, Marchal G, Suetens P. Multimodality Image Registration by Maximization of Mutual Information. IEEE transactions on Medical Imaging. 1997;16:187 198. [15] Viola P, Wells WM III. Alignment by maximization of mutual information. In: ICCV 95: Proceedings of the Fifth International Conference on Computer Vision. Washington, DC, USA: IEEE Computer Society; 1995. p. 16.