IGDT: Image Processing Advanced Teil 9

Transkript

1 Teil 9 Rainer Schubert Institut für Biomedizinische Bildanalyse Inhalt Teil 9 Registrierung Grauwert-basierte / Intensity-based Methoden

2 Klassifikation von Registrierungsmethoden 1 Viele Klassifikationskriterien möglich, hier 8 Kriterien nach [1]: Dimensionalität: Anzahl der Dimensionen der benutzen Bilder bestimmt den Aufwand für die Transformation und z.b. die benötigte Anzahl an korrespondierenden Elementen Registrierungsbasis: Die Basismerkmale, über die eine Korrespondenz hergestellt wird, z.b. Punktepaare, Linien, Fläche, Objektoberflächen, Grauwertverteilung, äußere Landmarken (Stereotaxirahmen, Gipsschalen etc.) Geometrische Transformation: Die Art der benötigten Transformation, wird bestimmt durch die erwarteten geometrischen Veränderungen zwischen den Bildern Grad der Interaktion: Ausmaß der benötigten Benutzereingaben, reicht von vollautomatisch bis zu kompletter, umfangreicher manueller Anpassung der Bilder Intensity-based Registration: Idee Die gesuchte Transformation wird durch Betrachtung der Pixel- oder Voxelwerte bestimmt Im einfachsten Fall wird ein Ähnlichkeitsmaß für alle Bildpunkte berechnet und die optimierende Transformation bestimmt Verbesserungen können durch eine sinnvolle Auswahl einer Teilmenge von Bildpunkten erreicht werden: Nach technischen Gesichtspunkten (z.b. nach einem Raster, zufällig etc.) In Abhängigkeit von der Grauwertverteilung (homogene Bereiche, in bestimmten Intervallen etc.) Inhaltsspezifisch (z.b. nur Knochengewebe, erfordert Segmentation)

3 Gemeinsamkeiten aller Verfahren Iterative Verfahren: Aus der Analyse der Grauwerte wird ein Ähnlichkeitsmaß berechnet und eine Transformation abgeschätzt Die Transformation wird angewendet Das Ähnlichkeitsmaß wird für das Ergebnisbild der Transformation bestimmt und erneut eine Transformation abgeschätzt Wiederholung bis das Ähnlichkeitsmaß minimiert / maximiert ist Hinweis: Verwendet man in diesen Verfahren ein Modellbild oder einen Atlas, erhält man einen Ansatz zur Segmentierung! Ähnlichkeitsmaße Grauwertdifferenzen Korrelationskoeffizient Ratio-Image Uniformity Partitioned Intensity Uniformity Probability Distribution Function (PDF) basierte Methoden Joint entropy Mutual information Praktisch alle Verfahren arbeiten am besten auf geglätteten, isotropen Bildern! (Warum?)

4 Grauwertdifferenzen Idee: Für zwei Bilder A und B finde die Transformation, die die Summe der Abstandsquadrate (Sum of Squares of Differences, SSD) minimiert: 1 SSD = N N 1 A( B ( i A B Problem: funktioniert gut bei Bildern, die zwar geometrisch transformiert sind, deren Inhalt aber identisch ist (z.b. gleiche Modalität, gleicher Zeitpunkt, unterschiedliche Lage). Sobald die Grauwerte durch zeitliche (pathologische, therapeutische) Veränderungen oder unterschiedliche Modalitäten nicht mehr vergleichbar sind, führt der Ansatz zu Fehlern! 2 Korrelationskoeffizient Idee: Finde die Transformation, die den Korrelationskoeffizienten für die Grauwerte der Bilder A und B maximiert: CC = ( i ( A( A)( B ( B ) i A( A) ( B ( B ) Funktioniert gut für Bilder, deren Grauwerte sich linear zueinander verhalten (z.b. globale Helligkeitsänderungen). Funktioniert schlecht bei verändertem Inhalt, unterschiedlicher Modalität und / oder Individuen. 2 i 2

5 Ratio-Image-Uniformity Idee: Das Quotienten-Bild (Ratio-Image) zweier Bilder A und B wird als Maß für die Optimierung benutzt. Das Verfahren ist daher unabhängiger von den absoluten Werten und betont das typische Kontrastverhalten von Strukturen in einer Modalität. Bei einer guten Übereinstimmung wird eine geringe Variation des Quotientenbildes erwartet. Funktioniert gut für Bilder gleicher Modalität mit wenig variablem Grauwertkontrast Kann eingeschränkt werden auf die Bereiche der Bilder, in denen die Voraussetzung gilt: Beispielsweise durch vorherige Segmentierung Ratio-Image-Uniformity: Algorithmus Idee: Finde die Transformation, die für die Bilder A und B die normalisierte Standardabweichung der Grauwertquotienten minimiert: Berechne das Ratio-Image: Berechne den Mittelwert von R: R ( = B ( A( 1 R = R( i N Berechne die normalisierte Standardabweichung von R: 1 σ = N R i ( R( R) R 2

6 Ratio-Image Uniformity: Variationen Das Vertauschen der Bilder A und B führt zu einer weiteren Registrierungsmethode, die nicht die Umkehrung der Methode ist (Warum?) und daher auch andere Ergebnisse liefert: A A/B B B/A Partitioned Intensity Uniformity Modifizierte Version der Ratio-Image-Uniformity Methode für multimodale Registrierung: Beruht auf der Annahme, dass ein bestimmtes Gewebe sich in beiden Modalitäten (z.b. PET und MR) durch wertverschiedene aber uniforme Grauwerte abbildet Aufgabe des Algorithmus ist es daher, eine Transformation zu finden, für die die normalisierten Standardabweichung der Grauwerte z.b. des PET-Bildes, die auf Bildpunkte mit einem bestimmten Grauwert (Partition) des MR-Bildes zu liegen kommen, minimal ist! Konkret werden für eine gegebene Transformation, für alle Grauwerte aus der einen Modalität jeweils die Bildpunkte bestimmt, die in der zweiten Modalität an gleicher Lokalisation stehen. Deren normalisierte Standardabweichung wird aufsummiert. Diejenige Transformation, die diese Summe minimiert, ist die gesuchte

7 Partitioned Intensity Uniformity: Algorithmus Finde die Transformation, die PIU minimiert: n PIU = a A ( a) σ B ( a) {} a N B ( a) Die Anzahl der Elemente von {a} hängt von der Grauwertauflösung ab, z.b. 256 Der Algorithmus bekommt Probleme, wenn die Verteilung der zu einem Grauwert in A gehörigen Grauwerte in B nicht unimodal ist (Warum?). Daher ist es u.u. nötig, inhomogene und variable Gewebe vor Anwendung des Algorithmus durch Segementierung zu entfernen oder zu homogenisieren. PDF-basierte Methoden Idee: Benutzung statistischer Informationen (Atlanten) über die Grauwertverteilung der spezifischen Registrierungsaufgabe Atlas: PDF (Probability Distribution Function)! Typischerweise wird für die n Modalitäten der Registrierungsaufgabe (z.b. MR-T1, MR-T2, PET) ein n-dimensionales, normalisiertes Histogramm aus bereits korrekt registrierten Bildern erstellt Diese PDF gibt dann für jede Kombination von Grauwerten die Häufigkeit ihres Auftretens in einem Bildpunkt an!

8 Erzeugen einer 2D-PDF Für zwei registrierte Bilder A und B mit den Intensitätswerten {a} und {b}: Erzeuge ein Array HIST[k] mit den Dimensionen Na und Nb Initialisiere das Histogramm mit HIST[k]=0 für alle k Für jedes Voxel i A B bestimme die Intensitätswerte a i und b i und inkrementiere HIST[a,b] Berechne die Gesamtsumme aller Grauwertkombinationen: j, k HIST Normalisiere das Histogramm: PDF [ k] = [ k] HIST HIST k [ k] [ k] Eigenschaften und Anwendungen der PDF Typischerweise verändert sich die PDF in Registrierungsaufgaben in Abhängigkeit von der Transformation! Damit ergibt sich der Ansatz, durch transformationsabhängige Optimierung der PDF zu registrieren (und zu segmentieren...) Schön an diesem Ansatz ist, dass sich herausgestellt hat, dass die PDF sich für verschiedenste Kombinationen von Bildmodalitäten ähnlich verhält: Je besser die Registrierung, desto strukturierter ist die PDF!

9 Beispiel: T1-T2 M1 n I M1 I n I M2 n M1 M2 I M2 Entropie-basierte Verfahren Idee: Da die PDF bei guter Registrierung geordneter ist als bei schlechter, kann ein Maß für die Unordnung als Optimierungskriterium herangezogen werden. Ein solches Maß stellt die Entropy nach Shannon dar: Sie beschreibt die durchschnittliche Menge an Informationsgehalt für eine beliebige Menge S von Symbolen {s} mit einer Auftrittswahrscheinlichkeit p(s). H ( S) p( s)log p( s) = s Wann hat H ein Maximum, wann ein Minimum? Was hat das mit PDFs zu tun?

10 Entropie Für ein Bild ist die Information durch die Menge X der Grauwerte {x} gegeben. Die Entropie eines Bildes ergibt sich daher als Das entspricht: H ( X ) = p( x)log p( x) H ( X ) HIST( x)log HIST( x) = X Joint Entropy Die gemeinsame Entropie zweier Bilder mit den Grauwertverteilungen X und Y ist definiert als: H ( X, Y ) p( x, y)log p( x, y) Das entspricht: = X Y H ( X, Y ) = X, Y PDF( x, y)log PDF( x, y) Und gibt die Unordnung für die Verteilung der Grauwert-Paare x,y an

11 Entropie und PDFs Setzt man also für die Menge {s} die Menge der Einträge PDF[k] und für die Wahrscheinlichkeiten p(s) deren Werte, so erhält man mit der Joint Entropie ein Maß für die Ordnung der PDF! Bei einer optimalen Registrierung wird es in der PDF kleine, scharfe Cluster geben, die weitgehend von Schwarz umgeben sind. Die Entropie hat dann ein Minimum. Umgekehrt ist die Verteilung der PDF bei einer schlechten Registrierung diffus und die Entropie strebt einem Maximum zu. Dieses Verhalten legt eine Verwendung der Entropie als Optimierungskriterium nahe. Algorithmus: Minimierung der Joint Entropy Finde die Transformation T für die Bilder A und B, für die die Entropie minimal ist: H ( A, B ) = k PDF[ k]log PDF[ k] Problem: Es wird nur die Information für den von der Transformation T abhängigen jeweiligen Überlappungsbereich von A und B benutzt.

12 Beispiel H H Mutual Information Mutual: gegen-, wechselseitig Mutual Information (MI) beschreibt die wechselseitig aus dem Wissen einer Informationsmenge für die andere Informationsmenge zu erwartenden Werte. Für die Informationsmenge Entropie zweier Bilder mit den Grauwertverteilungen X und Y ist die MI definiert als MI( X, Y ) = H ( X ) + H ( Y ) H ( X, Y ) Sie stellt eine Möglichkeit dar, das Wissen über die Verteilungen in den Einzelbildern als wechselseitige Erwartung mit einzubeziehen

13 MI-Maximization-Algorithmus Finde die Transformation T, für die MI(A,B ) maximal ist: Berechne die PDF[k] der Bilder A und B Berechne die Entropien für A und B mit PDF[ k] logpdf[ j l] H ( A) = j k l, H ( B ) =, PDF[ i, k] logpdf[ j k] k i j Berechne die gemeinsame Entropie H(A,B ) Berechne die Mutual Information MI(A,B ): MI( A, B ) = H ( A) + H ( B ) H ( A, B ) Interpretation Die bedingte Entropie ist definiert als: H ( X Y ) = H ( X, Y ) H ( Y ) H ( Y X ) = H ( X, Y ) H ( X ) Sie gibt die Entropie für die Verteilung X in Abhängigkeit von der Verteilung Y (oder umgekehrt) an! Für zwei Bilder A und B: H ( A B ) = H ( B A) = k j HIST( k)log HIST( k) HIST( j)log HIST( j) k k PDF[ k]log PDF[ k] PDF[ k]log PDF[ k]

14 Interpretation Setzt man in MI( X, Y ) = H ( X ) + H ( Y ) H ( X, Y ) die bedingte Entropie ein, so erhält man: MI( X, Y ) = H ( X ) H ( X Y ) So wird (hoffentlich) etwas anschaulicher, dass MI(X,Y) ein Maß ist, dass für eine gegebene Transformation die gegenseitige Abhängigkeit der Grauwertverteilungen berücksichtigt! Bewertung Die MI-Maximization liefert robustere und bessere Ergebnisse als das Joint-Entropy-Verfahren und führt auch bei multimodaler Registrierung veränderter Bilder zu guten Lösungen Sie bekommt Probleme, wenn in den Bildern größere leere Flächen (z.b. Hintergrund, Luft etc.) vorhanden sind (Warum?) Sie reagiert relativ empfindlich auf Rauschen und Artefakte Man kann die Ergebnisse durch heuristische Ergänzungen erweitern: Vorherige Segmentierung relevanter Strukturen Normalisierung zur Reduktion des Einflusses von Rauschen etc.

15 Literatur (1) Handbook of Medical Imaging, Volume 2: Medical Image Processing and Analysis (SPIE PRESS Monograph Vol. PM80) (2) Originalveröffentlichung von Wells et al.: lls/mia-html/mia.html