Einführung in die medizinische Bildverarbeitung SS 2013

Transkript

1 Einführung in die medizinische Bildverarbeitung SS 2013 Stephan Gimbel 1

2 Live-Wire Segmentierung ist ein halbautomatisches Verfahren zur kantenorientierten Segmentierung von einzelnen Bildobjekten es werden Objektkonturen interaktiv in das 2D-Bild eingezeichnet zwischen einem interaktiv markierten Konturpunkt und der Mausposition wird automatisch eine Verbindung entlang der Objektkante berechnet und angezeigt der Zielpunkt wird dann interaktiv gesetzt und als nächster Startpunkt für die nächste Teilkontur verwendet der gesuchte Konturabschnitt wird mittels graphentheoretischer Methoden und Algorithmen bestimmt dies wird als Optimierungsproblem behandelt Ziel: finden einer kostenoptimalen Verbindung zwischen zwei Konturpunkten Transformation des Bildes in einen Graphen und dort lösen [Quelle: H.Handels, Medizinische Bildverarbeitung] 2

3 sei G ein Graph: G = (V, E, c) repräsentiert durch die Menge seiner Knoten V (engl.: vertices), die Menge seiner Kanten E (engl.: edges) und einer Kostenfunktion c (engl.: costs) aus einem 2D-Bild f(x,y) mit x {0,..., N x } und y {0,..., N y } kann ein Graph G = (V, E, c) generiert werden mit der Knotenmenge V = { p=(x,y) mit x {0,..., N x } und y {0,..., N y } } = Pixelmenge mit der Kantenmenge E = { (p,q) p,q V } und der Kostenfunktion c: E R zwei Knoten im Graphen G sind durch eine Kante verbunden, also adjazent, wenn die zugehörigen Bildpunkte benachbart sind (i.d.r. N8-Nachbarschaft) der so gewonnene Graph wird als Kostengraph bezeichnet und repräsentiert das Bild eine Kontur im Bild korrespondiert zu einem Pfad im Kostengraphen Bildpunkte Knoten Benachbarte Bildpunkte Adjazente Knoten Kontur Pfad Bild Kostengraph 3

4 die Kosten für einen Pfad ergeben sich durch die Summe der Kantenkosten entlang des Pfades Ziel: Pfad finden mit minimalen Kosten zwischen den beiden Knoten Definition der Kosten um einen kostenoptimalen Pfad entlang der Objektkontur zu finden, muss die Kostenfunktion c so definiert sein, dass Pfade entlang von Objektkanten niedrige Kosten enthalten z.b. über die diskrete Approximation des Bildgradienten mittels Differenzen-Filter hier bei wird die Eigenschaft ausgenutzt, dass dieser an Kanten hohe und in homogenen Bereichen niedrige Werte aufweist daraus entsteht folgender Kostenterm grad f ( x, y) c Gradient = ( x, y) = 1 { ( )} max grad f x, y x { 0,...,N x },y { 0,...,N y } [ 0,1] hierdurch enthalten Punkte an der stärksten Kante den Kostenwert 0 und Punkte die in ideal homogenen Bereichen liegen den Kostenwert 1 eine kostenoptimale Verbindungslinie liegt also bevorzugt entlang starken Kanten 4

5 eine weitere Möglichkeit für Kanteninformationen ist der Laplace-Operator, der zusätzlich zur Gradienteneigenschaft auch die 2. Ableitung berücksichtigt (Nulldurchgang bei Kante) die Punkte können im Bild B L (nach Anwendung des Laplace-Operators) detektiert und binär markiert werden dabei wird der Kostenterm c Laplace folgendermaßen gewählt 0, falls B c Laplace ( x, y) = L x, y 1, sonst c lokal1 ( ) = 0 oder Vorzeichenwechsel vorkommt daraus ergibt sich für die Verbindung von zwei Knoten (bzw. Pixel p und q) durch eine Kante die Kostenfunktion ( p,q) = ω Gradient c Gradient ( q) + ω Laplace c Laplace ( q) mit ω Gradient,ω Laplace 0,1 [ ] als Gewichte der Kostenwert der Kante (p,q) wird dem Knoten q zugeordnet, womit die Kostenfunktion in einem Kostenbild visualisiert werden kann. Dies geschieht durch Darstellung des Pixels q durch einen Grauwert proportional zum Kostenwert Alternativ können auch Kantenfilter wie Sobel-, Marr-Hildreth-, Canny- oder Deriche-Filter verwendet werden 5

6 Darstellung des Kostenbildes gemäß Kostenfunktion [Quelle: H.Handels, Medizinische Bildverarbeitung] ein weiteres Kostenelement ist der Richtungsterm glatte Konturverläufe sollen während des Optimierungsprozesses bevorzugt werden (Richtung des Gradienten senkrecht zur Kante) betrachte zwei adjazente Knoten (benachbarte Pixel p und q): so ergibt sich der Einheitsvektor, der orthogonal zum Gradienten im Bildpunkt p steht 1 f y ( x, y) D( p) = D( x, y) = grad( f ( x, y) ) f x ( x, y) D(p) ist dabei in Relation zum Gradienten um 90 im Uhrzeigersinn gedreht und weist in Richtung der Kante 6

7 daraus ergibt sich der richtungsabhängige Kostenterm ( p,q) = 2 c Richtung 3π arccos d p p,q mit d p ( p,q) = D( p) L p,q und L( p,q) = { ( ) ( p,q) } + arccos d q ( ) und d q ( p,q) = D q q p q p falls D p ( ) q p ( ) 0 p q p q falls D p ( ) q p ( ) < 0 d p (p,q) und d q (p,q) sind dabei Skalarprodukte und L(p,q) der normierte Differenzenvektor zwischen p und q L(p,q) ist entweder horizontal, vertikal oder diagonal gerichtet, bedingt durch die betrachtete N8-Nachbarschaft ( ) L p,q ( ) für den Winkel zwischen den Vektoren D(p) und L(p,q) gilt dabei: ( ( )) = arccos d p ( p,q) arccos D( p) L p,q da d p (p,q) 0 ergibt sich: 0 c Richtung ( p,q) 2 π 3π 2 + π = 1 [ ] ( ) 0,π / 2 die Richtungskosten c Richtung zwischen p und q werden gering wenn beide Summanden in c Richtung ( p,q) = 2 { klein werden 3π arccos d p ( p,q) + arccos d q ( p,q) } 7

8 der Term d p (p,q) = D(p) L(p,q) wird klein, wenn der Verbindungsvektor L(p,q) zwischen p und q beinah orthogonal zum Gradienten steht und damit in die Kantenrichtung D(p) weist der Kostenterm d q (p,q) = D(q) L(p,q) wird klein, wenn die Gradientenrichtung in p und q ähnlich sind es wird bevorzugt der Nachbarpunkt q, für den bereits gefundenen Kantenpunkt p, verwendet, welcher in der Kantenrichtung von p liegt und ebenfalls eine ähnliche Gradientenrichtung wie p hat daraus ergibt sich eine erweiterte Definition einer Kostenfunktion p,q c lokal2 ( ) = ω Gradient c Gradient ( q) + ω Laplace c Laplace ( q) + ω Richtung c Richtung ( p,q) [ ] mit ω Gradient,ω Laplace,ω Richtung 0,1 für die Darstellung obiger Kostenfunktion werden 8 Bilder benötigt, da die Kosten der Kanten zwischen q und p i (i=1,...,8) variieren die Kosten zwischen zwei Knoten ergeben sich, wie zuvor erwähnt, als Summe der lokalen Kosten entlang des Pfades 8

9 Berechnung des Pfadgraphen nach Dijkstra Erstellung eines saatpunktspezifischen Pfadgraphen G s, welcher von jedem beliebigen Knoten (Bildpunkt) den kostengünstigsten Weg zum Saatpunkt S beschreibt die Menge E der expandierenden Knoten, verwaltet alle Knoten für die es bereits ein kostenoptimaler Pfad im Graphen G gefunden wurde die Menge R der erreichbaren Knoten, enthält alle Knoten für die ein Pfad zum Saatpunkt S bereits bekannt ist - aber nicht unbedingt optimal zusätzlich werden alle kumulativen Gesamtkosten aller Pfade von S zu einem in der Menge R enthaltenen Knoten verwaltet Ausgangspunkt ist der Saatpunkt S als Startpunkt der in die Menge R mit den kumulativen Kosten 0 eingefügt wird der saatpunktspezifische Graph G s ist dabei ein minimal spannender Baum gerichtete Kante eines Knotens p weist stets auf den adjazenten Knoten, der auf dem kostenoptimalen Pfad von S nach p der Vorgänger von p ist Pfadgraph G s beinhaltet alle optimalen Pfade von den expandierenden Punkten zum Saatpunkt S Visualisierung für zwei benachbarte Pixel z.b. über Zuordnung von 8 verschiedenen Grauwerten (8 Richtungen) 9

10 Algorithmus berechnet für ein Bild mit vorgegebenem Saatpunkt S den vollständigen Pfadgraphen G s mit kostenoptimalem Pfad für jeden Bildpunkt Reduktion des Berechnungsaufwandes durch anhalten der Berechnung, wenn Zielpunkt p expandiert worden ist, da der kostenoptimale Pfad zwischen S und p bereits in G s enthalten ist Reduktion ist größer, je größer das zu segmentierende Bild ist und je näher der Zielpunkt am Saatpunkt S liegt Berechnung zu einem interaktiv neu gewählten Zielpunkt, für den in G s noch kein kostenoptimaler Pfad existiert, erfolgt on demand (Echtzeit) [Quelle: H.Handels, Medizinische Bildverarbeitung] vollständiger Pfadgraph G s eingeschränkter Pfadgraph G s 10

11 Algorithmus nach Dijkstra zum Aufbau des saatpunktspezifischen Pfadgraphen (Pseudo-Code) BEGIN END E := { }; R := {S}; cs := 0; WHILE (R {}) DO BEGIN Wähle aus R den Knoten p mit geringsten kumulativen Kosten; Expandiere p, d.h. betrachte jeden Nachbarknoten q von p und prüfe IF (q R q E) THEN BEGIN END IF (der Knoten wurde bislang noch nicht erreicht) cq := cp + clokal(p,q) R := R {q}; (trage gerichtete Kante von q nach p im saatpunktspezifischen Graphen Gs ein) IF (q R q E) THEN BEGIN END IF (es gibt bereits einen Pfad von q zu S und Gs mit Kosten cq) IF (Cp + clokal(p,q)<cq) THEN BEGIN END IF (falls Pfad über p kostengünstiger ist) cq := cp + clokal(p,q); (aktualisiere die von q ausgehende Kante im Graphen Gs so, dass sie p als Endknoten aufweist) (falls q E tue nichts, da zu q bereits ein optimaler Pfad gefunden wurde) R := R/{p}; E := E {p}; END WHILE 11

12 Anwendung implizites Ausnutzen von Vorwissen des Anwenders Ausnutzen von Vorwissen über Kontureigenschaften wie Gradientenstärke und Glattheit der Kontur durch Kostenterme Punkte mit entlang glatten Konturverläufen und starken Gradientenbeträgen werden bevorzugt optimaler Pfad zwischen Punkt p und Saatpunkt S ergibt sich durch folgen der optimalen Verbindungen in G s vom Punkt p aus, bis S erreicht ist Hüftknochen Blase Wirbel 12

13 Erweiterungen Kontur Snapping in der dxd Umgebung des interaktiv selektierten Punktes wird automatisch der Punkt als Saatpunkt gewählt, der die niedrigsten lokalen Kosten c lokal1 hat damit ist sichergestellt, dass ein Kantenpunkt als Saatpunkt gewählt wird, auch wenn der interaktiv selektierte Punkt nicht auf einer Kante liegt (sofern dieser nicht weiter als d/2-1 Pixel entfernt liegt) Kostentraining durch die Definition ( ) = ω Gradient c Gradient ( q) + ω Laplace c Laplace ( q) + ω Richtung c Richtung ( p,q) c lokal2 p,q werden starke Kanten beim Finden der Kontur bevorzugt Problem was passiert, wenn das Objekt in der nähe einer starken Kante liegt, die aber nicht zum Objekt gehört? Lösung Trainieren der Kostenfunktion durch Berücksichtigung der Ähnlichkeit bereits segmentierter Konturteile in der Kostenfunktion 13

14 Kostentraining dies kann über Konturmerkmale wie Gradientenbeträge und Grauwerte entlang des Konturteils geschehen für jedes Konturmerkmal m M wird ein Histogramm generiert der Wertebereich des Merkmals wird äquidistant in n Intervalle {I 1,...I n } unterteilt das generierte Histogramm ˆp m :{ I 1,..., I n } [ 0,1] ist also ein Schätzer der Wahrscheinlichkeitsdichte des Konturmerkmals den Kostenfunktionsterm, bei dem niedrige Kosten zu häufig auftretenden Merkmalsausprägungen korrespondieren, liefert dabei die invertierte Histogrammfunktion 1 ˆp m Merkmalsausprägungen die nicht im Konturverlauf vorkommen haben maximale Kosten daraus ergibt sich: p,q c lokal3 ( ) = ω Gradient c Gradient ( q) + ω Laplace c Laplace ( q) + ω Richtung c Richtung ( p,q) + ω Training c Training ( q) ( ) mit c Training ( q) = 1 ˆp m I j m ( ) und m q ( ) I j und m M 14

15 Atlasbasierte Segmentierung Ausnutzung von Atlasinformationen zur Segmentierung verwendet wird die Ähnlichkeit des Konturverlaufs von anatomischen Strukturen in verschiedenen Aufnahmen hierdurch wird die verwendete Kostenfunktion strukturspezifisch justiert Zwei Schritte 1. Übertragung der Saatpunkte vom Referenz- in den Patientendatensatz 2. Verbindung der Saatpunkte im Patientendatensatz, durch Nutzung von Ähnlichkeiten zwischen Referenz- und Patientendatensatz Übertragung der Saatpunkte vom Atlas auf die Patientenkontur durch Bestimmung eines Punktes im Patientendatensatz der in der Nähe des korrespondierenden Punktes liegt und in der Umgebung eine ähnliche Grauwertkombination hat Verbindung der Saatpunkte durch Erweiterung der Kostenfunktion um Ähnlichkeiten (Grauwerte, Krümmung, Gradientenbeträge, usw.) der korrespondierenden Konturteilstücke zu berücksichtigen dies geschieht durch Nutzung der invertierten Histogramme der Konturmerkmale 15

16 Segmentierte Konturen und Krümmungsprofile [Quelle: H.Handels, Medizinische Bildverarbeitung] Atlaskonturen Atlas Segmentierte Patientenkonturen Patientendatensatz 16

17 Atlasbasierte Segmentierung (3D) die Vorverarbeitung besteht aus einer 3D-3D affinen voxelbasierten Registrierung, die beide 3D-Datensätze in ein gemeinsames Koordinatensystem überführt und ausrichtet danach wird für korrespondierende 2D-Bilder wie bei der atlasbasierten Segmentierung verfahren Konturpropagierung (3D) Annahme: bei verschiedenen pathologischen Strukturen (Tumore, etc.) zweier Patienten ist die Ähnlichkeit nicht gegeben also muss die Ähnlichkeit des Konturverlaufs in räumlich benachbarten Schichten genutzt werden im ersten Schritt muss in einem 2D-Schichtbild die Struktur mittels interaktivem Live- Wire-Verfahren segmentiert werden dies erstellt eine Referenzschicht aus der Referenzschicht werden die Saatpunkte automatisch in die benachbarten Schichten übertragen und dann verbunden (atlasbasierte Live-Wire-Segmentierung) die Referenzschicht dient also als Atlas unter der Annahme dass die Kontur ähnlich verläuft 17

18 Nachbarschicht Referenzschicht Nachbarschicht 18