Einführung in die medizinische Bildverarbeitung WS 12/13

Transkript

1 Einführung in die medizinische Bildverarbeitung WS 12/13 Stephan Gimbel

2 Kurze Wiederholung ITK Konzepte aus PAD1/2 Template Klassen Typedefs Smart Pointer (für ITK Objekte) Fehlerbehebung Doku, Mailing-List Bilddaten N-d Array jeder beliebige Datentyp Image Regions LargestPossibleRegion (gesamter Datensatz) BufferedRegion (im Speicher) RequestedRegion (Teilregion) Spaces Data Space (Indizes in N-d array) Physical Space (Ursprung und Spacing)

3 Kurze Wiederholung Pixelzugriff direkt (Index / Position) langsam N-d Problem Iteratoren für Regions, u.v.m. einfach, Code gut lesbar, Wrapping und optimiert const & non-const Pipeline Objekte Data Objects (z.b. itk::image) Process Objects (z.b. Filter) Haben Ein- und Ausgabe (Ausnahme: Sources, haben nur Ausgabe) SetInput() & GetOutput() Initialisierung, Verbindung von Pipelinestufen und Ausführung

4 Kurze Wiederholung Pipeline Status Objekte beinhalten ihren Status aktualisieren durch Update() wird ggf. bis zum Pipeline-Start nach oben durchgereicht Lesen/Schreiben von Bildern über Reader/Weiter Formate Pixel über Datentypen repräsentiert ITK erledigt das für uns, Format egal i.d.r. Grauwerte (8-Bit, 10-Bit, 12-Bit, 16-Bit,...) Bildverarbeitung Bilder verschönen für den Menschen und Computer zoomen, drehen, spiegeln, usw.

5 Grundlagen - Verarbeitung medizinischer Bilddaten Mustererkennungs-Pipeline Die Verarbeitung von med. Bilddaten erfolgt mittels verschiedener Methoden und Algorithmen, z.b. zur automatischen Erkennung von Bildobjekten (Tumoren, Organe, etc.)... Bilddaten Bildvorverarbeitung Segmentierung Bildanalyse zur Merkmalsextraktion Klassifikation Erkannte Bildobjekte [Quelle: B.Preim, Medizinische Bildverarbeitung]

6 Grundlagen - Verarbeitung medizinischer Bilddaten Mustererkennungs-Pipeline Die Verarbeitung von med. Bilddaten erfolgt mittels verschiedener Methoden und Algorithmen, z.b. zur automatischen Erkennung von Bildobjekten (Tumoren, Organe, etc.)... Bilddaten Erfasste Bilddaten im Rohformat dienen als Ausgangspunkt zur Mustererkennung Bildvorverarbeitung Segmentierung Bildanalyse zur Merkmalsextraktion Klassifikation Erkannte Bildobjekte [Quelle: B.Preim, Medizinische Bildverarbeitung]

7 Grundlagen - Verarbeitung medizinischer Bilddaten Mustererkennungs-Pipeline Die Verarbeitung von med. Bilddaten erfolgt mittels verschiedener Methoden und Algorithmen, z.b. zur automatischen Erkennung von Bildobjekten (Tumoren, Organe, etc.)... Bilddaten Bildvorverarbeitung Segmentierung Bildanalyse zur Merkmalsextraktion Dient zur Verbesserung der Qualität im Hinblick auf die nachfolgen de Segmentierung, z.b. durch Glättungsfilter zur Eliminierung von Rauschen. Verbessert aber nicht notwen digerweise die Bildqualität. Ebenfalls können durch Registrierungsverfahren ve rschie dene Bild daten in ein gem einsam e s Koordinatensystem überführt werden und als multispektrale Bilddaten weiterverarbeitet werden. Klassifikation Erkannte Bildobjekte [Quelle: B.Preim, Medizinische Bildverarbeitung]

8 Grundlagen - Verarbeitung medizinischer Bilddaten Mustererkennungs-Pipeline Die Verarbeitung von med. Bilddaten erfolgt mittels verschiedener Methoden und Algorithmen, z.b. zur automatischen Erkennung von Bildobjekten (Tumoren, Organe, etc.)... Bilddaten Bildvorverarbeitung Segmentierung Dient zur Abgrenzung von interessierenden Bildobjekten Bildanalyse zur Merkmalsextraktion Klassifikation Erkannte Bildobjekte [Quelle: B.Preim, Medizinische Bildverarbeitung]

9 Grundlagen - Verarbeitung medizinischer Bilddaten Mustererkennungs-Pipeline Die Verarbeitung von med. Bilddaten erfolgt mittels verschiedener Methoden und Algorithmen, z.b. zur automatischen Erkennung von Bildobjekten (Tumoren, Organe, etc.)... Bilddaten Bildvorverarbeitung Segmentierung Bildanalyse zur Merkmalsextraktion Extrahierung von charakteristischen Merkmalen aus den verschiedenen Bildobjekten Klassifikation Erkannte Bildobjekte [Quelle: B.Preim, Medizinische Bildverarbeitung]

10 Grundlagen - Verarbeitung medizinischer Bilddaten Mustererkennungs-Pipeline Die Verarbeitung von med. Bilddaten erfolgt mittels verschiedener Methoden und Algorithmen, z.b. zur automatischen Erkennung von Bildobjekten (Tumoren, Organe, etc.)... Bilddaten Bildvorverarbeitung Segmentierung Bildanalyse zur Merkmalsextraktion Klassifikation Erkannte Bildobjekte Bildobjekterkennung unter Verwendung der vorher extrahierten Merkmalen (z.b. Hauttumor oder Muttermal, etc.) und vorher festgelegten Interpretationsmöglichkeiten [Quelle: B.Preim, Medizinische Bildverarbeitung]

11 Grundlagen - Verarbeitung medizinischer Bilddaten Mustererkennungs-Pipeline Die Verarbeitung von med. Bilddaten erfolgt mittels verschiedener Methoden und Algorithmen, z.b. zur automatischen Erkennung von Bildobjekten (Tumoren, Organe, etc.)... Bilddaten Bildvorverarbeitung Knochen Lungenflügel Segmentierung Lungenflügel Bildanalyse zur Merkmalsextraktion Leber Klassifikation Erkannte Bildobjekte [Quelle: B.Preim, Medizinische Bildverarbeitung]

12 Grundlagen - Verarbeitung medizinischer Bilddaten 3D-Visualisierungs-Pipeline oder zur 3D-Visualisierung Bilddaten Bildvorverarbeitung Segmentierung 3D-Modellerzeugung 3D-Visualisierung 3D-Darstellung

13 Grundlagen - Verarbeitung medizinischer Bilddaten 3D-Visualisierungs-Pipeline oder zur 3D-Visualisierung Bilddaten Erfasste Bilddaten im Rohformat dienen als Ausgangspunkt zur Mustererkennung Bildvorverarbeitung Segmentierung 3D-Modellerzeugung 3D-Visualisierung 3D-Darstellung

14 Grundlagen - Verarbeitung medizinischer Bilddaten 3D-Visualisierungs-Pipeline oder zur 3D-Visualisierung Bilddaten Bildvorverarbeitung Segmentierung 3D-Modellerzeugung Dient zur Verbesserung der Qualität im Hinblick auf die nachfolgen de Segmentierung, z.b. durch Glättungsfilter zur Eliminierung von Rauschen. Verbessert aber nicht notwen digerweise die Bildqualität. Ebenfalls können durch Registrierungsverfahren ve rschie dene Bild daten in ein gem einsam e s Koordinatensystem überführt werden und als multispektrale Bilddaten weiterverarbeitet werden. 3D-Visualisierung 3D-Darstellung

15 Grundlagen - Verarbeitung medizinischer Bilddaten 3D-Visualisierungs-Pipeline oder zur 3D-Visualisierung Bilddaten Bildvorverarbeitung Segmentierung Dient zur Abgrenzung von interessierenden Bildobjekten 3D-Modellerzeugung 3D-Visualisierung 3D-Darstellung

16 Grundlagen - Verarbeitung medizinischer Bilddaten 3D-Visualisierungs-Pipeline oder zur 3D-Visualisierung Bilddaten Bildvorverarbeitung Segmentierung 3D-Modellerzeugung Generierung von 3D-Modellen mittels der zuvor segmentierten Daten 3D-Visualisierung 3D-Darstellung

17 Grundlagen - Verarbeitung medizinischer Bilddaten 3D-Visualisierungs-Pipeline oder zur 3D-Visualisierung Bilddaten Bildvorverarbeitung Segmentierung 3D-Modellerzeugung 3D-Visualisierung Anwendung von Visualisierungsverfahren zur Darstellung der virtuellen Körpermodelle 3D-Darstellung

18 Grundlagen - Verarbeitung medizinischer Bilddaten 3D-Visualisierungs-Pipeline oder zur 3D-Visualisierung Bilddaten Bildvorverarbeitung Segmentierung 3D-Modellerzeugung 3D-Visualisierung 3D-Darstellung

19 Bildverarbeitung Phasen die Phasen können in der Praxis je nach Anforderung abweichen i.d.r. verlangen aber alle Arbeitsabläufe eine Vorverarbeitung des Bildmaterials zur Verbesserung der Qualität nicht notwendigerweise für den Menschen, aber für den Computer Filter Glättungsfilter dienen zur Verminderung von Bildrauschen (engl. noise suppression), also zufällige lokale Variation der Bildfunktion auch zur Bildglättung (engl. image smoothing) homogenisiert die Bilder Kantenfilter dient zum verstärken der Kanten (starke lokale Änderung der Bildfunktion) macht es leichter unterschiedliche Regionen zu erkennen

20 Häufigkeit Grundlagen - Bilderzeugung Bildverarbeitung Histogramme graphische Darstellung der Häufigkeitsverteilung bestimmter Merkmale (in unserem Fall Grauwerte) Daten (Grauwerte) werden in Klassen (engl. bins) eingeteilt für med. 2D Grauwertbilder, werden Histogramme in 2D dargestellt x-achse: die Klasse oder bins y-achse: absolute oder relative Häufigkeit bins Bins: Anzahl der unterschiedlichen Grauwerte (8-Bit = 256) Häufigkeit: Anzahl der Grauwerte mit diesem Wert (wie viele Pixel haben z.b. den Wert 100?)

21 Bildverarbeitung Histogramme Verteilung der Grauwerte meist ungleichmäßig, lässt sich aus dem Histogramm ablesen... meist liegen die Grauwerte nur in einem kleinen Bereich geringer Bildkontrast ungünstig für Bildverarbeitung auch für das menschliche Auge Verbesserung: skalierung der Grauwerte im Bereich [z a, z b ] um den Bereich [z l, z k ] auszufüllen Grauwert z im Originalbild wird auf z abgebildet z' = z k z l z b z a ( z z ) a + z l numerisch Effizient über Lookup-Table Polynom 1. Ordnung linear nicht-lineare LUTs: Exponentialfunktion oder Polynom 2. Ordnung Verbesserung des Kontrasts in hellen oder dunklen Bereichen auch Binarisierung gehört zur Histogramm-Skalierung

22 Bildverarbeitung linearer Lookup-Table Input Lookuptable Lower Limit Upper Limit Output 150 Output Histogramm zeichnen Input

23 Bildverarbeitung nicht lineares Mapping Sigmoid Filter kontinuierlicher und gleichmäßiger Transfer von Grauwerten betont bestimmte Grauwerte für die Visualisierung und vermindert Werte ausserhalb diesen Bereichs Pixelweise Transformation 1 I ' = (Max Min) 1+ e 1 β α + Min mit: I ' = Output Pixel I = Input Pixel Min, Max = min und max Wert des Ergebnisbildes α = Breite der Input Intensity Range β = Center Intensity Range

24 Bildverarbeitung Alpha=-1 OutputMaximum Beta = 4 Beta = 2 Beta = Alpha=4 Alpha=2 Alpha=0.25 Alpha=1 Alpha=0.5 OutputMinimum Beta = 2 Beta =

25 Bildverarbeitung

26 Bildverarbeitung Thresholding Definition mit einem Threshold Wert Formal: g( x, y) = mit mehreren Threshold Werten Formal: g( x, y) = 1 0 a b c if if if if if ( ) > T ( ) T f x, y f x, y ( ) > T 2 ( ) T 2 ( ) T 1 f x, y T 1 < f x, y f x, y [Quelle: Gonzalez/Woods, Digital Image Processing]

27 Bildverarbeitung Thresholding Veränderung oder Identifizierung von Grauwerten Basiert auf Spezifizierung von einem oder mehreren Werten (Threshold Wert) z.b zur Binarisierung (x-bit Bild in 1-Bit Bild transferieren) Beispiel: zwei Thresholds (Upper- & Lower Threshold) zwei Grauwerte (Inside & Outside) wenn der Grauwert innerhalb [Lower, Upper] liegt, wird der Inside-Value zugewiesen wenn der Grauwert außerhalb [Lower, Upper] liegt, wird der Outside-Value zugewiesen Thresholding wird meist am Ende der Pipeline ausgeführt Inside Value Output Intensity Outside Value Lower Threshold Upper Threshold Input Intensity

28 Bildverarbeitung Threshold-Below ein Threshold Value & ein Outside Value alle Grauwerte unterhalb des Threshold werden auf OutsideValue gemappt Rest bleibt unverändert Output Intensity Unchanged Intensities Outside Value Threshold Below Input Intensity

29 Bildverarbeitung Threshold-Above ein Threshold Value & ein Outside Value alle Grauwerte überhalb des Threshold werden auf OutsideValue gemappt Rest bleibt unverändert Output Intensity Outside Value Unchanged Intensities Input Intensity Threshold Above

30 Bildverarbeitung Threshold-Outside Lower- und Upper-Threshold Value & ein Outside Value alle Grauwerte innerhalb [Lower, Upper] bleiben unverändert Rest wird auf OutsideValue gemappt Output Intensity Outside Value Unchanged Intensities Lower Threshold Upper Threshold Input Intensity

31 Bildverarbeitung Thresholding das Ergebnis hängt davon ab einen guten Threshold zu finden wenn Objekte klar genug voneinander getrennt sind (Hintergrund, Vordergrund) ist das einfach einfacher iterativer Algorithmus zum Ermitteln eines Thresholds: 1. schätze einen Threshold 2. Teile das Bild in zwei Gruppen (G 1 > T und G 2 T) ein 3. berechne mittleren Grauwert m 1 und m 2 für alle Pixel in G 1 und G 2 4. berechne neuen Threshold: T = 1 ( 2 m + m 1 2 ) 5. wiederhole Schritte 2 bis 4 bis Folgewerte von T in nächster Iteration kleiner als ΔT ist es gibt noch weitere Algorithmen und Vorgehensweisen zur Bestimmung des Thresholds Rauschen hat einen starken Einfluss auf das Histogramm und das finden von idealen Threshold Werten

32 Bildverarbeitung Filter und ihre Auswirkungen 1400 A B C D Mittelwert Gauß Median [Quelle: H. Handels, Medizinische Bildverarbeitung]

33 Bildverarbeitung Lineare Filter Definition lineares System Eingabe eines Impuls erzeugt System-Antwort als Ausgabe örtliche Unabhängigkeit der Antwort gegenüber Ort des Eingabe-Impulses räumlich invariantes System (gleiche Wichtungsfaktoren des Kerns für das gesamte Bild) Ausgabe h(x,y) entspricht der Faltung der Eingabefunktion f(x,y) mit Impuls-Antwort g(x,y) h( x, y) = f ( x, y) g x, y ( ) = f ( x', y' ) g( x x', y y' )dx'dy' für uns interessant, diskrete Funktion: ist linear: h[ i, j] = f [ i, j] g i, j g[ i, j] a 1 h [ 1 i, j]+ a 2 h 2 i, j n m k= n l= m [ ] = f k,l { [ ]} = a 1 g i, j [ ]g i k, j l [ ] { [ ] h [ 1 i, j] } + a 2 g[ i, j] h 2 i, j { [ ]}

34 Filter Anwendung nehme ein Originalbild B, wende darauf einen Algorithmus an und erhalte ein Ergebnisbild B Filter in ITK beinhalten die Algorithmen und Parameter Operation kann auf ganzem Bild stattfinden, per-pixel Basis oder durch eine Faltung, mittels einer Faltungsmatrix oder Kernel auf einen Teilbereich des Bildes Beispiel: 3x3 Kernel auf Bild B Anwendung auf 2D-Bildraster

35 Filter Anwendung nehme ein Originalbild B, wende darauf einen Algorithmus an und erhalte ein Ergebnisbild B Filter in ITK beinhalten die Algorithmen und Parameter Operation kann auf ganzem Bild stattfinden, per-pixel Basis oder durch eine Faltung, mittels einer Faltungsmatrix oder Kernel auf einen Teilbereich des Bildes Beispiel: 3x3 Kernel auf Bild B Anwendung auf 2D-Bildraster