Grundlegende Verfaren der automatiscen Bildbearbeitung und Bildverbesserung Tomas M. Deserno Institut für Medizinisce Informatik Medizinisce Fakultät, RWTH Aacen Bildverbesserung! Was ist Bildverbesserung?! Abgrenzung zu! Kalibrierung! Korrektur! Registrierung! Optimierung! Welce Metoden werden benutzt?! Wie kann man Verfaren zur Bildverbesserung evaluieren? Stufen der Bildverarbeitung Merkmalsetraktion Segmentierung Klassifikation Kalibrierung Grauwertmodifikation Aufname Digitalisierung Registrierung Faltung Oberfl.-Rekonst. Beleuctung Scattierung Bilderzeugung Filterung Kompression Arcivierung Retrieval Bildbearbeitung Bildverbesserung! Verbesserung der Bildqualität! Bildqualität! ängt ab von Kontet Anwendung Anwender! Verbesserung! Hängt ab von Qualitätsma tsmaß Interpretation Vermessung Ausgabe Kommunikation Bildauswertung Bilddarstellung Bildspeicerung Bildverbesserung! Ansatzpunkte Stufen der Bildverarbeitung Aufname Auswertung Digitalisierung Kalibrierung Registrierung Erzeugung Darstellung Grauwertmodifikation Faltung Filterung Merkmalsetraktion Oberfl.-Rekonst. Kompression Verbesserung Speicerung Segmentierung Klassifikation Beleuctung Scattierung Arcivierung Retrieval Interpretation Vermessung Ausgabe Kommunikation
Bildverbesserung! Abstraktionsgrade! Rodaten! Piel! Kante! Tetur! Region! Objekt! Szene! Multi-level level Algoritmen! adaptiv " Operiert auf Low- und Hig-Level-Ebenen Implementierung von Bildverbesserung! Lokal ale Transformationation Punkt zu Punkt! auf dem Raster zb: Histogramm! nict auf dem Raster zb: Geometrie! Regionale Transformationation Region zu Punkt! linear zb: Faltung! nictlinear zb: gleitender Median morpologisc zb: Erosion! Globale Transformationation Bild zu Punkt! reelwertig zb: Kosinus-Transformation Transformation! komplewertig zb: Fourier-Transform ransformation Implementierung von Bildverbesserung! Lokal ale Transformationation Punkt zu Punkt! auf dem Raster zb: Histogrammspreizung! nict auf dem Raster zb: Dreung! Regionale Transformationation Region zu Punkt! linear zb: Faltung! nictlinear zb: gleitender Median morpologisc zb: Erosion! Globale Transformationation Bild zu Punkt! reelwertig zb: Kosinus-Transformation Transformation! komplewertig zb: Fourier-Transform ransformation Punkt zu Punkt Transformation! Auf dem Raster Beispiel! Histogrammspreizung Punkt zu Punkt Transformation! Nict auf dem Raster 255 200 150 100 50 0 g g ' T g g 0 50 100 150 200 255
Beispiel: Versciebung! Veränderlic! Ort! Konstant! Orientierung Rictung von Linien! Dimension Größe, Fläce ce! Bestimmt durc! + 0 y y + y 0! 1 Punkt oder! 2 Parameter 0,y 0 Beispiel: : Starr! Veränderlic! Ort! Orientierung! Konstant! Dimension! relativer Winkel! Bestimmt durc! 2 Punkt oder! 3 Parameter Beispiel: : RST! Veränderlic! Ort! Orientierung! Dimension! Konstant! relativer Winkel! Parallelität! Bestimmt durc! 2 Punkt oder! 4 Parameter Beispiel: Affin! Veränderlic! Ort! Orientierung! Dimension! relativer Winkel! Konstant! Parallelität! Geradeit! Bestimmt durc! 3 Punkt oder! 6 Parameter Beispiel: Projektiv! Veränderlic! Ort! Orientierung! Dimension! relativer Winkel! Parallelität! Konstant! Geradeit! Bestimmt durc! 4 Punkt oder! 8 Parameter Beispiel: : Deformation! Veränderlic! Ort! Orientierung! Dimension! relativer Winkel! Parallelität! Geradeit! lokal ale Deformation! Abbildungsmodell! nict voranden! basiert auf korrespon- dierenden Punkten " Vorsict!
Implementierung?! Zielorientiert invertiert! Interpolation Teorie der Interpolation! Faltung s, y s m, n m, y n m n! diskretes Bild sm,n! kontinuierlice 2D Impulsantwort,y! Impulsantwort! symmetrisc! separierbar, y y,y k,l Bestimmung des Faltungskernes ss S S f! Ideale Interpolation! Ableitung aus dem Abtastteorem. * f Ortsfrequenz- bereic Fourier- Transformationation Orts- bereic sks k ss S S f. f H f sks k Ideale Interpolation *. H f! sinπ π ss S S f f s, y s m, n m, y n m n Ortsbereic abgescnitten logaritmiert
Ideale Interpolation! Problem! ist räumlic r unbegrenzt! Lösung! änlice aber begrenzte Funktionen Interpolation vs. Approimation! Gleices Gitter Bild bleibt unverändert ndert ist Interpolator 0 1 0, 1,2,... " Vorsict: Ramenbedingungen! Interpolation vs. Approimation! DC-Konstanz! Iterpolator Lagrange! Approimator Notc filter Ortsbereic Ortsbereic DC-konstant vs. DC-in inkonstant! Gleicanteil engl. direct current,, DC! Keine generelle Grauwertanebung ist DC-konstant d + k 1 k... H 0 1 H f 0, f 1,2,..., Hf ist Fourier-Transformierte von ω 6.3,12.7,.. DC-Inkonstanz H 0 1 d + k 1 k! abgescnittene sinc-funktion Ortsbereic DC-Inkonstanz H f 0, f 1,2,... d + k 1 k Lineare Interpolation! Leict zu implementieren N2! sclecte Qualität! Gaußfilter 2. Ordnung Ortsbereic logaritmiert Ortsbereic abgescnitten logaritmiert
Kubisce Interpolation! Ansatz als stückweise Polynome 3 A1 3 AN 2 + B1... 2 + BN + C1 + D1 + CN + DN 0 0 < 1 1 <...... < N /2 elsewere Cubic interpolation! N 6! Randbedingungen! Interpolator: k 1 for k 0! DC-konstant onstant: k 0 for k 0! C0-kontinuierlic kontinuierlic: k - k +! C1-kontinuierlic kontinuierlic: k - k +! C2-kontinuierlic kontinuierlic: k - k + Ortsbereic abgescnitten logaritmiert Te advanced standard! B-spline interpolation N Ortsbereic abgescnitten logaritmiert Evaluierung?! Teoretisce Eigenscaften! Interpolation vs. Approimation! DC-konstant vs. DC-in inkonstant! Fourier-Analyse! Pass-Band and möglicst konstantk onstant! Cut-off-Punkt möglicst steil! Stop-Band oe Dämpfung, D keine Wellen! Quantitative Feleranalyse! Subtraktion von in- und rücktransformiertem r Bild vom! Kompleität t des Algoritmus! Laufzeitmessungen Feleranalyse Feleranalyse! ZB: Korrektur des Seitenverältnisses aspect-ratio 4/3! Interpolation nur in Rictung! jede 3. Spalte bleibt unverändert ndert! Je dunkler das Bild, desto sclecter die Metode! Ramen entsprict B-spline Randbereic! weiße e Linien: InterpolatorI! gleicmäß äßige Verteilung: DC-Konstan onstanz truncated sinc DC-in inkonstanter Interpolator notc filter DC-konstant onstanter Approimator linear DC-constant constanter Interpolator
Feleranalyse! große Gauß-Kerne! große Lagrange-Kerne erne Feleranalyse! Blackman-Harris gefensterte sinc-funktion! C2-kontinuierlicer kubiscer Kern 2 nd Gaussian N6 10 t Gaussian N8 Lagrange N5 windowed sinc N6 Cubic N6 B-spline N DC-in inkonstanter Approimator DC-in inkonstanter Approimator DC-konstant onstanter Interpolator DC-konstant onstanter Interpolator DC-konstant onstanter Interpolator DC-konstant onstanter Interpolator Quantitative Feleranalyse Laufzeit! Auswal der Testbilder! umfangreic! repräsentativ! Zyklisce Alterierung vs. Hin-Rück ck-trafo! zb: 15 mal um 24 Grad dreen! Quantitative Analyse! absoluter Feler für f r jedes Bild! mittlerer Feler und Varianz aller Bilder! statistisce Signifikanzanalyse t-test " Ergebnisse können k werden von den qualitativen Beobactuntgen abweicen 11 22 33 44 55 66 77 88 Nearest Neigbor Linear Cubic Quadratic Lagrange Cubic Lagrange Gaussian M2 Truncated sinc Lagrange Truncated sinc Cubic Lagrange Gaussian M2 Gaussian M6 Truncated sinc Lagrange Cubic Lagrange Gaussian M6 Gaussian M10 B-spline interpolation 0.13 s 0.15 s 0.18 s 0.22 s 0.23 s 0.27 s 0.28 s 0.73 s 0.63 s 0.34 s 0.72 s 0.39 s 0.42 s 1.10 s 1.13 s 0.78 s 1.50 s 1.54 s 0.58 s 1.54 s 1.60 s 0.36 s 0 LUT 44 0.25 LUT 66 0.5 LUT 88 0.75 1.0 Interpolation Rotation 1.25 1.5 Time in sec. 1.75 Evaluierung? - Zusammenfassung! Kontetabängig ngig! Inalt der Bilder! Wictigkeit von Laufzeit! Metodisces Vorgeen! Überprüfung anand eines Beispielbildes ist unzureicend! benötigte Bildzal ängt von der Varianz ab ebenfalls statistisc zu ermitteln! repräsentativ für f r den Anwendungskontet! statistisce sce Analyse Implementierung von Bildverbesserung! Lokal ale Transformationation Punkt zu Punkt! auf dem Raster zb: Histogramm! nict auf dem Raster zb: Geometrie! Regionale Transformationation Region zu Punkt! linear zb: Faltung! nictlinear zb: gleitender Median morpologisc zb: Erosion! Globale Transformationation Bild zu Punkt! reelwertig zb: Kosinus-Transformation Transformation! komplewertig zb: Fourier-Transform ransformation
Regionale Transformation! Punkt zu Region zb: Faltung Regionale Transformation! Punkt zu Region zb: Faltung Lineare regionale Filterung Faltung! Glättung! Tiefpaß! Kontrastverstärkung rkung! Hocpaß! Unsarp-Maskingasking! Edge-Crisping! Reliefs Glättung! geitender Mittelwert! Gauß- bzw. Binomialtiefpaß! Koeffizienten entsprecend der Binomialverteilung Pascalsces Dreieck 1 2 1 1/16 2 4 2 1/256 1 2 1 1 4 6 4 1 4 16 24 16 4 6 24 36 24 6 4 16 24 16 4 1 4 6 4 1 Beispiel: Binomialtiefpaß! Glättung und Rauscunterdrückung ckung Kantenverstärkung rkung! Positive und negative Koeffizienten! Gauß- bzw. BinomialB inomialocpaß! Koeffizienten entsprecend der Binomialverteilung Pascalsces Dreieck -4-6 -4-2 -4 6-24 6-4 1/16-2 12-2 1/256-6 -24 220-24 -6-2 -4 6-24 6-4 33 Template 55 Template -4-6 -4
Beispiel: Binomialocpaß! Kantenetraktion Unsarp Masking! Kontrast- und Kantenverstärkung rkung 33 Template 55 Template Hocpaß Unsarp Masking Unsarp Masking Reliefbilder! Verbindung von und Hocpaß Hocpaß Unsarp Masking Stufe Rampe Impuls einfacer Versatz 0 0 0 0 1 0 0 0 doppelter Versatz 1 0 0 0 0 0 0 0 Reliefbilder Edge Crisping! Versatz und Subtraktion 0 0 5 0 0 9 1-2 1-2 5-2 1-2 1
Nictlineare regionale Filterung Rangordnungsfilter! Rangordnungsfilter! Median! Adaptive Filter! Nagao & Matsuyama 1979! Morpologisce Filter! Erosion! Dilatation! Median Stufe Rampe Tiefpaß Median Impuls Beispiel: Medianfilter Adaptive Filterung! Entfernung diskreter Artefakte! Wal des Filters oder der Filterparameter ängt von lokalen Bildeigenscaften ab Filter Analyse Tiefpaß Fenstergröß öße e 55 Median Fenstergröß öße e 77 linear nictlinear Nagao & Matsuyama 1979! Variable Berecnung von Mittelwert und Varianz Nagao & Matsuyama 1979 for m 1 to M { // walk over columns for n 1 to N { // walk over lines for current_mask 1 to MASKS { // for all masks current_variance calc_variance input_image, m, n, mask[current_mask]; if current_mask 1 current_variance < least_variance { least_variance current_variance; result_mean calc_mean input_image, m, n, mask[current_mask]; } } // for current_mask result_image[ m, n ] result_mean; } // for n } // for m
Nagao & Matsuyama 1979! Beispiel Morpologisce Filterung! Logisce Operationen auf Binärbildern! Nur scwarze und weiße e Piel! Grundoperationen:! Erosion: AND! Dilatat ation: OR! Opening: Bilatation des eroierten Bildes! Closing: Erosion des dilatierten Bildes! Skelettierung: Berecnung des Skeletts 1 Iteration 48 Iterationen Definitionen! Erosion #: I#E {p Z² E p I}! Dilatat ation $: I$E {p Z² E p I }! Opening : I En I#E n $ E n! Closing : I E n I$ E n #E n Beispiel! Bild! Template Erosion! Bild! Template Dilatation! Bild! Template
Opening! Bild! Template Closing! Bild! Template Skelettierung! Im Diskreten: Skelett nict eindeutig Implementierung von Bildverbesserung! Lokal ale Transformationation Punkt zu Punkt! auf dem Raster zb: Histogramm! nict auf dem Raster zb: Geometrie! Regionale Transformationation Region zu Punkt! linear zb: Faltung! nictlinear zb: gleitender Median morpologisc zb: Erosion! Globale Transformationation Bild zu Punkt! reelwertig zb: Kosinus-Transformation Transformation! komplewertig zb: Fourier-Transform ransformation Globale Transformation! Bild zu Punkt Globale Transformation! Intra-space vs. Inter-space Transformationen! Logaritmus: Multiplikation vs. Addition! Fourier Transformation: Faltung vs. Multiplikation Bild Vorwärtstransform. intra-space Verarbeitung inter-space Verarbeitung Ergebnis inverse Transform.
Globale Transformation! Wavelet-Transformation! Fourier-Transformation! Etraction von Frequenzkomponenten Beispiel: Filterung im! Ausgangsdaten! Abwicklung! Vorverarbeitung! Segmentierung! Klassifikation Beispiel: Filterung im Fourier Power-Spektrum Inverse Wiener Filterung! Modell der biomediziniscen Bildgebung N q N d Ergebnis im Ortsbereic s H MTF/OTF Glättung Quanten- rauscen Detektor- rauscen s' Fourier s + N q + N d s ' SH + N S ' q d S ' N S H modifiziertes Fourier Power-Spektrum Bestimmung der MTF! Aufbau des Eperimentes
Beispiel: : Inverse Filterung Zusammenfassung: Bildverbesserung! Was ist Bildverbesserung?! Verbesserung der Bildqualität! kontetabängig ngig! bildabängig! Terminologie ie! Optimierung - jede Art der Verbesserung/Korrektur! Verbesserung - qualitative Optimierung! Kalibrierung - quantitative absolute Optimierung! Korrektur - quantitative relative Optimierung adressiert systematisce Feler! Registrierungierung - Korrektur von Unterscieden zwei oder mer Bilder Zusammenfassung: Bildverbesserung! Welce Metoden?! lokal! regional! global! Häufig: Filterung im Ortsbereic regional! nictlinear! kontetabängig ngig! Evaluierung?! inreicend viele und repräsentative Bilder! statistisce sce Analyse