Teil IV-B: Detektion von Strukturen in Signalen 1. Detektion von Kontrasten im Bild. Detektion zweidimensionaler Struktur 3. Auflösungs-Pyramiden und Adaptive Glättung
Problemstellung Diskrete Differentiation Ziel: Detektion von Orten starker (abrupter) Änderung in der Helligkeitsfunktion Ableitung 1. Ordnung starke Änderung ~ ma. Steigung Unterscheidung von. Dunkel Hell (DL). Hell Dunkel (LD) Übergängen Ableitung. Ordnung Detektion von Kontrasten im Bild Kontrastdetektion und Ableitungen Übergang = Wendepunkt ~ Nulldurchgang Unterscheidung von Bereichen mit. Links Rechts. Rechts Links Krümmung (R.C. Gonzalez, R.E. Woods. Digital image processing. Addison-Wesley, 1993)
Generelles Problem : Die genannten Ansätze motivieren sich aus der Analysis für ein-dimensionale Funktionen f()! Eine Diskontinuität kann jedoch jede beliebige, a priori unbekannte Orientierung im Bild besitzen! Intensität Ort Wie kann man diese Konzepte auf den zwei-dimensionalen Fall übertragen?
Richtungsableitung 1. Ordnung (1stDD) Funktionen von zwei Unabhängigen, f(, y) Vektor-Notation: ε y ( sin ε = cos (90-ε) ) ( ) ( ) f f f y f m y = = ε ε ε u sin cos, ( ) y y f f y f m f m y f m + = + = cosε sin ε, ε f u ε
Gradient : Richtung des stärksten Anstiegs Richtung θ ε [0, 360], für die Berechnung: Ableitung von nach ε Richtung : Betrag : ( ) y f m, θ y = θ ε y f f 1 tan ( ) ma, y m f ( ) ( ) f f f f y m + = 1/ θ
Laplace-Operator Standard-Definition ( für beliebige Anzahl unabhängiger Variablen, hier speziell für D) f f (, y) = + = f f yy y f + Invarianz der Berechnung der. Ableitung bzgl. Koordinatensystem
Einfache (diskrete) Kontrastdetektion Differenzenoperatoren zur Approimation der 1. und. Ableitung Die numerische Differentiation mit Differenzen-Masken kann als Faltung notiert werden (z.b. Ableitung der 1. Ordnung) f (, y) f (, y) D ( y),
Einfache (diskrete) Kontrastdetektion Differenzenoperatoren zur Approimation der 1. und. Ableitung Die numerische Differentiation mit Differenzen-Masken kann als Faltung notiert werden (z.b. Ableitung der 1. Ordnung) f (, y) f (, y) D ( y), Ableitung 1. Ordnung D (, y) mit = -1 1-1 1 Rückwärts- / Vorwärtsdifferenz -1 0 1 Zentrale Differenz
Einfache (diskrete) Kontrastdetektion Differenzenoperatoren zur Approimation der 1. und. Ableitung Die numerische Differentiation mit Differenzen-Masken kann als Faltung notiert werden (z.b. Ableitung der 1. Ordnung) f (, y) f (, y) D ( y), Ableitung 1. Ordnung D (, y) mit = -1 1-1 1 Rückwärts- / Vorwärtsdifferenz -1 0 1 Zentrale Differenz Ableitung. Ordnung D (, y) mit = 1-1
Einfache Masken zur Schätzung des Gradienten - und 3 3 - Masken j i X i Koordinatensystem j X y Numerischer Differenzenoperator als D Maske Vorwärtsdifferenz (in - und y-richtung) orthogonale Richtung δ-impuls 0 0 0 W = 0-1 1 W y = 0 0 0 0 0 0 0 0-1 0 1 0 (sehr) störungsanfällig!
Abhilfe: Hinzunahme weiterer Nachbarelemente durch Bo-Glättung in orthogonaler Richtung 0-1 1 W = 0-1 1 W y = 0-1 1 0-1 1 0 0-1 -1 1 1 Robert s Kreuz-Operator ( cross operator ) i j 1 1-1 -1 y A C B D Gradient: G R [ ] [ A D, B C ] ( i, j) ma f ( i, j) f ( i + 1, j + 1), f ( i + 1, j) f ( i, j + 1) = ma
Prewitt- und Sobel-Operator Verbesserung der Stabilität durch Verwendung der zentralen Differenz sowie abstandsabhängige Glättung ( Sobel ) a) Prewitt -1 0 1 W = -1 0 1 W y = -1 0 1-1 0 1-1 -1 0 0 1 1 Gradient: G ( i, j) f ( i, j) + f ( i j) P y,
b) Sobel distanzabhängige Gewichtung in orthogonaler Richtung -1 0 1 W = - 0 W y = -1 0 1-1 0 1 - -1 0 0 1 (~ Binomialkoeffizienten) Gradient: G ( i, j) f ( i, j) + f ( i j) S y,
Anwendung der diskreten Gradientenoperatoren Beispiel: Sobel Operator -1 - -1 0 1 0 0 1 Originalbild (Cell.jpg) Ergebnis G -Maske Ergebnis G y -Maske Gradient I G I + G y I
Originalbild (Tomo1451.jpg) Ergebnis G -Maske Ergebnis G y -Maske Gradient I G I + G y I
Vergleich von Resultaten Robert s Kreuz-Operator Prewitt-Operator Sobel-Operator
Vergleich von Resultaten (cont d) (CT40.jpg) Robert s Kreuz-Operator Prewitt-Operator Sobel-Operator
( ) ( ) σ σ σ σ σ πσ σ,, 1 1 ep 1 1,, 4 y G y y G = + = Differential-Operatoren mit Gauss scher Glättung Trägerfunktion Gauss sche Dichte Partielle Ableitungen 1. Ordnung in :. Ordnung in : ( ) + = ep 1,, σ πσ σ y y G ( ) ( ) σ σ σ πσ σ,, ep,, 4 y G y y G = + =
Laplace: G 4 (, y, σ ) = 1/ ( πσ ) [ ( + y )/ σ ] = 1/ σ [ r / σ ] G(, y, σ ) ep + σ y Separierbarkeit ( Effizienz der Berechnung) 1 1 y G(, y, σ ) = ep ep π σ σ π σ σ Die Eigenschaft der Separierbarkeit lässt sich auch bei der Berechnung partieller Ableitungen ausnutzen, da z.b. gilt: G d (, y, σ ) = G(, σ ) G( y, σ ) d G(, σ) G(y, σ)
Impulsantworten (Faltungsmasken) G(,y) -G (,y) y G (,y) G yy (,y) G(,y) - G(,y) ( Meican hat )
Anwendung Gradientenoperatoren aus Gauss schen Masken Originalbild (Cell.jpg) Ergebnis G -Maske Ergebnis G y -Maske Gradient I G I + G y I
Originalbild (Tomo1451.jpg) Ergebnis G -Maske Ergebnis G y -Maske Gradient I G I + G y I
Vergleich der Ergebnisse Sobel vs. Gauss Sobel-Operator Gauss sche Glättung
Anwendung LoG ( Laplacian-of-Gaussian ) Originalbild (Cell.jpg) Ergebnis σ 1 = 3 piels Ergebnis σ = 4 piels
Bestimmung von Diskontinuitäten Ansätze # Schwellwert {( y) f T} E =, > T f Problem : Möglichst kleine Schwelle, um alle Kontraste zu erfassen; jedoch möglichst hohe Schwelle, um unempfindlich gegenüber Störungen (Rauschen) zu sein! Alternativen: Lokale Gradienten-Maima Nullstellen der. Ableitung
Nulldurchgänge der Laplace-Antworten ( zero-crossing (z.c.) -Detektion) Schema Diskrete Masken (Operationalisierung) : horizontal : vertikal
Resultate (a) Originalbild, (b) Laplace (kontinuierlich), (c) Laplace (binarisiert, s/w), (d) Nulldurchgänge (D. Marr. Vision. W.H. Freeman, 198)
Resultate Beispielanwendung Cell.jpg Oben: LoG (kontinuierlich), Unten: Nulldurchgänge σ 1 = 3 σ = 4
Canny-Operator (Kontrastdetektion in D) I. Richtung des stärksten Anstiegs einer Gauss-gefilterten Intensitäts- (Bild-) Funktion (vgl. Richtungsableitung) θ G σ I Ort der stärksten Steigung: z.c. der. Richtungsableitung in Richtung θ II. Approimation von Richtungsmasken (verschiedene Orientierungen) 6 Orientierungen, Elongation Konkatenation / Überlagerung von Antworten nicht-elongierter Masken Verbesserung der Robustheit Messung der Abweichungen (Varianz) der Einzelbeiträge Dynamische Längenanpassung (mittels Abweichungskriterium)
III. Lokale Nicht-Maimum Unterdrückung ( non-maimum suppression ) Verteilung von Antworten bei der Berechnung von Gradienten Breite ~ Lokalisations-Unsicherheit ( positional uncertainty ) Amplitude ~ örtliche variierende Kontraste hier: Selektion des Ortes maimaler Antwort Problem: Maimum muss jeweils orthogonal zur Richtung des Kontrastes bestimmt werden, nicht jedoch entlang des Kontrastes, da die Kontinuität der resultierenden Repräsentation erhalten bleiben soll!
Interpolation auf diskretem Gitter Konturverlauf
Interpolation auf diskretem Gitter bilineare Interpolation Konturverlauf
Interpolation auf diskretem Gitter bilineare Interpolation Konturverlauf Vergleich und Maimum-Selektion i-1 i i+1 IF f > f f > f i i-1 i i+1 THEN ma{ f} := f i
IV. Adaptives Schwellwertverfahren ( hysteresis thresholding ) Ziel: geg.: Unterdrückung nicht-signifikanter Kandidaten Schwellwert Problem der Festlegung eines Schwellwertniveaus Kontur aus lokal benachbarten Kantenpunkten ( 8er Nachbarschaft); Repräsentation als (doppelt) verkettete Liste C(s) a b Kontur wird als Funktion der Bogenlänge s innerhalb des Intervalls [a, b] repräsentiert!
Methode: Festlegung von Schwellwerten T l untere Schwelle ( Unterdrückung von Rauschen) f < T l Punkte werden in jedem Fall eliminiert! T u obere Schwelle ( geforderter Mindestkontrast) f > T u Punkte werden in jedem Fall erhalten! es bleibt der Bereich innerhalb des Intervalls [T l, T u ] Kriterium: P C(s) : f( C(s) ) = r Tu f( C(s) ) alle direkt und indirekt verbundenen Konturpunkte (~ closed path ) mit T u > r T l werden erhalten signifikante Kontraste T u T l Störungen s Vermeidung von streaking -Phänomenen!
Ergebnisse Oben: Sobel-Operator (kontinuierlich) Schwellwert-Operation: Kontrast-Punkte f > T35 Kontrast-Punkte f > T50 Unten: Canny-Operator (kontinuierlich, nach non-ma. suppression) als Funktion der Filtergrösse σ = {1,, 3 } piel (E. Trucco, A. Verri. Introductory techniques for 3-D computer vision. Prentice-Hall, 1998)
Vergleich zwischen Operatoren Sobel-Operator Gradienten-Betrag globale Schwelle (T = {3, 10}) Laplace von Gauss (~ Differenz von Gauss): Zentrum σ c = 1.1 Umgebung σ s = 1.94 Canny-Operator (inkl. non-ma. suppression) als Funktion der Filtergrösse σ = {0.7, 1.4 } piel verschiedene Schwellen T ma (A. Pinz. Bildverstehen. Springer, 1994)
Detektion zweidimensionaler Struktur Einordnung Struktur in digitalen Bildern Ausschnitte eines Grauwert-Gebirges Kontraste (Kanten) Regionen (Flächen) Ecken, Krümmung
Resultierende Klassen von Grauwertvariationen in D Bildern Intrinsisch 0-dimensionale Variationen konstante Grauwertfläche L() = const. Intrinsisch 1-dimensionale Variationen repliziertes 1D Profil L() = L(n. ) Intrinsisch -dimensionale Variationen Ecken und Kreuzungen (vgl. G. Krieger, C. Zetsche. Nonlinear image operators for the evaluation of local intrinsic dimensionality. IEEE Trans. on Image Processing 5(6):106-1041, 1996)
Lineare Verfahren zur Detektion von Eck-/Endpunkten I. Parallele Verarbeitungspfade i. Merkmale durch Anwendung spezialisierter Detektoren i. Lineare Strukturen : Kontraste, Linien,... ii. ii. -dimensionale Strukturen : Ecken, Endpunkte,...
II. Hierarchische Schemata i. ii. i. Lineare Strukturen : Filterung für (intrinsisch) 1-dimensionale Strukturen z.b. Differentialoperatoren linear Orientierungsfeld nichtlinear Gradient
ii. -dimensionale Strukturen : Gerichtete Differenzen- oder Differentialoperatoren (Richtung entsprechend des Richtungsfeldes) - Σ + z.b. G( u + u v; σ, σ ) G( u u, v; σ, σ ) 0, u v 0 u v Zentrum-Umfeld Interaktion - Σ + z.b. (, y) G(, y ) δ ;σ
Problem: Lineare Detektoren für instrinsisch -dimensionale Intensitätsänderungen (Ecken, Enden, etc.) reagieren auch auf intrinsisch 1-dimensionale Strukturen (Balken, Sinuswellen, etc.) Alternativen: Anwendung einer Familie von Operatoren im Sinne einer lokalen D Taylor-Entwicklung des gefilterten Signals Verwendung alternativer Verfahren nichtlineare Operatoren Bsp.: Strukturtensor
Strukturtensor Lokale Messung von Struktur Ziel: Direkte lokale Auswertung des Verlaufs der Grauwertfunktion zur möglichst robusten Charakterisierung der Geometrie Definition des Strukturtensors : Berechnung des lokalen Tensors : J ρ Symmetrische Matri... Berechnung T g( ) g( ) ( ) T ( g( ) ) = G g ( ) g ( ) σ = ρ J J = y J J y yy der Eigenwerte λ 1, λ und g ( ) ( ) ( ) ( ) ( ) ( ) g g y g y g y g σ der zugehörigen Eigenvektoren v 1, v (wobei v 1 v!) σ
Charakterisierung der Grauwertstruktur Diagonalisierung von J Lösung J ρ λ = 1 0 λ 0 1. Eigenwerte λ 1, λ 1 ( J J ) + J λ 1, = J + J yy ± yy 4 y. Eigenvektoren v 1, v v 1 1 J y = v1 J yy J + yy y ( J J ) + 4J, v v 1
Deskriptoren lokaler Struktur I. Regionen konstanter Helligkeit (intrinsich 0-D Struktur): λ 1 = λ = 0 Jρ ist die Nullmatri! II. Gerichtete Kontraste (intrinsisch 1-D Struktur): 1 >> λ = Richtung des Grauwertkontrastes: λ 0 v 1 g ( ) III. Ecken (intrinsisch -D Struktur): λ 1 λ >> 0 eine Ecke ist ein Ort, für den der kleinere Eigenwert λ genügend gross ist!
Resultate Synthetisches Grauwert-Schachbrett: zwei Realisierungen Gauss schen Rauschens mit std. = ; Eckpunkte ~ unterer rechter Eckpunkt in 15 15 piel Nachbarschaft (Signifikanzniveau: Histogramm von λ -Werten, Schwelle) (E. Trucco, A. Verri. Introductory techniques for 3-D computer vision. Prentice-Hall, 1998)
Ergebnisse (cont d) Computer- Tomogramm CT40.jpg Schema: Struktur-Tensor (Gradient: [-1 0 1]; Glättung (Binomialfilter): ρ = 7/, Maske: 15 El.) Skalierung (m) der Eigenwerte und Berechnung von m det(.) = m (λ 1 λ ), Schwelle
Ergebnisse (cont d) MRI Tomo1451.jpg Schema: Struktur-Tensor (Gradient: [-1 0 1]; Glättung (Binomialfilter): ρ = 7/, Maske: 15 El.) Skalierung (m) der Eigenwerte und Berechnung von m det(.) = m (λ 1 λ ), Schwelle
Auflösungs-Pyramiden und Adaptive Glättung Reduktion der Ortsauflösung Gauss-Pyramide Generator-Schema zur Reduktion (REDUCE) Normalisierung (Achsen-) Symmetrie Gleiche Beiträge der Funktionswerte Einhaltung des Abtasttheorems durch Glättung k i-1 i i+1 k-1 i-1 i i+1 c b a b c ( wg.. Symmetrie )
Gauss-Pyramide (4 Ebenen) 56 56 18 18 64 64 3 3 Binomial-Maske für die Glättung zur anschliessenden Reduktion : w() = 1/16 [ 1 4 6 4 1 ]
Epansion durch Interpolation (Invertierung der REDUCE-Operation) -1 EXPAND (. ) = REDUCE (. ) mit m(m+1, N+1) m(m+1, N+1) g (M/, N/) l, 1 allgemein: g = EXPAND( g ) l, n l, n - 1 g (M, N) l-1 D Interpolation: wobei g l,n : Ergebnis der n-maligen Epansion von g l g l, n g l,0 = g l wobei nur Beiträge in die Summe eingehen, für die INTEGER-Werte liefern! i m j n ( i, j) = 4 w( m, n) gl, n 1, m n = = i und m j n Hinweis: Die bei der Reduktion entfernten Frequenzanteile können durch die Epansion nicht wieder rekonstruiert werden!
Laplace-Pyramide Konstruktion Folge von Fehler-Residuen L 0, L 1,..., L n (Differenzen zweier Ebenen der Gauss-Pyramide) L Laplace-Pyramide k g k k ( ) = k k + 1, 1 = g EXPAND g g + - + - + - + -
Diffusion und adaptive Bildglättung Glättung Lineare homogene Diffusion Einordnung: Lineare Diffusion entsprechend der Wärmeleitung u t = ( ρ u) = u mit (,0) I( ) u = Glättung durch Faltung mit Gaussverteilung: t I ( ) = I( ) G ( ) σ mit σ = t
Lokal adaptive Diffusion Inhomogene Glättung Linear u t = ( g( ) u) Nicht-linear u t = ( g( u ) u) g(.) ist eine skalare Funktion ( Fluss Φ = g(.) u mit Φ u ) Kontrast
Lokal adaptive Diffusion Inhomogene Glättung Linear u t = ( g( ) u) Nicht-linear u t = ( g( u ) u) g(.) ist eine skalare Funktion ( Fluss Φ = g(.) u mit Φ u ) Kontrast Nicht-lineare Glättung in mehreren Dimensionen t u = k m = 1 k ( g( u ) u) σ k mit ( ) ( ) u =, 0 I und = 0 nu Ω
Anwendungen (1, m = ) Links: Original, MRI Tomo1451.jpg Rechts: Resultat der nichtlinearen Diffusion, 800 Iterationen (J. Weickert, B. ter Haar Romeny, M.A. Viergever. Efficient and reliable scheme for nonlinear diffusion filtering. IEEE Trans. on Image Processing, 7: 398-410, 1998)
Anwendungen (, m = 3) Links: Original, 3-D Ultraschallbild (10 Wochen alter Fötus), 138 08 138 [voel] Rechts: Resultat der nichtlinearen Diffusion (J. Weickert. A review of nonlinear diffusion filtering. In B. ter Haar Romeny, L. Florack, J. Koenderink, M. Viergever (eds.). Scale-space theory in computer vision. Lecture Notes in Computer Science, Vol. 15, Springer, 1997, pp. 3-8)