Shape Gradient for Image and Video Segmentation

Transkript

1 Shape Gradient for Image and Video Segmentation [1] S. Jehan-Besson, A. Herbulot, M. Barlaud und G. Aubert 23. Mai 2007 Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 1

2 Überblick Aktive Konturen Konzept Boundary Functionals Region Functionals Energiekriterium Shape Derivation Methodes Segmentierung mittels statistischen regionabhängigen Deskriptoren Anwendungsbeispiele Segmentierung Tracking Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 2

3 Aktive Konturen Konzept (1) Zur effizienten Segmentierung von Bildern und Videos Aktive Kontur wie Gummiring Segmentierungsvorgang: Energiekriterium minimieren sukzessive Anpassung der aktiven Kontur an Grenzen des Bildobjekts Aktive Kontur durch eine parametrische Kurve Γ(s,τ) = (x 1 (s,τ), x 2 (s,τ)) beschreibbar s Bogenlänge τ... Evolutionsparameter (Zeit) Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 3

4 Aktive Konturen Konzept (2) Aufstellen einer partiellen Differentialgleichung Γ 0 Startkurve v Geschwindigkeitsvektor von Γ(s,τ) PDGL treibt Rand einer eingangs festgelegten Region in Richtung lokales Minimum eines Energie-Kriteriums (Kostenfunktion) Geschwindigkeitsvektor v ist unbekannt Energiekriterium (Kostenfunktion) muss in Richtung v abgeleitet werden, so dass Lösung Γ(., τ ) ein lokales Minimum erreicht und zur Objektkontur konvergiert Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 4

5 Aktive Konturen Functionals Energiekriterium von aktiven Konturen Ursprünglich nur Boundary Functionals J b ( Ω) Seit Publikation von Mumford und Shah [3] auch Region Functionals J(Ω) leistungsfähiger Problem bei Optimierung regionsabhängiger Funktionale J(Ω) : Menge der Bildregionen besitzt keinen Vektor-Raum keine herkömmlichen Methoden basierend auf Gradientenabstieg anwendbar Optimierung daher schwierig Abhilfe: Shape derivation Methoden Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 5

6 Aktive Konturen Boundary Functionals Boundary Functional als Integral einer skalaren Funktion k b von Image Features über eine Kurve: Ω Kurve, Rand der Region da Flächenelement Ein klassisches Boundary Functional für ein 2D-Bild stammt aus der Arbeit von Caselles et al. [4]: 1 s Bogenlänge der Kurve Ω g(r) =, m = 1 oder 2 1+r m Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 6

7 Aktive Konturen Region Functionals Region Functional als Integral einer skalaren Funktion k von Region Features über eine Region: Klassisches Beispiel eines regionsabhängigen Deskriptors [5]: μ(ω) mittlerer Intensitätswert der Region Ω Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 7

8 Aktive Konturen - Energiekriterium Energiekriterium für Segmentierung: Linearkombination aus Boundary und Region Funktionalen Beispiel für einfache Segmentierung: k in Deskriptor für Objekt k out Deskriptor für Hintergrund k b Deskriptor für Kontur Wahl der Deskriptoren hängt von Anwendung ab Energiekriterium ableiten Geschwindigkeitsfunktion v v treibt aktive Kontur Richtung Minimum Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 8

9 Shape Derivation Methods (1) Geschwindigkeitsvektorfeld V(τ,x) Sei T : Ω R n wobei T Â (Menge regulärer, homeomorpher Funktionen) und gelte für einen Punkt x Ω x(τ) = T(τ, x) mit T(0, x) = x Ω(τ) = T(τ, Ω) mit T(0, Ω) = Ω Dann sei das Geschwindigkeitsvektorfeld V wie folgt definiert: Shape Derivative von k(x,ω) Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 9

10 Shape Derivation Methods (2) Eulerableitung des Funktionals J(Ω) = Ω k(x, Ω) dx in Richtung des Vektorfeldes V: N nach innen gerichteter Normalvektor der aktiven Kontur Ω Bestimmen des Extremums durch Null setzen : Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 10

11 Shape Derivation Methods (3) Deskriptoren Für Boundary Funktionale Boundary independent k b (x) basierend z.b. auf Gradient Boundary dependent k b (x, Ω) basierend z.b. auf Distanz von aktiver Kontur zu Referenzkontur Für Region Funktionale Region independent k(x) basierend z.b. auf Konstante Region dependent k(x, Ω) basierend z.b. auf Mittelwert, Varianz Berechnung der Eulerableitung eines Funktionals abhängig von: Art des Deskriptors Abhängigkeit des Deskriptors von Boundary/Region Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 11

12 Statistische regionenabhängige Deskriptoren (1) Allgemeiner Deskriptor zur Segmentierung basierend auf pdf eines Imagefeatures f einer Region: q(.) pdf f(x) Feature eines Bildes an der Stelle x Für Minimierung der -log-likelihood-funktion: -ln(x) Für Minimierung der Entropie-Funktion: 0 1 x Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 12

13 Statistische regionenabhängige Deskriptoren (2) falls keine parametrische Verteilung vorliegt muss pdf q(.) erst geschätzt werden Parzen-Methode K Gaußkern der geschätzten Verteilung mit Mittelwert 0 und Standardabweichung σ Ω Fläche der Shape Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 13

14 Beispiele: statistische regionenabhängige Deskriptoren Auf parametrischer Statistik basierende Deskriptoren: mit Verwendung des Mittelwertes µ z.b. Basierend auf der Varianz σ 2 Auf nichtparametrischer Statistik basierende Deskriptoren: Basierend auf nicht parametrischen PDFs Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 14

15 Segmentierungsverlauf (1) Abb: Evolution von Segmentierung und Histogramm für ein Grauwertbild basierend auf der Minimierung der Entropie [1] Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 15

16 Segmentierungsverlauf (2) [1] Abb: Evolution von Segmentierung und Histogramm für Farbbild basierend auf der Minimierung der Verbund-Entropie (U Chrominanz, Y Luminanz) Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 16

17 Tracking (1) Für Tracking: Minimierung der Distanz zwischen Wahrscheinlichkeitsdichtefunktionen (pdf) Funktional für Distanz zwischen zwei Histogrammen q, qˆ Wahrscheinlichkeitsdichtefunktion bzw. Histogrammvektor Funktion φ liefert kleine Werte wenn pdfs ähnlich Für φ kann Hellinger Distanz ϕ( qˆ, q) = verwendet werden qˆ q ( ) 2 Zur Minimierung von Funktional D(Ω) wird wieder Euler-Ableitung in Richtung V berechnet Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 17

18 Tracking(2) H Farbton (hue) V Grauwert (value) (bezogen auf HSV-Modell) [1] Abb: Beispiel für Tracking mittels Minimierung der Distanz zwischen aktuellem Histogramm und Referenzhistogramm Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 18

19 Tracking (3) [2] Teinte Farbton (hue) Valeur Grauwert (value) (bezogen auf HSV-Modell) Animation: Beispiel für Tracking mittels Minimierung der Distanz zwischen aktuellem Histogramm und Referenzhistogramm Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 19

20 Literaturverzeichnis [1] Jehan-Besson S., Herbulot A., Barlaud M. und Aubert G.: Shape Gradient for Image and Video Segmentation in Handbook of Mathematical Models in Computer Vision, Springer, Berlin, 2005 [2] Homepage von Stéphanie Jehan-Besson, [3] Mumford D., Shah J.: Optimal approximations by piecewise smooth functions and associated variational problems in Communications on Pure and Applied Mathematics, 42: , 1989 [4] Caselles V., Kimmel R. und Sapiro G.: Geodesic active contours, International Journal of Computer Vision, 22(1):61 79, 1997 [5] Chan T. und Vese L. Active contours without edges, IEEE Transactions on Image Processing, 10(2): , 2001 Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 20

21 Abschlussfolie DANKE für eure Aufmerksamkeit! Martin Schröttner und Michael Schneeberger Mat Vis-Gra SS07 21