Bildsegmentierung mit Level Sets

Transkript

1 Bildsegmentierung mit Level Sets Seminar Bildsegmentierung und Computer Vision im Wintersemester 2005

2 Übersicht 1

3 Übersicht 2 Definitionen Ausbreitungsgeschwindigkeit

4 Übersicht 3 Inter-Frame-basierte Modellierung Level Set-basiertes Labeling

5 Segmentierung zur Erinnerung Aufteilung des Bildes mittels Interface in Regionen

9 Problemstellung Gegeben: Gitternetz aus insgesamt N Punkten Eine Ausgangskontur auch Initial Level Set auch Zero Level Set Eine durchgehend positive (negative) Geschwindigkeitsfunktion F(x,y) auch Velocity Function

13 Problemstellung Gesucht: Ankunftszeit-Funktion T(x,y) auch Arrival Time Function damit Darstellung der Kurve im Raum

16 Lösungsansatz Lösung der stationären Level Set-Gleichung F T (x, y) = 1 mittels Fast Marching Algorithmus für Level Sets in N log(n)

19 Was ist neu? Bisher: Segmentierung mittels eines Interfaces in zwei Regionen Jetzt: Segmentierung mittels zweier (oder mehr!) Interfaces

22 erster Ansatz naiver Ansatz: stückweise Anwendung des Fast Marching Algorithmus nacheinander auf alle Ausgangskonturen (Labels)

23 erster Ansatz naiver Ansatz: stückweise Anwendung des Fast Marching Algorithmus nacheinander auf alle Ausgangskonturen (Labels)

24 erster Ansatz Probleme: Effizienz abhängig von der Anzahl der Labels morphologische Instabilität

27 Pixeleigenschaften Klassifizierung aller Pixel: leer (auch: idle) im Verlauf: (auch: trial) ein T-Wert wird kalkuliert lebend: (auch: alive) der T-Wert wird fixiert abgeschlossen (auch: finalized)

32 Initialisierung Initialisierung der T-Werte Initialisierung der im Verlauf -Listen T-Werte: Initial Level Sets-Pixel initialisiert mit 0 andere Regionen initialisiert z.b. mit unendlich im Verlauf -Listen: initialisiert mit den Nachbarpunkten der Initial Level Sets

36 formale Beschreibung while ( im Verlauf -Listen nicht leer) { } finde den Pixel mit dem geringsten T-Wert aus den im Verlauf -Listen markiere den Pixel lebend bzw. abgeschlossen aktualisiere Label-Karte füge die vier Nachbarn des Pixels der entsprechenden im Verlauf -Liste zu aktualisiere T-Werte der Nachbarn

42 Eigenschaften Labels überschneiden sich nicht Aufwand unabhängig von der Anzahl der Labels 2 N log(n) aber: auch unabhängig von der Form der Labels

46 Motivation Definitionen Ausbreitungsgeschwindigkeit Frage: Wie können die Ausbreitungsgeschwindigkeiten der Labels geschätzt werden?

47 Motivation Definitionen Ausbreitungsgeschwindigkeit Frage: Wie können die Ausbreitungsgeschwindigkeiten der Labels geschätzt werden?

48 erste Definitionen Definitionen Ausbreitungsgeschwindigkeit für einen Punkt s, ein Label l(s) und einen Datenvektor x(s) über s, z.b. Resultat der VF in s p(x(s) l): Wahrscheinlichkeit, dass s zuerst von l erreicht wird Pr(l(s)): Ausbreitungsrate in s, wenn s von l erreicht wird (Propagation) (innere Energie) d l (x(s)): Abstand von Punkt s zu Label l (auch: Distanzmaß der Daten)

53 Ausbreitungsgeschwindigkeit Definitionen Ausbreitungsgeschwindigkeit Gesucht: F l (s): Ausbreitungsgeschwindigkeit in s, wenn s von l erreicht wird

54 Ausbreitungsgeschwindigkeit Definitionen Ausbreitungsgeschwindigkeit Gesucht: F l (s): Ausbreitungsgeschwindigkeit in s, wenn s von l erreicht wird

55 Ausbreitungsgeschwindigkeit Definitionen Ausbreitungsgeschwindigkeit Gewichtung der Ausbreitungsraten mit den Ankunftswahrscheinlichkeiten F l (s) = p(x(s) l(s))pr(l(s)) k p(x(s) k(s))pr(k(s)) = 1 + k l 1 p(x(s) k(s)) Pr(k(s)) p(x(s) l(s)) Pr(l(s)) Erkennbar: äußere und innere Energie

59 Modellannahmen Definitionen Ausbreitungsgeschwindigkeit p exponentiell abnehmend mit dem Abstand p(x(s) l(s)) = e d l (x(s)) F l (s) = k l ed l (x(s)) d k (x(s)) Pr(k(s)) Pr(l(s)) Pr(i(s)) = Pr(j(s)) Label i, j = 0,..., n F l (s) = k l ed l (x(s)) d k (x(s))

60 Modellannahmen Definitionen Ausbreitungsgeschwindigkeit p exponentiell abnehmend mit dem Abstand p(x(s) l(s)) = e d l (x(s)) F l (s) = k l ed l (x(s)) d k (x(s)) Pr(k(s)) Pr(l(s)) Pr(i(s)) = Pr(j(s)) Label i, j = 0,..., n F l (s) = k l ed l (x(s)) d k (x(s))

61 Modellannahmen Definitionen Ausbreitungsgeschwindigkeit p exponentiell abnehmend mit dem Abstand p(x(s) l(s)) = e d l (x(s)) 1 F l (s) = 1 + k l ed l (x(s)) d k (x(s)) Pr(k(s)) Pr(l(s)) Pr(i(s)) = Pr(j(s)) Label i, j = 0,..., n F l (s) = k l ed l (x(s)) d k (x(s))

62 Modellannahmen Definitionen Ausbreitungsgeschwindigkeit p exponentiell abnehmend mit dem Abstand p(x(s) l(s)) = e d l (x(s)) 1 F l (s) = 1 + k l ed l (x(s)) d k (x(s)) Pr(k(s)) Pr(l(s)) Pr(i(s)) = Pr(j(s)) Label i, j = 0,..., n 1 F l (s) = 1 + k l ed l (x(s)) d k (x(s))

63 Modellannahmen Definitionen Ausbreitungsgeschwindigkeit p exponentiell abnehmend mit dem Abstand p(x(s) l(s)) = e d l (x(s)) 1 F l (s) = 1 + k l ed l (x(s)) d k (x(s)) Pr(k(s)) Pr(l(s)) Pr(i(s)) = Pr(j(s)) Label i, j = 0,..., n 1 F l (s) = 1 + k l ed l (x(s)) d k (x(s))

64 Ausbreitungsgeschwindigkeit Definitionen Ausbreitungsgeschwindigkeit F l (s) = k l ed l (x(s)) d k (x(s)) für ein passend gewähltes Label l: d l (x(s)) d k (x(s)) Label k F l (s) nahe bei 1 für ein schlecht gewähltes Label l: Label k : d l (x(s)) d k (x(s)) F l (s) nahe bei 0

68 Inter-Frame-basierte Modellierung Level Set-basiertes Labeling Problemstellung Gesucht: Segmentierung jedes Bildes einer Videosequenz in statischen und mobilen Teil

69 Inter-Frame-basierte Modellierung Level Set-basiertes Labeling Problemstellung Gesucht: Segmentierung jedes Bildes einer Videosequenz in statischen und mobilen Teil

70 Inter-Frame-basierte Modellierung theoretisches Modell Inter-Frame-basierte Modellierung Level Set-basiertes Labeling eine simple Abstandsfunktion: x(s) = I(s, t + 1) I(s, t) beobachtete Übergangswahrscheinlichkeiten: p 0 (x statisch) und p 1 (x mobil) p(x(s) Θ(s) = i) = λ i 2 e λ i x(s) mit i = 0, 1 Darstellung der Dichte der Differenzfunktion x(s): p(x) = P 0 p 0 (x statisch) + P 1 p 1 (x mobil)

74 Inter-Frame-basierte Modellierung Problemstellung Inter-Frame-basierte Modellierung Level Set-basiertes Labeling gesucht: a priori Wahrscheinlichkeiten P 0 und P 1 Parameter λ 0 und λ 1 der Verteilung

77 Level Set-basiertes Labeling Inter-Frame-basierte Modellierung Level Set-basiertes Labeling zunächst Initialisierung mit geeigneten Startwerten auf Basis statistischer Tests Geschwindigkeit des statischen Labels: 1 F 0 (s) = 1 + e β 0( x(s) ) Geschwindigkeit des mobilen Labels: 1 F 1 (s) = 1 + e β 1( x(s) )

81 Level Set-basiertes Labeling Inter-Frame-basierte Modellierung Level Set-basiertes Labeling Wahl geeigneter Parameter und Anwendung des Fast Marching Algorithmus liefert Resultate (fast) unabhängig von der Größe der Initial Level Sets

85 Literatur Inter-Frame-basierte Modellierung Level Set-basiertes Labeling u.v.a. S. Osher, N. Paragios: Geometric level set methods in imaging, vision, and graphics E. Sifakis, G. Tziritas: Moving object localisation using a multi-label fast marching algorithm Fast marching to moving object localisation u.a. J. Sethian: Theory, algorithms, and applications of level set methods for propagating interfaces sethian/

86 Literatur Inter-Frame-basierte Modellierung Level Set-basiertes Labeling u.v.a. S. Osher, N. Paragios: Geometric level set methods in imaging, vision, and graphics E. Sifakis, G. Tziritas: Moving object localisation using a multi-label fast marching algorithm Fast marching to moving object localisation u.a. J. Sethian: Theory, algorithms, and applications of level set methods for propagating interfaces sethian/

87 Inter-Frame-basierte Modellierung Level Set-basiertes Labeling Vielen Dank für die Aufmerksamkeit!