Kapitel 8. Bewegungsanalyse: Optische Flüsse. Grundlagen Optische Flüsse. Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 1/25

Transkript

1 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 1/25 Kapitel 8 Bewegungsanalyse: Optische Flüsse Grundlagen Optische Flüsse

2 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 2/25 Grundlagen (1) Eine Folge von Bildern liefert ein weiteres wichtiges Merkmal (Dimension der Zeit) zur Identifizierung und Charakterisierung von Objekten und zum Verstehen von Szenen. Aus der Bildsequenzanalyse resultieren viele Möglichkeiten für wissentschaftliche und technische Anwendungen, z.b. Untersuchung biologischer Wachstumsprozesse Überwachung von Prozessabläufen in Industrie und von Verkehrsszenen Steuerung autonomer Fahrzeuge und Roboter Typische Bildrate: Bilder/s mit entsprechendem Zeitintervall zwischen zwei aufeinanderfolgenden Bildern Generell: Zeitintervall so klein gewählt, dass die Verlagerung der Bildinhalte von Bild zu Bild lediglich wenige Pixel ausmachen

3 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 3/25 Grundlagen (2) Beziehung Bewegung und Grauwertveränderungen: Objekt/Kamera-Bewegung kann Grauwertveränderungen verursachen. Ausnahme: eine sich drehende Kugel mit einer beliebigen gleichmäßigen Oberfläche. Eine solche Kugel kann sich durch ihren Schwerpunkt um jede Achse drehen, ohne dass Grauwerveränderungen resultieren. Umgekehrt lassen sich nicht alle Grauwertveränderungen auf relative Bewegung Objekt/Kamera zurückführen. Beleuchtung spielt auch eine Rolle. Bewegung Beleuchtung zeitliche Grauwertveränderungen Unter der Annahme einer konstant bleibenden Beleuchung besteht, bis auf gewisse Ausnahmen, enge Beziehung zwischen der relativen Bewegung Objekt/Kamera und Grauwertveränderungen.

4 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 4/25 Grundlagen (3) Das Blendenproblem: Die Bewegungsanalyse hängt eng mit räumlichen und zeitlichen Grauwertunterschieden zusammen. Beide Größen erhält man recht einfach mit lokalen Operatoren, welche die räumlichen und zeitlichen Ableitungen bilden. Solch ein lokaler Operator sieht jedoch entsprechend der Größe der Maske nur einen kleinen Ausschnitt des beobachteten Objektes. 2? Wir können lediglich die senkrecht zur Kante liegende Komponente des Verschiebungsvektors bestimmen, während die parallel zur Kante liegende unbekannt bleibt. Diese Mehrdeutigkeit (das Blendenproblem) kann z.b. aufgelöst werden, wenn die Operatormaske die Ecke eines Objektes einschließt. Fazit: lokale Operatoren liefern ungenügend Information über Bewegung

5 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 5/25 Grundlagen (4) Das Korrespondenzproblem: Blendenproblem: Spezialfall des allgemeineren Korrespondenzproblems. D.h. wir können keine eindeutig miteinander korrelierten Punkte in zwei aufeinderfolgenden Bildern einer Sequenz bestimmen.?? a) b) a) Keine erkennbaren Merkmale, deren Bewegung man verfolgen kann. b) Periodische Textur (Gitter). Solange wir die Verschiebung des Gitters mit einem lokalen Operator und damit nur in einem Ausschnitt des Objektes betrachten, ist die Verschiebung um ein Vielfaches der Maschenweite prinzipiell nicht erkennbar. Erst wenn wir das gesamte Gitter mit seinem Rand sehen, wird die Verschiebung eindeutig bestimmbar.

6 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 6/25 Grundlagen (5) c) Bilder mit vielen Objekten, die in der Form nicht unterscheidbar sind, z.b. kleine Partikel. In diesem Fall kann für ein Teilchen das jeweils korrespondierende Teilchen im Folgebild nicht bestimmt werden. Eine Lösung des Problems ergibt sich bei sehr kurzem Zeitintervall, so dass der mittlere Verschiebungsvektor signifikant kleiner ist als der mittlere Partikelabstand.

7 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 7/25 Grundlagen (6) Time-to-crash: Mithilfe von Bewegung ist möglich, Eigenschaften der abgebildeten 3D-Welt, unter Verwendungen von gewissen Vorwissen, zu gewinnen. Ein besonders einfaches Beispiel: Berechnung von time-to-crash. Problem: Eine Linie der Länge L bewegt sich mit konstanter Geschwindigkeit v auf die Kamera zu (oder umgekehrt). Es soll die Zeit, τ, bis zum Zusammenstoßen mit der Kamera berechnet werden. l(t) f O L D(t) Es gilt: τ = D(t) v Die beobachtete Länge der Linie im Bild zum Zeitpunkt t: Die Ableitung: l(t) = f L D(t), l(t) (weil f = L D(t) ) d( l (t) = fl Daraus ergibt sich: 1 D(t) ) dt = fl D 2 (t) l(t) l (t) = τ dd(t) dt = flv D 2 (t)

8 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 8/25 Grundlagen (7) Beide Größen l(t) und l (t) können ausschließlich aus Bildinformationen bestimmt werden. Somit sind wir in der Lage, die Zeit τ ohne jegliche Information der abgebildeten Welt (L und v) zu errechnen. Beispiel: weitere 18 Bilder Bei einer Anfangsgröße von ca. 20 Pixeln (l(t) = 20) vergrößert sich der Bildschirm in den fortlaufenden Bildern der Sequenz um 0.5 Pixel pro Bild (l (t) = 0.5). Deshalb τ = 20/0.5 = 40 Bilder. Das heißt, der Zusammenstoß wird nach etwa 40 Bildern geschehen, sofern die Kamera bei dieser konstanten Geschwindigkeit bleibt.

9 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 9/25 Optische Flüsse (1) Bewegungsfeld: Projektion der Bewegungen der 3D-Szene auf die Bildebene. Diese Größe soll aus einer Bildsequenz extrahiert werden. Optischer Fluss: beobachteter Grauwertfluss in der Bildebene (Objektbewegung bewirkt, dass Grauwerte über die Bildebene fließen) Annahme: Optischer Fluss Bewegungsfeld Gegenbeispiel: Bewegungsfeld 0, optischer Fluss = 0 Fläche konstanter Helligkeit Eine sich drehende Kugel mit einer beliebigen gleichmäßigen Oberfläche. Eine solche Kugel kann sich durch ihren Schwerpunkt um jede Achse drehen, ohne dass Grauwerveränderungen resultieren. Bewegungsfeld = 0, optischer Fluss 0 Die gleiche Kugel in Ruhe und beleuchtet von einer sich bewegenden Lichtquelle.

10 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 10/25 Optische Flüsse (2) Obwohl diese Äquivalenz (Optischer Fluss Bewegungsfeld) zunächst plausibel erscheint, gilt sie bei genauerer Betrachtung tatsächlich in nur wenigen Fällen. In praktischen Anwendungen wird jedoch von einer ungefähren Äquivalenz ausgegangen. Annahmen zur Berechnung des optischen Flusses: Der Grauwert eines Objektpunktes bleibt ungefähr unverändert keine (gravierende) Änderung der Beleuchtung von Bild zu Bild keine (gravierende) Änderung der Entfernung der Kamera und Lichtquelle(n) zu Objekten von Bild zu Bild

11 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 11/25 Optische Flüsse (3) Beispiel: + (Ursprung) Translation Rotation Vorwärtsbewegung auf einer Ebene Zoom-in Seitwärtsbewegung

12 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 12/25 Optische Flüsse (4) Optical flow constraint equation (Image brightness constancy equation) Bild 1: f(x, y, t) Bild 2: f(x + u dt, y + v dt, t + dt) Gesucht: optischer Fluss (u, v) = ( dx dt, dy dt ) (Geschwindigkeit) Daraus folgt: oder f(x + u dt, y + v dt, t + dt) = f(x, y, t) + f f f x (u dt) + y (v dt) + t dt + O( 2 ) f(x, y, t) f x u + f y v = f t f x u + f y v = f t

13 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 13/25 Optische Flüsse (5) Die Größen f x, f y, und f t lassen sich aus zwei Bildern berechnen v (f x, f y ) u Die Gleichung schränkt den optischen Fluss (u, v) auf eine Gerade ein, liefert aber keine eindeutige Lösung (das Blendenproblem)

14 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 14/25 Optische Flüsse (6) Globaler Ansatz: Horn-Schunck-Algorithmus Ziel: Bestimmung eines dichten Feldes (u rc, v rc ) des optischen Flusses für jeden Bildpunkt bei zwei gegebenen Bildern f(r, c, t) und f(r, c, t + 1) Kriterium 1: e c = M 1 r=0 [ f x (r, c) u rc + f y (r, c) v rc + f t (r, c) ] 2 N 1 c=0 Kriterium 2 (Glattheit): e s = M 1 r=0 [ ( u x )2 + ( u y )2 + ( v x )2 + ( v y )2 c=0 } {{ } s rc N 1 ] Minimierung: e = e s + λe c (Minimierungsfunktion mit 2MN Variablen!)

15 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 15/25 Optische Flüsse (7) Lösung: Anhand der Approximation s rc = 1 4 [ (u r,c+1 u rc ) 2 +(u r+1,c u rc ) 2 +(v r,c+1 v rc ) 2 +(v r+1,c v rc ) 2 ] ist der Minimierungsterm e eine Funktion von allen u rc und v rc. Ableitung nach u kl und v kl : k = 0, 1,,M 1, l = 0, 1,,N 1 e u kl = 2(u kl u kl ) + 2λ[f x (k, l)u kl + f y (k, l)v kl + f t (k, l)] f x (k, l) = 0 e v kl = 2(v kl v kl ) + 2λ[f x (k, l)u kl + f y (k, l)v kl + f t (k, l)] f y (k, l) = 0 u kl = 1 4 (u k 1,c + u k+1,c + u k,c 1 + u k,c+1 ) v kl = 1 4 (v k 1,c + v k+1,c + v k,c 1 + v k,c+1 )

16 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 16/25 Optische Flüsse (8) Die resultierenden Gleichungen: (1 + λf 2 x(k, l))u kl + λf x (k, l)f y (k, l)v kl = u kl λf x (k, l)f t (k, l) λf x (k, l)f y (k, l)u kl + (1 + λf 2 y(k, l))v kl = v kl λf y (k, l)f t (k, l) werden als ein Gleichungssystem von u kl und v kl betrachtet. Dessen Lösung lautet: u kl = u kl f x(k, l)u kl + f y (k, l)v kl + f t (k, l) 1 + λ(f 2 x(k, l) + f 2 y(k, l)) v kl = v kl f x(k, l)u kl + f y (k, l)v kl + f t (k, l) 1 + λ(f 2 x(k, l) + f 2 y(k, l)) Daraus ergibt sich das iterative Schema (IS): u n+1 f x (k, l) f y (k, l) kl = u n kl f x(k, l)u n kl + f y (k, l)v n kl + f t (k, l) 1 + λ(fx(k, 2 l) + fy(k, 2 f x (k, l) l)) v n+1 kl = v n kl f x(k, l)u n kl + f y (k, l)v n kl + f t (k, l) 1 + λ(fx(k, 2 l) + fy(k, 2 f y (k, l) l))

17 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 17/25 Optische Flüsse (9) Dazu benötigen wir (andere, z.t. einfachere Approximationen möglich): f x (k, l) = 1 4 [ f(k, l + 1, t) f(k, l, t) + f(k, l + 1, t + 1) f(k, l, t + 1) + f(k + 1, l + 1, t) f(k + 1, l, t) + f(k + 1, l + 1, t + 1) f(k + 1, l, t + 1) ] f y (k, l) = 1 4 [ f(k + 1, l, t) f(k, l, t) + f(k + 1, l, t + 1) f(k, l, t + 1) + f(k + 1, l + 1, t) f(k, l + 1, t) + f(k + 1, l + 1, t + 1) f(k, l + 1, t + 1) ] f t (k, l) = 1 4 [ f(k, l, t + 1) f(k, l, t) + f(k + 1, l, t + 1) f(k + 1, l, t) + f(k, l + 1, t + 1) f(k, l + 1, t) + f(k + 1, l + 1, t + 1) f(k + 1, l + 1, t) ]

18 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 18/25 Optische Flüsse (10) Horn-Schunck-Algorithmus Parameter: λ (z.b. 10); MaxIterations for (k = 0; k < M 1; k++) for (l = 0; l < N 1; l++) { berechne f x (k, l), f y (k, l), und f t (k, l); u kl = v kl = 0; } for (loop=1; loop MaxIterations; loop++) { for (k = 0; k < M 1; k++) for (l = 0; l < N 1; l++) berechne neue Werte für u kl und v kl gemäß IS; }

19 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 19/25 Optische Flüsse (11) Beispiel: Nach 1 Iteration Nach 10 Iterationen

20 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 20/25 Optische Flüsse (12) Lokaler Ansatz: Lucas-Kanade-Algorithmus Ziel: ein nicht-iteratives Verfahren zur Bestimmung eines dichten Feldes (u rc, v rc ) des optischen Flusses für jeden Bildpunkt bei zwei gegebenen Bildern f(r, c, t) und f(r, c, t + 1) Annahme: Der optische Fluss ist konstant innerhalb eines kleinen Bildbereichs Zur Bestimmung des optischen Flusses (u kl, v kl ) haben wir zuerst: f x (k, l) u kl + f y (k, l) v kl = f t (k, l) Wird eine m m Nachbarschaft N m um (k, l) berücksichtigt, so erhalten wir unter Verwendung der obigen Annahme ein überbestimmtes System von m 2 linearen Gleichungen: (i, j) N m : f x (i, j) u kl + f y (i, j) v kl = f t (i, j)

21 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 21/25 Optische Flüsse (13) Die Methode der kleinsten Quadrate liefert: ( u kl v kl ) = fx(i, 2 j) (i,j) N m f x (i, j)f y (i, j) (i,j) N m f x (i, j)f y (i, j) (i,j) N m fy(i, 2 j) (i,j) N m 1 f x (i, j)f t (i, j) (i,j) N m f y (i, j)f t (i, j) (i,j) N m Nützlich: ( a c b d ) 1 = 1 ad bc ( d c b a )

22 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 22/25 Optische Flüsse (14) Lucas-Kanade-Algorithmus Parameter: m (z.b. 5), d.h. N m Nachbarschaft führe eine Bildglättung mit Gauss-Filter durch; for (k = 0; k < M 1; k++) for (l = 0; l < N 1; l++) berechne f x (k, l), f y (k, l), und f t (k, l); for (k = 0; k < M 1; k++) for (l = 0; l < N 1; l++) berechne u kl und v kl gemäß Formel auf der letzten Folie;

23 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 23/25 Optische Flüsse (15) Verbesserung: Der durch die Verwendung der Annahme gemachte Fehler steigt tendentiell mit zunehmender Distanz von (i, j) zu (k, l) = Einfluss der involvierten Nachbarn wird entsprechend verringert. Z.B. jeder Nachbar (i, j) N m von (k, l) wird mit einem Gewicht w ij versehen, das mit steigender Distanz von (i, j) zu (k, l) abnimmt. ( u kl v kl ) = w ij fx(i, 2 j) (i,j) N m w ij f x (i, j)f y (i, j) (i,j) N m w ij f x (i, j)f y (i, j) (i,j) N m w ij fy(i, 2 j) (i,j) N m 1 w ij f x (i, j)f t (i, j) (i,j) N m w ij f x (i, j)f t (i, j) (i,j) N m

24 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 24/25 Optische Flüsse (16) Bewegunsdetektion: Merkmale aus optischen Flüssen Flussvektoren oder deren Betrag bilden ein Merkmal für Bewegungsdetektion (Grundlage für Homogenitätskriterium der Segmentierungsalgorithmen) Optische Flüsse Betrag der FLussvektoren Berechnung erfolgt aus einem kombinierten Ansatz: A. Bruhn, J. Weickert and C. Schnörr: Lucas/Kanade meets Horn/Schunck: Combining local and global optic flow methods, International Journal of Computer Vision, 61(3): , 2005.

25 Kapitel 8 Bewegungsanalyse: Optische Flüsse p. 25/25 Optische Flüsse (17) Anwendung: Bewegungskorrektur im PET-Scanner M. Dawood, N. Lang, X. Jiang, and K. Schäfers: Lung motion correction on respiratory gated 3D PET-CT images, IEEE Transactions on Medical Imaging, 25(4): , 2006.