Qualitätsüberwachung von automatisch verfolgten Merkmalen in Bildsequenzen

Transkript

1 Qualitätsüberwachung von automatisch verfolgten Merkmalen in Bildsequenzen J. Shi und C. Tomasi Good features to Track (CVPR94 Seattle, Juni 1994) Dozent: Dr. Felix v. Hundelshausen Referenten: Philipp Holzschneider Sebastian Ihlefeld

2 Gliederung Einleitung und Motivation Modelle für Bewegung in Bildsequenzen Bewegung in Bildsequenzen berechnen...

3 Motivation Merkmalsverfolgung in Bildsequenzen ist prinzipiell ein gelöstes Problem verlässliche Verfolgung von Bildausschnitten optimierung eines Übereinstimmungskriteriums vorhersage der Ausschnittsveränderung zwischen Einzelbildern (Größe, Position, Deformation, etc) gute Auswahl von Bildmerkmalen anhand.. Oberflächenstruktur (Kanten- bzw. Eckenhaftigkeit,... ) vorhandensein von Nullstellen im Gradientenbild große Verteilung der Intensitäten

4 Motivation Warum ist es dann so schwierig? Gut gewählte Bildmerkmale können schlecht sein. Glanzlichter und Reflexionen auf glatten Oberflächen

5 Motivation Warum ist es dann so schwierig? Gut gewählte Bildmerkmale können schlecht sein. Kanten und Ecken die nur auf dem Bild existieren, nicht aber in der aufgenommenen Szene spätere (teilweise) Verdeckung von Merkmalen

6 Motivation Warum ist es dann so schwierig? Gut gewählte Bildmerkmale können schlecht sein. Glanzlichter und Reflexionen auf glatten Oberflächen Kanten und Ecken die nur auf dem Bild existieren, nicht aber in der aufgenommenen Szene spätere (teilweise) Verdeckung von Merkmalen Bildartefakte von verlustbehafteter Kompressionen und schlechte Bildmerkmale sind kontraproduktiv automatische Merkmalsverfolgungen werden abgelenkt besonders schädlich für 3D Rekonstruktionen :-)

7 Ansatz von J. Shi und C. Tomasi Überwachung der Qualität eines verfolgten Bildmerkmals in einer Bildsequenz Maß für die Qualitäteines Merkmals im Bild n ist die Wiedererkennbarkeit / (Un-)Ähnlichkeit verglichen mit dem Startbild bzw. die Verfolgbarkeit des Merkmals durch den Tracker Die richtigen Merkmale sind diejenigen, die sich am besten automatisch verfolgen lassen (optimal by construction)

8 Bewegung in Bildern I x,tr=i xx,t, r,t Verschiebung für x vom Zeitpunkt t um r const für eine Kamerabewegung in der Bildebene Verschiebung ist für komplexere Bewegungen in jedem Punkt anders affine Transformation für einen Bildausschnitt =D xd D= d xx d xy d yx d yy

9 Bewegung in Bildern J Axd =I x Ein Punkt x im ersten Bild I, findet sich an der Stelle Axd im zweiten Bild J (A=1+D sodass D = 0 und d = 0 sind für I=J) Tracking eines Bildausschnitts = Parameter d xx, d xy, d yx,... bestimmen, für welche diese Gleichung für den Ausschnitt erfüllt ist (klingt ja einfach!!)

10 Berechnen der Bewegung in Bildern Bildpunktetransformation Bildpunktdifferenz J Axd I x J Axd I x=d x Bildpunktfehler [ J Axd I x] 2 =d x 2 = x Bildausschnitt x W [ J Axd I x] 2 = W

11 Berechnen der Bewegung in Bildern = x W [ J Axd I x] 2 w xdx Unähnlichkeitsfunktion über einen Ausschnitt w Tracking eines Bildausschnitts = Parameter d xx, d xy, d yx,... bestimmen, für welche minimal ist (klingt ja immernoch einfach!!)

12 Berechnen der Bewegung in Bildern Um den Rest zu minimieren, differenzieren wir die Fehlerfunktion über die unbekannten Parameter D und d und setzen das Resultat null. Anschließend linearisieren wir das Ergebnis mit einer verkürzten Taylorentwicklung, was das folgende 6x6 System ergibt: T z=a?

13 Minimierung von : vereinfachter Fall Minimum in ist Nullstelle in gesucht d ' d = 0 ' noch zu kompliziert und mehrdeutig lineare Approximation = sofort eindeutig lösbar '

14 Minimierung von : vereinfachter Fall Minimum in ist Nullstelle in ' gesucht d ' d = 0 Ersatzgerade E' E'(d 0 +d) ' d 0 ' ' d 0 d =0 E ' d 0 d ' ' ' d 0 d T z = ' d 0 a d 1 = d 0 +d d 0

15 Minimierung von : härterer Fall hat die Form d =[ jd ic] 2 c = const. ' d = [ jd ic]2 d h(x) = f ( g(x) ) h'(x) = f'( g(x) ) f(x) = 2[ jd ic] = 2[ jd ic] jd d [ j d ic 0 ] d

16 Minimierung von : härterer Fall ' d = 2[ jd ic] j d d wird linearisiert zur Ersatzgerade Linearform von j d E '=2[ jd 0 j ' d 0 d nullgesetzt und umgestellt E ' d 0 d =0 ic] j d 0 j ' d 0 d d =2 j ' d 0 2 d2 j ' d 0 [ jd 0 ic] j ' d 0 2 T d z = j ' d 0 [id 0 jd 0 ] a

17 Minimierung von : umgekehrter Fall hat die Form d =[ jd ic] 2 zuerst Ersatzfunktion bilden E = [ j d 0 j ' d 0 d g c] 2 c = const. E d 0 d = 2 j d 0 j ' d 0 d 2ic j ' d 0 d j ' d 0 d 2 j ' d 0 2 i ' c 2 (wieder leichter) dann ableiten, nullsetzen und umstellen E '= 2 jd 0 j ' d 0 2ic j ' d 0 2 j ' d 0 2 d j ' d 0 2 T d z = j ' d 0 [id 0 j c] a

18 Taylorlinearisierung der Bildfunktion Linearisierung durch erste Taylorentwicklung f ' a x a T a x= f a 1! Linearteil f ' ' a x a2 2! f ' ' ' a x a3 3! Linearisierung der Bildfunktion heisst... J Axd J xj ' x Axd x J xj ' x Ax xd weiterverfolgung der Gradienten J xj ' x A I xd eines Bildpunktes J xj ' x D xd um Dx+d J xg x D xd...

19 Taylorlinearisierung der Bildfunktion J Axd J xg x D xd in Komponentenschreibweise = J x [G x x G y x][ d xx d xy d yx d yy] x [ d x y] d = J x [G x x G y x][ xd xx yd xy d x y] xd yx yd yy d (1x2)(2x1) = (1x1) ausmultipliziert = J x G x x xd xx yd xy d x G y xxd yx... = J x xg x xd xx yg x xd xy G x xd x xg y xd yx yg y xd yy G y xd y

20 Taylorlinearisierung der Bildfunktion J Axd J xg x D xd in neu zusammengesetzter Vektorschreibweise J x [d xx d yx d xy d yy d x d y ] J Axd J x z T z T v [xg xx xg y x yg x x yg y x G x x G y x ] v

21 Taylorapproximation der Fehlerfunktion = x W [ J Axd I x] 2 d x Linearisierung des Pixelfehlers [ J Axd I x] 2 [ J xz T v I x] 2 ausmultipliziert = J x 2 2 J xz T v 2 J x I x 2 I xz T vi x 2... = 2z T v J x I xz T v 2 J x 2 I x 2 E= x W [2z T v J x I xz T v 2 J x 2 I x 2 ]dx

22 Ableiten der approximierten Funktion E z = [2 z T v J x I xz T v 2 J x 2 I x 2 ]dx z E ist Summe der Pixelfehlerfunktionen, und da f(x) = g(x)+h(x)+... => f'(x) = g'(x)+h'(x)+... x W [2z T v J x I xz T v 2 J x 2 I x 2 ] z dx x W [ 2 z T v J x I x z z T v 2 z J x2 I x2 z 0, da kein z ]dx

23 Vereinfachung: z T v 2 xg xxd xxxg y... J x I x d xx enthält d 2... xy xg y xd xy... J x I x d xy enthält d 2... yx yg x xd yx... J x I x d yx... 2z T v J x I x z xx y x yg = 2 xg x x yg y x G x x G y x v (alternativ) J x I x = 2[ J x I x] z T v z = 2[ J x I x]v

24 Vereinfachung: Kettenregel: f'(g(x))g'(x) innere Ableitung z T v 2 z = 2z T v z T v z = 2z T vv kommutativ umstellen assoziativ z ausklammern = 2v v T z = 2v v T z v v T (6x1)(1x6) = (6x6)

25 Ableiten der approximierten Funktion aus wird x W x W [ 2 z T v J x I x z z T v 2 z ]dx [ 2v [ J x I x] 2v v T z ]dx bzw. 2 x W v [ J x I x]dx 2 x W v v T dx z nullgesetzt und umgestellt x W v v T dx T z = v[ J x I x]dx x W a

26 x W lineares 6x6 Gleichungssystem x 2 G x x 2 x 2 G x xg y x... xg x xg y y x 2 G x xg y x G y x 2 G x xg y x xg x xg y x... G x xg y x G y x 2 nähert D und d dem Minimum in x W G y x 2 G x xg y x d x G x xg y x G y x 2 y d = x W xx d x d d yx d xy d yy x W d y = G xx [ J x I x] G y y xg xx xg y x yg x x [ J x I x] yg x x G x x G y y nähert d dem Minimum in x W [ J xd I x] 2

27 Merkmalsverfolgung in der Praxis automatische Merkmalsverfolgung zwischen jeweils zwei aufeinanderfolgenden Bildern d T 0 D T 0 d Q d T D Q 0 automatische Unähnlichkeitsüberwachung eines Merkmals