MOTION TRACKING. Olaf Christ AIS-Sommersemester 2000 Betreuer: Prof. C. Klauck

MOTION TRACKING Olaf Christ AIS-Sommersemester 2000 Betreuer: Prof. C. Klauck

Motion Tracking Ziele des Vortrags Einsatzgebiete Bewegungsanalyse Methoden Weitere Probleme des Motion Tracking Abschließendes / Ausblick

Ziele des Vortrags Vermittlung: von Einsatzgebieten elementarer Probleme des Motion Trackings. einiger Lösungsansätze und Bewertung weitere Probleme des Motion Trackings was ist nun Motion Tracking?

Einsatzgebiete Robotvision Fahrzeugtechnik (Crashtests) Leitsysteme (Autopilot) Medizintechnik (Operationshilfe) Sportmedizin (Bewegungsanalyse) Unterhaltungsindustrie (Motion Capturing) Microsoft Explorer Maus (Optischer Sensor) Militär (Lenksysteme)

Bewegungsanalyse Was ist Bewegung? Bildsequenzanalyse Blendenproblem Korrespondenzproblem Bildsequenzanalyse Optischer Fluss Methoden / Lösungsansätze

Was ist Bewegung Behauptungen: Bewegung stellt sich durch eine Veränderung zwischen Einzelbildern dar. Bewegung stellt sich durch Grauwertänderungen dar.

Bewegungsanalyse

Bewegungsanalyse

Bewegungsanalyse Bewegung kann in Grauwertänderungen resultieren Der Umkehrschluss trifft leider nicht zu Bewegungsanalyse hängt eng mit räumlichen und zeitlichen Grauwertänderungen zusammen,die sich mit Hilfe von lokalen Operatoren ermitteln lassen Operatoren zur Bestimmung des Verschiebungsvektors sehen aber immer nur einen kleinen Ausschnitt

Das Blendenproblem? Der Verschiebungsvektor (VV) kann nicht eindeutig bestimmt werden. Punkte können nicht eindeutig wiedergefunden werden.?? Lokale Operatoren liefern wenig Information über Bewegung!

Das Korrespondenzproblem vorher nachher mittlerer Teilchenabstand ist größer als der VV mittlerer Teilchenabstand ist kleiner als der VV

Das Korrespondenzproblem Wir können keine korrelierenden Punkte in zwei aufeinanderfolgenden Bildern finden Das Blendenproblem ist ein Spezialfall des allg. Korrespondenzproblems Aufnahmefrequenz muss so groß sein, daß der mittlere VV signifikant kleiner als der mittlere Partikelabstand ist. Physikalische stimmt nicht immer mit der sichtbaren K. überein oder es lässt sich nur eine Größe bestimmen.

Bildsequenzanalyse u = - tan φ u = - tan φ x tan φ y Geschwindigkeit ist direkt mit der Orientierung verknüpft!

Bildsequenzanalyse t x y

Bildsequenzanalyse Vorteile: Lösung des Schnappschußproblems Geschwindigkeit kann direkt als Orientierung gemessen werden Größere Robustheit gegenüber zeitweiliger Verdeckung von Objekten Möglichkeit der Bewegungsabschätzung und analytischen Betrachtung der Algorithmen im kontinuierlichen xt-raum Das Blendenproblem bleibt uns aber leider erhalten.

Bewegung im Fourierraum Betrachtet die Bewegung im xt-raum im korrespondierenden kώ-raum Geschwindigkeit und Orientierung lassen sich relativ leicht bestimmen Möglichkeit eines zeitlichen Tiefpassfilters Das Blendenproblem wird mittransformiert Objektidentität geht verloren

Optischer Fluß Bewegung und Grauwertänderung sind nicht äquivalent Begriffserklärung: Bewegungsfeld: Projektion der Bewegungen in der 3D-Szene auf die Bildebene. Optischer Fluß: Grauwertfluß in der Ebene bzw. die sichtbare Bewegung in der Ebene Nur gleich bei konstanter Beleuchtung in der Bildebene Im kontinuierlichen Raum gilt: Wird der Optische Fluß aus zwei aufeinanderfolgenden Bildern bestimmt, dann erscheint er als Verschiebungsvektor von den Merkmalen des ersten zu denen des zweiten Bildes. Im diskreten Raum entsprechend: Liegt an jedem Bildpunkt solch einen Vektor vor, dann hat man ein Verschiebungsvektorfeld.

Optischer Fluß Näherung des optischen Flusses: Wir teilen das VVF durch das Zeitintervall zwischen den beiden Bildern Die Bestimmung des optischen Flusses aus nur zwei aufeinanderfolgenden Bildern ist nicht sehr robust Orts/Zeit -Bilder erlauben eine wesentlich robustere Aussage

Optischer Fluß Bewegungsbestimmung im Orts / Zeit-Raum ist robust gegenüber Verdeckung

Methoden Differentielle Methoden Mehrkanalbilder Orts/Zeit-Energie Modelle Methoden der kleinsten Quadrate Differentialgeometrische Methoden Alternativen zur Differentiellen Methode: Tensormethode Korrelationsmethode Phasenmethode Robustheit

Differentielle Methoden Klassischer Ansatz der Bewegungsanalyse zwischen zwei aufeinanderfolgenden Bildern Es ist nicht möglich den kompletten VV an jedem einzelnen Punkt im Orts/Zeit-Bild zu bestimmen

Mehrkanalbilder Nutzt weitere Kanäle, um beide Komponenten des optischen Flusses zu bestimmen Stellt eine Erweiterung der Differentialgeometrischen Modellierung dar und erlaubt die beliebige Vorverarbeitung von Bildern. Ist nur sinnvoll, wenn ein zusätzliches Merkmal auch wirklich neue Information bringt

Tensormethode Erlaubt die Berechnung der lokalen Orientierung jedes Objektes unter Zuhilfenahme der Tensor-Rechnung und Eigenwertanalyse. Objektidentität wird beibehalten

Korrelationsmethode Analyse der Verschiebung zweier aufeinanderfolgender Bilder Sucht in einem bestimmten Bereich nach der Position der optimalen Ähnlichkeit Zwei Merkmale sind gleich, wenn sie sich nur um einen Faktor α unterscheiden, der die Beleuchtungsunterschiede angibt relativ unempfindlich gegenüber Beleuchtungsänderungen und die Standardmethode bei Stereobildern Hohe (Subpixel)-Genauigkeit sehr rechenintensiv und im allgemeinen auf zwei Bilder beschränkt

Phasenmethode die wesentliche Bildinformation ist in der Phase des Bildsignals enthalten Die Methode ist unempfindlich gegenüber Beleuchtungsänderungen Eigentlich ein 1D -Konzept Bei Erweiterung auf 2D erlaubt sie aber sogar die Verarbeitung komplexer Fälle wie sich überlagernder transparenter Objekte

Allgemeine Probleme Ungleichmäßige Bewegung führt zu einem Fehler in der Schätzung des Optischen Flusses, der mit dem Quadrat der Beschleunigung wächst. Ein zunehmender Rauschpegel vermindert die Kohärenz zwischen Nachbarschaften

Robustheit Differentielle Methoden sind nicht robust gegenüber Beleuchtungsänderungen Die Korrelationsmethode ist robust gegenüber geringen Beleuchtungsänderungen, die Phasenmethode praktisch gar nicht. Phasen- und Tensormethode sind relativ unempfindlich gegenüber Bewegungsdiskontinuitäten

Überdeckung Ein weiteres Problem des Motion Trackings Wichtige Teile eines Objekte sind in irgendeiner Art verdeckt Shape-Segmentation Lösungsansatz mittels neuronaler Netze Template / Pattern Matching zur Findung der Region of Interest (ROI) Am besten lösbar mit Kenntnis des zu verfolgenden Objekts

Abschließendes /Ausblick Es konnte nur ein winziger Einblick gegeben werden Motion Tracking ist immer noch ein schwieriges komplexes Thema Das Korrespondenzproblem und das Problem der Überdeckung bleiben schwierig und sind noch nicht vollständig gelöst Beleuchtungsänderungen sind ein großes Problem Es gibt allerdings mittlerweile sehr stabile Algorithmen Flexiblere Verfahren wie zb. Template /Pattern Matching die Methode lösen die Methode mit Markern allmählich ab Durch die Veröffentlichung einer Open Source Bibliothek von Intel und die rasante Performancesteigerung der Prozessoren ist M. T. für jedermann anwendbar.

Literaturhinweise Jähne 1997 Jähne, Bernd: Digitale Bildverarbeitung: Springer ISBN 3-540-61379-X Foley 1997 Foley, James D. :Computer Graphics: Principles and Practice: Addison-Wesley ISBN 0-201-84840-6 INTEL 2000 Computer Vision Library: http://developer.intel.com/software/opensource/index.htm Erreichbar am 25.6.2000 MIT Media Laboratory Computers Watching Football:http://www-white.media.mit.edu/vismod/demos/football/tracking.htm Erreichbar am 25.6.2000 Horst Haussecker 1997 Bildfolgenanalyse: http://klimt.iwr.uni-heidelberg.de/projects/baw/diplhhaus/node1.html Erreichbar am 25.6.2000 Die Fensterfunktion: http://129.206.107.84/publicfg/projectb/cft/dipluschimpf/node16.html Erreichbar am 25.6.2000 Torsten Rupp Axiales Motion Stereo: http://www.fzi.de/mmr/german/projects/ams/ams2.html Erreichbar am 25.6.2000 Frank Hering Optimierung der Teilchenzuordnung: Fuzzy Logic: http://klimt.iwr.uni-heidelberg.de/projects/paper/doktor/node65.html Erreichbar am 25.6.2000 Dmitry Chetverikov Tracking in computer vision: http://visual.ipan.sztaki.hu/pivweb/node2.html Erreichbar am 25.6.2000 1997 Image and Video Computing Group - Boston University Active Blobs:Approach: http://irc.bu.edu/faculty/sclaroff/ivc/activeblobs/approach.html Erreichbar am 25.6.2000 Philip McLauchlan Visual Tracking: http://http.cs.berkeley.edu/~pm/papers/bmvc97/node2.html Erreichbar am 25.6.2000 Sang-Hwa Lee, Seoul National University (Korea) Jong-Il Park, MIC3, ATR (Japan) Choong-Woong Lee, Seoul National University (Korea) Motion Analysis II, A New Stereo Matching Algorithm Based on Bayesian Model: http://www.causalproductions.com/temp/index/ic98s507.htm Erreichbar am 25.6.2000 Bewegungsschätzung im Spektralraum: http://est340.e-technik.tu-ilmenau.de/pvk/bericht/4-08.htm#bewegungsschätzun Erreichbar am 25.6.2000 Hydra: Multiple People Detection and Tracking Using Silhouettes: http://www.umiacs.umd.edu/~hismail/hydra_outline.htm Neil Johnson University of Leeds / Vision Group: http://www.scs.leeds.ac.uk/neilj/research.html Erreichbar am 25.6.2000