MOTION TRACKING. Olaf Christ AIS-Sommersemester 2000 Betreuer: Prof. C. Klauck

Transkript

1 MOTION TRACKING Olaf Christ AIS-Sommersemester 2000 Betreuer: Prof. C. Klauck

2 Motion Tracking Ziele des Vortrags Einsatzgebiete Bewegungsanalyse Methoden Weitere Probleme des Motion Tracking Abschließendes / Ausblick

3 Ziele des Vortrags Vermittlung: von Einsatzgebieten elementarer Probleme des Motion Trackings. einiger Lösungsansätze und Bewertung weitere Probleme des Motion Trackings was ist nun Motion Tracking?

4 Einsatzgebiete Robotvision Fahrzeugtechnik (Crashtests) Leitsysteme (Autopilot) Medizintechnik (Operationshilfe) Sportmedizin (Bewegungsanalyse) Unterhaltungsindustrie (Motion Capturing) Microsoft Explorer Maus (Optischer Sensor) Militär (Lenksysteme)

5 Bewegungsanalyse Was ist Bewegung? Bildsequenzanalyse Blendenproblem Korrespondenzproblem Bildsequenzanalyse Optischer Fluss Methoden / Lösungsansätze

6 Was ist Bewegung Behauptungen: Bewegung stellt sich durch eine Veränderung zwischen Einzelbildern dar. Bewegung stellt sich durch Grauwertänderungen dar.

7 Bewegungsanalyse

8 Bewegungsanalyse

9 Bewegungsanalyse Bewegung kann in Grauwertänderungen resultieren Der Umkehrschluss trifft leider nicht zu Bewegungsanalyse hängt eng mit räumlichen und zeitlichen Grauwertänderungen zusammen,die sich mit Hilfe von lokalen Operatoren ermitteln lassen Operatoren zur Bestimmung des Verschiebungsvektors sehen aber immer nur einen kleinen Ausschnitt

10 Das Blendenproblem? Der Verschiebungsvektor (VV) kann nicht eindeutig bestimmt werden. Punkte können nicht eindeutig wiedergefunden werden.?? Lokale Operatoren liefern wenig Information über Bewegung!

11 Das Korrespondenzproblem vorher nachher mittlerer Teilchenabstand ist größer als der VV mittlerer Teilchenabstand ist kleiner als der VV

12 Das Korrespondenzproblem Wir können keine korrelierenden Punkte in zwei aufeinanderfolgenden Bildern finden Das Blendenproblem ist ein Spezialfall des allg. Korrespondenzproblems Aufnahmefrequenz muss so groß sein, daß der mittlere VV signifikant kleiner als der mittlere Partikelabstand ist. Physikalische stimmt nicht immer mit der sichtbaren K. überein oder es lässt sich nur eine Größe bestimmen.

13 Bildsequenzanalyse u = - tan φ u = - tan φ x tan φ y Geschwindigkeit ist direkt mit der Orientierung verknüpft!

14 Bildsequenzanalyse t x y

15 Bildsequenzanalyse Vorteile: Lösung des Schnappschußproblems Geschwindigkeit kann direkt als Orientierung gemessen werden Größere Robustheit gegenüber zeitweiliger Verdeckung von Objekten Möglichkeit der Bewegungsabschätzung und analytischen Betrachtung der Algorithmen im kontinuierlichen xt-raum Das Blendenproblem bleibt uns aber leider erhalten.

16 Bewegung im Fourierraum Betrachtet die Bewegung im xt-raum im korrespondierenden kώ-raum Geschwindigkeit und Orientierung lassen sich relativ leicht bestimmen Möglichkeit eines zeitlichen Tiefpassfilters Das Blendenproblem wird mittransformiert Objektidentität geht verloren

17 Optischer Fluß Bewegung und Grauwertänderung sind nicht äquivalent Begriffserklärung: Bewegungsfeld: Projektion der Bewegungen in der 3D-Szene auf die Bildebene. Optischer Fluß: Grauwertfluß in der Ebene bzw. die sichtbare Bewegung in der Ebene Nur gleich bei konstanter Beleuchtung in der Bildebene Im kontinuierlichen Raum gilt: Wird der Optische Fluß aus zwei aufeinanderfolgenden Bildern bestimmt, dann erscheint er als Verschiebungsvektor von den Merkmalen des ersten zu denen des zweiten Bildes. Im diskreten Raum entsprechend: Liegt an jedem Bildpunkt solch einen Vektor vor, dann hat man ein Verschiebungsvektorfeld.

18 Optischer Fluß Näherung des optischen Flusses: Wir teilen das VVF durch das Zeitintervall zwischen den beiden Bildern Die Bestimmung des optischen Flusses aus nur zwei aufeinanderfolgenden Bildern ist nicht sehr robust Orts/Zeit -Bilder erlauben eine wesentlich robustere Aussage

19 Optischer Fluß Bewegungsbestimmung im Orts / Zeit-Raum ist robust gegenüber Verdeckung

20 Methoden Differentielle Methoden Mehrkanalbilder Orts/Zeit-Energie Modelle Methoden der kleinsten Quadrate Differentialgeometrische Methoden Alternativen zur Differentiellen Methode: Tensormethode Korrelationsmethode Phasenmethode Robustheit

21 Differentielle Methoden Klassischer Ansatz der Bewegungsanalyse zwischen zwei aufeinanderfolgenden Bildern Es ist nicht möglich den kompletten VV an jedem einzelnen Punkt im Orts/Zeit-Bild zu bestimmen

22 Mehrkanalbilder Nutzt weitere Kanäle, um beide Komponenten des optischen Flusses zu bestimmen Stellt eine Erweiterung der Differentialgeometrischen Modellierung dar und erlaubt die beliebige Vorverarbeitung von Bildern. Ist nur sinnvoll, wenn ein zusätzliches Merkmal auch wirklich neue Information bringt

23 Tensormethode Erlaubt die Berechnung der lokalen Orientierung jedes Objektes unter Zuhilfenahme der Tensor-Rechnung und Eigenwertanalyse. Objektidentität wird beibehalten

24 Korrelationsmethode Analyse der Verschiebung zweier aufeinanderfolgender Bilder Sucht in einem bestimmten Bereich nach der Position der optimalen Ähnlichkeit Zwei Merkmale sind gleich, wenn sie sich nur um einen Faktor α unterscheiden, der die Beleuchtungsunterschiede angibt relativ unempfindlich gegenüber Beleuchtungsänderungen und die Standardmethode bei Stereobildern Hohe (Subpixel)-Genauigkeit sehr rechenintensiv und im allgemeinen auf zwei Bilder beschränkt

25 Phasenmethode die wesentliche Bildinformation ist in der Phase des Bildsignals enthalten Die Methode ist unempfindlich gegenüber Beleuchtungsänderungen Eigentlich ein 1D -Konzept Bei Erweiterung auf 2D erlaubt sie aber sogar die Verarbeitung komplexer Fälle wie sich überlagernder transparenter Objekte

26 Allgemeine Probleme Ungleichmäßige Bewegung führt zu einem Fehler in der Schätzung des Optischen Flusses, der mit dem Quadrat der Beschleunigung wächst. Ein zunehmender Rauschpegel vermindert die Kohärenz zwischen Nachbarschaften

27 Robustheit Differentielle Methoden sind nicht robust gegenüber Beleuchtungsänderungen Die Korrelationsmethode ist robust gegenüber geringen Beleuchtungsänderungen, die Phasenmethode praktisch gar nicht. Phasen- und Tensormethode sind relativ unempfindlich gegenüber Bewegungsdiskontinuitäten

28 Überdeckung Ein weiteres Problem des Motion Trackings Wichtige Teile eines Objekte sind in irgendeiner Art verdeckt Shape-Segmentation Lösungsansatz mittels neuronaler Netze Template / Pattern Matching zur Findung der Region of Interest (ROI) Am besten lösbar mit Kenntnis des zu verfolgenden Objekts

29 Abschließendes /Ausblick Es konnte nur ein winziger Einblick gegeben werden Motion Tracking ist immer noch ein schwieriges komplexes Thema Das Korrespondenzproblem und das Problem der Überdeckung bleiben schwierig und sind noch nicht vollständig gelöst Beleuchtungsänderungen sind ein großes Problem Es gibt allerdings mittlerweile sehr stabile Algorithmen Flexiblere Verfahren wie zb. Template /Pattern Matching die Methode lösen die Methode mit Markern allmählich ab Durch die Veröffentlichung einer Open Source Bibliothek von Intel und die rasante Performancesteigerung der Prozessoren ist M. T. für jedermann anwendbar.

30 Literaturhinweise Jähne 1997 Jähne, Bernd: Digitale Bildverarbeitung: Springer ISBN X Foley 1997 Foley, James D. :Computer Graphics: Principles and Practice: Addison-Wesley ISBN INTEL 2000 Computer Vision Library: Erreichbar am MIT Media Laboratory Computers Watching Football: Erreichbar am Horst Haussecker 1997 Bildfolgenanalyse: Erreichbar am Die Fensterfunktion: Erreichbar am Torsten Rupp Axiales Motion Stereo: Erreichbar am Frank Hering Optimierung der Teilchenzuordnung: Fuzzy Logic: Erreichbar am Dmitry Chetverikov Tracking in computer vision: Erreichbar am Image and Video Computing Group - Boston University Active Blobs:Approach: Erreichbar am Philip McLauchlan Visual Tracking: Erreichbar am Sang-Hwa Lee, Seoul National University (Korea) Jong-Il Park, MIC3, ATR (Japan) Choong-Woong Lee, Seoul National University (Korea) Motion Analysis II, A New Stereo Matching Algorithm Based on Bayesian Model: Erreichbar am Bewegungsschätzung im Spektralraum: Erreichbar am Hydra: Multiple People Detection and Tracking Using Silhouettes: Neil Johnson University of Leeds / Vision Group: Erreichbar am