Realtime Human Body Tracking

Transkript

1 Realtime Human Body Tracking Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang Referenten: Dipl.-Math. Kai Rothaus Dipl.-Inform. Steffen Wachenfeld

2 Gliederung Einleitung Was ist Tracking? Technische Ansätze zum Tracken Tracking Was gibt ein Bild an Informationen her? Was bedeutet Tracking? Korrespondenzproblem Human Body Tracking Realtime Tracking Probleme beim Tracking 2

3 Gliederung 2 Tracking als Minimierungsproblem Trust Region Warum Trust-Region Basis Trust-Region Algorithmus Minimierung einer Polynomfunktion Konvergenzbedingungen Tracking mit Trust-Region Implementierung C++ vs Matlab Klassendiagramm Bsp. fürs Zusammenspiel der Klassen(oder auch nich, sag du) 3

4 Was ist Tracking? Verfolgung eines Objektes für eine gewisse Zeitspanne Ergenbis: Position des Objektes 4

5 Technische Ansätze zum Tracken Akustisches Tracking: Senden und Empfangen von Schallwellen Abstand durch Übertragungsdauer z.b. Sonar, Fledermäuse Mechanisches Tracking: Physikalische Verbidung zwischen mechanischem Arm und Objekt Mitbewegung des Arms liefert Positionsinformation Elektromagnetisches Tracking: Transmitter erzeut Magnetfeld Gemessen mit Sensoren Visuelles Tracking: Objekt wird anhand seiner Pixel getrackt 5

6 Was gibt ein Bild an Informationen her? Primär: Position und Farbwert von Pixeln Sekundär: Kanteninformation Regionsinformation u.v.m. 6

7 Was bedeutet Tracking? Objekt wird durch Pixel beschrieben Tracking: Finden dieser Pixel im Folgebild 7

8 Korrespondenzproblem i.a nicht lösbar Man betrachtet Bildbereich (Template) 8

9 Human Body Tracking Tracken von Personen Auch: Tracken von Körperteile Warum? Informationen über Position(Überwachung) Durch Mustererkennung Bewegungsanalyse 9

10 Probleme beim Tracking Jede Änderung an Pixelwerten Insbesondere: Skalierung Helligkeitsänderung Spiegelung und Refektion Verdeckung Rotation/Formänderung Schattenwurf Schnelle Bewegungen Schlechte Bilddaten 10

11 Real-Time Tracking Flüssig Wahrgenommene Abfolge von Bildern Real-Time nach Fernsehnorm Pal bzw. NTSC: 25 bzw 30 Bilder pro Sekunde 11

12 Real-Time Tracking mit Brute-Force? Das gesamte Bild durchsuchen? Zu langsam! Beispiel: Bild in Pal-Auflösung ( Pixel) Template mit 30 x 30 Pixeln Notwendige Iterationen: (768-30)*(540-30)*900 = Aktuelles PC-System schafft ca Befehle in einer Sekunde Unterschied: Faktor von 3 Bei Berücksichtigung von Skalierung und Rotation des Templates um ein Vielfaches grösser

13 Tracking als Minimierungsproblem Sukzessiver Tracking Algorithmus Objekt im Startbild festlegen Objekt im Folgebild finden 13

14 Objekte im Startbild festlegen Durch Menschlichen Benutzer Durch automatische Erkennungsverfahren Allgemein aufwändig, nicht für weiteres Tracking 14

15 Objekt im Folgebild finden Formulierung als Minimierungsproblem Paramaterraum X Kostenfunktion f : X R Lösung des Teilproblems per Minimierung der Kostenfunktion x k1 :=arg min x X {f x} 15

16 Parameterraum Interpretation Beispiel: Verschiebung x X X =R 2 Ein kodiert eine Behauptung des Typs: Das zu trackende Objekt befindet sich nun an jener Stelle x R 2 16 y R 2

17 Kostenfunktion Interpretation cx R ist ein Maß für die Bedenken, mit denen man die Behauptung, das Objekt befände sich nun an Stelle x, als Wahrheit anerkennt. Dabei kennt die Kostenfunktion alle bisherigen Trackingergebnisse. Diese Bedenken sollen minimiert werden. 17

18 Kostenfunktion: Beispiel Kosten für Verschiebung (-4,-7) 18

19 Erweiterter Parameterraum Skalierung Rotation 19 X =R 2 R [0, 2 ] R 4

20 Kostenfunktion: Ähnlichkeit Ähnlichkeit mit wahrem Aussehen Minimierung: Distanz zum wahren Aussehen Große Ähnlichkeit, niedrige Kosten Geringe Ähnlichkeit, hohe Kosten 20

21 Kostenfunktion: Plausiblität Unplausibel: größe Sprünge Großer Sprung, hohe Kosten Fast gleiche Position, niedrige Kosten 21

22 Ähnlichkeitsvergleich: Typen Direkter Vergleich Vergleich von Merkmalen =? =? 22

23 Was ist das wahre Aussehen? Festgelegte Objekt im Startbild Veränderung des Aussehens Immer zuletzt getracktes Objekt Template Drifting 23

24 Veränderung des Aussehens 24

25 Template Drifting Maximaler Fehler pro Schritt: x [ 2,2] 2 25 Gesamtfehler: x= 4, 6

26 Lösungsvorschläge Problem heißt: Template-Update-Problem Update nur, falls Kostenfunktion gering Bestimmung eines repräsentativen Templates aus allen vorhergegangenden Trackingresultaten Geschickte Auswahl (alle, nur die letzten 3, nur die mit geringen Kosten,...) Gewichtung per Kosten Nach Bestimmung der aktuellen Position und des neuen Templates: nochmaliges Tracking mit neuem Template 26

27 unter Kenntniss der bisherigen Ergebnisse Alle vorhergegange, minimale Parameter x k X damit: die Position und das Aussehen des Objektes zu jedem vorhegegangenden Bilde der Sequence Dient: Bestrafung unplausibler Bewegungen unter Berücksichtigung der vorhergegangenen. Sowie: Template-Update 27

28 Vergleich und Merkmale Vergleich liefert (Un-)Ähnlichkeitsmaß, geeignet als Kostenfunktion Farb- und Intensitätshistogramme Für jeden Farb- bzw. Intensitätswert: Wahrscheinlichkeit, dass ein Pixel im Bild diesen Wer hat Vorverarbeitung: Verschieben um Durschnittswert Gewichtung (Pixel nähe der Mitte wichtiger) Kumulative Variante Vergleich von zwei Histogrammen z.b mit beliebiger Metrik des R n 28

29 Vergleich und Merkmale Joint Histogram Für jedes Paar von Farbwerten (a,b) Wahrscheinlichkeit, dass ein gegebener Pixel im 1. Bild den Wert a hat, und im zweiten den Wert b Jede gegebene Spalte: P(X Y) Jede gegebene Zeile: P(Y X) Damit Maße für Ähnlichkeit: Mutual Information symmetrisch Cross-CRE Vorteil: Für feiner werdende Diskretisierungen konvergiert die (aufgrund pixelbasierter Bilddarstellung einzusetzende) diskrete variante gegen die kontinuierliche. 29

30 Vergleich und Merkmale Kantenbilder Direkter Vergleich Kenngröße: Kantendichte 30

31 Kombination von Kostenfunktionen Gibt kein einzelnes Merkmal, dass gleichzeitig ein Template voll charakterisiert und sinnvoll zu vergleichen ist. Daher Kombination von Vergleichen verschiedener Merkmale Kantenbild erfasst Form Histogramme erfassen Farbe Zu achten auf: typische Werte der zu kombinierenden Kostenfunktionen Wichtigkeit der einzelnen Kostenfunktionen 31

32 Wie findet man das Minimum? Erinnerung: Bestimmung des Minimums x k1 :=arg min {f x} x X Anhand der vorgestellten Merkmale klar: Kostenfunktionen meist nich analytisch Darstellbar Daher keine direkte Minimumbestimmung per 1.Ableitung o.ä. Schränkt man in unserem Parameterraum die Verschiebung x R 2 ein, lässt sich nach Diskretisierung per Brute Force das Minimum bestimmen allerdings viel zu Rechenaufwändig. 32

33 Näherungsweise Minimierung Verschiedene Verfahren bekannt Beachte: Rechenzeit vor allem während Berechnung der Kostenfunktion Anforderungen: wenige Evaluierungen schnelle Konvergenz Idee: Lokale Modellierung der Kostenfunktion durch einfacher zu minimierende Funktion 33

34 Iterative Minimierung Viele Verfahren iterativ Insbesondere: Ergebnis abhängig vom Startwert Annahme: Wahrscheinlichkeit, echtes Mininum zu finden, proportional zur Nähe des Startwertes zum echten Minimum. Vor Tracking per Minimierung: möglichst gute Vorhersage der Folgeposition Kalmann Filter Naive Variante: letzte Position als Startwert für Minimierungsverfahren 34

35 Die Trust Region Methode Iteratives Verfahren zur Minimierung von f(x) Schafft dies mit wenigen Evaluationen von f Kostenfunktionen i.a. sehr aufwendig Gut geeignet zum Tracking 35

36 Basis Trust-Region Algorithmus Eingabe: Kostenfunktion f, Startpunkt x Trust-Region spezifisch: Trust-Region Model-Funktion Schranken bzw. Grenzwerte Grundidee: Approximation von f durch die Model- Funktion innerhalb der Trust-Region 36

37 Basis Trust-Region Algorithmus (2) Definiere m k Finde so dass: - bei hinreichend minimiert wird - m k s k x k s k x k s k in B k liegt s k 37

38 Basis Trust-Region Algorithmus (3) 3.) Güte-Kriterium p k = f x k f x k s k m x k m x k s k p k 1 p k 1 x k 1 :=x k s k x k 1 :=x k 38

39 Basis Trust-Region Algorithmus (4) 4.) Modifikation des Trust-Region Radius a k1 { b } c 39

40 Trust-Region Beispiel Minimierung einer Polynomfunktion f x=0,7 x 3 x

41 Konvergenzbedingungen Annahmen für die Konvergenz an: Die Ziel-Funktion Die Modell-Funktion Die Norm Die model-reduktion Zentrale Annahmen: f ist 2 mal stetig differenzierbar f ist nach unten beschränkt Hesse Matrix von f ist nach unten beschränkt 41