Real Time Tracking of the Human Body. Hauptseminar Bildverstehen: Videobasierte Erkennung und Analyse menschlicher Aktionen. Thomas Endres SS 2006

Transkript

1 Real Time Tracking of the Human Body Hauptseminar Bildverstehen: Videobasierte Erkennung und Analyse menschlicher Aktionen Thomas Endres SS 2006

2 Echtzeit-Erkennung Erkennung Anwendungsmöglichkeiten: Interfaces zur Kommunikation mit dem Computer Überwachungskameras Intelligente Roboter Realisierung: Schwierig, da sehr aufwändig Effiziente Algorithmen nötig Abstraktion nötig 2

3 Ansätze Ansätze zur Erkennung menschlicher Bewegung: Partikelfilterung Analyse-Synthese Rekursive Filter Partikelfilterung und Analyse-Synthese scheiden aus, da sie für die Erkennung von Menschen nicht echtzeitfähig sind. Rekursive Filter sind, falls sie effizient implementiert wurden, dazu fähig. 3

4 Rekursive Filter Echtzeit-Systeme Pfinder: 1997 vorgestellt 2D-Erkennung sich bewegender Menschen Abstraktion durch 2D-Blobs Dyna: 2000 vorgestellt 3D-Erkennung sich bewegender Menschen Abstraktion durch 3D-Blobs Skelett-Modell Erkennung mehrerer Personen gleichzeitig 4

5 Rekursive Filter - Grundlagen Rekursive Filter: Synthese einer Vorhersage aus der Beobachtung Rückgabe des Wissens aus der Vorhersage an die Low-Level- Prozesse Abstraktion des hochdimensionalen Objektzustands des Videosignals (Merkmale werden extrahiert) Dyna geht darüber hinaus: Erstellung der Abstraktion und Synthese der Vorhersage in 3D Skelett-Modell zur vollständigen Rekonstruktion der Haltung 5

6 Was folgt? 1. Theorie a. Modell menschlichen Bewegungen b. Modell eines Beobachters menschlicher Bewegung 2. Dyna-Implementierung a. Modell des Systems b. Modell der Abstraktion (Merkmale) c. Dynamisches Modell (Beschränkungen) d. Verhaltensmodell e. Inverses Beobachtungsmodell 3. Zusammenfassung und Videos 6

7 Modell menschlicher Bewegungen v stellt hochrangige Ziele dar (z.b. Arm um 10 drehen) und wird von der Kontrolle in die Signale u transformiert. u sind die Signale, die den Körper z.b. dazu anweisen, einen Muskel anzuspannen. x ist der Körperzustand. Zur Berechnung der nächsten Signale wird dieser an die Kontrolle zurückgeliefert. Das Rauschen θ verfälscht die Beobachtung y. Nur y kann vom Beobachter wahrgenommen werden. 7

8 Modell des Beobachters (ideal) Man nennt dieses Modell ideal, da der Beobachter die Signale u der Kontrolle kennt. Der Beobachter erstellt unter Berücksichtigung der Signale u eine eigene Vorhersage des Zustands, xˆ, und daraus eine vermutete Beobachtung ŷ. Diese vermutete Beobachtung vergleicht er mit der tatsächlich eingetretenen Beobachtung y und berechnet die Unterschiede y ~ (Innovationen v) zwischen den beiden. Die Innovationen werden der nächsten Berechnung der Vorhersage zugrunde gelegt. 8

9 Modell des Beobachters (real) Man nennt dieses Modell real, da der Beobachter die Signale u der Kontrolle nicht mehr kennt. Ein Weglassen der Signale ist nicht sinnvoll, da der dabei entstehende Fehler = K H B u ε t+ 1 mit dem Fehler im nicht vorhandenen u ansteigt. Eine Zufallsvariable für u ist führt ebenfalls zu schlechten Ergebnissen, da auch hier der Fehler zu groß wird. t t t 9

10 Modell des B. (Signalsynthese) Die Signale u werden nun ebenfalls vorhergesagt. Durch die Vorhersage der Signale kann der Fehler minimiert werden. Allerdings ist dafür Domänenwissen über die Funktionsweise der Kontrolle nötig (aus der Neuroforschung). 10

11 Modell des B. für Analyse-Synthese In der Phase der Abstraktion werden Merkmale aus dem Bild gefiltert. Der Beobachter hat keinen Zugriff mehr auf die Beobachtung selbst, sondern nur noch auf deren Abstraktion. Die Dimensionalität des Objektzustands wird reduziert. Die Analyse der Bewegung wird vereinfacht (Merkmale sind einfacher zu bestimmen als Körperteile auf dem Bild). Führt allerdings zu Fehlern bei Überdeckungen. 11

12 Modell des B. für rekursive Filter Der Beobachter hat nun trotz der Abstraktion auch Zugriff auf die Beobachtung Überdeckungen werden vorhergesagt und Informationen darüber werden den Low-Level-Prozessen zur Verfügung gestellt, was für die Fehlerkorrektur genutzt wird. Verdeckungen können daher ausgebessert werden. 12

13 Vergleich der beiden Modelle Die beobachtete Person dreht die Hände vor sich. Ergebnis: Ohne Feedback keine Erkennung der Kreisförmigkeit oder Periodizität Mit Feedback deutlich besseres Ergebnis 13

14 Zusammenfassung Beobachter-Modell Das idealisierte Beobachter-Muster geht davon aus, dass der Beobachter Zugriff auf die Signale der Kontrolle hat. Dem realen Modell fehlen diese Signale. Hier werden sie anders hergeleitet. Die beste Möglichkeit, dies zu tun, ist, sie aus alten Zuständen und aktuellen Innovationen zu schätzen. Allerdings benötigt man dafür Domänenwissen. Um die Bilder (hochdimensionaler Objektzustand) analysieren zu können, ist eine Abstraktion nötig. Dazu werden Merkmale aus dem Bild extrahiert. Die Abstraktion kann entweder völlig unabhängig vom Beobachter geschehen oder unter Einbezug seines Wissens. Die erste Variante kann jedoch vorhersehbare Fehler wie eine bevorstehende Überdeckung nicht erkennen. Rekursive Filter verwenden daher die zweite Alternative. 14

15 Modell des Dyna-Systems Mithilfe zweier Kameras wird ein 3D-Bild der Abstraktion erstellt. Das dynamische Modell trifft unter Berücksichtigung des Verhaltensmodells eine Vorhersage für die nächste Beobachtung. Die Vorhersage wird in 2D-Koordinaten zurücktransformiert und den Low-Level-Prozessen wieder zur Verfügung gestellt. 15

16 Modell der Abstraktion Zusammengehörige Bereiche werden als Wahrscheinlichkeits- Verteilungen (Gaußsch) modelliert. Sie werden auch Blobs genannt. Die Verteilung wird durch die Parameter Erwartungswert und Kovarianz bestimmt, oder aber durch das 5-Tupel (in 2D) bzw. das 9-Tupel (in 3D), wie oben dargestellt. Benötigt wird für die Tupel nur der Mittelpunkt (Erwartungswert), ein Richtungsvektor sowie die Länge in alle Richtungen. 16

17 Modell der Abstraktion (Blobs) Um zu bestimmen, zu welchem Blob ein Pixel gehört, wird ein Maximum Likelihood-Schätzer verwendet. Wurde der Pixel als zugehörig zum Blob erkannt, muss die Verteilung neu berechnet werden, da sie sich verändert hat. Um einen Blob zu erzeugen, lässt man ihn vom Zentrum eines Objekts aus zu dessen Rand hin wachsen (Growing Out). 17

18 Dynamisches Modell Menschliche Bewegung ist beschränkt durch Geometrie, Physik und angeeignetes Verhalten. Geometrische und physikalische Einschränkungen der Bewegungen können durch das dynamische Modell realisiert werden. Wichtig hierfür: Erstes Newtonsches Gesetz x && = W X Man unterscheidet zwischen Hard Constraints und Soft Constraints. 18

19 Dynamisches M. (Hard Constraints) Das Objekt darf nur eine bestimmte Bewegung durchführen (hier entlang der Beschränkungslinie). Dies geschieht durch die Vorgehensweise Virtual Work: Hierbei werden alle Kraftvektoren X zugelassen, allerdings wird eine Gegenkraft C berechnet, um die Bewegung wieder in die gewünschte Richtung zu lenken. Die Kraft C darf dem System keine Energie zuführen, da dies zu Instabilität führen kann. 19

20 Dynamisches M. (Soft Constraints) Falls ein Punkt nur zu einem anderen Punkt hingezogen werden soll, aber keine absolute Beschränkung existiert, verwendet man die sog. Soft Constraints. Ein Soft Constraint ist ein Potentialfeld, zu dem ein Punkt hingezogen wird. Werden zu starke Einschränkungen getroffen, nähert sich das Verhalten eines Soft Constraints dem eines Hard Constraints an und sollte besser als solcher modelliert werden. Beobachtungen sind störungsbehaftet und werden ebenfalls als Soft Constraints modelliert, um die Störungen filtern zu können. 20

21 Verhaltensmodell Durch ein rein auf Physik basierendes dynamisches Modell sind menschliche Bewegungen nicht gut zu beschreiben. Daher wird ein Verhaltensmodell verwendet: Die Wahl eines bestimmten Verhaltens erfolgt durch Hidden Markov Models (HMMs). Mit mehreren HMM s können Alphabete erstellt werden. Alphabete werden verwendet, um die aktuelle Bewegung einer bestimmten Aktion zuzuordnen. Mit der Auswahl eines geeigneten Alphabets für die aktuelle Bewegung können Bewegungen analysiert werden. 21

22 Inverses Beobachtungsmodell Die Vorhersage geschieht in 3D. Um von den 3D-Darstellungen zu 2D-Darstellungen zu gelangen, müssen diese zuerst in zweidimensionale Koordinaten projiziert werden. Die Normalverteilung der 3D-Blobs soll dabei in eine 2D- Normalverteilung transformiert werden. 22

23 Inverses Beobachtungsmodell Perspektivische Projektion Orthographische Projektion Perspektivisch korrekt Führt nicht zu 2D-Normalverteilung (Kovarianz nicht bestimmbar) Perspektivisch nicht korrekt (zu große Objekte) Führt zu 2D-Normalverteilung 23

24 Inverses Beobachtungsmodell Skalierte orthographische Projektion Perspektivisch (annähernd) korrekt Führt zu 2D-Normalverteilung In Dyna verwendet man aufgrund obiger Eigenschaften diese Projektion. 24

25 Bewegungserkennung in Dyna Dyna ist ein System, das gute Ergebnisse für verschiedenste Situationen liefert, z.b. für eine normale Handbewegung oder aber die Kollision einer Hand mit einem Objekt der Szene. 25

26 Zusammenfassung Dyna Dyna ist ein Echtzeit-System zur Erkennung und Analyse menschlicher Aktionen. und 3D-Normal- Die Abstraktion geschieht durch 2Dverteilungen, sog. Blobs. Physikalische Beschränkungen werden durch Hard Constraints und Soft Constraints für absolute bzw. relative Einschränkungen beschrieben. Hard Constraints werden durch eine Gegenkraft erreicht Soft Constraints werden als Potentialfeld modelliert Ein Verhaltensmodell sorgt für eine realistische Interpretation menschlicher Aktionen Das inverse Beobachtungsmodell transformiert die 3D-Blobs zurück in 2D-Blobs. Dies geschieht über eine skalierte orthographische Projektion. 26

27 Zusammenfassung Durch komplexe Modellierung können rekursive Filter Menschen in Echtzeit erkennen und ihre Aktionen analysieren. Den rekursiven Filtern liegt ein abgeändertes Beobachter- Muster zugrunde. Über den alten Zustand und aktuelle Innovationen werden Vorhersagen für die Zukunft getroffen. Die Vorhersagen werden den Low-Level-Prozessen wieder zur Verfügung gestellt, um vermeidbare Fehler wie z.b. Überdeckungen korrigieren zu können. Durch die 3D-Darstellung der Abstraktion können menschliche Bewegungen noch zuverlässiger erkannt werden. 27