Peter Pichlmaier SS 2006

Transkript

1 Recovering 3D Human Body Configurations Using Shape Contexts Hauptseminar Bildverstehen: Videobasierte Erkennung und Analyse menschlicher Aktionen SS 2006

2 Gliederung 1. Grundprinzip exemplarbasierter Verfahren 2. Bilderkennung mittels Shape Contexts Idee Schritte des Verfahrens Optimierung Beispiele Videoerkennung mittels Motion Descriptors Problemstellung Schritte des Verfahrens Beispiele Erweiterte Anwendungen Bewertung 2

3 Grundprinzip exemplarbasierter Verfahren Problem: Kontext notwendig Ohne Details kein Kontext Exemplardatenbanken: manuell markierte Exemplare kein direktes Erkennen von Details Vergleich des Testbildes und Exemplars Ausgabe: Daten des besten Exemplars 3

4 Grundprinzip exemplarbasierter Verfahren Testbild Vergleich Daten Bestes Exemplar 4

5 Idee Shape Contexts Manuell markierte Exemplardaten: 14 Gelenkpunkte Kopf Schultern Ellbogen Hände Bauch Hüfte Knie Knöchel 5

6 Idee Shape Contexts 1. Kantendetektor und Sample Points Shape 2. Korrespondierende Punkte in Exemplar und Testbild Vergleichmöglichkeit 3. Deformation des Exemplarshapes in das Testshape Kinematische Kette 2DGelenkpunkte 4. 3DRekonstruktion 6

7 Shapeberechnung Kantendetektor externe Konturen interne Konturen Auswahl von Sample Points aus Kanten Shape: Eckpunkte Tangenten 7

8 Korrespondierenden Punkte Erweiterte ShapeKontextdeskriptoren: polare Histogramme Aufsummierung der Tangenten pro Bin 2ddimensionaler Vektor aus d Bins Berechnung für jeden Punkt 8

9 Korrespondierenden Punkte Problem: Welcher Punkt gehört zu welchem? Vektorenvergleiche bipartiter Graph: Punkte als Knoten Vergleichswerte als Kanten Ausreißerpunkt Testbild Exemplar Zuweisungoptimierer 9

10 Deformation Methode: kleinste Quadrate (Punktabweichungen) Bis zu vier Iterationsschritte Abweichung: Start: Exemplar Ziel: Testbild 10

11 Experimente: Ausschlussalgorithmus Anatomische Beschränkungen Bewegungsmodell mit 9 Segmenten: Torso Translation Oberarme Unterarme Oberschenkel Unterschenkel Rotation Zuordnung der Punkte: Exemplar: Nächste Knochenlinie Testbild: Korrespondierende Punkte 11

12 Wiederholung: Matching Vergleich: Testbild und einzelnes Exemplar 1. Kantendetektor Shape 3. Erweiterte ShapeDeskriptoren korrespondierende Punkte 3. Mehrmalige Deformation Gelenkpunkte und Wertung des Exemplars Trivialer Ansatz: Vergleich mit allen Exemplaren nicht praktikabel : 2030 s pro Exemplar 12

13 Optimierung: Ausschlussalgorithmus Viele Exemplare eindeutig unpassend Aussortieren mittels RSCs Representative Shape Context (RSC): Einzelnes Radialhistogramm Berechnung aus allen Shapepunkten Verfahren: Vorausberechnung: ca. 800 Shape Contexts pro Exemplar nur 510 RSCs für Testbild Summe: Vergleichswerte RSC und bester SC schnelle Auswahl: 10 sinnvollste Exemplare 13

14 Optimierung: Teilexemplare Problemstellung: Mehr Details wesentlich mehr Exemplare doppelte Exemplarzahl Lösung: Teilexemplare getrennte Bewertung der Segmente Vorsicht: anatomische Einschränkungen 14

15 Optimierung: Teilexemplare Exemplare immer konsistent Abstände zwischen Gelenken als Grenzen verpflichtend für Kombinationen Testbild Exemplare ungültige gültige Kombination 15

16 3D Rekonstruktion Verfahren von Taylor 3DModell Eingabedaten: 2DGelenkpunkte X und Y Koordinaten Körperteillängen relative Z Koordinaten Closer Endpoint Labels Reihenfolge Hauptseminar Bildverstehen: Recovering 3d Human Body Configurations Using Shape Contexts 16

17 Experimente: Ausschlussalgorithmus Testbild die zehn besten Exemplare 17

18 Experimente: Problemfaktor Kleidung Testbild Exemplar Testbild Exemplar 18

19 Experimente: Teilexemplare Ganze Exemplare Teilexemplare leichte Verbesserung Risiko: mehrfache Verwendung von Pixeln 19

20 Experimente: Küchenschabe Identisches Verfahren Bewegungsmodell mit zwei zusätzlichen Körpergliedern 20

21 Motion Descriptor: Problemstellung Mittlere Entfernung: 30 PixelFiguren Details nicht auswertbar nötig: robuster Motion Descriptor 21

22 Schritte Exemplarbasierter Ansatz: Sequenzdatenbank manuelle Beschreibung optional 2DGelenkpunkte Verfahren: 1. Stabilisierung und Optical Flow 2. Auftrennung und Glättung Motion Descriptor 3. Sequenzvergleich 22

23 Stabilisierung Tracker Zentrierung auf Figur und Ausschnitt Bedingung: ähnliche Figur ähnlicher Ausschnitt Verlust von Translationen 23

24 Optical Flow allgemeine Ansicht: eher unzuverlässig, ungenau Interpretation als grobes Bewegungsmuster Reduzierung auf relevante Informationen 24

25 Relevante Daten Trennung nach X und Y Anteile (2 Kanäle) Trennung in negative und positive Komponenten (4 Kanäle) Glättung mit Gaußfunktion Motion Descriptor 25

26 Ziele Aktionserkennung 3DRekonstruktion Eingabe: Video laufen nach links gehen schwingen joggen nach rechts gehen 26

27 Matching einzelne Frames nicht aussagekräftig Vergleich von Sequenzen Temporale Erweiterung Σ Testsequenz A Exemplarsequenz B Zentrierung auf zwei Frames in beiden Sequenzen Vergleich sämtlicher Framepaare notwendig 27

28 Matching Vergleich sämtlicher Framepaare notwendig Optimierung mittels Matrizen A A I Matrix B B FrameÄhnlichkeitsmatrix Kernelmatrix BewegungsÄhnlichkeitsmatrix 28

29 Experimente: Ballettschritte 16 Balletschritte, exakt choreographierte Bewegungen einfaches Problem 29

30 Experimente: Tennisspieler sechs Aktionen, spontane Bewegungen schlechtere Ergebnisse, nur logische Verwechslungen 30

31 Video: Klassifizierung 31

32 Video: Do as I Do Anwendung: Synthese von Videos mit anderen Personen Exemplarsequenzen der Zielperson Target Steuersequenz durch Testvideo Driver Relevant: Übereinstimmung mit Anweisungen Vergleich: Target und Driver Flüssiges Video Vergleich: Target und vorherige Targetsequenz 32

33 Video: Do as I Do Greg in the World Cup 33

34 Video: Do as I Say Anwendung: Synthese von Videos mit anderen Personen Exemplarsequenzen der Zielperson Anweisungen Target Driver analog wie Do as I Do zukünftige Computerspiele 34

35 Video: Do as I Say Steuerbarer Tennisspieler 35

36 Vergleich Shape Contexts: Bilder in guter Qualität 2DGelenkpunkte keine zeitliche Konsistenz, Einzelbilder Motion Descriptors: unscharfe Videodaten aus mittlerer Entfernung Klassifizierung Sequenzvergleiche Gemeinsamkeiten: Exemplarbasiert: Gesamtkontext verfügbar nur Bekanntes erkennbar unpraktikabel für allgemeine Probleme nicht echtzeitfähig 36