Articulated pose estimation of multiple persons

Transkript

1 DISS. ETH NO Articulated pose estimation of multiple persons A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by Marcin Eichner M.Sc. Cranfield University M.Sc. Silesian University of Technology born November 3 rd, 1983 citizen of Poland accepted on the recommendation of Prof. Dr. Vittorio Ferrari Prof. Dr. Bernt Schiele Prof. Dr. Marc Pollefeys 2012

2 Abstract Automatically recovering articulated human pose is of great importance for many applications of Computer Vision. Thanks to recent progress, modern articulated pose estimation methods can be now applied with some success on arbitrary images. These methods consider each person independently. In contrast, this thesis exploits dependencies existing between persons. Our main contributions are multi-person models to capture different kinds of dependencies between persons, and accompanying inference schemes to perform joint pose estimation. Firstly, we tackle a group photo scenario, where multiple persons stand nearby in a single photo. We propose a model that explicitly handles occlusions between neighbouring persons. By taking into account occlusions as well as spatial mutual exclusions between persons, our model gains a global view of the scene. Secondly, we explore scenarios where multiple persons are in a common, but unknown pose. This can happen in one image, when some activity is performed synchronously (e.g. dancing) or across multiple images fetched from a search engine queried with a pose class name (e.g. lotus pose ). We propose models that enforce similarity between the poses of the individual persons through latent pose prototypes and consequently simplify the pose estimation task. Thirdly, we exploit appearance similarities in large data collections, which typically contain images showing people captured against common backgrounds or wearing similar clothing (i.e. foreground). Our algorithm automatically determines which images have a common foreground or background and shares appearance models between them. For all three scenarios, our joint models facilitate the task of pose estimation. We demonstrate experimentally that the joint models improve pose estimation accuracy over estimating each person independently.

3 iv Abstract As a fourth contribution, we propose an algorithm for deriving person specific body part appearance models from a single image. We show their impact for single person pose estimation and use them as a building block in our multi-person models. The core intuition behind these appearance models is that the locations of some body parts are more predictable than others and that the appearances of different body parts are related.

4 Zusammenfassung In der automatisierten Bildverarbeitung ist es fr viele Probleme essentiell, die Pose von Gelenken und Krperteilen des Menschen zu ermitteln. In letzter Zeit wurden einige Techniken entwickelt, welche relativ erfolgreich menschliche Posen in beliebig ausgewhlten Bildern ermitteln knnen. Dabei werden die einzelnen Personen jeweils eigenstndig und unabhngig voneinander betrachtet. Im Gegensatz dazu entwickeln wir in dieser Dissertation Methoden, welche die Beziehungen und Abhngigkeiten zwischen den einzelnen Personen miteinbeziehen. Die von uns entwickelten Mehrpersonen-Modelle bercksichtigen verschiedene Arten von Zusammenhngen zwischen den Personen und ermglichen es, die Pose mehrerer Personen gleichzeitig zu ermitteln. Der erste Beitrag dieser Dissertation widmet sich der Analyse von Gruppenfotos, in denen mehrere Personen nahe beieinander stehen. Benachbarte Personen verdecken sich oftmals gegenseitig und sind nicht vollstndig sichtbar. Die vorgestellte Technik kann mit solchen Verdeckungen umgehen, da diese explizit in die Modellierung eingehen. Das ermittelte Modell beinhaltet einen globalen berblick der abgebildeten Szene, der durch den Einbezug von Verdeckungen, sowie dem gegenseitigen rumlichen Ausschliessen von Personen entstanden ist. Als zweites untersuchen wir Szenarien, in denen mehrere Personen eine hnliche, jedoch unbekannte Pose einnehmen. Dies ist der Fall wenn eine Ttigkeit synchron ausgebt wird, wie zum Beispiel in einem einzelnen Bild von tanzenden Menschen, oder wenn die gleiche Ttigkeit in verschiedenen Bildern vorkommt. Letzteres ist der Fall wenn Bilder via einer semantischen Bild-Suche im Internet abgerufen werden (z.b Lotus-Pose ). Die hnlichkeit zwischen den Posen der verschiedenen Personen wird in die entwickelten Modelle mit einbezogen, indem wir die zu Grunde liegen-

5 vi Zusammenfassung den, prototypischen Strukturen ausnutzen und dadurch die automatische Schtzung der menschlichen Pose vereinfachen. In einem dritten Ansatz verwenden wir sehr umfangreiche Sammlungen von Bildern mit Personen. In diesen Bildern lassen sich oftmals gleichartige Hintergrund-Situationen finden, oder es treten hnlichkeiten von Personen im Vordergrund auf, vor allem wenn sie auch hnliche Kleider tragen. Unsere Algorithmen stellen automatisch fest, welche Bilder einen hnlichen Vordergrund oder Hintergrund aufweisen, um dementsprechend Gemeinsamkeiten in der Modellierung der Erscheinung auszunutzen. In den drei behandelten Fllen vereinfachen die von uns entwickelten Modelle die automatische Extraktion von menschlichen Posen, in dem sie die Gemeinsamkeiten von Posen der verschiedenen Personen einschliessen. Die durchgefhrten Experimente zeigen ausdrcklich die Verbesserung gegenber Modellen, die jede Person einzeln behandeln. In dem vierten Beitrag dieser Dissertation entwickeln wir einen Algorithmus, der personenspezifische Modelle der Erscheinungen von Krperteilen ermittelt. Wir zeigen, inwiefern diese Modelle die Schtzung der Pose von einzelnen Personen beeinflussen knnen, und verwenden sie als Basiskomponente in unseren Mehrpersonen-Modellen. Motiviert ist dieser Teil der Arbeit durch die persnliche und individuelle Erscheinung von Menschen. Demnach gibt es Krperteile, deren Lage sich einfacher oder schwieriger vorhersagen lsst, aber auch unterschiedliche Krperteile, deren Erscheinungen in Bezug zueinander stehen.