Interaktives 3D Sportfernsehen

Transkript

1 Warum das Volumen eines 54-dimensionalen Hyperellipsoids und die Bewegungen des menschlichen Körpers eine bijektive Abbildung bilden können Cornelius Malerczyk, ZGDV, Darmstadt (1)

2 Interaktives 3D Fernsehen Projekt: PISTE Personalized, Immersive Sports TV Experience IST Internet: Laufzeit: (2)

3 Projektziele PISTE Der Zuschauer erhält eine erweiterte Sicht auf Sportereignisse Übertragung von Sportereignissen mit digitalem Fernsehen (DTV) Geplanter Einsatz: Olympische Sommerspiele 2004 (3)

4 Stand der Technik (1) Überlagerungen der Originalkamerabilder Einblendung der Abseitslinie oder Freistossradius im Fussball (4)

5 Stand der Technik (2) Vergleich von zwei Athleten durch Überlagerung von Videobildern (5)

6 Fernsehen der nächsten Generation 3D Rekonstruktion einer Sportszene Umgebungsmodell Bewegungen des Sportlers Digital Video Broadcast (DVB) Einsatz mit set-top-boxen (MPEG-4) (6)

7 Anwendungen Vergleich von Sportlern innerhalb einer Szene Virtuelle Zeitlupe Einblenden von zusätzlichen Objekten Freie Positionierung der virtuellen Kamera (7)

8 Rekonstruktion der Umgebung KameraKalibrierung Modellierung der Oberfläche Texturextraktion (8)

9 Beispiel: Stadion Piräus VRML 1 (Stadium Piräus + Avatar) (9)

10 Rekonstruktion der Sportler Initial 2D Joints Current Image Tupel Camera Parameters 2D Segmentation Silhouettes 3D Pose Adaptation Adapted 3D Joints 3D Pose Verification VRML- MPEG4/BAP Predicted 2D Joints Projection Predicted 3D Joints 3D Pose Prediction Verified 3D Joints Camera Parameters (10)

11 2D Segmentation Trennung von Sportler und seiner Umgebung Segmentierung erzeugt Konturen und Silhouetten des Körpers (11)

12 3D Pose Adaptation Generisches 3D-Modell Modell in predizierter Pose Vergleich von synthetischen und realen Silhouetten Nicht-lineare Optimierungsaufgabe Synthetische Silhouetten (12)

13 Avatarbeschreibung Beschreibung des Körpers durch 18 Gelenkpunkte Gelenkpositionen erzeugen individuelles Skelett (13)

14 Gelenkpunkte Positionen der Gelenkpunkte 1 Kopfmitte 10 linke Taille 2 Hals 11 rechte Hüfte 3 rechte Schulter 12 rechtes Knie 4 rechter Ellbogen 13 rechte Ferse 5 rechte Hand 14 rechte Fußspitze 6 linke Schulter 15 linke Hüfte 7 linker Ellbogen 16 linkes Knie 8 linke Hand 17 linke Ferse 9 rechte Taille 18 linke Fußspitze (14)

15 Kinematisches Modell Point Distribution Model (PDM) Schätzung von Posen Überprüfung einer Pose Korrektur ungültiger Posen Vorhersage der nächsten Pose (15)

16 3D Pose eines Sportlers Individuelle Representation verschiedener Sportarten Statistische Beschreibung der Skelette Mittelwertskelett Variationsmöglichkeiten (16)

17 Mathematische Beschreibung des Skeletts Darstellung als 54-dimensionaler Vektor s = x, y, z,..., x, y, z ) ( n n n T (17)

18 Mittelwertskelett Berechnung aus N Trainingskeletten s = x, y, z,..., x, y, z ) mit ( n n n T x 1 N = i j x j N i= 1 1 i, y = und N j y j N i= 1 z 1 N = i j z j N i= 1 (18)

19 Variationsmöglichkeiten Kovarianz bestimmt die Abhängigkeiten der einzelnen Komponenten untereinander Kovarianzen ergeben eine symmetrische Matrix Eigenwertanalyse der Kovarianzmatrix führt zu P = p1... p3n und der entsprechenden Eigenwerte (19)

20 Erzeugen neuer Skelette Berechnung eines neuen Skelettes s durch s = s + P b s Mittelwertskelett P Matrix der Eigenvektoren s s b Deformationsvektor (20)

21 Überprüfung eines Skeletts Auflösen der Gleichung b = P 1 ( s s ) Alle Komponenten des Deformationsvektors b müssen innerhalb gegebener Grenzen liegen. Gültige Skelette liegen innerhalb eines 54-dimensionalen Hyperellipsoids. (21)

22 Korrektur von Skeletten Ungültiges Skelett liegt ausserhalb des Hyperellipsoids Korrektur: Projektion auf den dichtesten Oberflächenpunkt s s s~ (22)

23 Animation der Sportler Avatar-Beschreibung als Skin & Bone-System Human Animation Standard H-Anim 2001 Body Animation Parameters (BAP) für MPEG-4 (23)

24 Animation Kombination des animierten Avatars mit dem Umgebungsmodell (VRML-Szene) (24)

25 Nachbearbeitung der Animation Glättung der Animation Smoothing Splines Kombination B-Splines und lineare Regression (25)

26 Beispiel: Vergleich ohne/mit Glättung VRML 2 (Avatar unsmoothed/smoothed) (26)

27 Beispiel: Degenfechten (27)

28 Beispiel: Degenfechten definierter Kameraflug VRML 3 (camera flight) (28)

29 Beispiel: Degenfechten - Kameraposition VRML 4 (Head Mounted Camera) (29)

30 Beispiel: Free Climbing (30)

31 Beispiel: Free Climbing VRML 5 (Climbing reconstruction) (31)