Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen

Transkript

1 FAKULTÄT FÜR INFORMATIK Professur Grafische Datenverarbeitung und Visualisierung Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen Verfasser: Daniel Steger geboren am 16. November 1979 in Rochlitz Betreuer: Prof. Dr. Guido Brunnett Dipl.-Math. Horst Wagner Chemnitz, den 25. Juli 2004

2 Inhaltsverzeichnis 1 Einführung 3 2 Motion-Capture-Prozess 6 3 Hybrides Trackingsystem 7 4 MotionProcessor 19 5 Motion Application 25 6 Zusammenfassung 28 7 Ausblick 29 A Anhang 31 Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 2

3 1 Einführung 1.1 Was versteht man unter Motion Capture? Motion Capture beschreibt den Vorgang, die Bewegungen, insbesondere eines Menschen, mit Hilfe von Sensoren zu erfassen und in computerlesbare Form zu überführen. Technischer Prozess und Art der Sensoren hier nicht relevant Abstraktion eines Bewegung aus Sichtbarem Weiterverarbeitung oder Darstellung der Bewegung kein Teil des Motion-Capture-Prozesses Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 3

4 1.2 Anwendungsbereiche Mannigfaltige Anwendungsgebiete erfordern unterschiedliche Weiterverarbeitung, z. B. Segmentierung einer Bewegung für Sportmedizin Verfremden und Verfeinern der Bewegung durch Motion Editing Animation eines Charakters (Animation from Observation) Einsatz in der Virtual Reality (VR) Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 4

5 1.3 Motion Capture für Virtual Reality Anwendungen Virtual Reality (VR): Mensch-Maschine-Schnittstelle, um computergenerierte Umwelt durch mehrere Sinne zu erfahren Mixed Reality (MR): Verschmelzung der virtuellen Welt mit Elementen der realen Umgebung Motion Capture vom Benutzers des VR-Systems: Darstellung als Avatar Anwender wird Teil der virtuellen Welt, seine Darstellung fällt weg Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 5

6 2 Motion-Capture-Prozess 1. Stufe Performerskelett 2. Stufe Hybrides Tracking MotionProcessor Translation + Gelenkrotationen Akteur mit Sensoren 3D Daten Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 6

7 3 Hybrides Trackingsystem 3.1 Optisches Trackingsystem ARTtrack 1 & DTrack Ethernet 10 Mbit/s Sync 1 Sync 2 Sync 3 Externes Sync Sync Karte Shutterbrillen DTrack Ethernet (UDP) Applikation Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 7

8 3.1.1 Merkmale Hohe Genauigkeit des Tracking Große Bewegungsfreiheit des Akteurs Verdeckungsgefahr sehr hoch Einzelne Marker nicht identifizierbar wenn vorher verdeckt Marker liefert nur Position Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 8

9 3.2 Magnetisches Trackingsystem MotionStar Wired Kontroller (ERC) Extended Range Controller Transmitter (ERT) Sensoren Applikation Ethernet (TCP / UDP) (BIRDNET) Steuerrechner Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 9

10 3.2.1 Merkmale Erfasst 6 Freiheitsgrade Keine Verdeckung, Sensoren immer eindeutig identifiziert Bewegungsfreiheit durch Kabel eingeschränkt Magnetfelder und Metallgegenstände erzeugen Messfehler Kalibrierung des Messvolumens notwendig Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 10

11 3.2.2 Kalibrierung des magnetischen Trackingsystems Korrigiere sowohl Position als auch Orientierung Erfasse statischen Fehler im Capture-Volumen durch Fehlerpolynome Benutze genaues optisches Trackingsystem als Referenz Hybridsensor aus Magnetsensor und Body Errechne aus magnetisch-optische Messpaaren Stützstellen der Fehlerpolynome Bestimme Polynome nach Methode der kleinsten Quadrate Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 11

12 3.3 Probleme Stelle Beziehung zwischen Trackingsystemen her: Registrierung des magnetischen Sensors im optischen Koordinatensystem Bereich wo Fehler des magnetischen Trackingsystem (fast) Null Löse nichtlineares Gleichungssystem um Koordinatentransformationen zu finden Gleichmäßige Messwertverteilung im Capture-Volumen Mit einer Messung nur jeweils ein Wertepaar Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 12

13 3.3.1 Visualisierung des Positionsfehlers Regelmäßigen Gitters im Capture-Volumen Entstandene Verzerrung durch Positionsfehler Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 13

14 3.3.2 Visualisierung des Rotationsfehlers Transmitter Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 14

15 3.4 Prinzip der Kombination beider Trackingsysteme Verwende genaues optisches System so oft, wie möglich und das magnetische System so selten wie nötig. Kombination: Marker + Magnetsensor (nur Positionstracking) ARTtrack liefert genaue Position, MotionStar die eindeutige Identifikation Suche im Umkreis des magnetischen Sensors nach Markern: 1. Kein Marker: MotionStar-Position 2. Genau ein Marker: ARTtrack-Position (ID des Markers speichern) 3. Mehrere Marker: Umkreis zu groß gewählt Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 15

16 3.5 Anmerkungen Treiber für Trackingsysteme speichern n letzte Werte Unterschiedliche Update-Raten der Trackingsysteme Dynamikverhalten von MotionStar durch Filter geprägt Ausgleich der Verzögerung durch Benutzung eines vorigen Wertes Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 16

17 3.6 Ansichten des Trackinganzugs Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 17

18 3.7 Beispielkonfiguration RSHO LSHO LSHO RSHO RELB RHIP RWRI LELB LHIP LWRI T10 LHIP RHIP RWRI LKNE LWRI RKNE RANK RTOE RANK LANK LTOE LANK RANK Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 18

19 4 MotionProcessor Performerskelett 2. Stufe MotionProcessor Gelenkrotationen 3D Daten Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 19

20 4.1 Komponenten des MotionProcessors Trackingsystem Markerdatei (csm) Skelettdatei (xml) Sensornamen / Bodies Markernamendatei (mn) Skelettdefinition Transformation Visualisieren Markernamen 3D Punkte (evtl. Orientierung) Grundpose Koordinatentransformation Skelettanpassung (Markerprogramme) inverse Kinematik Globale Verschiebung und Gelenkrotationen Begrenzung der Rotationen Aktuelle Pose Visualisieren als Skelettmodell BVH Ausgabe Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 20

21 4.2 Skelettdefinition <?xml version="1.0"?> <!-- Skelett definieren --> <Skeleton> <Bone name="root" length="300"> <Translation> </Translation> <Rotation> </Rotation> <BackFin /> <Limits> </Limits> <MarkerProgram> POSITION Root LHIP RHIP 0.5; </MarkerProgram> <Bone name="chest" length="200"> <Translation> </Translation> <Rotation> </Rotation> <BackFin /> <MarkerProgram effectbonelength="0"> COPY Chest T10; ORIENTATION Chest LHIP RHIP; MOVE Chest ; ALIGN LHIP RHIP 1 0 0; </MarkerProgram> <Bone name="neck" length="100">... Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 21

22 4.3 Markerprogramme Realisieren Skelettanpassung Scripte, die Beziehung zwischen Markern und Gelenken herstellen Identifikation der Marker anhand ihres Namens Beispiel: POSITION Root LHIP RHIP 0.5; Berechnete Position des Gelenks dient als Eingabe für IK-Routine Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 22

23 4.3.1 Vor- und Nachteile Vorteile: Einfache Berechnungen flexibel Fehler nicht propagiert Aber: Eingabe per Hand Skelettanpassung aufwendig Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 23

24 4.4 Parametrisierung von Gelenkrotationen Ausgangslage Rotation ohne Begrenzung Rotation mit Begrenzung Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 24

25 5 Motion Application 5.1 Übertragung der Bewegung auf einen Charakter Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 25

26 5.2 Anwendung auf verschiedene Charaktere Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 26

27 5.3 Massenszene Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 27

28 6 Zusammenfassung Realisierung des Motion-Capture-Prozesses von Tracking bis Visualisierung eines Skeletts Hybrides Trackingsystem, um Schwächen der Einzelsysteme zu kompensieren MotionProcessor zur Skelettanpassung VR-Applikationen nach Beispiel des MotionProcessor Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 28

29 7 Ausblick Erweiterungen in vielerlei Richtungen: Zuverlässigkeit des hybrides Tracking verbessern Einbeziehung von Bodies Skelettanpassung automatisieren Motion Editing und Retargetting Einbindung in VR/MR-Applikation Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 29

30 Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 30

31 A Anhang A.1 Quaternionen Erweiterte komplexe Zahlen (Hamilton) q = ( ) x y z w = ( v ) s v ist Vektor und s Skalar des Quaternions Darstellung eines 3D-Vektors als Quaternion: p = ( p ) 0 (1) Zur Darstellung einer 3D-Rotation benutzbar Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 31

32 A.1.1 Fakten für Quaternionen: 1. Quaternionenmultiplikation (assoziativ): ) ) q 1 q 2 = ( v 1 s 1 ( v 2 s 2 ) ( v 1 v 2 + s 1 v 2 + s 2 v 1 s 1 s 2 v 1 v 2 def = (2) 2. Konjugierte: q = ( v ) def s = ( v ) s (3) 3. Inverse: q 1 = 1 q 2 q (4) Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 32

33 A.1.2 Darstellung der Rotation Nehme Einheitsquaternion in besonderer Darstellung: ( ) q = w sin θ cos θ 2 2 (5) w ist Rotationsachse und θ Rotationswinkel Rotation eines Vektors p in Quaternionenform: p = qpq 1 (6) Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 33

34 A.1.3 Anmerkungen Effiziente Darstellung der Rotation (kein Gimbal Lock) Aber abstrakt (Hypersphäre im 4D-Raum) Für Benutzung in Optimierungsproblemen ist Einheitsbedingung hinderlich Exponential Map: Darstellung mit drei Komponenten: e ( ) 0 0 0) = ( (7) und für v 0: ( ) e v = w sin θ cos θ 2 2, mit θ = v und w = v v (8) Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 34

35 A.2 Gimbal Lock Kardanringe Drehung der inneren Platte Gimbal Lock Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 35

36 A.3 IK-Betrachtung für ein Bone Die Endeffektorposition X 0 wird nach X 1 transformiert, so dass l 1 in Richtung X(x, y, z) zeigt: X(x, y, z) X 1 l 1 q X 0 l 0 Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 36

37 A.4 Funktionsweise von MotionStar Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 37

38 A.5 Registrierung des magnetischen Sensors im optischen Koordinatensystem Body A 1 p 1, q 1 Magnetsensor M 1 p, q A A p M, q M A optisches Koordinatensystem 0 p, q 0 0 M 0 Transmitter Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 38

39 A.6 Datenfluss der Treiberkomponente Zwischenspeicher n 1 Treiberobjekt mit Methoden zum Zugriff auf Trackingdaten Lese Thread Applikation Trackingsystem Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 39

40 A.7 Synchronisieren der Trackingsysteme Unterschiedliche Update-Rate der Systeme verursachte Verzögerung MotionStar ARTtrack Anwendung Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 40

41 A.8 Dynamikuntersuchung ARTtrack MotionStar Geschwindigkeit in m/s Zeit in ms Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 41

42 A.9 Gelenkparametrisierung mittels Quaternionen Gleichung 5 nach Anwendung der Gleichungen für doppelten Winkel: ( ) q = w mit k = cos θ (9) 1 k 2 1+k 2 Beschränke cos 1 k durch Funktion f( w): 0 cos 1 k f( w) (10) Für k gilt damit: g( w) k 1 mit g( w) = cos f( w) (11) Speichere f( w) als Tabelle mit diskreten Werten Daniel Steger: Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen 42