Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen

Transkript

1 FAKULTÄT FÜR INFORMATIK Professur Grafische Datenverarbeitung und Visualisierung Diplomarbeit Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen Verfasser: Daniel Steger geboren am 16. November 1979 in Rochlitz Betreuer: Prof. Dr. Guido Brunnett Dipl.-Math. Horst Wagner Chemnitz, den 25. Juli 2004

2 Steger, Daniel Motion Capture mit optisch-magnetischem Trackingsystemen in VR-Applikationen Diplomarbeit, Fakultät für Informatik Technische Universität Chemnitz, Juli 2004

3 Danksagung Mein Dank gilt Horst Wagner für seine zahlreichen Ideen, Vorschläge und Anregungen, ohne die diese Arbeit nicht möglich gewesen wäre. Karsten Hilbert und Stephan Rusdorf unterstützten mich immer dann, wenn ich eine helfende Hand gebraucht habe. Ich danke meiner Mutti, die bei dieser Arbeit ihr Geschick als Schneiderin unter Beweis gestellt hat. Außerdem möchte ich mich bei Matthias Lingnau und meiner Schwester für das Durchsehen der Arbeit bedanken.

4

5 Aufgabenstellung Ein grundlegendes Akzeptanzproblem bei Anwendungen der Virtual Reality (VR) sowie der Mixed Reality (MR) stellt die Forderung dar, Position und Lage spezieller für die korrekte Bilderzeugung und Interaktion benötigter Objekte in ihrer Bewegung schnell und präzise zu erfassen. Beispiele für solche Objekte sind die Augpunkte und bestimmte Körperteile des Benutzers (Avatar) oder auch Interaktionsinstrumente, und bei Mixed-Reality-Applikationen die zu trackenden aktiven Realkörper. In der Arbeit soll der Prozess des Motion Capture (Motion Tracking) in der Virtual und Mixed Reality, insbesondere bei Verwendung optischer und magnetischer Trackingsysteme und ihrer Kombination untersucht werden. Zur Schaffung eines dazu benötigten Experimentierfeldes ist im Rahmen dieser Arbeit eine Softwarekomponente Gesamtkörpertrack zu entwickeln und für Evaluierungszwecke zu verwenden. Diese Softwarekomponente soll auf der Basis eines Skelettmodells die Bewegungsverfolgung beliebiger menschlicher Gliedmaßen ermöglichen und durch geeignete Schnittstellendefinitionen problemlos in VR/MR-Applikation integrierbar sein. Im Extremfall soll sie die Bewegungsverfolgung aller Körperteile des Benutzer (etwa für Charakteranimationen oder verschiedene Ganzkörperinteraktionen) unterstützen. Dies schließt auch das Einbringen des Benutzers als aktives reales Objekt in eine Mixed-Reality-Umgebung mit ein. iii

6 Inhaltsverzeichnis 1 Vorwort 1 2 Grundlagen Die virtuelle Realität Was versteht man unter virtueller Realität? Merkmale eines VR-Systems Motion Capture Überblick Anwendungen für Motion Capture Charakteranimation Was ist Animation? Techniken der Computeranimation Mathematische Grundlagen Rotation im Raum Darstellung der Rotation durch Eulerwinkel Quaternionen zur Rotationsbeschreibung Interpolation von Quaternionen Reduzierte Quaternionendarstellung Inverse Kinematik Einführung Analytische IK-Lösungen Numerische IK-Lösungen Trackingsysteme Einführung Anforderungen für VR-Umgebungen Übersicht auf Trackingsysteme Mechanische Trackingsysteme Aufbau und Funktionsweise Digitale Armaturen Vor- und Nachteile Magnetische Trackingsysteme Aufbau und Funktionsweise Vor- und Nachteile Optische Trackingsysteme Einteilung iv

7 Inhaltsverzeichnis Passive optische Trackingsysteme Aufbau und Funktionsweise Vor- und Nachteile Aktive optische Trackingsysteme Aufbau und Funktionsweise Vor- und Nachteile Hybridsysteme Weitere Trackingsysteme Akustische Systeme Tracking mit Biegesensoren Globale Positionssysteme Kinematische Trackingsysteme Realisierung des hybriden Trackingsystems Einführung Funktionsweise der Treiber für ARTtrack und MotionStar Aufbau der Treiber Besonderheiten des MotionStar-Systems Eigenschaften von ARTtrack Kalibrierung des magnetischen Trackingsystems Überblick Registrierung des magnetischen Sensors im optischen Koordinatensystem Erfassen der Messdaten Fehlerkorrektur durch polynomiales Fitting Validieren der Kalibrierung Synchronisierung der Trackingsysteme Dynamikuntersuchungen Kombination beider Trackingsysteme Spezifikation Registrierung des magnetischen Sensors Ergebnisse Echtzeit-Motion-Capture des menschlichen Körpers Allgemeines Modell des Motion-Capture-Prozesses Übersicht auf den MotionProcessor Erzeugung des Skelettmodells Definition einer Skelettstruktur Parametrisierung von Gelenkrotationen Übertragung der Sensorinformationen auf das Skelett Vorüberlegungen Anbringen der Sensoren am Körper des Akteurs Markerprogramme Überblick Beispiele Bestimmung der Orientierung eines Markers v

8 Inhaltsverzeichnis Der Prozess der Skelettanpassung Diskussion des Markerprogrammansatzes Visualisierung und Weiterverarbeitung Visualisierung Export der Bewegungsdaten Kollisionserkennung Nachwort 98 A Kalibrierung 100 A.1 Sammeln von Kalibrierungsdaten A.2 Registrierung des magnetischen Sensors A.3 Validierung A.4 Darstellung der Abweichung B Verändern der Filtereinstellungen für MotionStar 102 C Diagramme für MotionStar 103 D Kalibrierung des hybriden Trackingsystems 110 E Document Type Definition des Skelettformats 111 F Das BioVision Hierarchical (BVH) Datenformat 112 G Der MotionProcessor 114 G.1 Überblick G.2 Das Modifier -Fenster G.3 Die WTK-Ausgabe G.4 Das Animation-Control -Panel H Installationsanweisungen 117 vi

9 Abkürzungsverzeichnis AR AV DoF FIR HMD IIR IK Lerp MR RMS Slerp VR WTK Augmented Reality. Augmented Virtuality. Degree of Freedom. Finite Impulse Response. Head-Mounted Display. Infinitive Impulse Response. Inverse Kinematik. Lineare Interpolation. Mixed Reality. Root Mean Square. Sphärische lineare Interpolation. Virtual Reality. Sense8 WorldToolKit. vii

10 Tabellenverzeichnis 3.1 Gegenüberstellung von Liberty und MotionStar Spezifikation der ARTtrack 1 Kamera Gegenüberstellung von ARTtrack und MotionStar viii

11 Abbildungsverzeichnis 2.1 Einteilung der gemischten Realität Aufbau eines VR-Systems Stereosichtgeräte Galoppierendes Pferd von Eadweard Muybridge Kardanringe und Gimbal Lock Rotation eines Punktes P um eine normierte Achse w Interpolation zwischen zwei Quaternionen Inverse-Kinematik-Betrachtung für ein Gelenk Beispiel für den Cyclic-Coordinate-Descend Algorithmus Die sechs Freiheitsgrade im Raum Der FullBodyTracker von X-IST Der Monkey 2 von Puppet Works Typische Bestandteile eines magnetischen Trackingsystems MotionStar Wireless Erzeugen alternierender Magnetfelder im Transmitter Elektronenschaukel zur Ermittelung der Phasen-Korrelation Rigid-Bodies Die MCAM2 von Vicon Raumkalibrierung beim ARTtrack-System Motion-Capture-System der Firma PhaseSpace Das Visualeyez von phoenix Sensor des hybriden Trackingsystems Biegesensoren Der CyberGrasp von Immersion InertiaCube 2 von InterSense Datenfluss der Treiberkomponente Darstellung des Visualize-Center Kalibrierungsproblem Registrierung des magnetischen Sensors im optischen Koordinatensystem Apparatur zur Erfassung der Messwerte Visualisierung der Fehlerpolynome Positonsfehler in Abhängigkeit von der Entfernung zum Transmitter ohne und mit Korrektur ix

12 Abbildungsverzeichnis 4.8 Orientierungsfehler in Abhängigkeit von der Transmitterentfernung vor und nach der Kalibrierung Visualisierung des Orientierungsfehlers Synchronisieren der Trackingsysteme Bewegungsuntersuchung an der schiefen Ebene Bewegungskurve eines Hybridsensors beim Sichtbarwerden und Verdecken des zugehörigen Markers Verkürzter Motion-Capture-Prozess Schematische Übersicht auf den MotionProcessor Hierarchische Struktur des Skelettmodells Koordinatentransformation des Skeletts Darstellung eines Kugelgelenks Diskretisierung der Begrenzungsfunktion g(φ) für ein Kugelgelenk Beispielkonfiguration der Sensoren Ansichten des Trackinganzugs Erste Phase der Kollisionsdetektion Zweite Phase der Kollisionsdetektion C.1 Einfluss eines Röhrenmonitors auf MotionStar C.2 Einfluss eines Röhrenmonitors auf MotionStar in Abhängigkeit der Entfernung C.3 Steckerleiste nahe einem Sensor C.4 Stromführendes Kabel in unmittelbarer Nähe eines MotionStar-Sensors 105 C.5 Der Einfluss des Parameters ALPHA_MIN vom DC-Filter auf einen Sensor 106 C.6 Schnelles Hinauf- und Herunterfahren des Sensors an der schiefen Ebene106 C.7 Verringerung des ALPHA_MAX-Wertes bei schnellen Sensorbewegungen. 107 C.8 Ausschnittsvergrößerung der Bewegung C.9 Weitere Verringerung des ALPHA_MAX-Wertes C.10 Auswirkungen des Parameters Vm_Table auf die Bewegung eines Sensors108 C.11 Erhöhung des Vm_Table-Parameters für einen bewegten Sensor F.1 Ausschnitt aus einer BVH-Datei x

13 1 Vorwort Der menschliche Bewegungsapparat ist ein Wunderwerk an Leistungsfähigkeit und Effizienz. Er trägt nicht nur die inneren Organe, sondern ermöglicht es auch die unterschiedlichsten Tätigkeiten auszuführen. Die filigranen Handbewegungen eines Uhrmachers, der energiegeladenen Lauf eines Sprinters und der kraftvolle Sprung eines Weitspringers werden erst durch den menschlichen Bewegungsapparat möglich. Diese Bewegungen auf dem Bildschirm nachzuahmen, stellt die Animateure und Computergrafiker vor große Herausforderungen. Ein Mensch kann einen anderen Menschen sofort an seiner Gangart erkennen. Aber wie soll ein Computer die komplexen Abläufe, die dabei eine Rolle spielen, verstehen? Insbesondere in Spielfilmen wird deshalb von Motion Capture Gebrauch gemacht, um die Bewegung des Menschen direkt auf ein computergeneriertes Abbild zu übertragen. Auch im Bereich der virtuellen Realität spielt das Erfassen menschlicher Bewegungen als Möglichkeit zur Interaktion mit einer virtuellen Welt eine wichtige Rolle. Dem Begriff Motion Capture kommt heute eine wichtige Rolle zu. Er bezeichnet den Vorgang, die Bewegungen, insbesondere eines Menschen, mit Hilfe von Sensoren zu erfassen und in computerlesbare Form zu überführen. Die Bewegungsdaten liegen anschließend so vor, dass entweder ein digitales Abbild des Nutzers animiert werden kann oder aber diese Figur gar nicht angezeigt, sondern nur ihre Einflussnahme auf die Umwelt sichtbar wird, d. h. der Nutzer agiert direkt mit seiner virtuellen Umwelt. Für die Erfassung der Bewegungen wird ein Trackingsystem benutzt, das durch Ausnutzung physikalischer Phänomene versucht die Lage von Sensoren im Raum zu bestimmen. In der vorliegenden Arbeit wird der Versuch unternommen, ein magnetisches und ein optisches Trackingsystem zu einem Hybridsystem zu verschmelzen. Auf diese Weise kann das Verdeckungsproblem beim optischen Tracking überwunden werden und die geringe Genauigkeit des magnetischen Systems durch das präzisere optische Trackingsystems ausgeglichen werden. Zur Realisierung dieses hybriden Systems dient eine spezielle objektorientierte Treiberarchitektur, die die Kombination beider Trackingsysteme ermöglichen soll. Ein wesentliches Problem stellt die Störanfälligkeit des magnetischen Trackingsystems gegenüber Magnetfeldern und Metallobjekten dar. Deshalb wird auf ein Verfahren eingegangen, das die Genauigkeit des Trackingsystems durch eine Kalibrierung erhöhen soll. Als Referenz wird das optische System herangezogen. 1

14 1 Vorwort Es werden weiterhin Ansätze zur Realisierung des hybriden Trackers betrachtet sowie Vor- und Nachteile gegenüber den Einzelsystemen diskutiert. Außerdem ist zu untersuchen, wie sich hybride Sensoren in Ruhe und Bewegung verhalten, um so die Zuverlässigkeit zu erhöhen. Daraus können wertvolle Einsichten gewonnen, wie die Trackingsysteme einzeln und im Vergleich zueinander arbeiten. Anschließend geht es darum, ein zum Nutzer passendes Skelettmodell zu erstellen, dass die Anatomie der Bewegung in korrekter Weise wiedergibt. Eine geeignete Befestigung der Sensoren muss ebenso gefunden werden, wie Verfahren mit denen die Rotationen der Gelenke aus den Sensordaten ermittelt und auf das digitale Abbild übertragen werden können. Dazu wird das Konzept der Markerprogramme eingeführt. Es beschreibt ein Verfahren zur einfachen Abbildung der Sensorpositionen auf die Gelenke des menschlichen Bewegungsapparates. Die einheitliche Darstellung der Rotation als Quaternion und ihre Parametrisierung für Gelenkrotationen spielt in diesem Zusammenhang ebenfalls eine Rolle. Nicht zuletzt wird auch auf Möglichkeiten der Visualisierung und Weiterverarbeitung der gewonnenen Bewegungsdaten Bezug genommen. 2

15 2 Grundlagen 2.1 Die virtuelle Realität Was versteht man unter virtueller Realität? Das Wesen der vorliegenden Arbeit liegt darin, Komponenten für eine Anwendung der virtuellen Realität (VR) zu schaffen. Was ist konkret mit VR verbunden? Zur Beantwortung dieser Frage wird im Folgenden ein Überblick auf Definitionen, Ziele und Anwendungen der VR erarbeitet. Dabei wird besonders auf den Aufbau und den Merkmalen eines VR-Systems eingegangen. Wohl jeder verbindet bestimmte Vorstellungen mit dem Begriff virtuelle Realität, die mehr oder weniger den Tatsachen entsprechen. Seit der Begriff von Jaron Lanier geprägt wurde, hat es viele Versuche gegeben eine Definition dessen zu finden, was die VR ausmacht. Oft werden darin aber nur Teilgebiete, Aspekte und Sichtweisen der VR zum Ausdruck gebracht. Geht man auf die Bedeutungen der Einzelwörter zurück, wird virtuell am treffensten durch die Begriffe scheinbar oder physikalisch nicht vorhanden beschrieben. Das Wort Realität kann in diesem Kontext mit Wirklichkeit und Alles, was überprüfbar und nachweisbar ist wiedergegeben werden. Alexander Hennig fasst die VR mit Hilfe dieser Begriffe folgendermaßen zusammen: Virtual Reality ist eine Mensch-Maschine-Schnittstelle, die es erlaubt, eine computergenerierte Umwelt in Ansprache mehrerer Sinne als Realität wahrzunehmen. (Hennig 1998) Aus dieser Definition können typische Merkmale eines VR-Systems abgeleitet werden. Den Kern bildet die Computersimulation einer Welt, die mit den verschiedenen Sinnesorganen wahrgenommen werden kann. Insbesondere visuelle und auditive, manchmal auch haptische Reize (olfaktorische Eindrücke sind zur Zeit noch nicht sinnvoll in ein VR-System einbindbar) machen die Realität des Erlebten aus. Der Mensch wird sozusagen in die virtuelle Welt integriert. Es stellt sich bei ihm ein Gefühl der Immersion, der persönlichen Anwesenheit ein. Er kann mit der virtuellen Umwelt interagieren. Diese zwei Merkmale die Immersion und die Interaktion zusammen mit der Imagination, der kreativen Fähigkeit eine VR-Welt zu erschaffen und sich in sie hineinzuversetzen, bilden die Grundanliegen der VR. Darin spiegelt sich auch eine Anforderung 3

16 2 Grundlagen Mixed Reality (MR) Reale und virtuelle Gesamtheit Reale Umwelt Augmented Reality (AR) Augmented Virtuality (AV) Virtuelle Umwelt Wissen über die Welt Welt nicht modelliert Welt teilweise modelliert Welt vollständig modelliert Abbildung 2.1: Einteilung der gemischten Realität, je nach Grad der Realität. Der untere Teil zeigt die Parallelität der realen und virtuellen Gesamtheit zum Wissen über die Welt. Je virtueller eine Anwendung ist, umso mehr Informationen sind zum Modellieren notwendig (nach Milgram und Colquhoun 1999). an eine VR-Anwendung wider, nämlich Echtzeitfähigkeit, im Sinne einer genügend kleinen (nicht näher spezifizierten) Reaktionszeit des Systems auf Nutzereingaben. Ein Begriff, der eng mit dem der virtuelle Realität verwandt ist, bezeichnet die gemischte Realität oder Mixed Reality (MR). Hierbei werden Elemente der realen Umgebung mit denen der künstlichen gemischt, wobei in großem Maße VR-Technologien zur Anwendung gebracht werden. Je nachdem zu welchem Grad die Realität mit einbezogen wird, unterscheiden Milgram und Colquhoun (1999) die so genannte Augmented Reality (AR) und die Augmented Virtuality (AV). Ihre Beziehung zueinander zeigt Abbildung 2.1. Außerdem leiten Milgram und Colquhoun die Begriffe real / virtuell vom Grad des Wissens über die Welt ab. Eine reale Umgebung ist wie eine digitale Fotografie nicht modelliert worden, da der Computer keine Information über die Bedeutung des Dargestellten hat. Währenddessen muss eine virtuelle Umgebung vollständig im Rechner erstellt werden. MR umfasst damit den gesamten Bereich dessen, was vom Computer teilweise simuliert wird. Im Hintergrund dieser Annahmen zielt diese Arbeit auf die AV ab. Die gesamte Umwelt, einschließlich eines virtuellen Charakters, wird im Computer modelliert. Nur die Bewegungsdaten dieses Avatars kommen vom realen Akteur. Damit ist gleichzeitig eine Schnittstelle für die Interaktion geschaffen. In einer weiteren Stufe, die über das hier Aufgezeigte hinausgeht, entfällt die Darstellung des Avatars komplett, da er deckungsgleich mit dem Akteur ist. Der Mensch kann von sich heraus mit der virtuellen Umwelt interagieren. Trotzdem bleibt der Mixed-Reality-Charakter erhalten, da der Akteur sich selbst als reale Person in der virtuellen Welt wahrnehmen kann. 4

17 2.1 Die virtuelle Realität Kopf Hand Körper Objekte Tracking Position / Orientierung Simulationsschleife VR Generator Datenbasis VR Peripherie Spracherkennung Videoausgabe Audiosynthese und lokalisierung Kommandos Grafik (stereo) Audiodaten VR Objekte aktualisieren Sensordaten einlesen Haptische Informationen erzeugen Tasks der Objekte ausführen Visualisierung Auralisierung Beschreibung der VR Objekte Audiomodelle Regeln der Welt Netzwerk Abbildung 2.2: Aufbau eines VR-Systems Merkmale eines VR-Systems Die im vorigen Abschnitt besprochenen Eigenschaften der VR finden im Aufbau eines typischen VR-Systems Widerklang, wie in Abbildung 2.2 verdeutlicht wird. Die wesentlichen Bestandteile sind der VR-Generator und die VR-Peripherie. Durch die unterschiedlichen Peripheriegeräte des VR-Systems werden sowohl die Eingaben des Nutzers erfasst, als auch die Sinneseindrücke erzeugt. Als Geräte zur Eingabe werden u. a. Trackingsysteme verwendet. Damit lassen sich Kopfposition, Gestik und Mimik sowie die gesamte Körperhaltung erfassen. Daraus berechnete Positionsund Orientierungsdaten werden an den VR-Generator übermittelt. Um die Interaktion zu gewährleisten, stellt man spezifische Anforderungen an diese Trackingsysteme. Da das Hauptaugenmerk dieser Arbeit auf diesen Trackingsystemen liegt, werden sie in einem gesonderten Abschnitt eingehender behandelt (siehe Kapitel 3). Auch die Rückgabe von Sinneseindrücken an den Nutzer erfordert in einer immersiven Umgebung besondere Aufmerksamkeit. Für den visuellen Eindruck steht der räumliche Eindruck im Vordergrund. Das stereoskope Sehen kann dadurch erreicht werden, dass zwei leicht versetzte Bilder (Parallaxe) derselben Szene erzeugt und jeweils nur für ein Auge sichtbar gemacht werden. Zu solchen Sichtgeräten gehören z. B. Head Mounted Displays (HMDs), Stereomonitore oder Großbildprojektionen in Verbindung mit einem Bildtrennungsverfahren. Entweder wird das Polarisations- oder das Shutterverfahren benutzt. Letztere Techniken erzielen durch das große Betrachterfeld einen besonders großen Immersionseffekt und ermöglichen beispielsweise in einer Cave die vollständige Integration des Nutzers in die virtuelle Umgebung. Den typischen Aufbau einer Cave demonstriert Abbildung 2.3(b). 5

18 2 Grundlagen (a) (b) Abbildung 2.3: Bespiele für Stereosichtgeräte: (a) HMD V8 der Virtual Research Systems (Foto: Virtual Research) (b) Cave des Electronic Visualization Lab (Foto: Leigh) Der VR-Generator ist das Herzstück des Systems. Er besteht aus einem leistungsfähigen Rechnersystem, das die virtuelle Welt auf der Grundlage von Nutzerinformationen aus der VR-Peripherie und der VR-Datenbasis erzeugt. Diese Informationen werden innerhalb der Simulationsschleife ständig ausgewertet. Mit jedem Durchlauf der Schleife wird ein Frame (Bild) der Welt erzeugt. Die Zeit für den Aufbau eines Frames setzt sich hierbei aus der Zeit der Sensorverzögerung, der Zeit für die Datenübertragung über das Netzwerk und dem eigentlichen Erstellen des Frames zusammen. Um eine flüssige Darstellung zu erreichen, sollte der VR-Generator 24 Frames pro Sekunde (Stereoausgabe: 24 Framepaare) rendern. Mit steigender Framerate wächst auch das Gefühl der Immersion des Nutzers. Die Datenbasis des VR-Generators enthält sein gesamtes Wissen über die Welt. Darin sind nicht nur die Beschreibung und das Verhalten der einzelnen Objekte zu finden, sowie dazugehörige akustische Daten, sondern auch die Regeln oder Gesetzmäßigkeiten der Welt werden in der Datenbasis verankert. Nimmt man die reale Welt als Vorbild, leuchtet ein, dass die Datenbasis sehr umfangreich werden kann. Besonders der Speicherbedarf und die Übertragung der Informationen machen eine Komprimierung nötig. Dennoch darf damit die Echtzeitverarbeitung nicht beeinträchtigt werden. Wie ist die Simulationsschleife aufgebaut? Die wesentlichen Komponenten sind: 1. Sensordaten von der Peripherie lesen 2. VR-Objekte entsprechend der Datenbasis und der Nutzereingaben aktualisieren 3. Objektspezifische Aufgaben (Tasks) ausführen 4. Szene visualisieren 5. Audiodaten berechnen 6. Daten für haptische Rückkopplung erzeugen 6

19 2.2 Motion Capture Insbesondere die Bilderzeugung kann sich als zeitintensiver Schritt herausstellen. Nicht nur das verwendete Beleuchtungsmodell, die Texturierung und ob stereoskopische Darstellung benötigt wird, sind entscheidend, sondern auch die Bildkomplexität, die sich durch die Anzahl der Polygone messen lässt. Diese Faktoren, zusammen mit der Echtzeitforderung, bilden die Grundlage bei der Wahl des Rechnersystems. Meist wird deshalb ein Verbund mehrerer Rechneneinheiten, wie beispielsweise ein Cluster eingesetzt und anspruchsvolle Grafikkarten zur Visualisierung verwendet. Der Aufbau des VR-Generators schlägt sich natürlich in den gängigen Entwicklungssystemen für VR-Anwendungen nieder. So benutzt WorldToolKit (WTK) von Sense8, was als Plattform für diese Arbeit dient, ein Universe als Container der gesamten Welt. In diesem Universe sind alle Objekte der VR-Welt enthalten. Es beinhaltet eine Simulationsschleife, die der Obigen im Wesentlichen entspricht (Engineering Animation, Inc. 1999). 2.2 Motion Capture Überblick Wie im letzten Abschnitt geschildert, bildet die Interaktion des Nutzers mit der virtuellen Welt eine wesentliche Grundlage eines jeden VR-Systems. Die Bewegungen des Nutzers müssen somit mit Hilfe von Sensoren beobachtet und in eine computerlesbare Form überführt werden. Genau dieser gerade beschriebene technische Prozess soll im weiteren mit dem Begriff Motion Capture umschrieben werden. Gleichzeitig kann hiermit die vorliegenden Arbeit zusammengefasst werden: die Realisierung eines bestimmten Motion-Capture-Systems und anschließende Integrierung in eine VR-Umgebung. In der obigen Definition für Motion Capture wird nichts darüber ausgesagt, welche Art von Sensoren genutzt wird oder welcher konkrete technische Prozess dahinter steht. Wie Jung u. a. (2001) beschreiben, abstrahiert der Motion-Capture-Prozess die Bewegung aus dem tatsächlich Sichtbaren. Die daraus resultierende Repräsentation der Bewegung hängt von der konkreten Anwendung ab, z. B. Einbindung in eine VR- Anwendung oder Segmentierung der Bewegungen eines Athleten in der Sportmedizin. Beachtenswert ist, dass diese Definition von Motion Capture nicht die Darstellung eines bewegten 3D-Modells auf dem Bildschirm einschließt. Den gesamten Prozess aus Motion Capture und anschließender Animation wird von Jung u. a. Animation from Observation und von Menache mit Performance Animation bezeichnet. Die Abgrenzung von Motion Capture zu diesen beiden Begriffen wird hier scharf gezeichnet, da im allgemeinen Gebrauch diese drei Begriffe synonym gebraucht werden. Wird Motion Capture zur Animation verwendet, unterscheidet man zwei unterschiedliche Motion-Capture-Systeme. Einmal gibt es Online-Systeme, bei denen die Animation in Echtzeit angezeigt wird und zum anderen Offline-Systeme, die die Daten nicht in Echtzeit visualisieren, 7

20 2 Grundlagen Eine Motion-Capture-Aufnahme soll die tatsächliche Bewegung möglichst genau erfassen. Diese Bedingung beinhaltet zugleich eine Einschränkung der Verwendbarkeit der Daten. Oft mag eine ähnliche Bewegung benötigt werden oder die Bewegung soll auf einen anderen Charakter übertragen werden. Aus diesem Grund kommt der Manipulation von Bewegungen im Nachhinein, dem Motion Editing, bei der Betrachtung von Motion Capture mehr und mehr Bedeutung zu. Hierbei ist die Benutzung von Motion Editing nicht nur der Tatsache geschuldet, dass die Motion-Capture-Daten nicht der erwarteten Performance entsprechen. Sollen die Daten wiederverwendet, physikalisch unmögliche Bewegungen erzeugt oder imperfekte Bewegungen verändert werden, müssen die Motion-Capture-Daten verändert werden. Besonders im Bereich der Film- und Videospielindustrie stellt es eine Herausforderung dar, in einer Motion- Capture-Session tatsächlich alle benötigten Bewegungen zu erhalten. Später festgestellte Fehler in den Bewegungsdaten erfordern einen erheblichen Mehraufwand, wie Menache (2000) beschreibt. Ein Ansatz Bewegungen im Nachgang zu verändern basiert auf der digitalen Signalverarbeitung. Techniken der Bild- und Signalverarbeitung werden auf Bewegungsdaten angewandt. So können etwa über die Zeit aufgezeichnete Veränderungen eines Gelenkwinkels als Signal aufgefasst und mit einer zweiten Signalkurve übereinandergelegt werden. Dadurch entstehen neue Bewegungsabläufe oder bestehende Bewegungen werden verfeinert (Bruderlin und Williams 1995). Man kann Motion-Capture-Systeme dahingehend unterscheiden, ob die Mimik oder die Bewegungen des ganzen Körpers erfasst werden. Nachfolgend geht aus ausschließlich um Körperbewegungen. Für Motion Capture des Gesichts gelten ähnliche Ansätze, wie für den gesamten Körper. Dennoch gibt es dabei einige spezielle Probleme zu lösen Anwendungen für Motion Capture Die Einsatzmöglichkeiten von Motion Capture gestalten sich äußerst vielfältig. Nicht nur die klassische Anwendung in der Unterhaltung auch in Medizin, Sport oder der Ergonomie wird Motion Capture benutzt. Nicht zuletzt wegen der Benutzung von VR-Technologien in immer mehr Bereichen, erweitern sich die Einsatzmöglichkeiten ständig. Im folgenden werden einige dieser Anwendungsgebiete aufgeschlüsselt, weitere Anwendungsfelder sind in der Linksammlung zu dieser Arbeit zu finden (Steger 2004). Medizin Die Analyse der Bewegung ist in der Medizin besonders für die Biomechanik wichtig. Die Biomechanik untersucht den Körper und dessen Bewegungen anhand mechanischer Prinzipien sowie anatomischer und physiologischer Besonderheiten. Mit Hilfe der Analyse des Gangs eines Patienten können Haltungsschäden, Gelenkprobleme oder Lähmungen diagnostiziert werden. Die Bewegungsanalyse ist ein sehr altes Gebiet. Schon 1876 konnte der Fotograf Eadweard Muybridge anhand von aufeinander folgenden Bildern zeigen, 8