Ein System für Motion Capture

Transkript

1 Bachelorarbeit Ein System für Motion Capture - Andreas Weiß 17. Juli 2012 Betreuer: Prof. Dr. Raúl Rojas Tobias Langner Freie Universität Berlin Fachbereich Mathematik und Informatik Institut für Informatik

2 Zusammenfassung Zusammenfassung Das Motion Capture-Verfahren dient dazu, Bewegungsinformationen aus einem von einem Akteur ausgeführten Bewegungsablauf zu extrahieren. In dieser Arbeit werden das Verfahren und seine verschiedenen Systeme erläutert. Ziel ist es, ein eigenes, für Privatpersonen geeignetes Motion Capture-Programm nach dem Prinzip optischer Systeme mittels zweier Webcams zu entwickeln. I

3 Eigenständigkeitserklärung Eigenständigkeitserklärung Hiermit versichere ich, dass ich die vorliegende Arbeit Ein System für Motion Capture selbstständig und ohne unerlaubte Hilfe verfasst habe. Desweiteren bestätige ich, dass ich ausschließlich auf die angegebenen Quellen zurückgegriffen habe und dass diese Arbeit keiner anderen Prüfungskommission vorgelegt wurde. Berlin, Andreas Weiß II

4 Inhaltsverzeichnis Inhaltsverzeichnis Zusammenfassung... I Eigenständigkeitserklärung... II Inhaltsverzeichnis... III Abbildungsverzeichnis... V Tabellenverzeichnis... V 1. Einleitung Motion Capture Entwicklungsgeschichte Beginn des Motion Capturing Motion Capture heute Motion Capture-Systeme Optische Verfahren Elektromagnetische Verfahren Elektromechanische Verfahren Akustische Verfahren Performance Capture Nachbearbeitung / Anpassung Motion Editing Motion Blending Motion Retargeting Motion Capture-Programm Algorithmus Verarbeitungsschritte Analyseparameter Pixelklassifizierung Pixelgruppierung Markerzuordnung Auflösen von Mehrfachassoziationen Nachbearbeitung z-komponenten III

5 Inhaltsverzeichnis 7. Experiment Praktischer Test des Algorithmus Versuchsaufbau Versuchsdurchführung Einzelschritte Ergebnisse Tageslichtversuche Normallichtversuche Auswertung Fazit Weitere Entwicklung Literaturverzeichnis... VI IV

6 Abbildungsverzeichnis Abbildungsverzeichnis Abb. 1 Funktionsprinzip: Rotoscoping (e. Abb.)... 3 Abb. 2 Aufnahmeraum optischer Systeme (e. Abb.)... 5 Abb. 3 Vergleich: Anzug - erkannte Marker (e. Abb.)... 6 Abb. 4 Spezialkamera mit LED-Leuchtdioden (e. Abb.)... 7 Abb. 5 Exo-Skelett (e. Abb.)... 9 Abb. 6 Motion Editing (e. Abb.) Abb. 7 Programm: Benutzeroberfläche (e. Abb.) Abb. 8 Allgemeiner Aufbau (e. Abb.) Abb. 9 Farbabweichung und Marker-Erkennung (e. Abb.) Abb. 10 Funktionsprinzip: Pixelgruppierung (e. Abb.) Abb. 11 Marker-Assoziation (e. Abb.) Abb. 12 Skelettstruktur (e. Abb.) Abb. 13 Versuchsaufbau (e. Abb.) Abb. 14 Vergleich: Skelettstruktur - 3D-Modell (e. Abb.) e. Abb. = eigene Abbildung Tabellenverzeichnis Tab. 1 Ergebnisse Tageslicht Stoffmarker: Bewegung Tab. 2 Ergebnisse Tageslicht Stoffmarker: Bewegung Tab. 3 Ergebnisse Tageslicht Tischtennisbälle Tab. 4 Ergebnisse Normallichtversuche Stoffmarker V

7 1. Einleitung 1 1. Einleitung Das Ziel dieser Arbeit besteht darin, das Motion Capture-Verfahren zu rekapitulieren, sowie ein eigenes, für Privatpersonen geeignetes Motion Capture-Programm zu entwickeln. Es soll die Frage beantwortet werden, inwiefern sich das Verfahren mit handelsüblichen, kostengünstigen Mitteln umsetzen lässt und wie sich eine solche Umsetzung in der Qualität ihrer Ergebnisse von einem professionellen System unterscheidet. Das Motion Capture-Verfahren dient der Computererkennung natürlicher Bewegungen, um damit virtuelle Charaktere realitätsnah zu animieren. Die Technik hat sich im Laufe der Zeit zu einem Standard in der Unterhaltungsindustrie entwickelt. Aufgrund seiner hohen Anschaffungskosten und Komplexität in der Handhabung, ist die Technologie für Normalverbraucher in der Regel jedoch nicht zugänglich. Die Arbeit ist in drei Abschnitte unterteilt. Im ersten Abschnitt soll der Leser an das Motion Capture-Verfahren herangeführt werden. Hierbei werden sowohl die Entwicklung des Verfahrens als auch die unterschiedlichen Motion Capture-Systeme behandelt. Der zweite Abschnitt thematisiert das im Rahmen dieser Arbeit entwickelte Programm und erläutert den Algorithmus zur Bewegungsanalyse in seinen einzelnen Verarbeitungsschritten. Abschnitt Drei behandelt einen praktischen Test des Programms. Verschiedene Bewegungen sollen unter unterschiedlichen Aufnahmebedingungen vom Algorithmus ausgewertet werden. Eine Qualitative Analyse der Ergebnisse soll Aufschluss über die Möglichkeiten und Grenzen des Algorithmus geben.

8 2. Motion Capture 2 2. Motion Capture Motion Capturing ist ein Verfahren, welches dazu dient, einen von einem Akteur ausgeführten Bewegungsablauf auf ein virtuelles Modell zu übertragen. Ein Computer wertet hierfür den aufgezeichneten Bewegungsablauf aus und wandelt diesen in einen, zur Animation des virtuellen Darstellers verwendbaren Datensatz um. Das Verfahren wird heutzutage in zahlreichen Film- und Videospielproduktionen eingesetzt. Die Entwicklung der Technologie wurde in den 70er Jahren jedoch maßgeblich durch Forschungen für medizinische- sowie militärische Zwecke vorangetrieben [6]. So wird Motion Capture in der Orthopädie zur dynamischen, nicht-invasiven Diagnose und Kontrolle von Störungen des Bewegungsapparats verwendet [ ]. [9]. Ebenso versprach man sich Fortschritte in der Sportmedizin, zum Beispiel, um den genauen Bewegungsfluss einer Pirouette nachvollziehen und analysieren zu können. 2.1 Entwicklungsgeschichte Im Kontext des eigenen Motion Capture-Programmes für Trickanimation soll im Folgenden ein stärkeres Augenmerk auf die Entwicklung des Motion Capturing im Bereich der Computer-/ Animation gelegt werden. Das Studium menschlicher, bzw. tierischer Bewegungen reicht bis ins späte neunzehnte Jahrhundert zurück. Kitagawa und Windsor verweisen hierbei auf den britischen Fotografen Eadweard Muybridge ( ) als Pionier auf dem Bereich der Bewegungsanalyse [6]. Muybridge machte sich durch Serienfotografien einen Namen, welche verschiedene Bewegungsabläufe nachvollziehen ließen. So fotografierte er beispielsweise ein galoppierendes Pferd oder ein laufendes Bison, indem er eine Reihe von Kameras entlang einer Strecke positionierte, wobei jede Kamera im Vorbeilaufen durch einen speziellen Mechanismus ausgelöst wurde [3]. Ein früher Ansatz der Trickanimation realistischer Bewegungen stellt das sogenannte Rotoscoping dar. Dieses Verfahren wurde im Jahre 1915 von Max Fleischer entwickelt [8]. Hierzu wird ein Akteur mit einer Kamera gefilmt. Das aufgezeichnete Material wird anschließend auf die Rückseite einer Art Staffelei oder auf einen lichtdurchlässigen Tisch projiziert [3], wie in Abb. 1 veranschaulicht. Ein Zeichner kann auf diese Weise die Bewegungen des Akteurs nach und nach von der Staffelei abpausen.

9 2. Motion Capture 3 Abb. 1 Funktionsprinzip: Rotoscoping (e. Abb.) Ein Problem dieser Technik war der für Fleischer unerwartet hohe Zeitaufwand, der mit dem Animieren verbunden war. Laut Menache war es Fleischers Absicht, das System als Massenproduktionsverfahren zur Zeichentrickanimation zu vermarkten. Für die Fertigstellung seines ersten Trickfilms benötigte Fleischer jedoch über ein Jahr Produktionszeit [8]. Das Verfahren konnte sich über die Jahre durchsetzen und findet auch in aktuelleren Produktionen Verwendung. So basieren die Animationen des Filmes A Scanner Darkly von 2006 auf dem Rotoskopieverfahren [10]. Alberto Menache bezeichnet das Motion Capture -Verfahren als Nachkomme des Rotoscopings innerhalb der Unterhaltungsindustrie [8]. 2.2 Beginn des Motion Capturing In der Computergrafik bediente man sich, zunächst an verschiedenen Universitäten, erstmals gegen Ende der 70er Jahre / Anfang der 80er Jahre des Motion Capture- Verfahrens [7]. In der Industrie wurde man dagegen in den 80ern auf die Technologie aufmerksam [6]. So wurde Motion Capture das erste Mal im Jahre 1985 für kommerzielle Zwecke in der Computergrafik eingesetzt. Robert Abel produzierte damals einen Werbesport, welcher während des Super Bowl ausgestrahlt wurde. Brilliance, so der Name der 3D-Figur, wurde mittels der Motion Capture -Technologie animiert. Hierfür wurden 18 Marker auf dem Körper einer Frau befestigt. Ihre Bewegungen wurden aus verschiedenen Perspektiven aufgenommen und Bild für Bild auf das 3D- Modell übertragen [6]. Kitagawa und Windsor beschreiben die Rechenleistung der damaligen Computer als Hindernis bei der Produktion. Daher musste der Spot auf verschiedenen Rechnern gerendert werden [6].

10 2. Motion Capture Motion Capture heute Inzwischen hat sich das Verfahren mehr und mehr zu einem Standard in der Unterhaltungsindustrie entwickelt. In einer Vielzahl von Filmen kommt die Technologie zum Einsatz, um virtuelle Charaktere realitätsnah zu animieren. Motion Capture wird hierbei häufig zur Unterstützung in Realfilmen eingesetzt, zum Beispiel, wenn große Menschenmengen in der Ferne dargestellt werden sollen. Desweiteren werden einige Animationsfilme komplett mit dem Verfahren produziert, wobei zunehmend nicht nur die Körperbewegungen, sondern auch die Mimik des Akteurs auf den digitalen Schauspieler übertragen werden (siehe: Abschnitt 3.5). Auch Entwicklerstudios greifen für ihre Videospiele immer häufiger auf Motion Capturing zurück, gerade wenn in einem Spiel viel Wert auf fotorealistische Grafiken gelegt wird. Der Einsatz von Motion Capture ist nicht auf Film und Fernsehen beschränkt. Auch die Erbauer sogenannter Animatronics haben das Potential der Bewegungserfassung erkannt. So hat die BBC für eine Live-Show mehrere Dinosaurier-Animatronics bauen lassen, welche über ein spezielles Armgerüst durch reale Bewegungen eines Puppenspielers gesteuert werden können [1].

11 3. Motion Capture-Systeme 5 3. Motion Capture-Systeme Es existieren verschiedene Systeme, die das Motion Capture-Verfahren umsetzen. Diese unterscheiden sich in ihrer Aufnahmetechnik, sowie im Aufnahmeprozess. So erlauben einige Technologien eine Ganzkörperbewegungserfassung in Echtzeit, andere erfordern eine aufwändige Nachbearbeitung der aufgenommenen Daten. Sven Eric Härtel unterscheidet drei grundlegende Prinzipien der Bewegungserfassung: Elektromagnetische, optische und elektromechanische Verfahren [3]. Alberto Menache bezeichnet diese Systeme als die wichtigsten heutzutage verwendeten Technogien zur Motion Capture-Erfassung menschlicher Bewegungen [7]. Laut Jackél, Neunreither und Wagner existieren desweiteren akustische Systeme [5]. Im Folgenden soll auf die oben genannten Systeme, ihre Vor- und Nachteile, sowie auf das sogenannte Performance Capture eingegangen werden. 3.1 Optische Verfahren Eine weite Verbreitung finden optische Motion Capture-Systeme. Hierbei trägt der aufzunehmende Darsteller einen eigens angefertigten, mit Markern versehenen Anzug. Die Bewegungen des Akteurs werden von im Aufnahmeraum angebrachten Kameras gefilmt (Abb. 2). Das aufgezeichnete Material wird anschließend durch eine Spezialsoftware analysiert, um den ausgeführten Bewegungsablauf zu extrahieren. Als Orientierung dienen hierbei die Marker, anhand derer die Position und Ausrichtung jedes Körperteiles bestimmt werden kann. Aus den gewonnenen Daten errechnet die Software daraufhin einen zur Animation eines virtuellen Modells verwendbaren Datensatz (veranschaulicht in Abb. 3). Abb. 2 Aufnahmeraum optischer Systeme (e. Abb.)

12 3. Motion Capture-Systeme 6 Abb. 3 Vergleich: Anzug - erkannte Marker (e. Abb.) Die Anzahl der Marker variiert hierbei je nach Anforderung. Je mehr Marker verwendet werden, desto mehr Bezugspunkte liegen der Software vor und desto präziser wird der Bewegungsablauf erfasst. Für eine Ganzkörpererfassung einfacher menschlicher Bewegungen, etwa Arm- oder Beinbeugung, reicht bereits eine zweistellige Anzahl an Markern aus (siehe: Abschnitt 2.2). Eine weitere Variable ist die Anzahl der zu verwendenden Kameras. Laut Alberto Menache werden üblicherweise nicht weniger als vier und nicht mehr als 32 Kameras verwendet [7]. Wie bei den Markern steigt auch bei den Kameras die Genauigkeit der erfassten Daten mit zunehmender Anzahl [3], da weitere Kameraperspektiven der Software zusätzliches Referenzmaterial zur Bewegungsauswertung bieten. Wichtig ist hierbei, dass alle Kameras genau aufeinander abgestimmt sind. Um dies zu gewährleisten, ist vor der Aufnahme eine präzise Kalibrierung jeder Kamera notwendig, wobei Position und Ausrichtung jeder Kamera innerhalb der Software eingegeben werden müssen. Die eigentliche Aufnahme des Akteurs kann laut Jackél, Neunreither und Wagner unter zwei verschiedenen Aufnahmebedingungen durchgeführt werden [5]. Unter Ersterer wird der Aufnahmeraum für die Aufzeichnung abgedunkelt. Als Marker dienen hierbei pulsierende Leuchtdioden [5] (siehe: Abb. 4). Für die zweite Variante ist kein Abdunkeln des Raumes erforderlich. Stattdessen läuft die Aufnahme unter normalen Lichtverhältnissen, wobei reflektierende Marker mit infrarotem Licht beleuchtet werden. Sven Eric Härtel erwähnt zudem eine weitere Variante, laut derer die Bewegungen eines Akteurs ohne die Hilfe von Markern extrahiert werden können.

13 3. Motion Capture-Systeme 7 Abb. 4 Spezialkamera mit LED-Leuchtdioden (e. Abb.) Hierzu werden einzelne Bildteile einer Analyse unterzogen und ausgefeilten Algorithmen unterworfen, um die entsprechenden Animationsdaten zu erhalten [3]. Mit dem Verwenden optischer Motion Capture-Systeme gehen nach Alberto Menache verschiedene Vor- und Nachteile einher [7]. Vom Vorteil sind demnach die hohe Genauigkeit des Systems, sowie die Bewegungsfreiheit der Akteure, die aus dem Nichtvorhandensein von Kabeln oder Exo-Skeletten resultiert. Zudem sei eine einfache Veränderung der Marker-Konfiguration möglich. Dagegen ist die Notwendigkeit einer Nachbearbeitung der Daten ein Nachteil optischer Verfahren [7]. Ein weiteres bekanntes Problem optischer Systeme ist die Verdeckung von Markern. So kann es passieren, dass Kameras einen Marker nicht erfassen können, zum Beispiel, wenn dieser durch ein Hindernis verdeckt wird. Tritt dieses Problem auf, entsteht eine Animationslücke, in welcher die Position des jeweiligen Markers durch die Software nicht mehr bestimmt werden kann. Durch eine höhere Kameraanzahl wird dem Problem entgegengewirkt, da hierdurch die Wahrscheinlichkeit sinkt, dass Marker gänzlich aus dem Sichtfeld verschwinden. 3.2 Elektromagnetische Verfahren Elektromagnetische Motion Capture-Systeme kommen ohne Marker aus. Stattdessen trägt die gefilmte Person spezielle Sensoren am Körper. Ein im Aufnahmeraum angebrachter Transmitter sendet während der Aufnahme ein elektromagnetisches Feld niederer Frequenz aus [3]. Die Sensoren erfassen das Signal und übertragen ihre Messungen an einen zentralen Rechner, welcher aus den empfangenen Daten die Position, sowie die Ausrichtung [4] jedes Sensors errechnet.

14 3. Motion Capture-Systeme 8 Der Frequenzbereich der Transmittereinheit liegt laut Martin Giese bei über 100 Hz [2]. Zudem sei es typisch, zwischen elf und 18 Sensoreinheiten zu verwenden, wobei jedoch mehr als 100 Einheiten unterschieden werden können. Je nach Leistungsfähigkeit können die Transmitter ein Magnetfeld unterschiedlicher Größe aufbauen. Nach Eduard Horber stehe den Akteuren oft nur eine Bühne von acht mal acht Metern zur Verfügung, die von den Transmittern mit einem Magnetfeld bestrahlen [sic] werden. [4]. Inzwischen seien laut Sven Eric Härtel jedoch Reichweiten von bis zu 150 Metern auf freien Flächen und 50 Metern in geschlossenen Räumen möglich [3]. Elektromagnetische Systeme haben gegenüber optischen Systemen den Vorteil, dass das für optische Verfahren typische Verdeckungsproblem nicht besteht. Desweiteren erlaubt das magnetische Verfahren die Bewegungserfassung mehrerer Darsteller gleichzeitig [3]. Ein weiterer Vorteil im Gegensatz zu optischen Verfahren ist die Echtzeitfähigkeit des Systems, wodurch der Nutzer sofort die erfassten Daten betrachten kann. Desweiteren ist keine nachträgliche Bearbeitung der Daten erforderlich [7]. Von Nachteil ist hingegen, dass elektromagnetische Systeme eine Anfälligkeit gegenüber Interferenzen aufweisen, welche zum Beispiel durch Metall in der Umgebung verursacht werden können [3]. Nach Eduard Horber sind auch die Sensoren selbst eine Störquelle, weswegen er in der zeitgleichen Aufzeichnung mehrerer Darsteller ein Problem sieht. Durch die Nähe der Akteure [ ] können aber Interferenzen auftreten, die die Qualität der Daten mehr oder weniger stark sen. [4]. Ein weiterer Nachteil ist laut Horber, Menache und Giese die Verkabelung des Anzugs. Demnach muss jeder Sensor über ein separates Kabel mit einer Rechenstation verbunden sein [4], was für den Darsteller mit einer gewissen Bewegungseinschränkung verbunden ist. Laut Härtel besteht dieses Problem jedoch nur bei früheren elektromagnetischen Systemen: Früher musste ein Akteur ein Datenkabel hinter sich herführen, inzwischen sind jedoch leistungsstarke Funknetze eingeführt worden [ ] [3].

15 3. Motion Capture-Systeme Elektromechanische Verfahren Eine Alternative zu optischen und elektromagnetischen Verfahren stellt das elektromechanische Motion Capturing dar. Zur Bewegungserfassung wird der Akteur mit einem Außenskelett ausgestattet (siehe Abb. 5). Winkelmesser, welche meist an den Gelenken befestigt werden, messen während der Aufnahme die Ausrichtung der Gelenke, um daraus die Körperbewegung zu errechnen. Abb. 5 Exo-Skelett (e. Abb.) Nach Eduard Horber [4] arbeiten die Winkelmesser mit Potentiometern. Potentiometer messen elektrische Widerstände, wobei die Messwerte durch mechanische Einflüsse, unter anderem durch Drehung, verändert werden können [11]. Die durch Körperbewegungen verursachten Widerstände werden auf diese Weise gemessen und in Bewegungsdaten umgewandelt. Vorteil: Der Aufnahmeraum muss hierfür weder mit Kameras noch mit Transmittern ausgestattet werden [2]. Hieraus ergibt sich ein weiterer Vorteil. Da keine externen Aufnahmegeräte zum Einsatz kommen, fällt auch bei den mechanischen Verfahren das Verdeckungsproblem weg. Ebenso kann die Erfassung nicht durch Interferenzen gestört werden, wie sie bei magnetischen Systemen auftreten können. Ferner können Bewegungen mehrerer Personen gleichzeitig und in Echtzeit aufgezeichnet werden, ohne dass fremde Marker oder Sensoren eine Messung erschweren [4]. Von Nachteil ist hingegen, dass das Exo-Skelett, wie auch die Sensoren der magnetischen Systeme, eine Einschränkung der Bewegungsfreiheit mit sich bringt [3]. Zudem ist es laut Martin Giese nur in Kombination mit anderen Verfahren möglich, die Position des Körpers im Raum zu ermitteln. Die Bewe-

16 3. Motion Capture-Systeme 10 gung im dreidimensionalen Raum ist folglich in den ersten beiden Systemtypen besser integriert. (Verweis auf optische und magnetische Systeme) [4]. 3.4 Akustische Verfahren Motion Capture-Umsetzungen durch akustische Systeme funktionieren über Ultraschallmessung. Hierbei dienen Ultraschallsender als Marker auf dem Körper des Akteurs. Diese Senden ein Signal aus, welches von mehreren Ultraschallempfängern im Raum ausgewertet wird [5]. Nach Jackél, Neunreither und Wagner sind hierfür mindestens drei Empfänger erforderlich. Aus den Laufzeiten des Schalls [ ] lässt sich die Position des jeweiligen Senders [ ] ermitteln. [5]. Es sei jedoch, wie bei optischen Technologien, mit verdeckungsbedingten Messungsfehlern zu rechnen. 3.5 Performance Capture Eine Erweiterung des Motion Capturing ist das sogenannte Performance Capturing. Hierbei beschränkt sich die Bewegungserfassung nicht auf Gestik, sondern umfasst auch die Erfassung der Mimik [12]. Performance Capturing arbeitet nach dem optischen Motion Capture-Prinzip. Marker werden im Gesicht eines Akteurs angebracht, welche über Kameras erfasst werden. Auf diese Weise werden Gesichtsbewegungen extrahiert und auf einen virtuellen Darsteller übertragen.

17 4. Nachbearbeitung / Anpassung Nachbearbeitung / Anpassung Bevor eine mittels Motion Capture erfasste Bewegungssequenz auf ein virtuelles Modell übertragen werden kann, sind - je nachdem, wie stark die Übereinstimmung zwischen den erfassten Daten und der tatsächlich ausgeführten Bewegung ist - Nachbearbeitungsschritte und/oder Anpassungen erforderlich. Eine Nachbearbeitung ist trotz eines optimalen Kalibrierungsverlaufs unumgänglich. [3]. Im Folgenden sollen einige Verfahren zur Nachbearbeitung, bzw. Anpassung von Motion Capture- Daten vorgestellt werden. 4.1 Motion Editing In einer abgeschlossenen Filmsequenz folgt die animierte Figur einem festen Bewegungsablauf. Je nachdem, für welches Produkt das Motion Capture-Verfahren eingesetzt wird, ist es jedoch erforderlich, dass Bewegungen virtueller Charaktere von vorgefertigten Bewegungsfolgen abweichen. Zu diesem Zweck dient das sogenannte Motion Editing. An bestimmten Schlüsselpunkten der Figur, z.b. an Ellbogen, wird eine Neujustierung des Körpers, abhängig von verschiedenen Einflussfaktoren, erlaubt (siehe Abb. 6). Ein mögliches Einsatzgebiet des Motion Editing sind Videospiele [5]. Abb. 6 Motion Editing (e. Abb.) Als Beispiel sei eine Kletteranimation genannt. Je nach Umfang des Spiels muss es der Spielfigur möglich sein, zahlreiche Klippen, Bäume oder Türme zu erklimmen. Das Motion Editing ermöglicht dem Programmierer, die Arme der Spielfigur nach Vorsprüngen und Felsen greifen zu lassen, ohne das die zugrunde liegende Kletteranimation auf den konkreten Kletterabschnitt zugeschnitten sein muss.

18 4. Nachbearbeitung / Anpassung Motion Blending Mit dem Motion Blending wird der Übergang von zwei unterschiedlichen Bewegungsabläufen interpoliert. [5]. Das Verfahren ermöglicht, Lücken zwischen zwei aufeinanderfolgenden Animationen/Animationsabschnitten zu schließen, um den Animationswechsel vor dem Betrachter zu verbergen. Es sei nochmals die Kletteranimation eines Videospiels als Beispiel aufgeführt. Wird kein Verfahren zur Bewegungssequenzverbindung eingesetzt, hat ein Wechsel vom Laufen zum Klettern ein unnatürliches, abruptes Stoppen der Laufanimation zur Folge. Mit Motion Blending wird, angepasst an das Spielgeschehen, eine Zwischensequenz erzeugt, die den Wechsel in einem fließenden Übergang kaschiert. 4.3 Motion Retargeting Sind Unterschiede zwischen den Körperproportionen des realen Akteurs und des virtuellen Charakters so gravierend, dass die vom Akteur extrahierten Bewegungen, ausgeführt von der digitalen Figur, ihren natürlichen Eindruck verlieren, ist eine Nachbearbeitung mittels Motion Retargeting erforderlich. Als Beispiel sei ein Akteur genannt, welcher während der Aufnahme seine Hände über seinen Kopf greifen lässt, das virtuelle Modell aufgrund kürzerer Arme jedoch nicht in der Lage ist, diese Bewegung nachzuahmen. Um proportionsbedingte Unnatürlichkeit in der Bewegung zu korrigieren, muss wie beim Motion Editing eine Anpassung der Bewegung an ein oder mehr Schlüsselpositionen vorgenommen werden.

19 5. Motion Capture-Programm Motion Capture-Programm Im Folgenden soll eine eigene Umsetzung des Motion Capturing vorgestellt werden. Die Umsetzung basiert auf optischen Motion Capture-Systemen. Das Rahmenprogramm soll es ermöglichen, computeranimierte Trickfilme mittels Motion Capturing zu erstellen und diese als Videodatei zu exportieren. Die Kern-Idee hinter dem Programm ist es, hierbei auf einfache Mittel zurückzugreifen, um das Motion Capture- Verfahren auch für Privatnutzer ohne weitere Vorkenntnisse zugänglich zu machen. Zum Erstellen einer Szene durchläuft der Nutzer mehrere Arbeitsschritte. Im ersten Schritt bereitet der Nutzer eine Kulisse, bestehend aus verschiedenen 3D-Modellen vor, in welcher die Szene gedreht werden soll. Im darauffolgenden Schritt wird die Szenerie mit Darstellern (im Folgenden auch als Avatar bezeichnet) besetzt. Über einen speziellen Editor bekommt der Anwender die Möglichkeit, eigene Avatare zu kreieren und diese für seine Szene einzusetzen. Es folgt das Motion Capturing (siehe: Abb. 7). Nach einer kurzen Kamerakalibrierung können die Avatare einzeln per Körperbewegung animiert werden. Ferner soll der Nutzer in der Lage sein, die Mimik der Darsteller zu bearbeiten, sowie das Aufgezeichnete zu vertonen. Die Anwendung ist in C++ geschrieben. Hierfür greife ich auf das Microsoft Windows SDK v6.1 unter der Entwicklungsumgebung Code::Blocks zurück. Das Anzeigen dreidimensionaler Objekte erfolgt mittels DirectX 9. Bei den Avataren handelt es sich programmintern um eine Zusammenstellung mehrerer 3D-Objekte. In der Regel werden CG- Charaktere mittels des sogenannten Skinning mit einem Skelettmodell verknüpft. Eine Bewegung im Skelett hat eine Verformung des Charaktermodells zur Folge. Die Verwaltung als 3D-Objekt-Gruppe dient dem Zweck, dem Nutzer das einfache Zusammenstellen eines Avatars aus vorgefertigten Körperelementen zu ermöglichen. Abb. 7 Programm: Benutzeroberfläche (e. Abb.)

20 6. Algorithmus Algorithmus Mein Algorithmus zur Bewegungserfassung beruht auf dem Prinzip optischer Motion Capturing-Systeme. Zwei Webcams werden hierzu jeweils in einem Abstand von ca. drei Metern von dem Punkt entfernt aufgestellt, an dem der Darsteller steht. Die erste Kamera steht frontal vor dem Akteur, die Zweite wird orthogonal zur ersten Webcam platziert, sodass sie den Darsteller von links filmt. Dieser trägt einen mit Markern ausgestatteten Anzug. Da die von Alberto Menache erwähnte Mindestanzahl von vier Kameras [7] um zwei unterschritten wird, werden für die Aufnahmen gut sichtbare, farblich unterscheidbare Marker verwendet. Diese werden an Knien, Ellbogen,, Füßen, Händen, Schultern, Oberschenkeln, sowie am Kopf, Hals, Bauch und der Hüfte befestigt. Hierzu eignen sich beispielsweise neonfarbende breite Bänder oder dicke Schlaufen, welche vom Akteur übergezogen werden (siehe Abbildung 8). Abb. 8 Allgemeiner Aufbau (e. Abb.) Zunächst fertigt der Nutzer eine Aufnahme an, die einen Akteur in Bewegung zeigt. Der Bewegungsablauf wird simultan von beiden Kameras aufgezeichnet. Vor der Verarbeitung einer Aufzeichnung durch die Software muss der Nutzer einige Analyseparameter bestimmen. Sind die Einstellungen komplett, wird die Aufnahme Bild für Bild an den Motion Capture-Algorithmus übergeben. Dieser ermittelt erst einmal alle Pixel innerhalb des zu untersuchenden Bildes, welche zu einem Marker gehören könnten. Die auf diese Weise ermittelten Flächen werden in einem zweiten Schritt auf gemeinsame Mittelpunkte reduziert. Bei Diesen handelt es sich um im Bild ge-

21 6. Algorithmus 15 fundene Marker, wobei auch fälschlich als Marker erkannte Flächen auftreten können, zum Beispiel wenn ein Gegenstand im Hintergrund aufgrund seiner Größe und Farbe für einen Marker gehalten wird. Daher besteht der nächste Verarbeitungsschritt darin, die im Bild gefundenen Flächen und die Marker auf dem Körper des Akteurs einander zuzuordnen. Abschließend werden die finalen Markerpositionen gespeichert und es wird mit dem nächsten Aufnahmebild fortgefahren. Wurden auf diese Weise beide Kameraaufnahmen ausgewertet, werden die Ergebnisse beider Analysen kombiniert. 6.1 Verarbeitungsschritte Die im Folgenden beschriebenen Bildverarbeitungsschritte werden für die Aufnahmen beider Webcams separat durchgeführt Analyseparameter Für die Bildanalyse ist eine Kalibrierung erforderlich. Festzulegen sind die Farbwerte der zu suchenden Marker, sowie ein Toleranzwert, welcher - je nachdem, wie hoch er eingestellt ist - eine mehr oder weniger starke Abweichung von den festgelegten Farbwerten erlaubt. Würde der Algorithmus bei der Pixelsuche nur jene Bildpunkte berücksichtigen, deren Färbung genau einer der festgesetzten Farben entspricht, so hätten kleinste Veränderungen der Lichtverhältnisse zur Folge, dass andere oder falsche Bildpunkte als Marker-Pixel identifiziert werden würden. Desweiteren muss der Nutzer eine Mindestgröße für Marker als weiteres Erkennungskriterium definieren. Abbildung 9 zeigt die Auswirkungen einer Farbtoleranzwertveränderung (Bildabschnitt Eins und Zwei), sowie das Ergebnis einer Markersuche (Bildabschnitt Drei). Abb. 9 Farbabweichung und Marker-Erkennung (e. Abb.)

22 6. Algorithmus Pixelklassifizierung Im ersten Verarbeitungsschritt des Algorithmus müssen jene Pixel, die Teil eines Markers sein könnten, gegenüber den restlichen Bildpunkten abgegrenzt werden. Die Funktion iteriert hierzu über das Bild. Jeder Pixel besitzt einen RGB-Wert (Rot Grün Blau), dessen Ähnlichkeit zu den eingestellten Markerfarben, unter Berücksichtigung der zulässigen Farbabweichung, berechnet wird. Bei Übereinstimmung werden die untersuchten Bildpunkte ihrer Kolorierung entsprechend markiert. Alle anderen Pixel werden als nicht Marker-zugehörig gekennzeichnet Pixelgruppierung Als nächstes müssen aus den ermittelten Pixeln die Positionen potentieller Marker abgeleitet werden. Hierzu müssen die Pixelansammlungen aus dem letzten Schritt auf einen gemeinsamen Mittelpunkt reduziert werden. Dazu dient ein rekursiver Hilfsalgorithmus, welcher zu einem bestimmten Punkt alle markerzugehörigen Nachbarpixel, also jene mit derselben Kennzeichnung, durchläuft und dabei die Summe ihrer x- bzw. y-werte bildet. Um Doppelzählungen zu vermeiden, wird jeder bereits besuchte Pixel hinreichend gekennzeichnet (Abb. 10). Beide Summen, geteilt durch die Anzahl der Punkte, aus denen sie gebildet wurden, ergeben den Flächenmittelpunkt und somit die Position eines möglichen Markers. Abschließend entscheidet die Funktion mittels des vom Anwender festgelegten Flächenmindestgrößenwertes, ob es sich bei dem ausgerechneten Punkt um einen echten Marker handeln kann. Abb. 10 Funktionsprinzip: Pixelgruppierung (e. Abb.)

23 6. Algorithmus Markerzuordnung Der dritte Schritt besteht darin, die zuvor berechneten eventuellen Marker, im Folgenden auch Markerkandidaten genannt, mit bestimmten echten Markern auf dem Körper des Darstellers zu assoziieren. Das Programm iteriert hierzu über sämtliche Markerkandidaten und entscheiden anhand zweier Bestimmungskriterien über eine mögliche Zugehörigkeit. Erstes Entscheidungsmerkmal sind die Färbungen. Bei einem Markerkandidaten kann es sich nur dann um einen realen Marker handeln, wenn die Farbwerte von Marker und Kandidat übereinstimmen. Für eine tatsächliche Zuordnung berechnet der Algorithmus die Abstände zwischen der Position des Markerkandidaten zu den letzten bekannten Positionen aller, nach dem Farbvergleich noch übrigen echten Marker. Der Markerkandidat wird jenem konkreten Marker mit dem kleinsten Abstand zugeordnet Auflösen von Mehrfachassoziationen Innerhalb des letzten Schrittes wurde jeder Markerkandidat dem für ihn wahrscheinlichsten Marker auf dem Körper des Akteurs zugeteilt. Infolgedessen können jedoch mehrere Kandidaten mit dem gleichen Marker assoziiert worden sein. Gleichermaßen können Marker existieren, welchen kein Kandidat zugeordnet wurde. Als Beispiel sei ein Marker genannt, welcher während der Aufzeichnung kurzzeitig verdeckt wird und auf der anderen Seite des Bildes wieder erscheint. Aufgrund des großen Abstandes zur letzten bekannten Position wird der nun gefundene Markerkandidat eventuell einem anderen Marker derselben Färbung zugeordnet. Im Falle einer solchen Mehrfachzuordnung wird der Markerkandidat mit dem geringsten Abstand zum Marker, beziehungsweise zu dessen letzter bekannter Position, endgültig mit diesem assoziiert. Hierbei handelt es sich um einen iterativen Prozess. Die überzähligen Zuordnungen werden entfernt. Die entsprechenden Markerkandidaten müssen mit anderen Markern verknüpft werden, vorausgesetzt, es existieren noch Marker ohne Kandidat-Assoziation. Abschließend aktualisiert die Funktion die Positionen der Marker mit den Koordinaten der ihnen zugeordneten Markerkandidaten. In Abbildung 11 wird der Prozess der Assoziation dargestellt. Zunächst werden beide gefundenen Markerkandidaten (dunkelgrau) mit dem Marker verknüpft, dessen letzte bekannte Koordinate (hellgrau) am nahesten liegt. Es folgt die Auflösung der entstandenen Mehrfachassoziation und eine Neuzuordnung des Markerkandidaten.

24 6. Algorithmus 18 Abb. 11 Marker-Assoziation (e. Abb.) Nachbearbeitung Die Software arbeitet unter verschiedenen Einschränkungen, welche eine mehr oder weniger aufwändige Nachbearbeitung der errechneten Daten erforderlich machen können, bevor diese für eine CG-Animation brauchbar werden. Wird ein Marker zeitweise von einer Kamera nicht erkannt, so weisen die Animationsdaten Lücken auf. Derartige Lücken lassen sich über eine Autokorrekturfunktion schließen. Die Funktion errechnet hierfür die mittlere Positionsverschiebung eines Markers anhand seiner letzten und nächsten bekannten Position. Ein weiteres Problem: Tritt ein Verdeckungsproblem im ersten Bild der Aufzeichnung auf, so arbeitet der Algorithmus im weiteren Analyseverlauf ohne den betroffenen Marker. Erscheint dieser in späteren Bildern, wird er als überflüssiger Marker erkannt und ignoriert. Um dieses Problem zu umgehen, kann der Nutzer Marker manuell eingeben. Zudem kann es passieren, dass Marker ab einem bestimmten Zeitpunkt der Analyse vom Programm verwechselt werden. Dies passiert in der Regel dann, wenn sich Marker gleicher Farbe zeitweise überschneiden. Das Programm assoziiert die zusammenhängende Fläche mit einem der Marker und kennzeichnet den Anderen als verschwunden. Daher können die Positionen zweier falsch verfolgter Marker ab einem selbst definierten Zeitpunkt der Animation nachträglich vertauscht werden. Eine Möglichkeit, das Verwechslungsproblem von Anfang an auszuschließen, ist die Erkennung komplett farbbasiert zu konzipieren. Das Problem bei dieser Herangehensweise ist jedoch, dass es je nach Marker-Anzahl schwierig wird, unter Normallichtbedingungen gut unterscheidbare Farben zu finden. Weitere Erkennungsfehler lassen sich für jeden Marker per Hand korrigieren.

25 6. Algorithmus z-komponenten Aus der Auswertung der Kameraaufnahmen resultieren zwei getrennte zweidimensionale Animationen, jeweils bestehend aus den Bildkoordinaten aller gefundenen Marker zu jedem Zeitpunkt der Aufzeichnung. Die Ergebnisse werden nun zu einer dreidimensionalen Animation zusammengefasst. Hierzu stellt die Software eine spezielle Skelettstruktur zur Verfügung (Abb. 12). Abb. 12 Skelettstruktur (e. Abb.) Per Hand werden die Marker beider Animationen mit einem Schlüsselpunkt innerhalb des Skelettmodells verknüpft. Durch die Zuweisung gemeinsamer Schlüsselpunkte werden die Marker der ersten Animation mit je einem Marker der Zweiten assoziiert. So errechnet das Programm aus zwei einander zugehörigen Markern eine gemeinsame dreidimensionale Koordinate. Für x und y werden die x-y-marker-koordinaten der frontalen Aufnahme verwendet. Die z-komponente entspricht der x-marker- Koordinate der seitlichen Animation. Abschließend werden anhand der bestimmten Punkte die Orientierungen der jeweiligen Gliedmaßen des Skelettmodells errechnet. Ein früherer Ansatz bestand darin, die Animationsdaten gänzlich aus der Aufzeichnung einer einzigen Kamera zu erheben. Der Grundgedanke war, die Tiefenbewegung über die Größe der Marker im Bild festzustellen, welche im Rahmen der Marker-Mindestgrößen-Abfrage bereits ermittelt wird. Hieraus resultiert jedoch eine weitere Beschränkung des Sichtbarkeitsbereiches und somit eine Vergrößerung des Verdeckungsproblems.

26 7. Experiment Praktischer Test des Algorithmus Experiment Praktischer Test des Algorithmus Im Folgenden soll ein Experiment mit der im zweiten Abschnitt vorgestellten Software durchgeführt werden. Es besteht in einem praktischen Test des Motion Capture- Algorithmus. Mehrere Bewegungsabläufe unterschiedlicher Schwierigkeit sollen aufgenommen, vom Programm ausgewertet und auf ein dreidimensionales Computer- Modell übertragen werden. Eine qualitative Analyse der Ergebnisse soll die Frage beantworten, inwieweit meine Umsetzung des Verfahrens als Funktionsbereit betrachtet werden kann und wo die Grenzen des Programmes liegen. Hierzu werden die Aufnahmen unter wechselnden Aufnahmebedingungen durchgeführt. Zum Einen wird die Anzahl und Größe der verwendeten Marker variieren, zum Anderen soll die Bewegung von verschiedenen Kameramodellen erfasst werden. Desweiteren wird das Experiment unter wechselnden Lichtverhältnissen ausgeführt. Um repräsentative Resultate zu erhalten, werden die Versuche mehrere Male wiederholt. Die qualitative Ergebnisanalyse setzt sich aus dem Zeitaufwand einer möglichen Nachbearbeitung und den Fehlerquoten der Marker-Erkennung zusammen. Relevant ist hierbei, wie oft Marker verloren gegangen sind oder mit anderen Markern verwechselt wurden. Darüber hinaus sollen in der Analyse weitere Beobachtungen dokumentiert werden. Eine abschließende Gegenüberstellung der Versuche soll Aufschluss darüber geben, unter welchen Bedingungen der Algorithmus das beste Ergebnis erzielt, wo eventuelle Schwachstellen liegen und wie diese zu erklären sind. 7.1 Versuchsaufbau Für die Durchführung des Experimentes werden folgende Geräte und Gegenstände verwendet: Die vorgestellte Software, zwei Webcams (Modelle: Speedlink SL SBK und Speedlink Snappy SL-6825-BK), desweiteren verschiedene Marker: Sechs neongrüne und sechs neonorange Stoffstücke, je zwei schwarze Knie- und Ellbogenschoner und 16 farbige Tischtennisbälle. Zudem werden Klebeband, weiße Kleidung, zwei Lampen (Lichtstärke: 400 Lumen) und zwei weiße Laken verwendet. Das Experiment ist in zwei Teile gegliedert, welche sich durch ihre Aufnahmebedingungen unterscheiden. Beide Versuchsabschnitte finden innerhalb eines geschlossenen Raumes statt. Der erste Durchlauf wird tagsüber durchgeführt, sodass Tageslicht durch ein Fenster in den Raum scheint (im Folgenden auch als Tageslichtversuch bezeichnet). Im zweiten Versuchsteil (nachfolgend auch Normallichtversuch genannt)

27 7. Experiment Praktischer Test des Algorithmus 21 sind die Lampen die einzigen Leuchtquellen. Vor der Aufnahme wird der Aufnahmeraum vorbereitet. Zunächst werden die beiden Kameras entsprechend der Abbildung platziert (siehe: Abb.13). Um mögliche Interferenzen mit dem Hintergrund während der Analyse zu vermeiden, wird jeweils der Hintergrund beider Webcams mit einem weißen Laken verhangen. Als nächstes wird das Programm gestartet. Anhand der Webcam-Vorschaubilder werden eventuell verbliebene Störquellen im Bild entfernt. Für die Normallichtversuche wird zusätzlich hinter jeder Kamera jeweils eine Lampe aufgestellt, welche auf die Aufnahmeposition des Darstellers gerichtet ist. Abb. 13 Versuchsaufbau (e. Abb.) Der Akteur wird entsprechend den verwendeten Marker eingekleidet. Der erste Marker-Satz besteht aus den neonfarbenden Stoffstücken und der Schutzkleidung, welche wie zu Beginn von Kapitel 6 beschrieben angelegt werden. Wichtig ist hierbei, dass für zwei nahe beieinanderliegende Schlüsselpunkte nicht zwei Stoffstücke der gleichen Farbe verwendet werden, zum Beispiel für den Hüftmarker und die Oberschenkel. Für die zweite Marker-Bekleidung werden anstatt der Stoffstücke und Schoner die farbigen Tischtennisbälle mithilfe des Klebebandes an den genannten Schlüsselstellen befestigt. Zudem soll der Algorithmus gänzlich ohne Marker getestet werden. Hierbei sollen Punkte am Körper des Akteurs selbst, beziehungsweise an seiner Kleidung, als Orientierungspunkte dienen, beispielshalber Hände, Kopf oder Ärmel.

28 7. Experiment Praktischer Test des Algorithmus Versuchsdurchführung Nach der Vorbereitung des Aufnahmeraumes und dem Einkleiden des Schauspielers werden die Versuchsdurchläufe gestartet. Diese bestehen aus vier Bewegungsabläufen, wobei sich der Akteur immer mit dem Gesicht zur frontal platzierten Webcam 1 hin ausrichtet. Begonnen wird mit einfachem Winken. Bewegung zwei besteht in einem frontal ausgeführten Sprungtritt. Als Drittes geht der Darsteller in die Hocke. Zuletzt soll mit einer flügelschlagartigen Bewegung der Arme erprobt werden, wie gut sich die erfassten Daten auf ein nichtmenschliches Modell, in diesem Fall das 3D- Modell eines Vogels, abbilden lassen. Für letztere Bewegung wird lediglich Webcam 1 verwendet. Jede Bewegung wird separat aufgezeichnet und nachbearbeitet Einzelschritte Zunächst wird eine fünf Sekunden lange Aufnahme des auszuführenden Bewegungsablaufes gemacht. Nach Abschluss der Aufnahme wird dem Anwender automatisch jeweils das erste Bild beider Aufnahmen angezeigt. Hierauf werden nun die Pixel ausgewählt, deren Farbwerte für die spätere Motion Capture-Analyse relevant sind. Per Scroll-Leiste werden anschließend der Farbtoleranzwert und die Marker- Mindestgröße eingestellt. Darauffolgend wird der Motion Capture-Algorithmus gestartet. Im Folgenden werden die vom Algorithmus berechneten Marker-Daten nachbearbeitet. Der Anwender iteriert hierzu über die fertige Aufnahme. Farblich markierte Punkte innerhalb des Vorschaubildes - platziert auf den Marker-versehenen Schlüsselpositionen des Darstellers - zeigen die Positionen der gefundenen Marker zum jeweiligen Zeitpunkt der Aufzeichnung. Erkennungsfehler werden mit den entsprechenden Nachbearbeitungsfunktionen berichtigt. Ist ein Marker nur kurzzeitig gänzlich verschwunden, so ist eine Korrektur nicht notwendig. Abschließend werden eventuell entstandene Erkennungslücken mittels Autokorrektur geschlossen. Hierbei ist darauf zu achten, dass jeder Marker im letzten Bild auf seiner Schlüsselposition liegt. Nach Abschluss der Analyse werden die Daten auf die Skelettstruktur transferiert. Jedem Marker wird nun seinem Pendant innerhalb der Skelettstruktur zugeordnet. Dabei wird der momentan zuzuordnende Marker blau markiert, die Übrigen erscheinen gelb.

29 7. Experiment Praktischer Test des Algorithmus Ergebnisse Im Folgenden werden die Beobachtungen und Ergebnisse des Experimentes aufgeführt. Zunächst wird auf die Resultate des Tageslichtversuchsdurchlaufes eingegangen. Hierauf folgt die Versuchsreihe unter Normallichtbedingungen Tageslichtversuche Die nachfolgende Tabelle (Tab. 1) veranschaulicht die Messungen zu den ausgeführten Versuchen unter Verwendung des ersten Marker-Satzes (siehe: Abschnitt 7.1). Die Messwerte entsprechen dem Durchschnitt von bis zu zehn erfolgreich ausgeführten Motion Capture-Analysen der gleichen Bewegung. Hierbei beinhaltet je die erste Zeile die Ergebnisse für Webcam 1. Die andere Zeile enthält folglich die Resultate aus der zweiten Kamera. Bewegung Farbtoleranz (Abweichung von R, G, B) Marker- Mindestgröße (in Pixeln) Marker verschwunden (pro Aufnahme) Marker falsch platziert (pro Aufnahme) Marker vertauscht (pro Aufnahme) Benötigte Zeit (min) Winken Sprung- Tritt Hocke : : : : : :42 Tab. 1 Ergebnisse Tageslicht Stoffmarker: Bewegung 1-3 Die Wink-Bewegung besitzt die niedrigste Komplexität innerhalb des Experimentes. In allen zehn Durchführungen wurde erfolgreich eine Animation erstellt. Auffällig ist die geringere Fehlerquote der zweiten Webcam gegenüber der Frontalkamera. Im Durchschnitt konnte etwa drei Mal pro Analyse die Position eines Markers nicht nachvollzogen werden. In der Regel war hiervon der Ellbogenmarker betroffen, auf welchen mehrfach der Schatten des Unterarmes geworfen wurde. Entstandene Animationslücken konnten durch den Autokorrekturalgorithmus geschlossen werden. Durchschnittlich ein Mal pro Versuch musste die Position eines Markers geringfügig korrigiert werden. Desweiteren kam es zwei Mal zu einer Verwechslung des Hand-

30 7. Experiment Praktischer Test des Algorithmus 24 und des Schultermarkers. Zudem zeigte sich ein nach hinten hin abnehmender Zeitaufwand. Die letzten vier Wink-Animationen erforderten im Durschnitt 2:28 Minuten. Der Sprungtritt ist in seiner Ausführung komplexer als das Winken (siehe: Abb. 14). Für ihn ist eine Ganzkörpererfassung unerlässlich. Die erfolgten Messungen zeigen hierbei einen deutlichen Unterschied zwischen den beiden zu analysierenden Aufnahmeperspektiven. Bei der Untersuchung der Frontalaufnahmen wurden im Schnitt drei Mal Marker geringfügig falsch gesetzt oder zeitweise nicht gefunden. Eine Marker-Verwechselung trat nicht auf. Die Erkennung der Tiefenbewegung erforderte hingegen einige Korrekturen. In der Ausführung des Trittes wird das hintere Bein zu zwei Zeitpunkten ganz oder zumindest teilweise vom vorderen Bein verdeckt. Nach der Verdeckung sind mehrfach falsch platzierte, ferner durchschnittlich zwei vertauschte Marker zu beobachten. Dies spiegelt sich in der erforderlichen Bearbeitungszeit der beiden Kamerabilder wider. Von den im Mittel 15:36 Minuten entfallen auf die Analyse der Frontalaufnahme lediglich 3:16 Minuten. Abb. 14 Vergleich: Skelettstruktur - 3D-Modell (e. Abb.) Ein ähnliches Problem zeigt sich in der Untersuchung der Hocke. In dem Moment, in dem der Akteur die Knie beugt, wird der hintere Hüftmarker vom vorderen, sich vorbeugenden Bein verdeckt. Etwa drei Male innerhalb eines Versuches verschwindet im Analyseergebnis der zweiten Kamera ein Marker oder muss zurechtgerückt werden. Die Aufnahmen der ersten Webcam konnten demgegenüber ohne Nachbearbeitung verwendet werden. So erforderten die Analysen der frontalen Bilder nur 1:40 der insgesamt durchschnittlichen 9:22 Minuten.

31 7. Experiment Praktischer Test des Algorithmus 25 Bewegung Flügel- Schlag Farbtoleranz Marker- Marker verschwunden Marker falsch Marker ver- Benötigte (Abweichung Mindestgröße (in (pro platziert (pro tauscht (pro Zeit (min) von R, G, B) Pixeln) Aufnahme) Aufnahme) Aufnahme) :59 Tab. 2 Ergebnisse Tageslicht Stoffmarker: Bewegung 4 Die vierte Bewegung wurde lediglich für eine Animation im zweidimensionalen Raum aufgezeichnet. Der Akteur stellte mit seinen Armen den Flügelschlag eines Vogels nach. Entsprechend wurden keine Bein- und Hüftmarker genutzt. Bei der Analyse der Flügelschläge wurden alle Markerbewegungen korrekt nachvollzogen (siehe: Tabelle 2). Im Schnitt kostete das Erstellen einer Flügelanimation 1:59 Minuten. Der nächste Schritt der ersten Versuchsreihe bestand darin, die Aufnahmen unter Verwendung von Tischtennisbällen zu wiederholen. Hierbei waren lediglich die Kamerabilder der Wink-Bewegung, welche im Wesentlichen aus einer Bewegung des Armes bestand, für eine dreidimensionale Analyse verwertbar. Die zugehörigen Messungen sind in der nachfolgenden Tabelle zusammengefasst. Bewegung Farbtoleranz (Abweichung von R, G, B) Marker- Mindestgröße (in Pixeln) Marker verschwunden (pro Aufnahme) Marker falsch platziert (pro Aufnahme) Marker vertauscht (pro Aufnahme) Benötigte Zeit (min) Winken Sprung- Tritt Hocke : : : : Tab. 3 Ergebnisse Tageslicht Tischtennisbälle Der durchschnittliche Zeitaufwand beim Erstellen einer Wink-Animation mittels Tischtennisbälle lag 1:54 Minuten über jenem unter Einsatz des ersten Marker-Satzes. Zudem hat sich die Anzahl an Marker-Verwechselungen gegenüber dem vorangegangenen Wink-Test für Webcam 1 vervierfacht und für Kamera Zwei verzehnfacht. Ebenso wurden im Schnitt mehr Marker falsch platziert oder verloren. Ein direkter

32 7. Experiment Praktischer Test des Algorithmus 26 Vergleich der Analysekonfigurationen zeigt, dass zum Erfassen der Tischtennisbälle die mittlere Marker-Mindestgröße deutlich herabgesetzt werden musste. Die Farbtoleranz wurde hingegen leicht erhöht. Die Aufnahmen des Sprungtrittes und der Hocke waren nur teilweise für eine Analyse geeignet. Hier zeigte sich die Problematik des Verdeckungsproblems. Im Bild der zweiten Kamera waren mehrere für den Animationsverlauf unerlässliche Marker nicht sichtbar. Ihre Tiefenbewegung konnte nicht nachvollzogen werden. Bei der Analyse der Frontalaufnahme des Trittes zeigte sich ein weiteres Problem. Während das Bein nach vorne schnellt, erscheinen die Tischtennisbälle in der Aufnahme unscharf. Ihre Positionen wurden hierbei nicht erkannt. Selbiges Problem tritt beim Flügelschlag auf, wenn dieser schnell ausgeführt wird. Die mittlere Fehlerquote bei der frontalen Erkennung der Hocke blieb ähnlich niedrig wie unter Anwendung der Stoffmarker. Aufnahmen gänzlich ohne Marker waren zur Auswertung durch den Algorithmus ungeeignet. So ließen sich beim Test keine Analyseparameter einstellen, unter denen etwa Hände, Kopf oder Ärmel des Akteurs als zusammenhängende Fläche, deutlich gegeneinander und gegenüber dem Hintergrund abgegrenzt erkannt wurden Normallichtversuche Im Vergleich zu den Tageslichtaufnahmen waren Aufzeichnungen unter Normallichtbedingungen nur eingeschränkt durchführbar. Nur wenige Versuche wurden erfolgreich in eine - zudem nur zweidimensionale - Animation umgewandelt. Die Ergebnisse des zweiten Versuchsdurchlaufes werden im Folgenden tabellarisch aufgeführt. Bewegung Farbtoleranz (Abweichung von R, G, B) Marker- Mindestgröße (in Pixeln) Marker verschwunden (pro Aufnahme) Marker falsch platziert (pro Aufnahme) Marker vertauscht (pro Aufnahme) Benötigte Zeit (min) Winken Sprung- Tritt Hocke : : Tab. 4 Ergebnisse Normallichtversuche Stoffmarker

33 7. Experiment Praktischer Test des Algorithmus 27 Ein direkter Vergleich der Wink-Ergebnisse zu den Resultaten unter Tageslichtbedingungen, bezogen auf die Frontalaufnahmen, zeigt eine Zunahme der Fehlerquote um 46.6 %. Zehn Mal häufiger wurden Marker vertauscht. Hingegen ist die Anzahl verschwundener Marker leicht zurückgegangen. Der Versuch, eine Sprungtrittanimation zu erstellen, blieb erfolglos. Aus keinem der ausgeführten Tritte konnte eine Animation extrahiert werden. Bei der Erkennung der Hocke wurde wie beim Winken eine Steigerung der Fehlerquote beobachtet. Während die Aufzeichnung der frontal auf den Akteur ausgerichteten Kamera im Tageslicht ohne Fehler ausgewertet werden konnte, wurden im Raum-Licht durchschnittlich zwei Mal pro Aufnahme Marker nicht gefunden. Hierbei handelt es sich um die Kniemarker, welche während der Beugung kurzzeitig nicht erkannt wurden. Desweiteren ließ sich beobachten, dass die fertigen zweidimensionalen Animationen ruckeln und in ihrer Framerate variieren. Bei der Wiederholung der Aufnahmen unter Verwendung von Tischtennisbällen, beziehungsweise ohne Marker, ließen sich aus den Bewegungen keine Animationen extrahieren. 7.4 Auswertung In der Motion Capture-Analyse der verschiedenen Bewegungen wurden unterschiedliche Resultate erzielt und Schwierigkeiten festgestellt. Im nachfolgenden Abschnitt sollen mögliche Erklärungen für die gemachten Beobachtungen gefunden werden. Mehrfach wurden Marker vom Algorithmus in ein oder mehreren Bildern nicht gefunden. Dies lässt sich auf verschiedene mögliche Fehlerquellen zurückführen. Zum Einen verschwinden Marker, wenn sie von Gegenständen oder Körperteilen des Darstellers verborgen werden. Das Verdeckungsproblem wurde mehrfach während der Analyse der seitlichen Aufnahmen des Sprungtrittes und der Hocke bemerkt. Desweiteren kam es beim Winken mehrere Male zum Verschwinden des Ellbogenmarkers, während dieser im Schatten des Unterarmes lag. Dies lässt den Schluss zu, dass der gewählte Farbtoleranzwert nicht ausreichend hoch festgelegt wurde, um die im Schatten dunkler erscheinenden Färbung des Markers zu kompensieren. Eine weitere mögliche Ursache ist bedingt durch die verwendete Technik. Bei schnellen Bewegungen, wie dem Sprungtritt, entsteht im Kamerabild oftmals eine Bewegungsunschärfe, da nicht genügend Bilder pro Sekunde aufgezeichnet werden. Infolgedessen