Motion Capturing und Compositing

Motion Capturing und Compositing Hausarbeit im Fach Einführung in die Medienwissenschaften von - 1 -

Inhaltsverzeichnis 1. Einleitung...- 3-2. Motion Capture...- 3-2.1 Was ist Motion Capture?...- 3-2.2 Allgemeines Funktionsprinzip...- 3-2.3 Die Aufnahmeverfahren...- 4-2.3.1 Optisches Aufnahmeverfahren...- 4-2.3.2 Magnetisches Verfahren...- 4-2.3.3 Mechanisches Verfahren...- 4-2.3.4 Bilderfassungssysteme...- 5-2.4 Motion Tracking...- 6-3. Compositing...- 7-3.1 Was ist Compositing?...- 7-3.2 3D-Compositing...- 7-4. Anwendungsgebiete...- 8-4.1 Einleitung...- 8-4.2 Medizin...- 8-4.3 Wirtschaft...- 8-4.3.1 Ergonomie-Analyse...- 8-4.3.2 Eye-Tracking...- 9-4.4 Entertainment...- 9-4.4.1 Filme...- 9-4.4.2 Computerspiele...- 10-4.4.3 Nintendo Wiimote...- 11-4.5 Virtual Reality...- 11-5. Quellen...- 12 - - 2 -

1. Einleitung Diese Ausarbeitung dient dem Überblick über den Themenbereich Motion Capturing und Compositing mit dem Ausblick auf verschiedene Anwendungsgebiete. Das Hauptaugenmerk liegt hierbei auf dem Entertainment-Bereich, es wird aber ebenso auf wirtschaftliche und didaktische Aspekte eingegangen. Aufgrund der Komplexität der angeschnittenen Teilgebiete ist es nicht möglich auf alle im Detail einzugehen aber man bekommt einen Ausblick darauf, was mit Motion Capturing und/oder Compositing für Leistungen erbracht werden können und manchmal unmerklich vor unseren Augen erbracht werden. 2. Motion Capture 2.1 Was ist Motion Capture? Motion Capture (zu Deutsch: Bewegungserfassung) ist der Überbegriff für alle Verfahren der Aufnahme von Bewegungsabläufen aus der realen Welt zur Verwendung in Computersystemen. Im klassischen Sinne versteht man darunter die Aufnahme menschlicher Bewegungsabläufe, die auf dreidimensional animierte Figuren übertragen werden, um animierte Charaktere in Filmen und Computerspielen möglichst real und deren Bewegungen möglichst geschmeidig erscheinen zu lassen. Unter dem Begriff Motion Capture kann man jedoch alles einordnen, was der Aufnahme von Bewegungsabläufen dient. Angefangen bei einer einfachen Computermaus über andere Eingabegeräte und optische Aufzeichnungsverfahren bis hin zum mechanischen Ganzköper- Bewegungsaufzeichnungs-Anzug. Dabei werden nicht nur die Bewegungen von Menschen aufgenommen, sondern auch die von Tieren und Maschinen. Allgemein kann man die Motion Capturing -Methoden in vier Hauptklassen einteilen: optische, mechanische, magnetische und Bilderfassungs-Systeme. Im Folgenden werde ich genauer auf die Einzelnen eingehen. 2.2 Allgemeines Funktionsprinzip Alle Verfahren basieren auf einem Grundprinzip. Das Ziel ist es, die spezifischen Bewegungsdaten eines 3D-Models zu erhalten. Der Vertrautheit halber beziehe ich mich auf einen Menschen. Die spezifischen Bewegungsdaten eines Menschen sind die Drehund Knickwinkel der Gelenke und natürlich seine Position, welche aber aufgrund der einfachen Reproduzierbarkeit in der Nachbearbeitung vernachlässigt werden kann. Um die Daten zu erhalten werden, abgesehen von den mechanischen Verfahren, Markierungspunkte an den bewegungsintensiven Stellen, in unserem Fall den Gelenken, angebracht. Durch die unterschiedlichen Verfahren wird nun die genaue Position der Markierungspunkte im Raum ermittelt. Mit den Positionsdaten der Markierungspunkte und geschickten Algorithmen kann der Computer letztendlich die Bewegungsdaten der Gelenke errechnen. - 3 -

2.3 Die Aufnahmeverfahren 2.3.1 Optisches Aufnahmeverfahren Die optische Methode ist wohl die bekannteste und auch die meistverwendete. Hierbei muss die aufzunehmende Person einen hautengen Overall tragen, auf dem die Markierungspunkte in Form von kleinen lichtreflektierenden Bällen angebracht sind. Die Aufnahme erfolgt durch mehrere Kameras (meist Infrarotkameras), die strategisch um den Aufzunehmenden verteilt sind, damit jeder Markierungspunkt zu jedem Zeitpunkt von mindesten einer Kamera erfasst wird. Abbildung 1: Eishockeyspieler beim Motion Capturing. Die Vorteile des optischen Verfahrens sind die hervorragende Bewegungsfreiheit sowie eine hohe Genauigkeit und Abtastrate. 2.3.2 Magnetisches Verfahren Das magnetische Verfahren unterscheidet sich vom optischen dadurch, dass statt der Bälle magnetische Sensoren als Markierungspunkte verwendet werden. Ihre Position wird mit Hilfe eines Magnetfeld-Emitters und einer Empfängereinheit ermittelt. Der Vorteil hierbei ist, dass die Markierungspunkte nicht verdeckt werden können. Der Nachteil ist die verringerte Bewegungsfreiheit, da die aufzunehmende Person einige Geräte mit sich führen muss. 2.3.3 Mechanisches Verfahren Das mechanische Verfahren unterscheidet sich grundlegend von den beiden Vorhergehenden. Alle Bewegungsdaten werden hierbei durch an die Gelenke angebrachte mechanische Sensoren direkt aufgenommen. Durch ein Gyroskop, das an der Hüfte angebracht ist, kann außerdem ständig der Winkel zum Boden erfasst werden. Der Nachteil dieses Verfahrens ist eine starke Einschränkung der Bewegungsfreiheit. Die Anzahl der Sensoren und die notwendigen Verbindungsstreben zwischen ihnen ma- - 4 -

chen schnelle und komplizierte Bewegungen, wie sie z.b. in Kampfszenen gebraucht werden, nahezu unmöglich. Hinzu kommt außerdem, dass diese Systeme für jeden Träger genau kalibriert werden müssen. Abbildung 2: Frau mit mechanischem Motion-Capturing-Anzug. Dennoch ist dieses Verfahren in mancherlei Hinsicht nicht zu schlagen. Ist ein Aufnahmesystem erst einmal für einen Träger kalibriert, kann es sehr schnell an- und abgelegt werden. Dadurch ist das mechanische Verfahren am schnellsten bereitgestellt und bietet, falls der Computer zur Aufnahme der Bewegungsdaten gleich mitgeführt wird, uneingeschränkte Reichweite. Zudem können die Bewegungsdaten dank der unkomplizierten Echtzeitaufnahme direkt weiterverarbeitet werden. 2.3.4 Bilderfassungssysteme Bilderfassungssysteme sind zwar auch optisch, arbeiten aber grundlegend anders. Dabei verzichten sie vollständig auf vorher festgelegte Markierungspunkte. Als Vorbild für das Bilderfassungssystem dient der menschliche Sehapparat. Das Objekt wird mit zwei Kameras aus verschiedenen Winkeln aufgenommen. Mit komplizierten Algorithmen ist es nun möglich aus dem Videomaterial ein 3D-Modell zu erstellen, das Form, Farbe und auch die Bewegung des Objekts enthält. Da lediglich zwei Kameras benötig werden ist die Aufnahme bei diesem Verfahren sehr einfach. Die aufwändigen Algorithmen zur Weiterverarbeitung benötigen jedoch viel Rechenleistung und machen damit dieses Verfahren sehr Zeit- und Kostenintensiv. Durch den rasanten Fortschritt in der Computertechnik und neue, bessere Algorithmen könnte es aber das Motion-Capturing-System der Zukunft sein. - 5 -

2.4 Motion Tracking Motion Tracking (auch: Matchmoving) bezeichnet ein Verfahren, das es ermöglicht aus einer Videoaufnahme die Bewegung der Kamera, mit der sie aufgenommen wurde, zu rekonstruieren. Das macht es möglich Objekte nachträglich in eine Szenerie einzufügen, ohne deren relative Bewegung, bezüglich der Kamera, nachträglich und mit hohem Aufwand nachahmen zu müssen. Bis jedoch die Kamerafahrt aus einer Videoaufnahme extrahiert werden kann, sind einige Zwischenschritte notwendig. Die Arbeit wird wie so oft von einem Programm mit komplizierten Bildpunktverfolgungs-Algorithmen durchgeführt. Im ersten Schritt sucht das Programm auf dem ersten Bild der Aufnahme nach markanten Punkten zur Verfolgung, sodass das Bild gleichmäßig mit Markierungspunkten bedeckt ist. Dies sind meist Punkte die in hohem Kontrast zu ihrer Umgebung stehen, wie z.b. Kanten, Glanzlichter oder kleine Lichtquellen. Im zweiten Schritt wird die Bewegung dieser Punkte Bild für Bild nachverfolgt. Schwenkt die Kamera dabei in eine Richtung, in der keine Punkte gesetzt wurden, werden dort gleichzeitig neue erzeugt. Was man dadurch erhält ist die Bewegung vieler Punkte auf einer zweidimensionalen Ebene. Abbildung 3: Videoaufnahme in Motion-Tracking-Programm. Die grünen Pfade stellen die Bewegung der Markierungspunkte dar. Im dritten Schritt errechnet das Programm, aus der relativen Bewegung der Punkte untereinander, deren Position im dreidimensionalen Raum. Dabei gibt es meist einen kleinen Anteil von Punkten, deren Bewegung nicht zu der der anderen passt, weil sie z.b. nicht korrekt verfolgt werden konnten oder eine Person durch das Bild gelaufen ist. Hierbei wird klar, dass das Verfahren nur funktionieren kann, wenn die meisten Objekte auf der Aufnahme statisch sind. Im letzten Schritt kann das Programm dann aus der Position der Punkte im Dreidimensionalen und deren Bewegungen im Zweidimensionalen auf die Bewegung der Kamera im Dreidimensionalen schließen. - 6 -

3. Compositing 3.1 Was ist Compositing? Compositing beschreibt eine Technik in der Bild- und Videobearbeitung, bei der Bildelemente aus verschiedenen Quellen zu einem stimmigen Gesamtbild zusammengefügt werden. Entscheidend ist hierbei nicht das bloße Übereinanderlegen der einzelnen Bildebenen, sondern auch die gegenseitige Anpassung der Ebenen untereinander. Folglich muss man, wenn man z.b. einen Menschen in einen neuen Hintergrund einfügt, im Hintergrund einen passenden Schatten oder auch eine Spiegelung ergänzen. Durch die Verwendung von halbtransparenten Bildebenen und verschiedenen Mischverfahren zur Verbindung der transparenten Ebenen mit den darunterliegenden Ebenen kann man völlig neue Farb-und Helligkeitsverhältnisse erzeugen. Aufgrund der Fülle an verschiedenen Techniken und Möglichkeiten in diesem Bereich, werde ich in dieser Ausführung nicht genauer auf das Thema eingehen. Im weiteren Verlauf werde ich mich ausschließlich mit dem 3D-Compositing befassen. 3.2 3D-Compositing Wie im Kapitel 3.1 beschrieben fügt man beim Compositing verschiedene Bildelemente zusammen. Beim 3D-Compositing ist mindestens ein Element ein computergeneriertes 3D-Modell. Beispielweise ein 3D-Modell, das in einen realen Hintergrund eingefügt wird, oder ein reales Objekt, das in einen 3D-generierten Hintergrund eingefügt wird. Im statischen Fall, mit unbewegten Bildern, ist dies noch relativ einfach zu bewerkstelligen. Man fügt das reale Element einfach in das verwendete 3D-Programm ein und passt die Winkel- und Größenverhältnisse nach eigenem Ermessen an, bis ein angenehmer Übergang entsteht. Schatten, Spiegelungen und Lichtverhältnisse müssen natürlich extra angepasst werden. Statisches 3D-Compositing wird vor allem in der Architektur verwendet. So kann man ein 3D-Modell, des zu bauenden Gebäudes, in ein Bild des späteren Standorts einfügen und die Wirkung des Gebäudes in seiner Umgebung beurteilen, bevor es überhaupt gebaut wurde. Schwieriger wird es im dynamischen Fall. Will man ein 3D-Modell in ein Video einfügen ist man auf das in Kapitel 2.4 beschriebene Motion Tracking angewiesen. Durch das Motion Tracking erhält man abgesehen von der Bewegung der Kamera auch die Ungefähren Konturen der aufgenommenen Szenerie. Das 3D-Modell kann also einfach an der gewünschten Position eingefügt werden und das 3D-Animationsprogramm errechnet dessen Bewegung im Video automatisch. Um eine reale Aufnahme in eine 3D-Szenerie einzufügen ist ein wesentlich größerer Aufwand notwendig. (Siehe hierzu: http://www.youtube.com/watch?v=0l34hsxxu00 letzter Aufruf: 25.6.11) - 7 -

Abbildung 4: Motion-Tracking-Szene in 3D-Programm. Links oben: Kamera mit Verlaufspfad. Zentral unten: Eingefügter Quader auf Hilfsebene für Schatten und Spiegelung. 4. Anwendungsgebiete 4.1 Einleitung Prinzipiell kann jegliche Bewegung die in der Realität stattfindet auf die eine oder andere Art aufgenommen, analysiert und weiterverwendet werden. Durch Compositing ist es möglich jede Phantasie der Realität hinzuzufügen, zumindest visuell. Dadurch ergeben sich für beide Verfahren dutzende von Möglichkeiten. Kommen beide zusammen kann man virtuelle Welten schaffen, die sich bald nicht mehr von der Realität unterscheiden. 4.2 Medizin In diesem Kapitel sollen ein paar Anwendungsgebiete beispielhaft beschrieben werden. In der Medizin wird Motion Capturing eingesetzt um menschliche Bewegungsabläufe aufzunehmen. Diese können dann mit höchster Genauigkeit, Zentimeter für Zentimeter analysiert werden. So kann Rehabilitationspatienten geholfen werden wieder perfekte Bewegungsabläufe einzuüben. Außerdem wird Motion Capturing von allen Arten von Sportlern genutzt um ihre Bewegungsabläufe bei komplizierten Aktionen, wie z.b. beim Weitsprung, zu perfektionieren. 4.3 Wirtschaft In der Wirtschaft gibt es eine Vielzahl von Möglichkeiten Produktanalysen mit Motion Capturing durchzuführen. Zwei möchte ich an dieser Stelle zur Sprache bringen. 4.3.1 Ergonomie-Analyse Bei der Ergonomie-Analyse werden Bewegungsabläufe bei der Benutzung von Maschinen aufgenommen. So kann z.b. analysiert werden wie leicht es einem Benutzer fällt ein Gerät zu bedienen. Da heute oftmals Menschen in Betrieben dieselbe Maschine mehrere - 8 -

Stunden am Tag bedienen müssen, ist die Ergonomie-Analyse für diese Geräte unabdingbar. Heutzutage spielt die Bedienbarkeit einer Maschine eine gleichgroße Rolle wie die Funktion der Maschine, dies wird vor allem bei Dauerbelastung sichtbar. Des Weiteren kann man häufige Bewegungsabläufe, wie der beim Einstieg in ein Auto, auf ein Computermodell anwenden, um die Ergonomie einer Maschine zu analysieren, bevor diese überhaupt produziert wurde. (Siehe hierzu: http://www.youtube.com/watch?v=w7kk80iumkk Letzter Aufruf: 26.6.11) 4.3.2 Eye-Tracking Zur Marktforschung wird die bewährte Methode Eye-Tracking eingesetzt. Hierbei wird auf die eine oder andere Art der Blickfokus eines Probanden über die Zeit während der Benutzung eines Produkts, dem Gang durch ein Kaufhaus, dem Besuch einer Internetseite oder einem anderen Markforschungsszenario aufgezeichnet. So kann man analysieren wo ein Benutzer wie oft und wie lange hinschaut und seine Produkte entsprechend anpassen. (Siehe hierzu: http://www.simpleusability.com/services/usability/eyetracking/demo Letzter Aufruf: 28.6.11) 4.4 Entertainment Im Entertainment-Bereich sind Motion Capturing und Compositing eine nicht mehr wegzudenkende Königsdisziplin. Hier werden die neuesten Techniken und die schnellsten Rechner eingesetzt um in Filmen und Computerspielen Fantasiewelten zu schaffen, die an Realismus der wirklichen Welt in nichts nachstehen. Außerdem eröffnen neue Arten von Eingabegeräten Möglichkeiten für Spiele, die man mit Maus und Tastatur nicht umsetzen könnte. 4.4.1 Filme Bei dem Charakter Gollum aus der Filmreihe Herr der Ringe ahnt man nicht, dass es sich hierbei tatsächlich um eine von einem Schauspieler gespielte Rolle handelt, da Gollum einem Menschen nur im Entferntesten ähnelt. Gollum ist ein im Computer entworfener Charakter, dessen Bewegungen, sowohl die des Körpers als auch die des Gesichts, eins zu eins von einem Schauspieler übertragen wurden. Die Filmszenen konnten dabei ganz normal mit den anderen Schauspielern aufgenommen werden und Gollums Darsteller wurde in der Nachbearbeitung einfach durch die Computervariante ersetzt. - 9 -

Abbildung 5: Darsteller von Gollum wird durch 3D-Modell ersetzt. Bei der Produktion des Films Avatar Aufbruch nach Pandora ist man noch etliche Schritte weitergegangen. Hier wurde das von den Entwicklern selbst als Performance Capture bezeichnete Verfahren entwickelt. Dabei handelt es sich um eine Mischung vieler Techniken aus dem Bereich des Motion Capture und des Compositing. Wie man an dem Begriff Performance Capture vielleicht erahnen kann, wird dabei alles was die Schauspieler tun zu fast 100% in verwertbare Daten umgewandelt. Das beinhaltet Körperbewegungen, Gesichtsausdrücke und Interaktion mit Kulissen. Des Weiteren wurden die Schauspieler reitend aufgenommen, wobei die Pferde ebenso aufgenommen wurden und man hat sogar die potentielle Bewegung der Haare der Schauspieler mit Hilfe von Schnüren aufgenommen. Die späteren Kamerafahrten wurden während den Dreharbeiten von separaten Spezialkameras aufgenommen. Das Ergebnis waren am Ende Szenen, die vollständig computeranimiert sind, deren Bewegungsinformationen aber nahezu vollständig aus der Realität stammen. (Siehe hierzu: http://neytiri.de/avatar-featurette-dreharbeiten-motion-capture/ Letzter Aufruf: 26.6.11) 4.4.2 Computerspiele In den meisten Computerspielen wird Motion Capturing eingesetzt um die komplizierten Bewegungsabläufe der Spielcharaktere beim Laufen, Schwimmen, Klettern oder Kämpfen nicht mühsam von Hand animieren zu müssen. Damit können die Entwickler sehr viel Zeit sparen und die Animationen wirken realistischer. In aufwendigeren Spielen werden sogar Gesichter aufgenommen um Zwischensequenzen die Qualität von Kinofilmen einzuverleiben. - 10 -

Abbildung 6: Bildschirmfoto aus dem Spiel L.A.Noire. 4.4.3 Nintendo Wiimote Der Controller der Wii-Konsole von Nintendo (Wiimote) nutzt, wenn man es so bezeichnet, visuelles und mechanisches Motion Capture um Benutzereingaben zu erzeugen. Die Wiimote besitzt abgesehen von den üblichen Knöpfen und einem Steuerkreuz eine Infrarotkamera und einen Beschleunigungsmesser. Abbildung 7: Wiimote. Die Infrarotkamera erfasst zwei Leuchtdioden, die sich in einer Leiste befinden, welche meist unter dem Fernseher platziert wird. Dadurch kann der Winkel der Wiimote in Bezug auf die Leiste bestimmt werden. Dies wird genutzt um die Position einen Cursors auf dem Fernsehbildschirm zu ermitteln. Der Beschleunigungsmesser ermöglicht es aufgrund der Erdbeschleunigung den Winkel zwischen Wiimote und Boden zu ermitteln, außerdem erkennt er grobe Bewegungen, durch die z.b. Schüttel-, Schlag-, Schwung, oder Rotationsgesten identifiziert werden können. 4.5 Virtual Reality Zum Abschluss soll noch der Nutzen von Motion Capturing im Bereich Virtual Reality zur Sprache kommen. - 11 -

Virtual Reality besteht einerseits aus einer Computerausgabe, die die Sinne eines Nutzer idealerweise zu 100% mit Daten versorgen soll. Das heißt ein Virtual-Reality-Nutzer sollte virtuell sehen, hören, fühlen, schmecken und riechen können. Meist beschränken sich die Sinne aber noch auf das Sehen und Hören. Der andere Teil des Virtual Reality ist die Benutzereingabe, die idealerweise den ganzen Körper miteinbeziehen sollte. Sprich: man sollte sich in der virtuellen Welt samt seines virtuellen Körpers wiederfinden können, um auch wie in der Realität mit der Umgebung interagieren zu können. Natürlich nutzt man für diesen Zweck schon seit längerer Zeit Motion Capturing, jedoch sind die in Kapitel 2.3 vorgestellten Verfahren zu Umständlich oder noch nicht ausgereift genug um sie auch am heimischen Herd einsetzen zu können. 5. Quellen Was man braucht ist ein Motion-Capturing-System, das schnell verfügbar ist, den Benutzer nicht einschränkt und dennoch ausreichende Genauigkeit bietet. Das in Kapitel 2.3.4 beschriebene Bilderfassungssystem könnte in Zukunft dazu in der Lage sein. Sollte Virtual Reality in dieser Qualität für den gewöhnlichen Bürger verfügbar werden, würde das ganz neue Möglichkeiten für die Internetkommunikation eröffnen. Im Bereich des E-Learning wäre man z.b. nicht mehr darauf angewiesen datenintensive Videos zu produzieren und zu übertragen, man könnte sich einfach in einem virtuellen Raum treffen. Dabei würden auch die störenden Elemente in Videos, wie z.b. der Hintergrund, wegfallen. Internationale Geschäftstreffen könnten auf ganz persönlicher Basis, Angesicht zu Angesicht, stattfinden, ohne vorher lange Strecken zurücklegen zu müssen. Dies sind nur zwei meiner Ideen. Es bleibt die Frage, was der Markt daraus machen wird. Dass es diese Art der Mensch-Maschine-Interaktion geben wird, ist für mich auf jeden Fall unbestreitbar. Arbeit über Motion Capturing (http://medien.informatik.uniulm.de/lehre/courses/ss02/modellingandrendering/07-motion-capturing.pdf Letzter Aufruf: 28.6.11) Bachelorarbeit Motion Tracking with Wii Controller (http://www.ifi.uzh.ch/pax/uploads/pdf/publication/709/bachelorarbeit.pdf Letzter Aufruf: 28.6.11) http://de.wikipedia.org/wiki/motion_capture http://de.wikipedia.org/wiki/compositing http://de.wikipedia.org/wiki/blickerfassung http://de.wikipedia.org/wiki/wii-fernbedienung Abbildung 1 (http://www.nhlsnipers.com/2k11-cover-athlete-ryan-kesler/ Letzter Aufruf: 26.6.11) - 12 -

Abbildung 2 (http://www.qucosa.de/fileadmin/data/qucosa/documents/4858/data/mocap.pdf Letzter Aufruf: 26.6.11) Abbildung 5 (http://www.herr-der-ringefilm.de/v3/de/news/tolkienfilme/news_14400.php Letzter Aufruf: 26.6.11) Abbildung 6 (http://imagequalitymatters.blogspot.com/2010_11_01_archive.html Letzter Aufruf: 26.6.11) Abbildung 7 (http://de.wikipedia.org/wiki/wii-fernbedienung Letzter Aufruf: 26.6.11) - 13 -