Mimik und Gestik bei virtuellen Charakteren

Transkript

1 Universität Ulm - Fakultät für Informatik Hauptseminar 3D-Modellierung und Virtuelle Präsenz Mimik und Gestik bei virtuellen Charakteren Nils Reichardt (nils.reichardt@.uni-ulm.de)

2 2/44 Agenda Mimik Einführung Mimik Technologien Gestik Einführung Gestik Technologien Beispiele Zusammenfassung

3 3/44 Was ist Mimik? Stellung und Bewegung der verschiedenen Anteile des Gesichtes Eine Form non-verbaler Kommunikation Unterstützend zu verbaler Kommunikation (dem Sprechen) oder eigenständig

4 4/44 Funktionsweise menschlicher Mimik 26 Gesichtsmuskeln, davon 8 wesentlich für Mimik Wichtig vor allem Augen und Mund, da am beweglichsten

5 5/44 Beispiele für Gesichtsausdrücke [1/3] Freude

6 6/44 Beispiele für Gesichtsausdrücke [2/3] Erstaunen

7 7/44 Beispiele für Gesichtsausdrücke [3/3] Ekel

8 Warum ist Mimik bei virtuellen Charakteren von Bedeutung? 8/44 Interaktion Computer-Mensch: Teil des Strebens nach Realitätsnähe Suspension of disbelief Verbessert die Verständlichkeit und Akzeptanz von Hilfs-/Lehr-Avataren Interaktion Mensch-Mensch: Unterstützung der Kommunikation zwischen Spielern (Emotes)

9 9/44 Agenda Mimik Einführung Mimik Technologien Gestik Einführung Gestik Technologien Beispiele Zusammenfassung

10 10/44 Skelettanimation [1/2] Häufig wird ein Kieferknochen verwendet Bewegt Kinn und Unterlippe Sonst eher ungeeignet Es gibt einfachere Alternativen (folgt) Rotation der Augäpfel nahezu unmöglich

11 Skelettanimation [2/2] 11/44

12 12/44 Draht-Verformer [1/3] Einzeichnen einer Kurve vor der Gesichtspartie Verknüpfung von Kurve und Gitterpunkten Bewegen der Kurve bewegt die Gitterpunkte Menge der beeinflussten Punkte kann angepasst werden ( Cluster )

13 Draht-Verformer [2/3] 13/44

14 14/44 Draht-Verformer [3/3] Fall-Off -Parameter Weiter entfernte Gitterpunkte werden weniger stark beeinflusst Wirkt natürlicher

15 15/44 Animation der Augäpfel [1/2] Separate Kugeln Verknüpfung der Rotation dieser Kugeln mit einer Kurve Verschieben der Kurve ändert die Rotation der Augen Blick folgt der Kurve

16 Animation der Augäpfel [2/2] 16/44

17 17/44 Blendshapes/Morphing [1/2] Kopf des Modells wird dupliziert Jedes Duplikat wird mit eigenem Gesichtsausdruck versehen Software speichert die Unterschiede zum Original Verschiedene Gesichtsausdrücke können mit Schiebereglern eingestellt und kombiniert werden

18 Blendshapes/Morphing [2/2] 18/44

19 19/44 Facial Action Coding System (FACS) [1/4] Standard zur Beschreibung von Mimik (1976) Gesicht ist in 46 Action Units (AUs) unterteilt Stellen je eine elementare Muskelbewegung dar Nur Muskeln, welche die Mimik sichtbar verändern

20 20/44 Facial Action Coding System (FACS) [2/4]

21 21/44 Facial Action Coding System (FACS) [3/4] Einsatz der AUs mit Ausprägung auf Skala A = kaum sichtbar... E = Obergrenze der Bewegungsfähigkeit Resultat, nicht tatsächlicher Muskeleinsatz

22 22/44 Facial Action Coding System (FACS) [4/4]

23 23/44 MPEG-4 [1/2] Vielfältiger Multimedia-Standard (1998) Beschreibt auch Animation virtueller Gesichter Face Definition Parameter 84 Feature Points Zusätzliche Parameter für Hauttextur, Haare etc.

24 24/44 MPEG-4 [2/2] Feature Points werden auf verschiedene Kopfmodelle angepasst Feature Points werden durch Face Animation Parameter bewegt In MPEG-4 vor allem auf Lippenbewegung zu Sprache ausgelegt

25 25/44 Agenda Mimik Einführung Mimik Technologien Gestik Einführung Gestik Technologien Beispiele Zusammenfassung

26 26/44 Was ist Gestik? [1/2] Stellung und Bewegung des Körpers zum Zwecke der Kommunikation Vor allem Arme, Hände und Kopf Analog zu Mimik: Eine Form non-verbaler Kommunikation Unterstützend zu verbaler Kommunikation (dem Sprechen) oder eigenständig

27 27/44 Was ist Gestik? [2/2] Man unterscheidet: Zeigegesten Lexikalisierte Gesten Ikonische Gesten Manche natürlich herausgebildet, manche kulturspezifisch

28 28/44 Körpersprache/Körperhaltung Zusätzlich zur Gestik: unbeabsichtigte Körperbewegung Oft überschneidend mit Gestik Teilweise Ausdruck von Gefühlen Teilweise Aufgrund menschlicher Anatomie

29 29/44 Agenda Mimik Einführung Mimik Technologien Gestik Einführung Gestik Technologien Beispiele Zusammenfassung

30 30/44 Gestik bei virtuellen Charakteren Mittels Skelettanimation, Muskelsimulation Herausforderung: Kombination mit primären Posen/Animationen des Charakters Evtl. mit Hilfe von Skriptsprachen STEP (Scripting Technology for Embodied Persona)

31 31/44 STEP [1/2] Definition eines Referenzsystems Definition der Körperteile

32 32/44 STEP [2/2] Ausführung von Bewegungen:

33 Körpersprache/Körperhaltung bei 33/44 virtuellen Charakteren Spezieller Aspekt: Änderungen möglichst zufällig Datenbank verschiedener Animationen Zufällige Auswahl und Überblenden

34 34/44 Agenda Mimik Einführung Mimik Technologien Gestik Einführung Gestik Technologien Beispiele Zusammenfassung

35 Beispiele 35/44

36 Beispiele 36/44

37 Beispiele 37/44

38 Beispiele 38/44

39 Beispiele 39/44

40 40/44 Agenda Mimik Einführung Mimik Technologien Gestik Einführung Gestik Technologien Beispiele Zusammenfassung

41 41/44 Zusammenfassung Mimik Motivation: Mehr Realismus in 3D-Welten Besseres Verständnis von Sprache Technologien: Skelettanimation Draht-Verformer Spezielle Verknüpfungen zwischen Objekten Blendshapes FACS MPEG-4

42 42/44 Zusammenfassung Gestik Motivation: Mehr Realismus in 3D-Welten Kommunikation ohne Sprache möglich Technologien: Skelettanimation STEP Zufällig generierte Körpersprache

43 Vielen Dank für Eure Aufmerksamkeit!

44 44/44 Quellennachweis Folie 3: Category: Laughter. Wikimedia Commons. Folie 4: Gesicht. Wikipedia (deutsch). Verwendete Version vom , 01:52 unter Folien 5, 6, 7, 20, 22, 23: Dietmar Jackèl, Stephan Neunreither, Friedrich Wagner. Methoden der Computeranimation. Springer, Folie 26: Gesture. Wikipedia (englisch). Verwendete Version vom , 04:38 unter Folie 27: Category: Handshakes. Wikimedia Commons. Folie 28: Michael Dickheiser (Hrsg.). Game Programming Gems 6. Charles River Media, Folien 31, 32: Zhisheng Huang, Anton Eliëns, Cees Visser. STEP: A Scripting Language for Embodied Agents. Online unter Übrige Grafiken/Videos selbst erstellt: Folien 10, 11, 12, 13, 15, 16, 17, 18: Screenshots aus Autodesk Maya 8.5 Folien 35, 36, 37: Screenshots aus Second Life Folien 38, 39: Screenshots aus Knights of the Old Republic 2