Gestik- und Mimikgenerierung Oliver GärtnerG Universität t des Saarlandes Seminar: Intelligent Virtual Characters Leiter: Dr. Michael Kipp SS 2006
Wozu Mimik und Gestik? Wesentlicher Bestandteil der Kommunikation Wichtig für f Verständnis Wirkung Interpretation Unverzichtbar für f r menschenähnliches hnliches Verhalten -> Video 2
Überblick BEAT (Behaviour( Expression Animation Toolkit) Gesture Modeling and Animation by Imitation Aufgabenstellung: Input: Text Output: Animationsskript 3
BEAT Modular Aufbau Kommunikation der einzelnen Module über XML Regelbasiert Erweiterbar 4
Knowledge Base BEAT Stellt Wissen über die Welt zur Verfügung Besteht aus 2 XML-Dateien (eine für f r Objekte und eine für f Aktionen) 5
BEAT Language Tagging Tagging mit Hilfe des EngLite Parsers Tags: CLAUSE, THEME, RHEME, NEW, KONTRAST, OBJECT, ACTION 6
BEAT Behaviour Suggestion Zur Verfügung stehende folgende nonverbale Verhalten: Beats Ikonische Gesten Kontrastgesten Augenbrauenaufschlag Blickverhalten Betonung 7
BEAT Einfach aufgebaute Regeln Beats: 8
BEAT Ausgabe des Tagging Moduls 9
BEAT Einfach aufgebaute Regeln Beats: Ikonische Gesten: 1. Bei überraschenden Features von OBEJCTS im RHEME 10
BEAT Ausgabe des Tagging Moduls 11
BEAT Einfach aufgebaute Regeln Beats: Ikonische Gesten: 1. Bei überraschenden Features von OBEJCTS im RHEME 2. BEI ACTIONS im RHEME (jeweils nur bei Verfügbarkeit von Informationen in der Knowledge Base) 12
BEAT Einfach aufgebaute Regeln Augenbrauenaufschlag: Während der Beschreibung von OBJECTS im RHEME Kontrastgesten: Bei genau 2 OBJECTS mit KONTRAST Tag (auch innerhalb des THEME) bei mehr als 2 OBJECTS mit KONTRAST Tag wird nur ein Beat generiert z.b. Are you a good witch or a bad witch? 13
BEAT Einfach aufgebaute Regeln Blickverhalten: Blicke weg vom Benutzer beim Anfang eines Theme und blicke hin zum Benutzer beim Beginn eines Rheme Betonung: z.b. innherhalb eines THEME: L+H* ( von( tief nach hoch ) ) für f r neue Objekte (ToBI Inventar) Beliebige Regeln können k hinzugefügt gt werden. 14
BEAT Behaviour Selection Zwei Filter: Prioritätsfilter tsfilter Konfliktauflösungsfilter Belieblige weitere Filter können k definert werden. 15
BEAT Output des Generationsmoduls 16
BEAT Scheduling zwei Möglichkeiten: M Animationsplan mit absoluten Zeitangaben Ereignis-basierter Animationsplan 17
BEAT Demo? 18
BEAT Demo? 19
Gesture Modeling and Animation by Imitation Gestikulationsverhalten einer bestimmten Persönlichkeit zu imitieren ist mit BEAT sehr schwierig. -> komplexerer Ansatz notwending, z.b. Zusammenfassung von Gesten in Einheiten 20
Gesture Modeling and Animation by Imitation Preprocessing Annotation eines Videoausschnitts Erstellen eines statistischen Modell -> > Re-creation direkt aus den Annotationsdaten (Video) System Erstellen eines gesture scripts mit Hilfe eines statistischen Modells bei Eingabe von Text Erstellen eines Animationsskriptes aus dem gesture script 21
Gesture Modeling and Animation by Imitation Grundlagen Phasen einer Geste: [preparation] [hold] stroke [hold] [retraction] Zusammenfassen zu Units Geimensamens Gestiklexikon 22
Gesture Modeling and Animation by Imitation preparation Fling stroke preparation Wipe stroke preparation stroke retraction Wipe Dismiss 23
Gesture Modeling and Animation by Preprocessing Eingabe: Videoausschnitt Imitation zwei Schritte: Annotation mit ANVIL Erstellen eines statistischen Modells Annotation Manuelles Annotieren durch einen Experten sehr zeitaufwendig: 1 Minute Video enspricht ca. 2 Stunden Bearbeitungszeit 24
Gesture Modeling and Animation by Imitation 25
Gesture Modeling and Animation by Imitation Annotation der Sprache Festlegen von Anfangs- und Endzeiten von Wörtern Annotation der Sprachstuktur, d.h. Einteilung in theme, rheme und focus Markierung von Sätzen/ tzen/äußerungenerungen als Einheiten 26
Gesture Modeling and Animation by Imitation Annotation der Gestik Einteilung der Gesten in phases, phrases und units Annotierte Daten Lexem Hand/Hände nde verbundenes Wort zeitliche Relation zur Sprache Bahn (gerade oder gekrümmt mmt) Positionsangaben 27
Gesture Modeling and Animation by Positionsangaben Höhe Abstand Hand-Körper Radiale Orientierung Ellbogenneigung Gespeichert wird Start-und Endpositon eines strokes Imitation 28
Gesture Modeling and Animation by Imitation Erstellen eines statistischen Modells Modell enthält lt: Statische Tabellen Durchschnittswerte Datenbank von Gesten 29
Gesture Modeling and Animation by Imitation Erstellen eines statistischen Modells Schritte: Wörter werden ihrem Stamm zugeordnet (z.b. (z.b.strinking -> strike, won->win >win) Tagging (z.b. Tag INDETERMINATE für f r Wörter W wie somewhat und someone ). Schätzen von Bedingten Wahrscheinlichkeiten: P( L S) = #{ g T : lexeme( g) = L lexaffil( g) = S} #{ S T} 30
Gesture Modeling and Animation by Imitation Erstellen eines statistischen Modells Zusätzlich tzlich: P ( L ) i L i 1 P (h) P ( h i h i 1) P( h l) Datenbank von Gesten aus dem annotierten Video 31
Gesture Modeling and Animation by Imitation Gestengenerierung Eingabe von Text Tagging (theme/rheme rheme/focus) Für jeden Tag S im rheme: Erzeuge unspezifizierte Geste,, falls P( L S) > 0.1 Auswahl einer Menge nichtüberlappender Gesten Auswahl der Hand/Hände nde Zusammenfassen von Gesten zu Units (Sprecherabhängiger Schwellwert für den Abstand zwischen Units) 32
Gesture Modeling and Animation by Gestengenerierung Imitation Spezifizierung der Gesten: Erste Geste G kann immer mit Vorbereitungsphase ausgeführt werden Betrachte den Zeitabstand t zwischen G und der darauf folgenden Geste G : t > Schwellwert: : G G mit Vorbeitungsphase t <= Schwellwert: : G G ohne Vorbereitungsphase, Wähle bestes Matching aus der Gestendatenbank Zurückgehen in Ruhepostion am Ende einer Unit (sprecherspezifisch( sprecherspezifisch) Körper- und Kopfbewegung (sprecherspezifisch) Output: Gesture Script -> Erzeugen eines Animationsskriptes -> > Animation -> Video 33
Gesture Modeling and Animation by Imitation Evaluation Versuch: 26 Studenten Lernphase: Vorspielen von Videoausschnitten zweier Personen (2 Clips je Person) Test 1: Zeigen einer Animation (bei( Eingabe von neuem Text) Test 2: Zeigen beider Animationen gleichzeitig Ergebnis: Test1 : Richtige Zuordnung in 69 % der Fälle Test 2 : Richtige Zuordnung in 88 % der Fälle 34
Gesture Modeling and Animation by Imitation Vergleich mit BEAT - Beat ist regelbasiert, hier: probalistisches Modell - Beat hat 6 Standartgesten <-> große Anzahl von Gesten - Starre Gesten <-> > flexible Gesten - Separate Gesten <-> Bildung von Units 35
Zusammenfassung Zwei Gestengenerierungssysteme: Regelbasiertes System (BEAT) Generierung mit Regeln aus empirischen Untersuchungen Probalistisches System Generierung mit Hilfe eines statistischen Modells, erzeugt aus einem Trainingsvideo 36
Vielen Dank für f r die Aufmerksamkeit! Fragen? 37