Kapitel 6. Virtuelle Charaktere. Virtuelle Präsenz WS08/09, Uni Ulm

Transkript

1 Kapitel 6 Virtuelle Charaktere

2 Inhalt Einleitung Gestik 6 Virtuelle Charaktere

3 Avatare und Freunde Repräsentant einer realen Person autonomer Charakter gesteuert durch den Computer Wichtige Eigenschaften und Gestik synchron zur Sprache zusätzliches Verhalten bei autonomen Charakteren (natürlich, emotional und intelligent) 6.1 Avatare und Freunde Kategorien von virtuellen Charakteren

4 Avatar Softbot Software und Robot, Programme, die mit dem Benutzer kommunizieren NPC (non-player character) beleben virtuelle Welten eigenständige vom Computer gesteuerte Charaktere 6.1 Avatare und Freunde 2D/3D Repräsentant einer natürlichen Person in einer virtuellen Umgebung

5 Software Guides Weiterentwicklung der Hilfefunktion Analyse des Benutzerverhaltens Tipps Chatbots Programme, mit denen man sich in Grenzen unterhalten kann Assistenten Ziel: Ersatz von menschlicher Assistenz z.b.: Virtual Guido ( 6.1 Avatare und Freunde

6 Allgemeines : sichtbare Bewegung der Gesichtsoberfläche läuft oft in Sekundenbruchteilen ab Ausdruck von Emotionen, Intuition,... gibt Aufschluss über individuelle Eigenschaften eines Menschen kann wichtiger Bestandteil der non-verbalen Kommunikation sein 6.2

7 jeder Laut, der erzeugt wird, ist ein Phonem Natürliche menschliche Sprache beinhaltet zwischen 10 und 80 verschiedene Phonemen (Deutsch ca. 40) Visem jedem Phonem wird ein Visem zugeordnet spiegelt Lippenstellung wider Synchronisation von Sprache und Lippen Beispiel: Talking Heads 6.2 Phonem A E O U F L

8 FACS (Facial Action Coding System) Standardklassifikation der mimischen Muskelbewegungen Aufteilung der Gesichtsbewegung in Action Units (AU) Gesichtsausdrücke durch Kombination von AUs AU AU

9 Morphing Datenerfassung punktweise Digitalisierung Tracking Modell 3D-Laserscanner CRT / MRT Stereoskopische Aufnahmen Fotoaufnahmen 6.2 nahtloser Übergang von einem Quellbild in ein Zielbild

10 Modellierung Konkatenatives Modell basiert auf real aufgenommenen Videobildern Vorteil: hochqualitative Aufnahmen, einfache Erstellung Nachteil: Gesichtsausdrücke nur möglich, wenn Bild vorhanden ist, Kopfhaltung bleibt statisch Übergange werden mittels Morphing realisiert Beispiel: MikeTalk (MIT) 6.2

11 Beispiel MikeTalk (MIT) für jedes Visem muss ein Bild vorhanden sein 6.2

12 Beispiel MikeTalk (MIT) für jedes mögliche Paar von Visemen wird ein Übergang definiert 6.2

13 Beispiel MikeTalk (MIT) Abbildungsalgorithmus 6.2 forward wraping von Bild0 nach Bild1 forward wraping von Bild1 nach Bild0 morphing der entstandenen Bildpaare Ausfüllen der Löcher, undefinierte Pixel

14 Beispiel MikeTalk (MIT) Abbildungsalgorithmus 6.2

15 Parametrisches Modell Festlegung einer geeigneten Menge von Parametern Struktur und Gestalt eines individuellen Gesichts Ausdruck von Emotionen Face Mesh Menge von Polygonen, z.b. durch 3D-Scanner bestimmte Gesichtsausdrücke durch Setzen der Parameter festlegen Problem: weiche Übergänge Meshdeformation 6.2

16 Tracking Modell Erkennung der durch Software Übertragung auf Animation definierte Referenzpunkte ermöglichen es die Animation im Raum zu bewegen 6.2

17 Anatomisches Modell Aufteilung des Modells in Knochen (starres Polygonnetz) Haut (flexibles Polygonnetz) Muskel (verbinden einen oder mehrere Hautpunkte mit einem Knochen, elastisch) 6.2

18 MPEG-4 MPEG = Movie Picture Experts Group MPEG-1/2 MPEG-4 Erweiterung um modell-orientierte Kodierung Szenengraph einmal zum Empfänger übertragen anschließend nur nach Transformation, Deformation Bandbreite von 2 Kbit/s ausreichend (für rein modell-basierten Strom) 6.2 blockbasierte Bildkompression

19 Binary Format For Scene (BIFS) beschreibt räumliche-zeitliche Komposition von Medienobjekten synthetische Objekte: geom. Figuren, Texturen, Beleuchtung natürliche Objekte: Stream-Objekte für Video u. Audio zusätzlich Sensoren für Interaktivität angelehnt an VMRL (aber binär) Modelle für Gesicht () und Körper (Gestik) 6.2

20 Gesichtsanimation Face Feature Points (FFP) 6.2 insgesamt 84 FFPs Position für jedes Gesichtsmodell relevant sind Referenzpunkte für Facial Animation Parameters FFPs definieren neutrales Gesicht Blick in Richtung z-achse Gesichtsmuskeln entspannt Augenlider berühren Iris Lippen in Kontakt,...

21 definieren individuelles Gesicht als Polygonnetz Gesichtstextur und Face Animation Table (FAT) Facial Animation Parameters (FAP) erzeugen synthetischen Gesichtsaustdruck jeder FAP korrespondiert zu einer Aktion, die Merkmalpunkte (FFP) bewegt Face Animation Table (FAT) Definiert, wie sich ein Eckpunkt bewegt, in Bezug auf eine Bewegung jeden FFPs 6.2 Face Definition Parameters (FDP)

22 Gesichtsanimationsparameter 68 FAPS zur Repräsentation verschiedenster Gesichtanimationen 6.2 Beispiel: 6 Grundemotionen

23 Gestik Allgemeines Gestik: kommunikative Bewegungen insbesondere der Arme und der Hände, teil der non-verbalen Kommunikation Typologie: ikonische Gesten deiktische Gesten lexikalisierte Gesten koverbale Gesten 6.3 Gestik

24 Ägypten: Bitte sind Sie geduldig. Italien: Was meinen Sie genau? Griechenland: Das ist perfekt. Herausforderung Erkennen von Gesten realistische Animation von Gesten automatischen Generieren von Gesten (inhaltsabhängig) 6.3 Gestik Beispiel: ikonische Geste

25 Gestikerkennung Datenhandschuh Bildbasierte Erkennung (z.b. durch neuronales Netz) SIVIT (Siemens Virtual Touchscreen) 3D-Kiosksystem (Firma Rittal, 2005) 6.3 Gestik Anwendung:

26 Animation von Gesten vordefinierte Animation (z.b. durch Motion Capturing oder durch 3D-Modellierungsprogramme) Keyframe-Animationen prozedurale Animationen Kombination von vordefinierten Animation und prozeduralen Animationen 6.3 Gestik Keyframe-Animation

27 Kinematik Kinematik = Bewegung Kinematische Kette: starre Körper verbunden durch Gelenke Kette beginnt mit Elternteil Kind ist über Gelenk mit Elternteil verbunden bewegt sich das Elternteil, dann bewegen sich die Kindteile ebenfalls 6.3 Gestik

28 Vorwärtsgerichtete Kinematik Stellung der einzelnen Gelenke der Kettenglieder vorgegeben daraus kann Lage des letzten Gliedes eindeutig berechnet werden 6.3 Gestik

29 Inverse Kinematik Lage des letzten Gliedes der Kette ist bekannt daraus berechnen sich die Winkel aller Gelenke aufgrund der vielen möglichen Gelenkstellung ist es nicht einfach natürliche aussehende Bewegungen zu erzeugen 6.3 Gestik

30 Vertex Skinning Skelett (Bones) unsichtbares hierarchisches Knochengerüst definierte Drehpunkte, entsprechen Drehpunkte Skin (Haut) 6.3 Gestik Polygonnetz über Skelett legen jeder Vertex ist mindestens einem Knochen zugeordnet Einfluss der Knochenstellung auf die Vertizes ist gewichtet

31 Vertex Skinning Fortsetzung Animation ändert die Stellung der Knochen Haut wird dementsprechend deformiert 6.3 Gestik

32 H-Anim Standard = Humanoid Animation ( spezifiziert Datenstruktur für Körpermodelle Algorithmen zur Bewegungsmodellierung nicht definiert basiert auf VRML97, aber allgemein verwendet Erstellung: H-Anim Werkzeuge, z.b. Virtock VizX3D fertige Modelle unter Modellierungswerkzeuge, z.b. 3D Studio Max, Maya (Export nach VRML, danach konvertieren) 6.3 Gestik

33 Modellierung in definierter Grundposition Aufrecht stehende Position Blick in Richtung z-achse Füsse nach vorne, Arme seitlich platziert 6.3 Gestik

34 Knotentypen Grundtypen: Humanoid: Wurzel Segment: Körperteil / Knochen Joint: Gelenk / Verweis auf Hautnetz erweiterte Typen: Site: def. Ort relativ zu Segment, z.b. für Kleidung, Schmuck, Gestik

35 MPEG-4: Körperanimation ähnlich der Gesichtsanimation Body Definition Parameters (BDP) 6.3 Gestik def. individuellen Körper mit Polygonnetz und Texturen korrespondiert mit VRML H-Anim Standard Knochen, Gelenke, Haut (Polygonnetz)

36 Body Animation Parameter (BAP) erzeugen bestimmte Bewegungen und Gesten ändern Winkel von Gelenken übertragbar auf andere Körpermodelle 6.3 Gestik

37 Kapitel 6 Virtuelle Charaktere

38 Inhalt Einleitung Gestik 6 Virtuelle Charaktere

39 Avatare und Freunde Repräsentant einer realen Person autonomer Charakter gesteuert durch den Computer Wichtige Eigenschaften und Gestik synchron zur Sprache zusätzliches Verhalten bei autonomen Charakteren (natürlich, emotional und intelligent) 6.1 Avatare und Freunde Kategorien von virtuellen Charakteren Verhalten der autonomen Charaktere abhängig von der Implementierung der Künstlichen Intelligenz

40 Avatar Softbot Software und Robot, Programme, die mit dem Benutzer kommunizieren NPC (non-player character) beleben virtuelle Welten eigenständige vom Computer gesteuerte Charaktere 6.1 Avatare und Freunde 2D/3D Repräsentant einer natürlichen Person in einer virtuellen Umgebung Im Hinduismus bedeutet Avatar eine Gottheit, die freiwillig eine physische Gestalt annimmt, um an der Schöpfung teilzunehmen Begriff Softbot als Sammelbegriff für alle virtuellen Charaktere, die nicht von einer natürlichen Person gesteuert werden. Softbots aber auch als intelligente Agenten die z.b. im Internet Daten sammeln, usw.

41 Software Guides Weiterentwicklung der Hilfefunktion Analyse des Benutzerverhaltens Tipps Chatbots Programme, mit denen man sich in Grenzen unterhalten kann Assistenten Ziel: Ersatz von menschlicher Assistenz z.b.: Virtual Guido ( 6.1 Avatare und Freunde Chatbots oftmals als Gesicht einer Firma, Organisation, Institut,...

42 Allgemeines : sichtbare Bewegung der Gesichtsoberfläche läuft oft in Sekundenbruchteilen ab Ausdruck von Emotionen, Intuition,... gibt Aufschluss über individuelle Eigenschaften eines Menschen kann wichtiger Bestandteil der non-verbalen Kommunikation sein 6.2 Der Gesichtsausdruck beruht im Wesentlichen auf der Kontraktion der mimischen Muskulatur und wird besonders durch Augen und Mund als die beweglichsten Teile des Gesichts hervorgebracht. Mimische Kommunikation und Interaktion ist sozial bedeutsamer, als es die auffälligere und besser dokumentierbare Sprache vermuten lässt. Beispiele: Stirn runzeln: Tadel Nase rümpfen: Ekel, Abscheu jemanden angähnen: jemanden zum Langweiler erklären

43 jeder Laut, der erzeugt wird, ist ein Phonem Natürliche menschliche Sprache beinhaltet zwischen 10 und 80 verschiedene Phonemen (Deutsch ca. 40) Visem jedem Phonem wird ein Visem zugeordnet spiegelt Lippenstellung wider Synchronisation von Sprache und Lippen Beispiel: Talking Heads 6.2 Phonem A E O U F L Das Phonemkonzept taucht erstmals in den Arbeiten von Jan Niecislaw Baudouin de Courtenay ( ) auf, wurde aber vor allem durch die Weiterentwicklungen von Nikolai Trubetzkoi ( ) bekannt. Untersuchungen zeigen, dass für das Verstehen von gesprochener Sprache, sowohl die Phonem als auch die Visemen eine Bedeutung spielen. Visemen finden vor allem beim Lippenlesen großen Einfuss,

44 FACS (Facial Action Coding System) Standardklassifikation der mimischen Muskelbewegungen Aufteilung der Gesichtsbewegung in Action Units (AU) Gesichtsausdrücke durch Kombination von AUs AU AU Durch die Aufteilung des Gesichts in Action Units bedarf es keiner verbalen Beschreibung des Gesichtsausdruckes mehr. Er kann ohne Bedeutungszuordnung codiert werden. Für einen einzelnen Gesichtsausdruck können bis zu 20 Action Units kombiniert werden.

45 Morphing Datenerfassung punktweise Digitalisierung Tracking Modell 3D-Laserscanner CRT / MRT Stereoskopische Aufnahmen Fotoaufnahmen 6.2 nahtloser Übergang von einem Quellbild in ein Zielbild Morphing Vorgehensweise: - festlegen von Quell- und Zielbild - festlegen von korrespondierende Referenzpunkten in beiden Bildern - Interpolation zwischen Referenzpunkten - Bestimmen der Pixeleigenschaften im Zwischenbild - Mischen der Pixeleigenschaften in Abgängigkeit der gewünschten Interpolationsschritte

46 Modellierung Konkatenatives Modell basiert auf real aufgenommenen Videobildern Vorteil: hochqualitative Aufnahmen, einfache Erstellung Nachteil: Gesichtsausdrücke nur möglich, wenn Bild vorhanden ist, Kopfhaltung bleibt statisch Übergange werden mittels Morphing realisiert Beispiel: MikeTalk (MIT) 6.2

47 Beispiel MikeTalk (MIT) für jedes Visem muss ein Bild vorhanden sein 6.2

48 Beispiel MikeTalk (MIT) für jedes mögliche Paar von Visemen wird ein Übergang definiert 6.2

49 Beispiel MikeTalk (MIT) Abbildungsalgorithmus forward wraping von Bild0 nach Bild1 forward wraping von Bild1 nach Bild0 morphing der entstandenen Bildpaare Ausfüllen der Löcher, undefinierte Pixel 6.2

50 Beispiel MikeTalk (MIT) Abbildungsalgorithmus 6.2

51 Parametrisches Modell Festlegung einer geeigneten Menge von Parametern Struktur und Gestalt eines individuellen Gesichts Ausdruck von Emotionen Face Mesh Menge von Polygonen, z.b. durch 3D-Scanner bestimmte Gesichtsausdrücke durch Setzen der Parameter festlegen Problem: weiche Übergänge Meshdeformation 6.2 Menge von Parametern: - Farbe - relative Größe der Gesichtsteile - Augen: Pupille, Lid, Blickrichtung, Brauen - Mund: Öffnung, Ausdruck, Mundwinkel, Kiefer - Kopfposition

52 Tracking Modell Erkennung der durch Software Übertragung auf Animation definierte Referenzpunkte ermöglichen es die Animation im Raum zu bewegen 6.2

53 Anatomisches Modell Aufteilung des Modells in Knochen (starres Polygonnetz) Haut (flexibles Polygonnetz) Muskel (verbinden einen oder mehrere Hautpunkte mit einem Knochen, elastisch) 6.2 Anatomisches Modell ist sehr realitätsnah, jedoch ist ein hoher Rechenaufwand von Nöten.

54 MPEG-4 MPEG = Movie Picture Experts Group MPEG-1/2 blockbasierte Bildkompression MPEG-4 Erweiterung um modell-orientierte Kodierung Szenengraph einmal zum Empfänger übertragen anschließend nur nach Transformation, Deformation Bandbreite von 2 Kbit/s ausreichend (für rein modell-basierten Strom) 6.2 MPEG-4 definiert Standards für: - audio, visuellem und audiovisuellem Inhalt (natürlich oder synthetisch) Media Objekte - Komposition dieser Media Objekte - Transport dieser Objekte über das Netzwerk (Quality of Service) - Interaktion mit diesen Objekten

55 Binary Format For Scene (BIFS) beschreibt räumliche-zeitliche Komposition von Medienobjekten synthetische Objekte: geom. Figuren, Texturen, Beleuchtung natürliche Objekte: Stream-Objekte für Video u. Audio zusätzlich Sensoren für Interaktivität angelehnt an VMRL (aber binär) Modelle für Gesicht () und Körper (Gestik) 6.2

56 Gesichtsanimation Face Feature Points (FFP) insgesamt 84 FFPs Position für jedes Gesichtsmodell relevant sind Referenzpunkte für Facial Animation Parameters FFPs definieren neutrales Gesicht Blick in Richtung z-achse Gesichtsmuskeln entspannt Augenlider berühren Iris Lippen in Kontakt,

57 definieren individuelles Gesicht als Polygonnetz Gesichtstextur und Face Animation Table (FAT) Facial Animation Parameters (FAP) erzeugen synthetischen Gesichtsaustdruck jeder FAP korrespondiert zu einer Aktion, die Merkmalpunkte (FFP) bewegt Face Animation Table (FAT) Definiert, wie sich ein Eckpunkt bewegt, in Bezug auf eine Bewegung jeden FFPs 6.2 Face Definition Parameters (FDP)

58 Gesichtsanimationsparameter 68 FAPS zur Repräsentation verschiedenster Gesichtanimationen 6.2 Beispiel: 6 Grundemotionen

59 Gestik Allgemeines Gestik: kommunikative Bewegungen insbesondere der Arme und der Hände, teil der non-verbalen Kommunikation Typologie: ikonische Gesten deiktische Gesten lexikalisierte Gesten koverbale Gesten 6.3 Gestik ikonische Geste: bildhafte Gesten deiktische Geste: Zeigegeste lexikalisierte Geste: Gesten, welche wie Wörter einer Lautsprache fungieren und als Symbol gelernt werden (abhängig von Kultur) koverbale Gesten:???

60 Ägypten: Bitte sind Sie geduldig. Italien: Was meinen Sie genau? Griechenland: Das ist perfekt. Herausforderung Erkennen von Gesten realistische Animation von Gesten automatischen Generieren von Gesten (inhaltsabhängig) 6.3 Gestik Beispiel: ikonische Geste

61 Gestikerkennung Datenhandschuh Bildbasierte Erkennung (z.b. durch neuronales Netz) SIVIT (Siemens Virtual Touchscreen) 3D-Kiosksystem (Firma Rittal, 2005) 6.3 Gestik Anwendung: Zur bildbasierten Erkennung muss das Quellbild verschiedene Filterungen durchlaufen um das gewünschte Resultat zu erhalten, z.b. Gaborfilter

62 Animation von Gesten vordefinierte Animation (z.b. durch Motion Capturing oder durch 3D-Modellierungsprogramme) Keyframe-Animationen prozedurale Animationen Kombination von vordefinierten Animation und prozeduralen Animationen 6.3 Gestik Keyframe-Animation

63 Kinematik Kinematik = Bewegung Kinematische Kette: starre Körper verbunden durch Gelenke Kette beginnt mit Elternteil Kind ist über Gelenk mit Elternteil verbunden bewegt sich das Elternteil, dann bewegen sich die Kindteile ebenfalls 6.3 Gestik

64 Vorwärtsgerichtete Kinematik Stellung der einzelnen Gelenke der Kettenglieder vorgegeben daraus kann Lage des letzten Gliedes eindeutig berechnet werden 6.3 Gestik

65 Inverse Kinematik Lage des letzten Gliedes der Kette ist bekannt daraus berechnen sich die Winkel aller Gelenke aufgrund der vielen möglichen Gelenkstellung ist es nicht einfach natürliche aussehende Bewegungen zu erzeugen 6.3 Gestik

66 Vertex Skinning Skelett (Bones) unsichtbares hierarchisches Knochengerüst definierte Drehpunkte, entsprechen Drehpunkte Skin (Haut) Polygonnetz über Skelett legen jeder Vertex ist mindestens einem Knochen zugeordnet Einfluss der Knochenstellung auf die Vertizes ist gewichtet 6.3 Gestik

67 Vertex Skinning Fortsetzung Animation ändert die Stellung der Knochen Haut wird dementsprechend deformiert 6.3 Gestik

68 H-Anim Standard = Humanoid Animation ( spezifiziert Datenstruktur für Körpermodelle Algorithmen zur Bewegungsmodellierung nicht definiert basiert auf VRML97, aber allgemein verwendet Erstellung: H-Anim Werkzeuge, z.b. Virtock VizX3D fertige Modelle unter Modellierungswerkzeuge, z.b. 3D Studio Max, Maya (Export nach VRML, danach konvertieren) 6.3 Gestik

69 Modellierung in definierter Grundposition Aufrecht stehende Position Blick in Richtung z-achse Füsse nach vorne, Arme seitlich platziert 6.3 Gestik

70 Knotentypen Grundtypen: Humanoid: Wurzel Segment: Körperteil / Knochen Joint: Gelenk / Verweis auf Hautnetz erweiterte Typen: Site: def. Ort relativ zu Segment, z.b. für Kleidung, Schmuck, Gestik

71 MPEG-4: Körperanimation ähnlich der Gesichtsanimation Body Definition Parameters (BDP) def. individuellen Körper mit Polygonnetz und Texturen korrespondiert mit VRML H-Anim Standard Knochen, Gelenke, Haut (Polygonnetz) 6.3 Gestik

72 Body Animation Parameter (BAP) erzeugen bestimmte Bewegungen und Gesten ändern Winkel von Gelenken übertragbar auf andere Körpermodelle 6.3 Gestik