5 Kommunizierende Agenten

Transkript

1 Fragen der Vorlesung auch: 5 Kommunizierende Agenten 16. Vorlesung: Max, unser Agent in der virtuellen Welt Werden / können / sollen KI-Systeme menschenähnlich sein? Methoden der Künstlichen Intelligenz Ipke Wachsmuth WS 2002/2003 Androiden Roboter Virtuelle Wesen 16. Vorlesung Methoden der Künstlichen Intelligenz 2 Embodied Conversational Agents Aspekte von ECAs (nach Cassell et al. 2000) (nach Cassell et al. 2000)! Computer-generierte Figuren, die ähnliche Eigenschaften wie Menschen in face-to-face -Konversationen aufweisen! Sie können gesehen werden als " multimodales Interface mit natürlichen Modalitäten (gesprochene Sprache, Gesichtsausdrücke, Handgesten und Körperhaltung) " Software-Agenten, indem sie den Computer in der Interaktion mit einem Menschen repräsentieren oder ihre menschlichen Benutzer in einer virtuellen Umgebung (z.b. als Avatare) verkörpern " Dialog-Systeme, wobei sowohl verbale als auch nichtverbale Komponenten den Mensch-Maschine-Dialog abwickeln Metapher der face-to-face Konversation im Interface- Design:! mixed initiative -Dialog! auch nichtverbale Kommunikation! körperliche Anwesenheit! Regeln für den Kontrolltransfer Weitere Gesichtspunkte:! Persönlichkeit " Expertisegebiet " Interessenprofil " audiovisuelle Erscheinung! Performative! Emotion Quellenhinweis:! Cassell et al. (Eds.): Embodied Conversational Agents (MIT Press, 2000) 16. Vorlesung Methoden der Künstlichen Intelligenz Vorlesung Methoden der Künstlichen Intelligenz 4

2 Sonderforschungsbereich 360 SFB 360 an der Uni Bielefeld Vorgestellt werden zum Abschluß Arbeiten aus unserem Labor zum Thema Situierte Künstliche Kommunikatoren. Übergeordnete Forschungsfragen! Wie kommunizieren Menschen in kooperativen Aufgabensituationen robust und erfolgreich?! Was läßt sich daraus über spezielle Intelligenzleistungen des Menschen lernen?! Läßt sich Kommunikationsfähigkeit auf künstliche Systeme der Robotik und virtuellen Realität übertragen? begonnen Juli 1993, gefördert durch die Deutsche Forschungsgemeinschaft Sprecher: Gert Rickheit Stellvertr.: Ipke Wachsmuth Beteiligte Disziplinen Linguistik Psycholinguistik Psychologie Informatik Neuroinformatik Künstliche Intelligenz 16. Vorlesung Methoden der Künstlichen Intelligenz sound check Vorlesung Methoden der Künstlichen Intelligenz 6 Instrukteur-Konstrukteur-Dialog Kommunikative Intelligenz Szenario: Zwei Partner konstruieren kooperativ ein Modellflugzeug Instrukteur (I) ist ein Mensch, Konstrukteur (K) ein künstlicher Agent I und K kooperieren in einem Instrukteur- Konstrukteur- Dialog Bei uns untersucht am Beispiel von Agent Max: ein in virtueller Realität situierter künstlicher Kommunikator Drei Hauptarbeitsfelder:! PHYSIS der Körper! KOGNITION das Wissenssystem! EMOTION das Bewertungssystem 16. Vorlesung Methoden der Künstlichen Intelligenz Vorlesung Methoden der Künstlichen Intelligenz 8

3 Kognition: Sprache verstehen I: Steck die gelbe Schraube in die lange Leiste. Spracherkennung Syntaktisch-semantisches Parsing Referenz auf wahrgenommene Szene steck BEFEHL CONNECT die DET gelbe FARBE GELB Schraube OBJEKTTYP SCHRAUBE in PRAEP IN die DET lange GROESSE GROSS Leiste OBJEKTTYP LEISTE (select x (OBJEKTTYP(x)= SCHRAUBE und FARBE(x)= GELB)) (select y (OBJEKTTYP(y)= LEISTE und GROESSE(y)=GROSS)) 16. Vorlesung Methoden der Künstlichen Intelligenz 9 Segmentierungshinweise! starke Beschleunigung der Hand, Stopps, rapide Wechsel der Bewegungsrichtung! starke Handspannung! Symmetrien bei beidhändigen Gesten Gesten verstehen: Erfassung 16. Vorlesung Methoden der Künstlichen Intelligenz 10 Gesten verstehen: Analyse Einige HamNoSys-Symbole Datenhandschuh Gelenkwinkel Gelenkwinkel und -positionen Symbol ASCII-Darstellung Beschreibung BSifinger Zeigefinger gestreckt EFinA nach vorn gestreckt 6DOF Tracker Handposition Handmodell Symbol- Klassifikator symbolische Posturbeschreibung PalmL LocShoulder Handfläche nach links in Schulterhöhe LocStretched ganz ausgestreckt Symbolische Klassifikation der Gestenform (HamNoSys) ( Hamburger Notations-System des Instituts für Deutsche Gebärdensprache, Hamburg) MoveA MoveR Handvorwärtsbewegung Handrechtsbewegung <usw.> ( ) ( ) parallel ausgeführt [ ] [ ] in Sequenz ausgeführt 16. Vorlesung Methoden der Künstlichen Intelligenz Vorlesung Methoden der Künstlichen Intelligenz 12

4 Multimodale Analyse: tatn Physis: Ein beweglicher Körper Verbinde das gelbe Teil mit dem violetten Teil...! Handanimation mit key-framing! Körperbewegung durch modellbasierte Animation! Bewegungsgenerierung nebenläufig und synchronisiert zeigen/select (deiktisch) drehen (mimetisch) Koordination von Sprache und Gestik Interpretation im Kontext der Anwendung Kinematisches Skelett mit 53 Freiheitsgraden (DOF) in 25 Gelenken für den Körper und 25 DOF für jede Hand 16. Vorlesung Methoden der Künstlichen Intelligenz Vorlesung Methoden der Künstlichen Intelligenz 14 Mimik Sprechen und Sprechmimik 130 Jahre alt: Charles Darwins Buch Der Ausdruck der Gemütsbewegungen bei dem Menschen und den Tieren... Muskeln des linken Bildes (von Sir Ch. Bell) Virtuelle Muskeln des rechten Bildes (MAX) A Stirnmuskel A Stirnmuskel B Augenbrauenrunzler B Augenbrauenrunzler C Augenringmuskel C Augenringmuskel D Pyramidenmuskel der Nase D Augenlidmuskel E Heber der Oberlippe u d. Nasenflügels E Heber der Oberlippe u d. Nasenflügels F eigentlicher Lippenheber F Jochbeinmuskel u. Mundwinkelheber G Jochbeinmuskel G Mundwinkelherabzieher K Mundwinkelherabzieher H Ringmuskel des Mundes L Viereckiger Kinnmuskel I Unterlippenherabzieher J Unterkiefer 16. Vorlesung Methoden der Künstlichen Intelligenz 15! eine Gesichtsstellung (Visem) für M, P, B! eine Gesichtsstellung (Visem) für N, L, T, D! eine Gesichtsstellung (Visem) für F, V! eine Gesichtsstellung (Visem) für K, G! und Viseme für die verschiedenen Vokale Text-to-Speech: TXT2PHO (IKP Uni Bonn), MBROLA Phonemtranskription ist Grundlage für die automatische Generierung von sog. Visemen für die Sprechmimik (Concept-to-Speech: TO DO) 16. Vorlesung Methoden der Künstlichen Intelligenz 16

5 Ausdruck von Emotionen Gestik und Sprache äußern Koordinierte Ansteuerung der Gesichtsmuskeln basiert auf sogenannten Action Units (Ekman/Friesen) Studentisches Projekt (Körber-Studienpreis!) Emotionales Bewertungs- System in Entwicklung MURML: XML-basierte Markup Language für Multimodal Utterance Representations <utterance> <specification> Und jetzt nimm <time id="t1"/> diese Leiste <time id="t2 chunkborder="true"/> und mach sie <time id="t3 /> so gross. <time id="t4"/> </specification> <behaviorspec id="gesture_1"> <gesture> <affiliate onset="t1" end="t2"/> <constraints> <parallel> <static slot="handshape" value="bsifinger"/> <static slot="extfingerorientation" value="$object_loc_1 mode="pointto"/> <static slot="gazedirection" value="$object_loc_1" mode="pointto"/> </parallel> 16. Vorlesung Methoden der Künstlichen Intelligenz Vorlesung Methoden der Künstlichen Intelligenz 18 Gestik: Imitationsspiele Kognitiv motivierte Architektur! Mensch macht vor, MAX macht nach! Erfassung der Eingabegestik: HamNoSys! HamNoSys als Spezifikation der gestischen Äußerungen Echtzeit! 16. Vorlesung Methoden der Künstlichen Intelligenz Vorlesung Methoden der Künstlichen Intelligenz 20

6 Kognitiv motivierte Architektur! nebenläufiges Wahrnehmen, Schlußfolgern und Handeln (Perceive, Reason, Act)! parallele Verarbeitung durch eine reaktive und eine deliberative Komponente! Rückfluß von Informationen in einer kognitiven Schleife, Feedback an Behaviors! BDI-Kernel mit dynamischen, eigenständig operierenden Planern für Deliberationen! Berücksichtigung der Körperlichkeit (Physis) des Agenten, Multimodalität 16. Vorlesung Methoden der Künstlichen Intelligenz 21 Kommunizieren mit Agent Max 16. Vorlesung Methoden der Künstlichen Intelligenz 22 Einige Abschlußbemerkungen Ausblick aufs nächste Semester Der Intelligenzbegriff der KI ist "computational" (Verarbeitung von Information durch Symbole). KI-Theorien sind "generativ" in dem Sinne, daß sie Synthese vor Analyse stellen. Paradigmen ändern sich: eingebettete Systeme (die mit Sensoren und Effektoren in ihre Umgebung gekoppelt sind): Situierte KI anstelle "globaler" Rekonstruktion intelligenten Verhaltens Betrachtung simpler interagierender Systeme: Agenten-Systeme, Verteilte KI Kein einzelner Ansatz kann alle Merkmale von Intelligenz reproduzieren / erklären. Minsky (in einer 93er Ausgabe von Scientific American): "The mind is a tractor-trailor, rolling on many wheels, but AI workers keep designing unicycles." Im Sommersemester 2003 bietet die AG WBS folgende Veranstaltungen für das Hauptstudium an: Spezielle Themen der KI V Jung 2 SWS, Do Klinische Medizin als kognitives System V Müller-Kolck 1 SWS, Mi (vierzehntägig) Methoden der Computeranimation und VR S Kopp /Latoschik 2 SWS, Do Multimodale Mensch-Maschine-Kommunikation S Jung /Kranstedt 2 SWS, Fr Kognitive Modellierung für animierte Agenten S Jung /Leßmann/ 2 SWS, Fr Kopp Einführung in XML und seine Derivate V/S Schmidt 2 SWS, Block, , Uhr 16. Vorlesung Methoden der Künstlichen Intelligenz Arbeitsgemeinschaft Wissensbasierte Systeme S Jung/Kopp/ 2 SWS, Mi Sowa/Wachsmuth 24