UniversitŠt Bielefeld zum Begriff ãkommunikationò allg.: Verbindung, Verbundenheit; communicari [lat.]: teilen, mitteilen.

Transkript

1 zm Begriff ãkommnikationò ag.: Verbindng, Verbndenheit; commnicari [at.]: teien, mitteien 7 Sprache nd Kommnikation 22. Voresng: Sitierte Kommnikation; Sprache nd Gestik wechseseitige, weitgehend beabsichtigte Informationsübertragng zwischen (mindestens) zwei Partnern menschiche Sprache kann, osgeöst vom jeweiigen Partner nd Handngszsammenhang, konkrete nd abstrakte Inhate vermitten, jedoch: Methoden der KŸnstichen Inteigenz Ipke Wachsmth ÊWS 2000/2001 gesprochene Sprache oft z.b. drch Gestik nterstützt: mehrmodae Kommnikation ("gib mir das da") ach im rein sprachichen Bereich häfig "sitiert" drch Bindng an die aktee Sitation ("mir ach zwei") Wissen über die Sitation erforderich Voresng Methoden der KŸnstichen Inteigenz 2 Bsp.: Wissen Ÿber die Sitation ãsitierte KommnikationÒ Interpretation von inke : erfordert Einbick der beiden Kommnikationspartner in die gemeinsame Umgebngssitation Interpretation von dort : erfordert z.b. die zsätziche Wahrnehmng einer Zeigegeste nimm die inke Scheibe nd schrabe sie dort an Sitiertheit: Fähigkeit, für das Handen nd bei der Kommnikation mit einem Partner die aktee Sitation mögichst weitgehend as Informationsqee aszntzen. Agent A Kognitive Verarbeitng Reasoning Wissensbasis KnowedgeBase (Sprach-) Handngen Koppng der Agenten in die Sitation während der kognitiven Verarbeitng Perzepte as der mgebenden Sitation gesprochene oder geschriebene Sprache (Sprach-) Perzepte Agent B Kognitive Verarbeitng Reasoning Umgebng Environment Wissensbasis KnowedgeBase Mögichkeit der Integration mtimodaer Information (Sprache, Bid, Gestik) 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 4

2 ãgestenó Körperbewegngen, die bedetsame Information übermitten Embematische Gesten (HMM) Interessant für Mensch-Maschine-Kommnikation: 1. embematische Gesten (Symboe): Bedetng per Konvention festgeegt 2. deiktische Gesten: Handngen des Zeigens af ein Objekt oder eine Region 3. mimetische Gesten: Handngen, die die Interaktion mit einem Objekt imitieren 4. ikonische Gesten: Beschreibng der Form oder Lage von Objekten mit den Händen Koverbae Gesten: Gesten, die das Sprechen begeiten BCD FG Arbeiten von Prof. G. Rigo & Mitarbeitern, Uni Disbrg 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 6 Embematische Gesten (HMM) Handgestenerkennng mit KNN Arbeiten von Prof. G. Rigo & Mitarbeitern, Uni Disbrg Arbeiten von Prof. Hege Ritter nd Cadia Nöker, Uni Bieefed 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 8

3 Basisinteraktionen Arbeiten mit Marc Latoschik, SGIM-Projekt seektieren (deiktisch) drehen (mimetisch) (ins42 of BSifinger (begin-timestamp...) (end-timestamp...) (confidence...)) drag ÐÐÐ and ÐÐÐ drop 22. Voresng Methoden der KŸnstichen Inteigenz 9 Arbeiten im Labor AG WBS 22. Voresng Methoden der KŸnstichen Inteigenz 10 Gestenerkennng (AG WBS) Symboe fÿr Kšrperteie Ansatz 1: Basisinteraktionen, direktes Feedback Zeigen Greifen Losassen Drehen Verschieben Ansatz 2: Formbasierte Beschreibng «expiziter (wissensbasierter) Ansatz «einzene Formeemente werden z Gestenwörtern zsammengesetzt «Interpretation im Kontext der Appikation 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 12

4 Einige HamNoSys-Symboe Symbo ASCII-Darsteng Beschreibng BSifinger Zeigefinger gestreckt <sw.> EFinA PamL LocShoder LocStretched MoveA MoveR... nach vorn gestreckt Handfäche nach inks in Schterhöhe ganz asgestreckt Handvorwärtsbewegng Handrechtsbewegng... ( ) [ ] ( ) [ ] parae asgeführt in Seqenz asgeführt Gestennotierng mit HamNoSys Arbeiten mit Martin Fröhich nd Timo Sowa, SGIM-Projekt Für die Formbeschreibng von Gesten arbeiten wir mit einer Szenario-spezifischen Untermenge von HamNoSys (HNS ). 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 14 (defre re32?tmp28 <- (object (is-a MoveA)) ; eine Handvorwärtsbewegng?tmp31 <- (object (is-a MoveR)) ; eine Handrechtsbewegng => (SEQUENCE tmpc25?tmp28?tmp31)) ; in Seqenz Hier ist atomatisch eine CLIPS-Rege re32 generiert worden, die ein Token der Kasse tmpc25 assertieren kann, das eine erkannte Seqenz von bestimmten Handbewegngen registriert. 4Qf}iÕª Ö 4Qf}iÕª Ö (defre re36?tmp16 <- (object (is-a BSifinger)) ; Zeigefinger gestreckt?tmp19 <- (object (is-a EFinA)) ; nach vorn gestreckt?tmp22 <- (object (is-a PamL)) ; Handfäche inks?tmp23 <- (object (is-a LocShoder)) ; in Schterhöhe?tmp24 <- (object (is-a LocStretched)) ; asgestreckt?tmp35 <- (object (is-a tmpc25)) ; bewegt wie oben => (PARALLEL DUMMY?tmp16?tmp19?tmp22?tmp23?tmp24?tmp35)) Hier ist atomatisch eine Rege re36 generiert worden, die ein Token der Kasse DUMMY assertieren kann, das das Aftreten einer bestimmten Handpostr in Verbindng mit oben beschriebener Bewegng registriert. 22. Voresng (für DUMMY Methoden kann der ein KŸnstichen beschreibender Inteigenz Gestenname gesetzt werden) 15 handform grndform BSifinger HNSÕ Parse Tree fÿr 4Qf}iÕª Ö statischer Antei konfigration handsteng okation inpt fingeransatzrichtng handfaechenorientierng EFinA koerperebene abstand aktion BrackSeqL aktion BrackSeqRq aktion bewegng LocShoder LocStretched bewegng einfachebewegng PamL einfachebewegng gerade dynamischer Antei gerade MoveR 22. Voresng Methoden der KŸnstichen Inteigenz MoveA 16

5 Gesten: Kinetische Strktr Stroke Ces Nach McNei, Levy & Pedety (1990) Consistent Arm Arm Use Use and and Body Body Postre Postre Consistent Head Head Movement Gestre-Unit Gestre-Phrase Preparation Stroke Stroke Retraction pre/post-stroke hod (kinetische Strktr) starke Beschenigng der Hand, Stopps, rapide Wechse der Bewegngsrichtng starke Handspannng Symmetrien bei beidhändigen Gesten Hod Hod (pre-stroke) Hod Hod (post-stroke) 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 18 Zeitiche Koppng mit Sprache Mtimodae Integration Der sog. Gesten-Stroke ist oft drch einen abrpten Hat gekennzeichnet, der mit den gesprochenen Wörtern synchronisiert ist der Stroke tritt nicht nach dem betonten Wort af, sondern geichzeitig oder krz vorher Zwei "ogistische" Probeme z ösen (Srihari, 1995): Segmentierngsprobem Wie sind die Prozeßeinheiten z determinieren, die das System in einem Zyks verarbeiten so? Korrespondenzprobem Nimm dieses Rohr, steck es da dran sec => Hypothesen zr zeitichen Signaaswertng (Symboextraktion, mtimodae Integration) Wie sind die Qerbezüge zwischen mtipen Modaitäten (Sprache/Gestik) z determinieren? 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 20

6 Korrespondenz-Probem VIENA Ð Virtee Umgebng Wie sind die Qerbezüge zwischen Sprache nd Gestik z determinieren? Konfigrierng nd Farbgestatng einer virteen Büromgebng Ste diesen Sth da hin! Wichtigkeit der Rekonstrktion zeiticher Korrespondenz Beispie: Ste <Geste> diesen Sth da hin! Spezifikation des Bezgsobjekts (Vorannahme: Zieposition bekannt) Ste diesen Sth <Geste> da hin! Spezifikation der Zieposition (Vorannahme: Bezgsobjekt bekannt) Zie: Weitgehende Entastng von technischen Detais Sprache nd Handgesten Beispiee: move < Geste> forw ard move < Geste> th a t to th e eft p t th e b ow <Geste> th ere mak e <Geste> th is ch air green trn <Geste> right p t <Geste> that <Geste> th ere p t <Geste> this comp ter on th e b e d esk 22. Voresng Methoden der KŸnstichen Inteigenz Voresng Methoden der KŸnstichen Inteigenz 22 GestennterstŸtzte Eingabe Arbeiten mit Britta Lenzmann & Timo Sowa, Projekt VIENA ( ) SG IM 2 Mtimodae Kommnikation Arbeiten mit Marc Latoschik, Projekt SGIM ( ) Sprach- nd Gesten- Interfaces für Mtimedia Grober Ansatz: Sensordatenafnahme in keinen Zeitzyken (hier: 100 ms) pt this compter on the be desk Datenintegration verschiedener Kanäe in großen Zeitzyken (hier: 2 sec) 22. Voresng Methoden der KŸnstichen Inteigenz 23 Leseempfehng hete: Krztext Tei 7, Sprache nd Kommnikation ggfs. zr Vertiefng: Wachsmth & Fröhich, Gestre and Sign Langage in Hman-Compter Interaction 22. Voresng Methoden der KŸnstichen Inteigenz 24