Situation-Adaptive Multimodal Dialogue Platform. Übersicht

Transkript

1 S am Situation-Adaptive Multimodal Dialogue Platform Übersicht

2 Multimodal Dialog System

3 Multimodal Unterstützung verschiedenster Eingabe- und Ausgabekanäle, sowohl alternativ als auch kombiniert What is this movie about? Iron Man 3

4 Multimodale Fusion What is this building? Speech Input utterance: What is this building? Eye Tracking Input coordinates: (x, y, z) semantic content semantic content SetQuestion KnowledgeItem: Name Inform Content Introduction Reference Type: deictic Pattern: Building POI coordinates: (x, y, z)

5 Multimodale Fusion Speech Input utterance: What is this building? Eye Tracking Input coordinates: (x, y, z) semantic content semantic content SetQuestion KnowledgeItem: Name Inform Content Introduction POI Building: coordinate: coordinates: (x, (x, y, y, z) z) name: Saarbrücker Schloss Reference Type: deictic Pattern: Building Knowledge Base

6 Multimodale Fusion Speech Input utterance: What is this building? Eye Tracking Input coordinates: (x, y, z) semantic content semantic content SetQuestion KnowledgeItem: Name Inform Content Introduction Building: coordinates: (x, y, z) name: Saarbrücker Schloss POI Building: coordinate: coordinates: (x, (x, y, y, z) z) name: Saarbrücker Schloss Reference (resolved) Type: deictic Pattern: Building Knowledge Base

7 Dialog Plattform Intuitive Mensch-Maschine-Schnittstelle (häufig in natürlicher Sprache) Kommunikation in Form von Dialogen (z. B. Wizard) Gemischte Initiative möglich (Computer oder Benutzer können Dialog starten) Diskurskontext: Dialogbeiträge können unvollständig sein, bzw. sich auf Inhalte vorheriger Beiträge beziehen (elliptische Referenz) Benutzer Dialog Dialogplattform

8 Dialogplattform Übersicht Implementiert in OSGi (offene, modulare, skalierbare Softwareplattform für verteilte Komponenten) Basiert auf Eclipse Modeling Framework (EMF) Entwicklungsumgebung als Eclipse RCP Plugin verfügbar Flexibel durch neue Geräte und Module erweiterbar

9 Installation URL: Tutorial Eclipse Update Site Audio Manager für Windows Beispielanwendung HelloWorld 2 Features installierbar Runtime SDK Bundle für SiAM-dp Modelle und Laufzeitkomponenten Entwicklungsumgebung mit Projekt-Wizard, modellspezifischen Editoren und Erweiterungen für den Debugger von JDT (Java Development Tools)

10 Architekturübersicht Device Specific Input Module ASR Eye Tracker Gesture Fusion and Discourse Processing Dialogue Management Knowledge Base e.g. users, in/out devices, discourse, context GUI Virtual Character Interaction I/O Model Presentation Planning & Multimodal Fission (Web) Service TTS Holo Device Specific Output Module SiAM-dp Core

11 Architekturübersicht Device Specific Input Module ASR Eye Tracker Gesture Fusion and Discourse Processing Dialogue Management Knowledge Base e.g. users, in/out devices, discourse, context GUI Virtual Character Interaction I/O Model Presentation Planning & Multimodal Fission (Web) Service TTS Holo Device Specific Output Module SiAM-dp Core

12 Architekturübersicht Device Specific Input Module ASR Eye Tracker Gesture IO Modell ist Schnittstellenspezifikation zwischen Dialogsystem und externem Gerät Darstellung in XML Gerät muss TCP Socket Server zur Verfügung stellen. Verbindung erfolgt nach Anmeldung des Gerätes automatisch durch das Dialogsystem. GUI Interaction I/O Model Virtual Character TTS Holo Device Specific Output Module <?xml version="1.0" encoding="utf-8" standalone="no"?> <io:ioevent xmlns:io=" xmlns:xsi=" <message initiator="siamdp" xsi:type="io:outputact"> <presentationalternatives> <presentation device= deviceid" xsi:type="io:customformat"> <content key="feature1" value="value1"/> <content key="feature2" value="value2"/> </presentation> </presentationalternatives> </message> </io:ioevent>

13 Architekturübersicht Device Specific Input Module ASR Eye Tracker Gesture IO Modell ist Schnittstellenspezifikation zwischen Dialogsystem und externem Gerät Darstellung in XML Gerät muss TCP Socket Server zur Verfügung stellen. Verbindung erfolgt nach Anmeldung des Gerätes automatisch durch das Dialogsystem. GUI Interaction I/O Model Virtual Character TTS Holo Device Specific Output Module <?xml version="1.0" encoding="utf-8" standalone="no"?> <io:ioevent xmlns:io=" xmlns:xsi=" <message initiator= user1" xsi:type="io:inputact"> <representation device="" xsi:type="io:customformat"> <content key="" value="value1"/> <content key="" value="value2"/> </representation> </message> </io:ioevent>

14 Event Management Event getriebene Architektur Module und Geräte erhalten ausschliesslich die Nachrichten, die sie abonnieren. Abonnement basiert auf EMF Pattern Deklarative Definition von Pattern Module patterns Device patterns

15 Externe Geräte hinzufügen 1. Implementierung eines TCP Socket Servers 2. Gerät kann in Dialoganwendung über die Projektdefinition angemeldet werden (s. auch Tutorial) 3. Dialogplattform verbindet sich automatisch mit dem TCP Socket Server und erzeugt Pattern für Abonnement

16 Hello World Example