Evaluation eines prototypischen regelbasierten Ansatzes für Modalitätsentscheidungen in der Mensch-Maschine-Interaktion

Transkript

1 Informatik Florian Geiselhart Evaluation eines prototypischen regelbasierten Ansatzes für Modalitätsentscheidungen in der Mensch-Maschine-Interaktion Masterarbeit

2

3 Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk sowie alle darin enthaltenen einzelnen Beiträge und Abbildungen sind urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsschutz zugelassen ist, bedarf der vorherigen Zustimmung des Verlages. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen, Auswertungen durch Datenbanken und für die Einspeicherung und Verarbeitung in elektronische Systeme. Alle Rechte, auch die des auszugsweisen Nachdrucks, der fotomechanischen Wiedergabe (einschließlich Mikrokopie) sowie der Auswertung durch Datenbanken oder ähnliche Einrichtungen, vorbehalten. Impressum: Copyright 2010 GRIN Verlag, Open Publishing GmbH ISBN: Dieses Buch bei GRIN:

4 Florian Geiselhart Evaluation eines prototypischen regelbasierten Ansatzes für Modalitätsentscheidungen in der Mensch-Maschine- Interaktion GRIN Verlag

5 GRIN - Your knowledge has value Der GRIN Verlag publiziert seit 1998 wissenschaftliche Arbeiten von Studenten, Hochschullehrern und anderen Akademikern als ebook und gedrucktes Buch. Die Verlagswebsite ist die ideale Plattform zur Veröffentlichung von Hausarbeiten, Abschlussarbeiten, wissenschaftlichen Aufsätzen, Dissertationen und Fachbüchern. Besuchen Sie uns im Internet:

6 Universität Ulm Ulm Germany Fakultät für Ingenieurwissenschaften und Informatik Institut für Medieninformatik Evaluation eines prototypischen regelbasierten Ansatzes für Modalitätsentscheidungen in der Mensch-Maschine- Interaktion Master-Thesis an der Universität Ulm Vorgelegt von: Florian Geiselhart 2010

7

8 Inhaltsverzeichnis Abkürzungsverzeichnis Abstract vii ix 1 Einleitung Vision und Problemstellung Zielsetzung Struktur der Arbeit Multimodale Interaktion Ursprung und geschichtliche Entwicklung multimodaler Interaktionsformen Multimodale Interaktion und Multimodalität - Begriffsdefinitionen Definition der Modalität nach menschlicher Wahrnehmung Definition der Modalität nach technischen Gesichtspunkten Definition der Modalität modularer Ansatz Unimodalität und Multimodalität Charakteristika und Eigenschaften von Modalitäten Entwurf multimodaler Systeme Zugrundeliegende Prinzipien Technische Architektur Fusion und Fission Fusion Fission Kontextfreie Dialogrepräsentation und Dialogmanagement Design- und Runtime-Sicht auf Multimodalität Vorteile von multimodaler Interaktion gegenüber unimodaler Interaktion Geschwindigkeit und Qualität der Interaktionsabläufe Natürlichkeit der Interaktion iii

9 Inhaltsverzeichnis Fehlertoleranz und Robustheit Benutzeradaption Wissens- und Regelbasierte Systeme Wissensbasierte Systeme Expertensysteme Wissensrepräsentationsformen in wissensbasierten Systemen Prädikatenlogik erster Ordnung und Beschreibungslogiken Logikprogrammierung Semantische Netze und Frames Regelbasierte Repräsentation Produktionsregelsysteme Regelbasierte Systeme und Rule-based Programming Grundlagen Vorwärtsverkettung Forward Chaining Parameter und Konfliktlösungsstrategien Vor- und Nachteile der Vorwärtsverkettung Der Rete-Algorithmus Rückwärtsverkettung Backward Chaining Hybridlösungen Typen und Einsatzfelder regelbasierter Systeme Regelbasierte Ansätze in Anwendungssoftware Expertensysteme Business-Rule-Systeme Diskussion Implementierung Wiederverwendbarkeit Flexibilität und Erweiterbarkeit Formulierung von Wissen durch Experten und Lesbarkeit Erklärbarkeit Vorwärtsverkettung oder Rückwärtsverkettung? Grenzen und Problemfelder Fazit der Diskussion Phase 1 der Umsetzung Definition Verwandte Ansätze in der Literatur iv

10 Inhaltsverzeichnis 4.2 Funktionalität des Prototypen Szenario und Use-Cases Konzept der Multimodalität im Prototypen Fokus Modalität und Modalitätseigenschaften Entscheidungsverfahren Geplante konzeptionelle Systemstruktur Verarbeitungsabfolge Abgeleitete Evaluationskriterien Phase 2 der Umsetzung Evaluation Drools Jess NxBre OpenRules Vergleichstabelle Fazit und Bewertung der Evaluation System der Wahl Bewertung der Evaluation Phase 3 der Umsetzung Implementierung Wahl der technischen Architektur Architekturvariante 1 Enge Kopplung, keine Verteilung Architekturvariante 2 Lose Kopplung, Decision-Service-Modell Verteilungsaspekte der Regelhaltung Inferenz-Modus des Servers Client-Anwendung Konzept und GUI-Entwurf GUI Überblick Eigenschaften, Faktenobjekte und Modalitäten Benutzerprofil Umweltbedingungen Interaktionseigenschaften und Goal Repräsentationssprachen Interaktionsgeräte v

11 Inhaltsverzeichnis Topologie-Übersicht Anbindung an den Drools Execution Server Konfiguration und Aufbau des Drools Execution Servers Implementierung von exemplarischen Regelsätzen Regelbeispiele Positivregel Negativregel Sonderfall CEP-Regeln Beispielhafte Bewertungsrechnung Abstufung der Rankingwerte Funktionen in Guvnor Queries in Guvnor Aufgetretene Probleme und Schwierigkeiten Schwächen des Drools Execution Servers Resource Change Scanner des Execution Servers Sessionmanagement Guvnor und Drools Fusion / CEP Debugging und Erklärkomponente Fazit Diskussion und Bewertung des zugrundeliegenden Ansatzes Diskussion und Bewertung des Prototypen Ausblick Erweiterung und Präzisierung des Ansatzes Grundsätzliche technische Erweiterungen des Prototypen Lernfähigkeit Andere Methoden aus der künstlichen Intelligenz A Quelltexte 125 A.1 Konfiguration des Knowledge Service im Applikationsserver A.2 Exemplarischer Regelsatz des Prototypen Literaturverzeichnis 139 vi

12 Abkürzungsverzeichnis BRE Business-Rule-Engine. 46 BRMS Business Rule Management System. 46, 74 BRS Business-Rule-System. 44 CEP Complex Event Processing. 55, 68, 69, 76, 123 DSL Domain Specific Language. 75 GUI Graphical User Interface, Grafische Benutzerschnittstelle. 22, 56 58, 75, 83, 85, 86, 88, 89, 97, 99, 102, 121 IDE Integrated Development Environment. 47, 63 KI Künstliche Intelligenz. 27, 40, 46, 53, 65, 70, 123 LHS Left Hand Side - Prämisse einer Regel. 34 OOP Objektorientierte Programmierung. 32 PL1 Prädikatenlogik erster Ordnung. 30 RHS Right Hand Side - Konklusion einer Regel. 34 WIMP Windows, Icons, Menus and Pointers. 5 vii

13 Abkürzungsverzeichnis viii

14 Abstract Deutsch Die vorliegende Masterarbeit beschäftigt sich mit dem Entscheidungsprozess zwischen Modalitäten innerhalb des Fissionsprozesses in multimodalen Systemen. Dieser kann bereits in der Theorie aufgrund vielfältiger verschiedener für die Entscheidung relevanter Einflussfaktoren und gleichzeitigen Beschränkungen in der zeitlichen Domäne eine hohe Komplexität aufweisen. Gleichzeitig besteht jedoch im Zuge der tatsächlichen, praktischen Implementierung von multimodalen Systemen ein Bedarf für Möglichkeiten, angemessen mit der Komplexität dieses Prozessschrittes umgehen zu können. Innerhalb dieser Arbeit wird ein prototypischer Ansatz präsentiert, welcher durch die Verwendung von herkömmlichen regelbasierten Systemen, wie beispielsweise aus dem Bereich der Business Rule Engines, einen Umgang mit diesem Problem erlaubt. Hierfür werden zunächst die Grundlagen der multimodalen Interaktion sowie der regelbasierten Systeme erläutert und vertieft. Anschließend wird auf dieser Basis ein Design für den Prototypen entworfen, welches neben der technischen Architektur auch ein spezifisches Konzept der Multimodalität zugrunde legt. Dieses Design wird im nächsten Schritt als Kriterienbasis für die Evaluation gängiger regelbasierter Systeme aus verschiedenen Einsatzdomänen herangezogen. Nach der Auswahl eines solchen Systems wird auf dessen Basis der Prototyp konstruiert. Abschließend wird basierend auf dem Implementierungsergebnis und den während der Arbeit gesammelten Erfahrungen ein Fazit gezogen und es werden Vorschläge gemacht, wie sich regelbasierte bzw. allgemeine wissensbasierte Systeme in multimodalen interaktiven Systemen praktisch einsetzen lassen. ix

15 Abstract English This Master s thesis covers the modality decision within the multimodal fission process in multimodal systems. This decision is, on the one hand, naturally highly complex due to multiple and different factors that contribute to the decision, but on the other hand also due to restrictions in processing time. Yet, at the same time, there is an increasing need for possibilites to cope with this complexity while implementing actual applied multimodal systems. Within this work, a prototypical approach to this problem is presented, which allows to handle this problem by using rule based approaches like common business rule systems. For this, we start with an in-depth introduction to the basics of multimodal interaction and rule based systems. We then define a design for the prototype, which incorporates not only the technical architecture, but also a specific concept of multimodality. This design is being used as a source of criteria for an evaluation of a set of common rule based systems from different application domains. After one of those systems has been chosen, the experimental prototype is being implemented on top of it. Finally, a conclusion is drawn from the implementation result and the lessons learned throughout the implementation process. Also, some proposals are made concerning how rule-based or knowledge-based systems in general can be used practically within multimodal interactive systems. x