Patternbasiertes User Interface Design für multimodale Interaktion

Transkript

1 Andreas Ratzka Patternbasiertes User Interface Design für multimodale Interaktion Identifikation und Validierung von Patterns auf Basis einer Analyse der Forschungsliteratur und explorativer Benutzertests an Systemprototypen vwh Vertag Werner Hülsbusch Fachverlag für Medientechnik und -Wirtschaft

2 Inhaltsverzeichnis 1 Einleitung Ziel dieser Arbeit Aufbau der vorliegenden Arbeit 17 2 Multimodale interaktive Systeme Modalität Prozessmodell der Mensch-Maschine-Interaktion Bewusst kontrollierte und unbewusst kontrollierte Modalitäten Abgrenzung Modalität, Modus, Medium, Kanal Multimodalität Interaktion: zwischen Kommunikation und Aktion Modalitäten nach dem Vorbild der menschlichen Kommunikation Kanäle der zwischenmenschlichen Kommunikation Sprachliche Interaktion Non-Verbale Interaktion mit perceptual user interfaces Gesten in der MMI Emotionserkennung: Mimik, Gestik und Prosodik Blickinteraktion Interaktion als werkzeugbasierte Handlung Direkte Manipulation Virtuelle und erweiterte Realität Zweihändige Interaktion Taxonomie von Interaktionswerkzeugen Elementare Interaktionshandlungen Modality Theory: Ein Beschreibungsmodell für Modalitäten Ausgabemodalitäten Eingabemodalitäten Modality Properties Multimodale Verarbeitung Multimodale Wahrnehmung Technische Verarbeitung: Fusion und Fission Formen multimodaler Kombination Das Potential multimodaler Interaktion Adäquate Modalitätsauswahl Kombination mehrerer Interaktionsmodalitäten Architektur der multimodalen Schnittstelle Das Seeheim-Modell Das Arch-Modell Architekturmuster: Model view controller und presentation abstraction control Die Interaktor-Abstraktion PAC-AMODEUS Multimodale Architekturen auf Basis intelligenter Agenten Bezug zum Software-Engineering Beispiele multimodaler Systemprototypen Frühe Systeme Einschlägige Forschungsprojekte Einsatzszenarien Zusammenfassung 108

3 2.11 Standardisierungsansätze durch das W3C Positionierung dieser Arbeit 115 User-Interface-Engineering Vorgehensmodelle des Software-Engineerings Entwicklung interaktiver Systeme Bestandsaufnahme von Entwurfsansätzen für multimodale Interaktion Guideline-basierte Entscheidungsunterstützung Prototyping-Ansätze Abdeckung des usability engineering lifecycles Modellbasierte Ansätze Bezug zu modeftgetriebenen Ansätzen des Software-Engineerings Plattformunabhängige und adaptive Systeme Beispielansatz für adaptive multimodale Interaktion: FAME Probleme und Perspektiven des modellbasierten Ansatzes Patternbasierte Ansätze Qualitätskriterien für Designpatterns User Interface Patterns Patterns für Softwarearchitekturen interaktiver Systeme Patterns in modellbasierten Ansätzen Patterns für multimodale Interaktion Fazit 160 Identifikation von Patterns für multimodale Interaktion Ermittlung sinnvoller Interaktionsmodalitäten Modalitätsaus wähl auf Basis von Aufgabeneigenschaften Interaction Constraints Ableitung von Patterns? Potential von Modalitätskombinationen Potential durch Wechseln der Interaktionsmodalitäten Identifizieren von Mustern in einschlägigen Anwendungsszenarien Unterstützung von Doppelaufgabenszenarien Kartenbasierte Anwendungen Graphische Design-Anwendungen Mobile Systeme Weitere Aspekte Fazit 178 Eine Patternsammlung für multimodale Interaktion Aufbau der Patternsammlung Flexible Interaktion Alternative Eingabemöglichkeiten (multiple ways of input) Globale Kanalkonfiguration (global channel configuration) Kontextadaption (context adaptation) Effiziente Informationsaufnahme Audiovisuelle Präsentation (audio-visualpresentation) Audiovisuelle Arbeitsumgebung (audio-visual workspace) Robuste Interaktion Redundante Ausgabe (redundant output) Redundante Eingabe (redundant input) Multimodale N-Best-Auswahl (multi-modal n-best selection) 208

4 5.4.4 Hypothesenreduktion durch Anbuchstabieren (spelling-based hypothesis reduction) Schnelle Dateneingabe Sprachkürzel (voice-based interaction shortcut) Sprachgestütztes Formular (speech-enabledform) Natürliche Sprache mit Gesten (gesture-enhanced natural speech) Positionsspezifische Geste (location-sensitive gesture) Graphikbasierte Anwendungen Sprachgestützte Werkzeugleiste (speech-enabledpalette) Sprachgestütztes Skizzieren (speech-enhanced sketching) Multimodale Ortssuche (multi-modal spatial search) Fazit 239 Umsetzung multimodaler -Prototypen für PDA und Desktop-PC Interaktives Szenario Technische Basis Architekturprinzipien Observer-basierte Architektur Verteilte Architektur Das interaktive System als Zustandsmaschine Systembeschreibung Wizard-of-Oz-Setting: Desktop Wizard-of-Oz-Setting: PDA Zu simulierende Sprachinteraktion Allgemeine Funktionalität der Versuchsleiterschnittstelle Stand-alone"-PDA-Setting Stand-alone"-Desktop-Setting Fazit 273 Explorative Untersuchungen zur multimodalen Interaktion Empirischer Forschungsstand zur multimodalen Interaktion Studien zur Modalitätspräferenz und Modalitätsverteilung Auswirkung von Multimodalität auf die Sprachsyntax Interindividuelle Unterschiede Fehlerbehandlung und-vermeidung Schnellere Interaktion Auswirkung der sozialen Umgebung auf die Akzeptanz Natürlichkeit Das Ziel dieser explorativen Forschung Untersuchungen multimodaler Interaktion am PDA und Desktop-PC Versuchaufbau Versuchsdesign Datenerhebung und Metriken Annahmen und Fragestellungen Testpersonen Subjektive Systembewertungen Interaktionseffizienz (Wizard-of-Oz-Setting) Erkennerakkuratheit ( Stand-alone"-Setting) Modalitätsverteilung Weitere Beobachtungen Folgerungen für die Patterns 317

5 Untersuchungen der Augenbewegungen bei multimodaler Interaktion Augenbewegungen als unbewusst kontrollierte Eingabemodalität - Stand der Forschung Fragestellungen Versuchaufbau Datenerhebung und Metriken Beobachtungen Folgerungen Fazit Schlussbemerkungen Zusammenfassung Ausblick 330 Literaturverzeichnis 333 Abkürzungsverzeichnis 375 Abbildungsverzeichnis 379 Tabellenverzeichnis 381 A Versuchssetting 383 A.l Checkliste für den Versuchsleiter (Wizard-Setting) 383 A.2 Erfassungsbogen 386 A.3 Systemdemonstration für die Testpersonen (Stand-alone-Setting) 387 A.4 Interviewfragebogen für das Wizard-of-Oz-Setting 388 A.5 Interviewfragebogen für das Stand-alone-Setting 391 Ein weiterer Anhang mit einer detaillierten Beschreibung des Versuchssettings und Daten aus den Benutzertests ist online verfügbar unter: