Hierarchical Task Analysis Mapper

Transkript

1 Hierarchical Task Analysis Mapper Mustergestützte Erstellung kognitiver Modelle zur Evaluation von Mensch-Maschine-Systemen Wissenschaftliche Aussprache Fakultät V der Technischen Universität Berlin Berlin, den 10. Juli 2009 Dipl.-Ing. Marcus Heinath Gliederung Motivation Methode Probleme Zielstellung Prozess Sprache Werkzeug Verifikation Validierung Zusammenfassung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 2 1

2 Gliederung Motivation Methode Probleme Zielstellung Prozess Sprache Werkzeug Verifikation Validierung Zusammenfassung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 3 Motivation Methode Probleme Zielstellung Evaluation von Mensch-Maschine Systemen (MMS) Änderungskosten Änderungsmöglichkeiten Produkt- kenntnis Komplexe dynamische MMS Technologischer Wandel Wandel der Tätigkeitsspektren [nach Pfeiffer & Bonse, 1989] Veränderte Rahmenbedingungen Empirische Evaluation Entwicklung geeigneter Methoden zur Systemevaluation Modellgestützte Evaluation Kognitive Modellierung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 4 2

3 Motivation Methode Probleme Zielstellung Kognitive Modellierung Menschliche Kognition Kognitive Architektur Kognitives Simuliertes Interaktives Verhalten Erklärung kognitiver Leistungen durch Angabe: Kognitive Architektur Wissensstrukturen Nachweis, dass diese Komponenten hinreichend zur Rekonstruktion der untersuchten Leistungen sind [Wallach, 1998, S.38] Modell Aufgabe(n) Techn. System / Simulation Formalisierung & Implementierung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 5 Motivation Methode Probleme Zielstellung Kognitive Modellierung Menschliche Kognition Kognitive Architektur Pro Ersparnis von Zeit und Kosten beim Testen von Systemvarianten quantitative Analyse hoher Detailgrad Aufgabe(n) Kognitives Simuliertes Interaktives Verhalten Modell Formalisierung & Implementierung Analyse + Bewertung Aufgabenmodell Schnittstellenmodell Aufgabenmodell Schnittstellenmodell Techn. System / Simulation Contra Aufwand für: Erstellung Anbindung Analyse kognitiver Modelle Aussagekraft kognitiver Modelle Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 6 3

4 Motivation Methode Probleme Zielstellung Kognitive Modellierung Fokus der Arbeit Aufgabe(n) Schnittstellenmodell Aufgabenmodell Menschliche Kognition Kognitive Architektur Kognitives Simuliertes Interaktives Verhalten Modell Formalisierung & Implementierung Techn. System / Simulation Pro Ersparnis von Zeit und Kosten beim Testen von Systemvarianten quantitative Analyse hoher Detailgrad Contra Aufwand für: Erstellung Anbindung Analyse kognitiver Modelle Aussagekraft kognitiver Modelle Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 7 Motivation Methode Probleme Zielstellung Formalisierung von Wissensstrukturen ACT-R Adaptive Control of Thought-Rational [Anderson et al., 2004] Intentionales Modul Ziele Ziel-Puffer Prozedurales Wissen 1. Auswertung (Produktionsregeln: 2. Auswahl Wenn [Bedingung] 3. Ausführung Dann [Aktion]) Produktionen Deklaratives Modul Deklaratives Wissen (Chunks) Abfrage-Puffer Visueller Puffer Manueller Puffer Wahrnehmung Aktion Visuelles Modul Manuelles Modul Umwelt (technisches System) ( add-dm ( Passat ISA Auto Farbe Blau... Motor Diesel ) ( Corsa ISA Auto Farbe... ) ) ( P Ergänze_die_Farbe =goal> ISA Auto Farbe ==> =goal> Farbe Gelb ) Chunks Produktions sregeln Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 8 4

5 Motivation Methode Probleme Zielstellung ACT-R Modellerstellung Aufgabenanalyse?! High Level Empirie Modellimplementation Productionen Produktionen Chunks Chunks Produktionen Chunks Low Level Modellprüfung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 9 Motivation Methode Probleme Zielstellung ACT-R Modellerstellung Aufgabenanalyse High Level Empirie Modellimplementation HTAmap = Reduzierung des Aufwandes für die kognitive Modellerstellung Beschreibungsebene Verringerung der Eintrittsschwelle zur kognitiven Modellierung Productionen Low Productionen Chunks Produktionen Chunks Chunks Level Modellprüfung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 10 5

6 Gliederung Motivation Methode Probleme Zielstellung Prozess Sprache Werkzeug Verifikation Validierung Zusammenfassung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 11 Prozess Sprache Werkzeug Von der Problemstellung... zum kognitiven Simulationsmodell Konzeptionelle Modellbildung Formale Modellbildung Modellimplementierung Aufgabe AM ACT-R ACT-R Aufgabenmodell Problemstellung AM SGT Formales SGT Aufgabenmodell AM K Konzeptionelles Aufgabenmodell AM HTAmap Formales HTAmap Aufgabenmodell ACT-R Technisches System SM ACT-R ACT-R Modelle der Systemschnittstelle SM AGI AGI Modell der Systemschnittstelle SM K Konzeptionelles Modell der Systemschnittstelle SM AGImap AGImap Modell der Systemschnittstelle Kognitives Modell T High-Level Modellierung Low-Level Modellierung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 12 6

7 Prozess Sprache Werkzeug Idee Erstellung kognitiver Modelle in ACT-R auf Basis vordefinierter Modellbausteine nach dem Lego-Prinzip Makroebene Abbildung regelbasierten Verhaltens mittels kognitiver Aktivitätsmuster Mikroebene Abbildung sensomotorischer Fertigkeiten mittels Wahrnehmungsund Interaktionsstrategien Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 13 Prozess Sprache Werkzeug Kognitive Modellierung mit HTAmap 1. Phase der Vorarbeiten ACT-R Experte Bereitstellung generalisierter Modellbausteine = (P _gain-information-start =goal> isa ==> +goal> isa ecap target " " state start last-goal=goal ) Cognitive Activity Pattern Generalisierte Beschreibung einer (Operator) Aktivität in ACT-R Modellprimitiven Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 14 7

8 Prozess Sprache Werkzeug Kognitive Modellierung mit HTAmap 2. Phase der kogn. Modellbildung 1. Phase der Vorarbeiten Aufgabenanalyse ACT-R Experte Bereitstellung generalisierter Modellbausteine Empirie HTAma Modell Modellimplementation Modellprüfung Ingenieur / Usability Experte HTAmap Modelldefinition auf Grundlage: SGT-Aufgabenmodell [Ormerod & Shepherd 2004] generalisierte Modellbausteine (CAPs, Strategien) Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 15 Prozess Sprache Werkzeug HTAmap-Modellstruktur Elementary Activity (eact) eact Name Aktivitätsstruktur Compound Activity (cact) cact Name eact Name cact Name eact Name Initial Condition Contingent Sequence Final Condition Contingent Sequence ACT-R Model Control Flow eact Name eact Name cact Name cact Name Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 16 8

9 Prozess Sprache Werkzeug HTAmap-Modellstruktur Aktivitätsstruktur 500 l Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 17 Prozess Sprache Werkzeug HTAmap-Modellstruktur Aktivitätsstruktur Systemschnittstelle Systemschnittstelle Bibliothek von Modellbausteinen Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 18 9

10 Prozess Sprache Werkzeug HTAmap Editor und HTAtrans Transformation Modellierung Anpassung an Aufgabenkontext Visualisierung Verifizierung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 19 Gliederung Motivation Methode Probleme Zielstellung Prozess Sprache Werkzeug Verifikation Validierung Zusammenfassung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 20 10

11 Überprüfung der syntaktischen und semantischen Korrektheit der Modelle Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 21 Überprüfung der syntaktischen und semantischen Korrektheit der Modelle Umsetzung: Zweistufige partielle Modellverifikation: Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 22 11

12 Überprüfung der syntaktischen und semantischen Korrektheit der Modelle SGT HTAmap Umsetzung: Zweistufige partielle Modellverifikation: 1. AM SGT AM HTAmap Aufbaustruktur Aufgabenelemente Ablaufstruktur Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 23 Überprüfung der syntaktischen und semantischen Korrektheit der Modelle SGT HTAmap Umsetzung: Zweistufige partielle Modellverifikation: 1. AM SGT AM HTAmap Aufbaustruktur Aufgabenelemente Ablaufstruktur HTAmap ACT-R 2. AM HTAmap AM ACT-R Aufbaustruktur Aufgabenelemente Ablaufstruktur deklarative Wissensstruktur ACT-R Code Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 24 12

13 Überprüfung der syntaktischen und semantischen Korrektheit der Modelle Umsetzung: Zweistufige partielle Modellverifikation: 1. AM SGT AM HTAmap Aufbaustruktur Aufgabenelemente Ablaufstruktur 2. AM HTAmap AM ACT-R Aufbaustruktur Aufgabenelemente Ablaufstruktur deklarative Wissensstruktur Ergebnis: Verifikation Partieller Nachweis anhand von 22 Testfällen Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 25 Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten Empirische Adäquatheit Produktkorrespondenz Makroebene: Korrespondenz der Zwischenschritte Mikroebene: Temporale Korrespondenz Theoretische Adäquatheit Performanz mit dem technischen System Blickverhalten Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 26 13

14 Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten Empirische Adäquatheit Produktkorrespondenz Korrespondenz der Zwischenschritte Temporale Korrespondenz Theoretische Adäquatheit [Schulze-Kissing, 2007] Umsetzung: Validierungsstudien 1. Einfaches dynamisches MMS Aufgabe: Füllstandsregelung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 27 Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten Empirische Adäquatheit Produktkorrespondenz Korrespondenz der Zwischenschritte Temporale Korrespondenz Theoretische Adäquatheit [Schulze-Kissing, 2007] Umsetzung: Validierungsstudien 1. Einfaches dynamisches MMS Aufgabe: Füllstandsregelung 2. Komplexes dynamisches MMS Aufgabe: Anfahrprozess [Urbas & Heinath, 2008] Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 28 14

15 Nachweis der kognitiven Adäquatheit aus dem Vergleich modellbasierter und empirischer Daten Empirische Adäquatheit Produktkorrespondenz Korrespondenz der Zwischenschritte Temporale Korrespondenz Theoretische Adäquatheit Umsetzung: Validierungsstudien 1. Einfaches dynamisches MMS Aufgabe: Füllstandsregelung 2. Komplexes dynamisches MMS Aufgabe: Anfahrprozess Ergebnis: Validierung Kognitive Adäquatheit Makroebene Kognitive Adäquatheit Mikroebene? Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 29 Gliederung Motivation Methode Probleme Zielstellung Prozess Sprache Werkzeug Verifikation Validierung Zusammenfassung Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 30 15

16 Zusammenfassung Ergebnis Ausblick Fazit HTAmap-Prozess systematische und durchgängige Modellentwicklung: Vom Problem zum kognitiven Simulationsmodell HTAmap-Sprache zusätzliche Modellebene zur Minimierung der Transformationslücke: High-Level SGT-Aufgabenmodell HTAmap Modell Low-Level ACT-R Modell mustergestützte und strukturgetriebene Modellentwicklung: CAP = Generalisierte Beschreibung einer Aktivität in ACT-R Aktivität = CAP + aufgabenspezifisches Wissen HTAmap-Modell = Verschachtelung von Aktivitäten HTAmap-Werkzeug softwaregestützte kognitive Modellierung auf höherem Abstraktionsniveau HTAmap-Editor und HTAtrans Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 31 Zusammenfassung Ergebnis Ausblick Fazit Ausbau des HTAmap-Modellierungsrahmens Aufbau von Modellierungsbaukästen (CAPs, Strategien,..) Weiterentwicklung des HTAmap-Editors Integration der graphischen Notation für Aktivitäten Funktionsausbau hinsichtlich der Erstellung und Evaluation von Modellbausteinen Rückprojektion des dynamischen Verhaltens der HTAmap-Modelle Analyse der ACT-R Simulationsdaten hinsichtlich der Ausführung von Aktivitäten und Vergleich mit den HTAmap Modellannahmen Abgleich der Kontrollstrukturen Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 32 16

17 Zusammenfassung Ergebnis Ausblick Fazit Änderungskosten Änderungsmöglichkeiten Produkt- kenntniss HTAmap Ansatz Prozess Sprache Werkzeug = mustergestützte kognitive Modellierung Reduzierung des Aufwandes für die Erstellung kognitiver Modelle Modellgestützte Evaluation Kognitive Modellierung Verringerung der Eintrittsschwelle zur kognitiven Modellierung Beitrag zur Forcierung des Einsatzes Wissenschaftliche Aussprache von Marcus Heinath 10. Juli 2009 Fakultät V der TU Berlin 33 Vielen Dank für Ihre Aufmerksamkeit! k 17