Performance Kriterien zur Bewertung von Mensch-Roboter Interaktion. (im Rahmen des Seminars Mensch-Roboter Interaction )

Transkript

1 Performance Kriterien zur Bewertung von Mensch-Roboter Interaktion (im Rahmen des Seminars Mensch-Roboter Interaction )

2 Gliederung 1. Einführung 2. Anforderungen an P.- Kriterien 3. Kriterienrahmen 4. Einzelne P.- Kriterien (mit einem Beispiel zur Kriterienbestimmung und einer Übersicht) 5. Testumgebungen für P.- Kriterien 6. Schlussbemerkungen

3 Einführung steigende Anforderungen an die Qualität (Effektivität, Effizienz) der Zusammenarbeit von Mensch-Roboter Teams verlangen nach systematischer Identifikation von Schwachstellen und Bereitstellung von objektiven Vergleichbarkeitsmaßen (Benchmarking) Bestimmung relevanter Maßen (Zeit, Leistung; Beispiele: Geschwindigkeit und Qualität der Signalverarbeitung eines Operators) für die Einzelkomponenten eines HR- Systems ist oft erschwert oder nicht messbar Definition und Einsatz von Performance Kriterien

4 Anforderungen an Performance Kriterien Durch Einsatz von Kriterien sollten folgende Aufgabenbereiche effektiver erschlossen werden: Einschätzung von Grenzen der im Einsatz beteiligten Akteuren Unterstützung bei der Aufgabenplanung Verbesserung der Usability Regelung der Autonomie im HR-Systemen

5 Taxonomieansatz Modelle zur Entwicklung von Performance Kriterien: Taxonomieansatz: eine möglichst vollständige Systemstruktur mit Hilfe von Kategorien mit darauf spezialisierten Kriterien (mögliche Konstellationen für die Zusammensetzung von Mensch-Roboter Teams [induktiv erweiterbar]) Vergleich von Teams im Rahmen von bestimmenden Kategorien (Zeit/Raum-Kategorien, Autonomiegrad, Robotermorphologie, H/R- Verhältnis usw.) und auf Kategorien bezogene Maße

6 Aufgaben Orientierung Aufgaben orientierter Ansatz: standardisierte Prozesse (Navigation, Objekterfassung, Manipulationsaufgaben), auf welche allgemein spezifizierte Kriterien angewandt werden Bessere Bewertung und Optimierung von gegebenen Systemen durch Komplexitätsreduktion durch Untersuchung von aufgabenspezifische Maße auch in Teilsystemen (folgende Betrachtungen im Rahmen dieses Modells)

7 einige gängige Kriterien Manche Kriterien besitzen speziell entwickelte Messmethoden ( Metriken ), andere bieten oft (nur) eine qualitative Schätzung: fan-out: die maximale Anzahl der effektiv zu kontrollierenden Roboter (relativ gut experimentell einschätzbar anhand von solchen Metriken wie neglect tolerance und interaction effort ) neglect tolerance: Beurteilung des Autonomiemaßes eines Roboters im HR-Team (Metriken: mittlere Autonomiezeit (avrg. neglect time), besser: activity time)

8 weitere Kriterien workload: Aufwand an mentaler Leistung des Operators (Metriken: Messungen von physiologischen Merkmalen / Ablenkung durch sekundäre Tasks, post hoc-berichte, Verhaltensentropie) situational awareness: mentales Situationsmodell, das möglichst vollständig die Realität abbildet und eine Zukunftsperspektive ermöglicht usability: Eignung einer bestimmten Systemkomponente bezüglich ihrer Effektivität, Effizienz, aber auch subjektiver Merkmale (besonders wichtig für Interface-Eigenschaften) interaction effort: erforderliche Kommunikationsaufwand eines HR-Teams (Metriken: indirekte Interaktionszeitmessung, vergleichender Interaktionsaufwand)

9 Beispiel: Fan-Out-Bestimmung Arbeitshypothese: AT: Activity Time IE: Interaction Effort FO=AT/IE Ziel des Experiments: Bestätigung der Formel zur Berechnung von Fan-Out-Kennzahlen

10 Experiment und Ergebnisse Versuchsaufbau: --3 verschiedene Robotertypen --identisches Interface --mehrere Versuchsdurchläufe mit jeweils heterogenen Roboterteams Auswertung der Ergebnisse: --gute Übereinstimmung der experimentellen Ergebnisse mit der Formel aus der Arbeitshypothese --bei kleinen Fan-Out Kennzahlen tauchen Unstimmigkeiten auf

11 Kategorisierung von Kriterien Performance Kriterien im Umfeld von task-orientierter Mensch-(mobilen)Roboter Interaktion können bezügl. allgemeiner Aufgabenstellungen und (Teil)Systembereiche charakterisiert werden. Es sollen folgende Bezugskategorien benutzt werden: Aufgaben: Navigation, Erfassung, Manipulation, Verwaltung und soziale Kompetenz Systemblöcke: Operator(s) Robot(s), Gesamtsystem

12 Kriterienmatrix Operator(s) Roboter(s) neglecttolerance Gesamtsystem Navigation Erfassung Manipulation Verwaltung soziale Kompetenz situational awareness awareness violations passive/ active perception selfawareness interface usability workload contact error rate critical incidents fan-out (adjustable autonomy) interaction effort, (adjustable autonomy) emotional engagement humanoidity trust automation

13 Test- und Evaluationsumgebungen Einige Methoden zur Spezifizierung und Erprobung von Kriterien: Für Subsysteme: aufgabenspezifische konstante Simulationsbedingungen oder komplexe Studien(z.B: Flugsimulation-Generatoren, SAGAT-Verfahren für SA) Für Gesamtsystem: diverse Manschafts-wettkämpfe für HR-Teams (USAR, Robot Challenge, RoboCup)

14 Ziele für weitere Entwicklung Ausdifferenzierung und Präzisierung von bestehenden Kriterien Verbesserung der Planungssicherheit und der Konsistenz bestehender Kriterien Erweiterung der Kriterien auf die Interaktion innerhalb anderer Systemblöcke