Seminar: Mensch-Roboter Interaktion Thema: Performance Kriterien zur Beurteilung von Mensch-Roboter Interaktion

Seminar: Mensch-Roboter Interaktion Thema: Performance Kriterien zur Beurteilung von Mensch-Roboter Interaktion Referent: Fedor Lilie, geboren am 09.07.1979 Ausarbeitung: SS 07 Vortrag: 08.06.2007

Abstrakt In dieser Arbeit soll ein Überblick zu der Entwicklung und dem aktuellen Stand der Forschung bei der Bereitstellung formaler Ansätze zur Bewertung und Auswertung der Performance im Bereich der Mensch-Roboter Interaktion gegeben werden. Der allgemeiner Rahmen der Systeme innerhalb derer die vorgestellten Kriterien entwickelt werden wird kurz umrissen um den methodischen Hintergrund und Einfluss der Realitätsforderungen zu beleuchten. Diejenigen Performance Kriterien, die sich auf eine angemessene, wissenschaftlich fundierte Basis stützen können und bereits heute zum Einsatz kommen, werden vorgestellt. Anhand des so genannten Fan-Out Kriteriums wird ein einfaches Beispiel vorgestellt, bei dem der Entwicklungs- und Evaluierungsvorgang eines Performance Kriteriums grob skizziert wird. Es wird außerdem versucht die vorgestellten Performance Kriterien in einer tabellarischen Darstellung so anzuordnen, dass eine möglichst einprägsame abschließende Übersicht entsteht. Im Anschluss werden sowohl einige Anwendungsbereiche für Performance Kriterien als auch ein kurzer Einblick in Test- und Simulationsumgebungen für die Erarbeitung von möglichen Kriterien angeführt. Da sich die Erforschung von Kennmaßen zur Beurteilung von hybriden Mensch-Roboter Systemen in einem relativ frühen Stadium befindet, existiert noch eine Vielzahl an Verbesserungsmöglichkeiten um die Aussagekraft solcher Kriterien zu steigern. Deswegen wird auf einige der Forderungen zur Qualitätssicherung und Erweiterung des Leistungsumfangs im letzten Teil der Arbeit eingegangen. 1.Einführung Die Forschung an hybriden Teams, die sich aus Menschen und Robotern zusammensetzen, hat schon viele Aspekte beleuchtet, die bei Eisätzen von solchen Mannschaften von Bedeutung sind. Im Laufe der Zeit haben sich viele Anwendungen ergeben, bei denen die Robustheit, das weitgehend deterministische Verhalten der beteiligten Roboter und die Flexibilität, einerseits und breites Spektrum an Problemlösungsstrategien der menschlichen Teammitglieder andererseits so kombiniert werden konnten. Dadurch wurde die Leistung der so zusammengestellten hybriden Mannschaften höher als die der vergleichbaren homogenen Mannschaften. Aufgaben bei denen die Mensch-Roboter Teams vorzuziehen waren, lagen hauptsächlich in den Bereichen, wo das Gefahrenpotential für Menschen inakzeptabel war, aber die gesamte Auftragsplanung für die Arbeitsroboter zu komplex erschien. Dies trifft besonders auf Einsätze in Katastrophengebieten oder in sehr unwirtlichen Gegenden zu. Um solche Einsätze besser vorausplanen und koordinieren zu können, wurde, mit Sicherheit, auch früher daran gearbeitet, die Teams so auszustatten und zu parametrisieren, dass die Leistung eines gegeben Systems bei der Erfüllung einer konkreten Aufgabe möglichst hoch ausfiel. Die nächste Stufe zur Verbesserung der Einsicht in die Interaktion zwischen Menschen und Robotern (HRI) war die eingehende Untersuchung des Informationsaustausches und damit der Kooperationsbeziehungen innerhalb eines hybriden Teams. Eine wichtige Forderung die es zu erfüllen galt, war der möglichst große Umfang an verschiedenen Anwendungen und Teamkombinationen auf die die ausgearbeiteten Methoden angewendet werden könnten. Diese Sammlung von Methoden oder Kriterien zur Messung der Arbeitsqualität von zusammengesetzten Mannschaften sollte dann ein wirkungsvolles Instrument zur Verfügung stellen. Damit wurden dann eine systematische Analyse, Beurteilung und, vielleicht mit Blick in die Zukunft, sogar ein Framework von Richtlinien zur Leistungssteigerung eines beliebigen HR-Teams (Mensch-Roboter Team) möglich. Die Vorteile einer systematischen Analyse und Beurteilung sind offensichtlich: die Einheitlichkeit eines solchen Vorgehens stellt die wichtigste Voraussetzung für die Vergleichbarkeit von

unterschiedlichen Systemen (Benchmarking) dar und bietet außerdem die Möglichkeit für die sukzessive Analyse. Durch entsprechende Kriterienkombinationen, mit deren Hilfe die Schwachpunkte des Systems identifiziert und gezielt optimiert wurden, konnte man sich, schrittweise in Richtung des Systemoptimums bewegen. Auf den ersten Blick scheint ein solcher Ansatz zur systematisch durchgeführten Steigerung der Effektivität und der Effizienz von HR-Systemen als der beste auf dem Weg zum Systemoptimum. In der Realität, wird sich dieses Optimum nicht direkt erreichen lassen. Der Grund für diesen Misstand ist oft die Unmöglichkeit der Beobachtbarkeit, und erst recht der Messbarkeit, der wichtigsten Einstellungsparameter für die Beeinflussung der Systemeigenschaften zur Verbesserung deren Performance: der Zeit und der Leistung. Die angesprochenen Schwierigkeiten bei der Messung von Systemleistung sind nachvollziehbar, wenn man berücksichtigt, dass oft nicht einmal deutlich ist wie man die Systemleistung formal definieren soll um sie anschließend bewerten zu können. Aber auch bei der so scheinbar einfach messbaren Größe wie die Zeit stößt man, wie sich später zeigen wird, auf an die Grenzen der Messbarkeit. Sobald man bei der Analyse die Prozesszeiten operieren muss, die definitionsgemäß abgegrenzt werden müssen, aber dennoch nicht objektiv unterscheidbar sind wird dies deutlich. Um dennoch eine wissenschaftlich abgesicherte und damit evaluierbare Analyse und Beurteilung von HR-Systemen gewährleisten zu können versucht man andere Kriterien zu erarbeiten. Die neuen Kriterien sollen durch Bestimmung indirekter, bezüglich Systemperformance, Parameter in der Lage sein, Richtlinien (oder Richtwerte) zur Verfügung zu stellen um eine Analyse oder einen Vergleich konkurrierender Systeme durchzuführen. 2. Gewünschte Eigenschaften und Ziele von Performance Kriterien Um einzelne Performance Kriterien zu einer sinnvollen Sammlung von wirksamen Methoden zur Beurteilung von HR-Systemen auszubauen, muss diese Sammlung eine Reihe von bestimmten Anforderungen erfüllen. Dadurch erreicht man eine gewisse Schnittstellenvereinbarung (vergleichbar mit einem Programminterface), um die Benutzerfreundlichkeit für die Anwender dieser Kriterien zu verbessern. Die in solch einem Framework vorhandenen Methoden sollen eine qualitative Einschätzung von Systemmerkmalen geben, wo derzeitige Modelle keine vertrauenswürdige numerische Auswertung zulassen, und ansonsten danach streben auch quantitative Maße zu definieren (so genannte Metriken), um die Vergleichs- oder Optimierungsaufgabe zu erleichtern. Die wichtigste Forderung an Kriterien ist natürlich die Zuverlässigkeit und zwar unabhängig von der Art und Größe der zu untersuchenden Systeme. Die Zuverlässigkeit der Performance Kriterien wird in hohem Maße durch die Güte der Vorhersagbarkeit (predictive power) charakterisiert. Diese, wiederum, zerfällt in zwei weitere Qualitätseigenschaften, des durch das Kriterium bestimmten Systemparameters. Die erste ist die Konsistenz, d. h. die Gültigkeit der Aussage unabhängig von der Art und Größe des betreffenden Systems. Mit der zweiten Qualitätseigenschaft, der Genauigkeit, muss die Übereinstimmung, der durch das Kriterium bestimmten Aussage und experimenteller Ergebnisse, mit genügend hoher statistischer Wahrscheinlichkeit sichergestellt werden [1]. Außer der Zuverlässigkeit, die als Grundlage für etwaige weiterführende Anwendungen der Performance Kriterien dient, existieren noch weitere relevante, den allgemeinen Zielsetzungen dienliche, Forderungen. So könnte eines der gewünschten Eigenschaften von Kriterien fordern, dass man mit Hilfe dieses die Parametergrenzen ermitteln kann. Damit bring man wichtige Charakteristiken eines Systems oder, was für die detaillierte Analyse noch essentieller ist, der einzelnen Teilsysteme wie Operator(-engrupppe) oder Roboter(- gruppe) in Erfahrung. Mit diesen Informationen bekommen die Entwickler von HR-Systemen Daten, auf deren Grundlage sowohl eine Abstufung (Ranking) vorhandener Systeme als auch Ermittlung der für ein bestimmtes System angepasster Aufgabenmuster (oder umgekehrt) und

iterative Verbesserung von Leistungsgrenzen möglich sind. Basierend auf diesen Erkenntnissen ist auch die Aufgabenplanung wesentlich effektiver durchführbar. Aus Messwerten für die Systemgrenzen sind weiterführende Rückschlüsse auf die Leistungsfähigkeit der betrachteten Systeme zulässig, die eine komplexere Aufgabenplanung ermöglichen. Solche Untersuchungen sind vor allem in Bezug auf verschiedene Arten von, innerhalb des Frameworks, definierte Zeiten anzutreffen, da ja diese zu den kritischen Parametern eines Systems gehören, die unbedingt in die Planung einbezogen werden müssen. Zu weiteren Anforderungen gehört ein sehr wichtiger, wie sich herausgestellt hat, Aspekt bei der Entwicklung neuer und bei der Optimierung vorhandener Systeme. Bei der Interaktion von verschiedenenartiger Objekten untereinander, was bei der HRI der Fall ist, ist möglichst fehlerfreie und verständliche Kommunikation zwischen Objektgruppen entscheidend. Vor diesem Hintergrund, erscheint es als nicht verwunderlich, dass der Anpassung der Kommunikationsschnittstelle, also das Design des Interfaces, eine große Bedeutung zukommt. Es wurde eine Vielzahl von Performance Kriterien ausgearbeitet, deren Zweck darin besteht die relevanten menschlichen Faktoren zu erfassen und Dateninterface der Roboter zu beurteilen um die Leistungsfähigkeit des Interfaces, die nicht direkt zu beurteilen ist, zu steigern. Solche Kriterien wie Situation Awareness, Workload oder Fan-Out, auf die später noch mal genauer eingegangen wird, gehören zu den Kennmaßen, die den Entwicklern wichtige Hinweise auf die Problemfelder eines Interfaces liefern können. Zum Schluss sei noch ein weiterer Problemkreis der HRI erwähnt, bei dem die Performance Kriterien von Bedeutung sind. Der gewünschte Effektivitätszuwachs eines HR-Systems wird vor allem dadurch erzeugt, dass der menschliche Operator in der Lage ist Überwachung und Verwaltung mehrerer Robotereinheiten durchzuführen. Diese Arbeitsweise setzt aber andererseits voraus, dass die am Einsatz beteiligten Roboter über ein bestimmtes Maß an Autonomie verfügen. Es ist klar, dass ein Operator seine Aufmerksamkeit den andren Robotereinheiten nur solange widmen kann, solange ein Roboter sich im autonomen Betrieb befindet. Eine große Herausforderung dabei ist, die mit wachsender Roboterautonomie eher weiter an Bedeutung gewinnt, ist, wieweit und in welcher Situation ein Roboter selbständig arbeiten soll und wann er die Kontrolle an den Operator zurückgeben soll. Es ist also die Frage der Autonomieregelung zwischen Mensch und Roboter in einem HR-System. Diese Fragestellung schließt auch einen nicht trivial zu modellierenden Bereich der dynamischen Autonomie (adjustable autonomy) ein, bei der es um die Vergabe der Autonomierechte in der Echtzeit geht. Obwohl der Problemkreis ein großes Potential an Leistungsverbesserung beinhaltet, birgt er auch ein nicht zu übersehendes Gefahrenpotential in sich, was man am Beispiel von sicherheitskritischen Aufgaben leicht nachvollziehen kann. Einige der weiter unten aufgeführten Kriterien, wie Neglect Tolerance oder Fan-Out, leisten ihren Beitrag zur effektiveren Entwicklung der Mechanismen zur Autonomieverwaltung in der HRI. 3. Modellansätze zur Erarbeitung von Kriteriensammlungen Um überhaupt irgendwelches Kriterien Framework erarbeiten zu können, müssen die Grundlagen der Modelle in denen die einzelnen Kriterien definiert sind festgestellt werden, um den Geltungsbereich der zu entwickelnden Kriterien zu erfassen. In der Forschung wurden hauptsachlich zwei unterschiedliche Ansätze entwickelt, die in ihren Zielsetzungen variieren und deswegen nachfolgend getrennt vorgestellt werden. 3.1. Taxonomieansatz Der Taxonomieansatz ist vorwiegend vom theoretischen Interesse, denn es gibt nur wenige Kriterien, die bis jetzt entwickelt wurden und dabei allein innerhalb des Taxonomiemodells definiert werden können. Der Ansatz wurde von Yanco und Drury in [4] vorgestellt und später weiterentwickelt. Der Hauptgedanke ist nicht neu und intuitiv am ehesten nahe liegend: es soll ein vollständig und konsistent definiertes System von Systemkombinationen entwickelt

werden und anschließend alle möglichen Kategorien eingeführt werden, die sowohl das Verhalten als auch die Zustände der Einzelkomponenten eines HR-Systems eindeutig beschreiben. Auf dieser Grundlage könnte man, prinzipiell, ebenfalls Metriken einführen um die formelle Weiterverarbeitung der Ergebnisse zu ermöglichen. Die Autoren beziehen sich bei ihrem Modell auf das bereits seit einiger Zeit existierende und weit ausgearbeitete Konzept aus HCI (Human-Computer Interaction). Von anderen Autoren wurde angemerkt, dass dieses Konzept nicht ohne weiteres auf HRI übertragbar wäre. Bei den Robotern handele es sich, im Gegensatz zu stationären Rechnern die in einer Simulierten Realität agieren, um mobile Einheiten die aus der realen Welt heraus mit einem Fernoperator interagieren. Die sich daraus resultierende Unterschiede in der Kommunikation müssen auch im Taxonomiemodell entsprechend berücksichtigt werden. Abbildung 1 Die in der Abbildung 1 dargestelltes System der HR-Teamkombinationen, für maximal zwei Teilnehmer in jedem Teilsystem (Menschen, Roboter), zeigt die Vorgehensweise, in der Menschen und Roboter miteinander interagieren können, wobei Mannschaften mit größerer Anzahl der Gruppenmitglieder entsprechend (induktiv) in Beziehung gesetzt werden. Die einfach eingekreisten Systemteilnehmer stellen unabhängig handelnde Einheiten dar, die in die Rechtecke platzierten Elemente eines Teilsystems deuten auf die koordiniert auftretenden Untergruppen hin. Daneben werden die relevanten Kategorien formuliert, welche in der Lage sind die Systemdynamik, durch sukzessive Veränderung des Systemstatus innerhalb dieses Kategorien Frameworks, abzubilden. Zu solchen Kategorien gehören: Kategorie der Zeit- /Raumverteilung, Kategorie der Zusammensetzung des Mensch-Roboter Teams im Hinblick auf die Homogenität, Kategorie der Aufgabenkritizität und weitere Kategorien. Mit Bezug auf diese Kategorien könnten dann Maße definiert werden, mit deren Hilfe eine gewisse Vergleichbarkeit, die aber auf weitgehend typähnliche Systeme sich erstrecken würde, ableitbar wäre. 3.2. Aufgabeorientierter Ansatz Der andere Ansatz, wenn auch in verschiedenen Abwandlungen, ist sowohl in Forschungsliteratur als bei der Ausarbeitung konkreter Kriterien weiter verbreitet. Deshalb, wenn nicht explizit etwas anderes vereinbart wird, soll er die Grundlage für weitere Abschnitte sein. In der Einfachheit des Konzepts der vollständigen Beschreibung innerhalb des vorgestellten Taxonomiemodells liegt aber auch sein Schwachpunkt. Die Variationsvielfalt der vorstellbaren oder allein jetzt schon existierenden HR-Systeme macht es entweder unmöglich, eine effektiv anwendbare Sammlung von nötigen Performance Kriterien zu erstellen, oder

werden diese dann derart schwerfällig in ihrer Formalisierung, dass ihre Nutzung wieder ineffektiv wird. Daher soll ein weites Konzept vorgestellt werden, das einen anderen Zugang zu den systeminhärenten Daten zu finden versucht. Abbildung 2 Bereits in der einfachsten Form der HRI, kann die Komplexität der vollständigen Systembeschreibung eine angemessene Darstellung im Taxonomiemodell vereiteln. Bei der Erweiterung der Systemkomponenten (zu multiplen Entitäten oder Gruppen) steigt sowohl die Komplexität der einzelnen Systemkomponenten als auch die des gesamten Systems an. Deswegen werden in dem aufgabenorientierten Ansatz relativ standardisierte Prozesse mit zugehörigen Kriterien festgelegt, womit man eine Grundlage für Vergleichs- und Leistungsanalysen der vorliegenden Systeme bekommt. Die Kriterien innerhalb des aufgabenorientierten Modells liefern zwar aussagekräftigere aber auch mehr anwendungsbezogene Informationen, was eine gewisse Einschränkung darzustellen scheint. Aus der Kombination von wenigen, wie Navigation, Objekterfassung, Manipulationsaufgaben, für die HR-Teams typischen Aufgabentypen, kann man allerdings schon einen sehr großen potentiellen Wirkungsbereich von solchen Teams abdecken. Damit kann man dem Ziel der Universalität in der Teambeurteilung bezüglich der Teamausstattung/- zusammenstellung bei der Anwendung von Performance-Kriterien sehe nahe kommen [2]. Um die Analyse noch zielgerichteter betreiben zu können, teilt man das Gesamtsystem, zweckmäßigerweise, in Teilblöcke auf (Abbildung 2). Sowohl innerhalb dieser Teilsysteme als auch für das Gesamtsystem werden dann entsprechende Kriterien formuliert. 4. Einige der wichtigsten Performance Kriterien Wie schon angemerkt wurde, sind die direkten Maße, Zeit und Leistung, für die Bestimmung der Performance nur selten messbar oder sogar, möglichst allgemein, definierbar. Diese Tatsache führt fast zwangsläufig zu einer Kriterienvielfalt, um zumindest auf indirekte Weise die Performance eines HR-Systems zu erfassen. In diesem Abschnitt sollen einige wichtige Performance Kriterien vorgestellt werden. Diese Kriterien können in das aufgabenorientierte Modell eingeordnet werden, allerdings sind die meisten von ihnen multifunktional. Sie werden nicht nur innerhalb eines Teilsystems oder des Gesamtsystems zur Ermittlung von Kenngrößen und nicht nur für bestimmte Aufgabentypen verwendet, sondern ist es oft so, dass das gleiche Kriterium bei verschiedenen Fragestellungen auftaucht. Verständlicherweise, sind Kriterien zur Beurteilung der menschlichen Systemkomponente informeller und meistens komplexer als die, die zur Beurteilung der Roboterperformance herangezogen werden.

4.1.a. Situation Awareness, SA(mentales Situationsmodell): Allgemein definiert ist die Aufgabe der Situation Awareness die Prozesse der Wahrnehmung, der Interpretation und Vorhersage des zukünftigen Verhaltens von Elementen in komplexen dynamischen Systemen zu bestimmen. Wird dieses Konzept auf HRI angewandt [14], das wiederum auf das innerhalb des CSCW(Computer-Supported Cooperative Work) definierte Konzept sich anlehnt, beschreibt die Situation Awareness inwieweit der Operator der Situation des Roboters, im Bezug auf seine Position, auf die gerade ausgeführten Tätigkeit, auf seine Umgebung und auf seinen Gesamtzustand, bewusst ist. Da es sich bei der HRI nicht um rein menschliche Interaktion wie in CSCW handelt, interessiert man sich auch dafür, inwieweit der Roboter die vom Operator ankommenden Informationen verarbeiten kann. Hat man HR-Teams, die sowohl aus mehreren Operatoren als auch aus mehreren Robotereinheiten bestehen, so kann man folgende Interaktionssysteme auf ihr Situationsmodell hin untersuchen: Mensch-Roboter Awareness, Roboter-Mensch Awareness, Roboter-Roboter Awareness, Mensch-Mensch Awareness und die Gesamt-Awareness der beteiligten Operatoren. Die ersten beiden wurden schon beschrieben. Die nur innerhalb der Teilsysteme der HRI stattfindenden Interaktionen wurden noch nicht angemessen untersucht. Das letzte Interaktionssystem soll bezüglich des Bewusstseins der Gesamtkoordination zur Erreichung der Teilziele/des Gesamtziels des Systems aus der Perspektive der Operatoren bewerten werden, was schon in der Formulierung eine nicht einfache Aufgabe zu sein scheint. 4.1.b. Fan-Out, FO (Aufmerksamkeitsstreuung): Mit Hilfe von Fan-Out kann die Anzahl der vom Operator noch ohne Effektivitätsverlust kontrollierbarer Roboter abgeschätzt werden. Obwohl in den meisten Arbeiten von der Annahme der Homogenität der gesteuerten Einheiten ausgegangen wird, kann das Kriterium, zum Teil, auch zur Schätzung der Kontrollfähigkeit von artverschiedenen Robotern modifiziert werden. Mit Hilfe von Fan-Out kann Abbildung 3 nicht nur die optimale Anzahl an kontrollierbaren Robotern ermittelt werden (das Plateau der Effektivität im Bild), sondern auch die Angepasstheit des Interfaces bestimmt werden. Man kann auch einen Vergleich von Interfaces durchführen, denn das Interface eines HR-Systems spielt eine wichtige Rolle bei der Steuerung von Robotern (siehe auch Beispiel zur Fan-Out Bestimmung). Dieses Kriterium wird mit Hilfe von zeitbasierten Metriken weiterer Kriterien (Interaction Affort, Neglect Time) bestimmt (abgeleitetes Kriterium) und kann eine recht gute, meistens pessimistische und damit untere Grenzcharakteristik, Schätzung abgeben. 4.1.c. Usability (Gebrauchstauglichkeit): Im Rahmen dieses Kriteriums soll vor allem der Nutzen des Interfaces, das ja die zentrale Gestaltungsmöglichkeit innerhalb der HRI darstellt, beurteilt werden. Der Nutzen kann wiederum in weiter Unterkategorien wie: Effektivität, Effizienz und Zufriedenheitsgrad dessen Benutzung durch einen menschlichen Operator, eingeteilt werden. Um einzelne Unterkategorien zu beurteilen greift man auf wissenschaftlich untermauerte psychologische Methoden, zu denen lautes Sprechen, lautes Denken oder Verfolgung der Augenbewegungen, die Rückschlüsse auf die gewünschte Merkmale liefern können. Ein gutes Beispiel eines noch recht allgemein vorgestellten Algorithmus zur Steigerung der Gebrauchstauglichkeit eines allgemeinen Interfaces wird in [6] vorgestellt.

4.1.d. Workload ( Arbeitsaufwand): Workload beschreibt den Aufwand an mentaler Leistung eines Operators, die wiederum ein Indiz für Performance eines HR-Systems sein kann. Da Workload, nicht direkt vermessen werden kann, aber anhand anderer Kriterien/Metriken ist es möglich dessen Ausmaß indirekt abzuschätzen. Dazu werden folgende Kriterien eingesetzt: - physiologische Messungen: wobei, mit bereits existierenden Modellen des menschlichen Verhaltens, das erkennbare körperliche Verhalten im Hinblick auf die psychologischen Zustand der Person gedeutet wird. Aktuelle Forschungsergebnisse lassen die Vermutung zu, dass, zukünftig, schon die Verfahren zur Mimikanalyse effektive Ergebnisse liefern werden [13]; - Messung der Performanceeinbußen in der eigentlichen HRI durch Aufforderung zur Bearbeitung von ablenkenden Aufgaben; - Mustererkennung in der menschlichen Informationsverarbeitung indem die Abweichungen in der Arbeitsweise bei der Bearbeitung von unterschiedlichen Aufgabentypen, gegenüber der als nominal eingeführten Arbeitsweise, mit statistischen Methoden beurteilt wird (behavioral entropy)[ 10]. Einzelne indirekte Messungsmethoden können nach weiteren Unterarten unterschieden werden, die weiter spezifizieret sind (z. B. in invasive und echtzeitfähige). 4.1.e. Neglect Tolerance, NT( Vernachlässigungstoleranz, Autonomiegrad des Roboters): Die Neglect Tolerance beschreibt den Grad der Selbständigkeit des Roboters bei der Aufgabenerfüllung. Im wesentlich hängt dieser Grad von zwei Faktoren ab: der seit dem Anfang der autonomen Aufgabenerfüllung verstrichenen Zeit und der Schwierigkeit dieser Aufgabe (siehe Abbildung 4). Man setzt, normalerweise, eine Untergrenze der Effektivität des autonom arbeitenden Roboters, und nutzt die Zeit in Abbildung 4 der der Roboter noch oberhalb dieser Grenze handelt als Richtwert für die Metrik Neglect Time. Diese Metrik soll die Zeit messen, in der die Aufmerksamkeit des menschlichen Operators nicht durch den betreffenden Roboter abgelenkt wird. Allerdings ist es nicht immer machbar, denn die Effektivität eines Roboters und die genau diesem Roboter gewidmete Aufmerksamkeit sind bei weitem nicht immer beobachtbar und quantifizierbar. Daher ist diese Metrik recht ungenau und man nimmt deswegen andere Metriken, die zwar nicht immer unmittelbar auf das Kriterium NT angewendet werden können, aber eine gute Nährung erreichen. Dazu gehört zum Beispiel die Aktivitätszeit (activity time, AT), welche die Zeit von dem Kontextwechsel bis zur Rückkehr zum Kontext des betreffenden Roboters misst. Weiterhin sei angemerkt, dass die NT von den Eigenschaften des Interfaces beeinflusst wird und daher zur Beurteilung seiner Angepasstheit für eine Aufgabe herangezogen werden kann. 4.1.f. Interaction Effort, IE(Interaktionsaufwand): Dieses Kriterium gibt Auskunft über die Güte der Interaktion zwischen einzelnen Systemkomponenten. Damit handelt es sich dabei um ein Schlüsselkriterium bei der Verbesserung von HRI. Im Vergleich z.b. zum NT, bewertet es die Performance im Bezug auf das Gesamtsystem und liefert damit direktere Hinweise auf die Gesamtperformance. Die

Beurteilung eines Systems hinsichtlich dieses Kriteriums wird, üblicherweise, zur Reduzierung der Komplexität und zwecks detaillierterer Analyse, in mehrere Stufen unterteilt. Man kann sich folgende Unterteilung vorstellen: - Wahl der nächsten Aufgabe/Robotereinheit: Algorithmus nach dem sich der Operator für die Aufgabe/Robotereinheit entscheidet, die den meisten Nutzen einbringt; - Kontextorientierung: Übertragung des Kontextes in dem sich der gewählte Roboter befindet in die für den Operator übliche Form; - Aufgabenplanung: Planungsaufwand zur Ausformulierung der als nächste anstehenden Aufgabe; - Anweisungsübermittlung: Übertragung der geplanten Aufgabe in den für den Roboter verständlichen Kontext. Die angedeutet Stufen der Unterteilung werden ihrerseits mit angemessenen Kriterien/Metriken bewertet, wodurch sowohl das Gesamtkriterium angewendet werden kann als auch eine stufenweise Analyse/Optimierung ermöglicht wird. 4.2. Beispiel zur Fan-Out Bestimmung Die Fan-Out Kennzahl soll die Anzahl der von einem Operator/ einer Operatorengruppe kontrollierten Roboter angeben so, dass die Effektivität HR-Systems (in entsprechender Weise gemessen) maximal ist. Um diese Zahl für ein gegebenes System zu ermitteln wird nach einem formellen Ausdruck gesucht, der durch experimentelle Ergebnisse bestätigt werden soll. Das vorgestellte Experiment bezieht sich auf die in [3] beschriebenen Entwicklungszyklus vom Fan-Out Kriterium. Darin wird versucht eine einfache Beziehung(weitere Beziehungen werden unter anderem in [1] vorgeschlagen) für die Schätzung der Fan-Out Kennzahl zu bestätigen. Dabei sollte die Formel FO = AT/IT, wobei AT die bereits erwähnte Activity Time und IT die Abbildung 5 Interaction Time (eine Metrik des IE Kriteriums) sein sollen, nachgewiesen werden. In der Abbildung 5 dargestellten Simulationsumgebung sollten Studenten drei unterschiedliche Robotertypen, die sich in ihrem Autonomiegrad unterschieden, zu einem bestimmten Ziel führen. In der Simulation hatten alle Robotereinheiten das gleiche Interface, so dass man auch den Einfluss des Interfacedesigns auf die Fan-Out Kennzahl untersuchen konnte. Ergebnisse des Experiments haben gezeigt, dass die Fan- Out proportional abhängig von dem Autonomiegrad der verwendeten Roboter ist, der sich direkt auf die AT auswirkt und damit laut der angenommenen Formel eine Tabelle 1 Erhöhung der Fan-Out Kennzahl zur Folge hat (siehe Tabelle 1). Weiterhin konnte der Einfluss des Interfaces auf die Fan-Out Kennzahl bestätigt werden. Der Einfluss wurde durch

das Interaction Effort Kriterium in die Testumgebung einbezogen. Durch die Verbesserung der Bequemlichkeit und Übersichtlichkeit des Interfacedesigns (durch die Scroll-Möglichkeit innerhalb des Labyrinths) die Interaktionszeit reduzierte, wurde die umgekehrt proportionale Beziehung zu der Fan-Out Kennzahl bestätigt (siehetabelle 2). Außerdem wurden bei der Experimentsdurchführung die Unstimmigkeit der Formel mit den experimentellen Ergebnissen bei den kleinen Fan-Out Werten festgestellt, was auch [1] bestätigt. Die Autoren führen diesen Befund auf den nicht linear steigenden Einfluss des IE Kriteriums auf die Formel zurück. Obwohl der Vorzug der Simulation dem realen Versuch zu guter Übereinstimmung von Tabelle 2 theoretischen Annahmen mit den Versuchsresultaten geführt hat, ist die Zuverlässigkeit von Simulationen bei komplexeren Umgebungen und genaueren Formeln kritisch zu beurteilen. 5. Kriterienübersicht Mit folgender Darstellung wird ein nicht üblicher, nichtsdestotrotz, den Vorteil eines Überblicks verschaffender Ansatz verfolgt, die aufgabenorientierten Kriterien im Bezug auf verschiedenen Systemebenen (Subsysteme, Gesamtsystem) einzustufen. Für die Bezugspunkte (Dimensionen) eines in Tabellenform (Tabelle 3) veranschaulichten Überblicks werden die am nächsten liegenden Kategorien innerhalb des betrachteten HR-Modells (aufgabenorientierter Ansatz, mobile Roboter) genommen: Aufgaben und Systemkomponenten. Diese Auswahl ist aber weder bezüglich der Dimensionierung (Beispiel: Kriterienhierarchie als weitere Dimension) noch bezüglich der Kategorienauswahl zwingend. Obwohl die meisten Kriterien innerhalb des üblichen Modells definiert sind, stammen einige Bestimmungsmaße, an den Stellen, wo sich die charakteristischen Werte unmittelbar beobachten lassen, aus dem Taxonomieansatz (contact error rate oder critical incidents). Dabei sollte man die einzelnen Kriterien, wie schon erwähnt, nicht als ausschließliche Beurteilungsmaße für die betreffende Tabellenzelle (Systemebene/Aufgabentyp) betrachten. In jeder Zelle wurden nur die repräsentativsten Kriterien platziert, denn viele der Kriterien könnten sowohl an mehreren Stellen in der Tabelle als gruppiert in einer einzelnen Tabellenzelle auftauchen. Navigatio n Operator(s) Situational Awareness Erfassung Manipulation Verwaltung soziale Kompetenz Passive/ Active Perception Workload Fan-Out Emotional Engagement Roboter(s) Self- Awareness Neglect- Tolerance Contact Error Rate Adjustable Autonomy Humanoidity Gesamtsystem Awareness Violations Interface Usability Critical Incidents Interaction Effort, Trust Automation Tabelle 3 Im Weiteren sollen einige Anmerkungen zu den einzelnen Aufgabenbereichen erörtert

werden, um die Zielsetzungen entsprechender Kriterien besser nachvollziehen zu können. Navigation: Um effektive Entscheidungen über die Vorgehensweise der zu unterweisenden Robotereinheiten treffen zu könne braucht der menschliche Operator einen möglichst vollständigen Einblick in die Lage des Roboters. Dieser, wiederum, muss seine Lage anhand von verschiedenen Sensordaten, in Abhängigkeit von der Funktionstüchtigkeit sowohl seiner Sensoren als auch seiner Analysealgorithmen, einschätzen und übertragen können. Durch situationsspezifische Kontrollmechanismen wird in der Beurteilung des Gesamtsystems die Anzahl und Art der versäumten Kontrollaufgaben bewertet. Erfassung: Bei der Erkennung und Erfassung von Objekten in der Umgebung ist der Mensch, meistens wesentlich auf die Angaben vom Roboter angewiesen. Dabei wird die Leistung sehr stark von seiner Vertrautheit mit der er mit der Robotereinheit interagiert, und seiner Erfassungsgabe im Bezug auf die vom Roboter ankommenden Informationen, abhängen. Dabei wird, auf der Ebene des Gesamtsystems, vor allem, die Angepasstheit der Kommunikationsschnittstelle die entscheidende Rolle an diesem Prozess spielen. Manipulation: Die Performance des Operators ist entscheidend durch das angemessene Konzentrationsniveau, Aufnahme- und Verarbeitungsfähigkeit der relevanten Daten (Sensorwerte, Roboterposition, aktuelle Auslenkung, Umgebungssicht) abhängig. Die Manipulationsperformance der Teamroboter wird an der Anzahl und Art der während des Einsatzes registrierter Fehler gemessen für die es ein, innerhalb der entsprechenden Taxonomie, vorgesehenes Bewertungsmaß geben kann (Benchmarking). Die Anzahl und Art der bei der Aufgabenerfüllung begangenen sicherheitskritischen Vorfälle geht in die Bewertung der Performance vom Gesamtsystem ein. Verwaltung: Die Robotereinheiten können nur in den ihnen zugewiesenen Autonomiegrenzen die aufgetragenen Aufgaben erfüllen. In diesem Sinne wird der Grad der Selbstverwaltung von einzelnen Robotern sehr stark durch die Autonomieregelung im System beeinflusst. Die Interaktion von Robotern und Menschen hängt von der Effektivität der Interaktionsstufen, die bei der Beschreibung des entsprechenden Kriteriums erläutert wurden. soziale Kompetenz : Bei den Dienstleistungsrobotern sollten sowohl einzelner Subsysteme (Operator, Roboter) als auch das Gesamtsystems eine solche Interaktion zustande kommen, die möglichst an die zwischenmenschliche Kooperation angenähert ist. Dies wird vor allem durch steigende Intuitivität im Umgang mit Teamrobotern (Operatorkriterien) und erweiterte Kommunikationsfähigkeiten der Roboter in der Interaktion mit ihrem menschlichen Gegenpart innerhalb des Systems (z.b. durch verbesserte Musterkennung, Sprachanalyse, Verbalisierung) erreicht. Auf der Seite der Operatoren kann sich die Nachvollziehbarkeit der Systemregel positiv auf die Regelung der Autonomiegrenzen der eingesetzten Robotereinheiten beeinflussen (adjustable autonomy mit Berücksichtigung der emotionalen Ebene). Diese gilt allerdings nur solange das entgegengebrachte Vertrauen der Operatoren gegenüber den Robotereinheiten sich bestätigt. Auf der Ebene des Gesamtsystems könnte der eben skizzierte Mechanismus, beispielsweise, bezüglich seiner Automatisierbarkeit beurteilt werden [11]. 6.Simulations- und Testumgebungen Um ein (Teil-)System bezüglich eines Kriteriums beurteilen zu können greift man oft zum bewährten Hilfsmittel der Simulation. Dabei wird eine idealisiert modellierte Wirklichkeit erzeugt in der, die zu untersuchenden Systemen getestet werden können. Es kommen ganz allgemeine, und daher stark vereinfachte, wie im Fan-Out Beispiel, bis hin zu komplexen,

sorgfältig ausgearbeiteten Simulationsumgebungen zum Einsatz. Zu letzteren gehört, sicherlich, der von Endsley [9] entwickelte SAGAT-Verfahren (Situation Awareness Global Assessment Technique). Darin wird versucht ein möglichst vollständiges Modell zur Bewertung von Situation Awareness zu entwickeln, mit deren Hilfe ein möglichst formalisiertes Verfahren zur Anwendung dieses Kriteriums bereitgestellt sein soll. Es sind aber auch weniger aufwendigere Verfahren vorstellbar. So wird ein effektives Mittel zur Abschätzung von SA des Operators durch "robust situation generation bereitgestellt [8]. Sein Prinzip basiert darauf, dass die Rückkopplung der Operatorwahrnehmung, mit Hilfe eines Skripts zur wiederholbaren virtuellen Umgebung, zur Erzeugung von wiederholbaren und konsistenten Situationsumgebungen genutzt wird, um eine direkte Messung der messbaren Operatorreaktionen durchzuführen und damit die SA des Operators zu bestimmen. Das SAGAT-Verfahren wird zwar im Vergleich zu der letztgenannten Methode ein vollständigeres Bild vom Situationsmodell eines Menschen bereitstellen, es ist aber weniger verlässlich bezüglich unmittelbarer Operatorreaktionen. Wie jede Simulation, sind auch die vorgestellten Simulationsverfahren nur ein Annährungsund Arbeitsmodell, das von vereinfachten Annahmen ausgeht und deshalb nur bedingt vertrauenswürdig ist. Dagegen bieten die Experimente die mit Robotern im Rahmen diverser Wettbewerbe (USAR, Robot Challenge, RoboCup) durchgeführt werden, die, heutzutage, einzigartige Möglichkeit die Performance Kriterien anzuwenden. Dadurch schaffen solche Wettbewerbe einen wesentlichen Beitrag zu Entwicklung und Verbesserung von diesen Kriterien. 7.Schlussbemerkungen Der Einsatz von Performance Kriterien zur Beurteilung von HRI bringt mehrere Vorteile mit sich. Mit einem Kriterien Framework wird ein wichtiges Mittel zu systematischen und vielseitigen Untersuchungen von HR-Systemen ermöglicht, wodurch die Analysen/Nachbesserungen sowohl effektiver als auch effizienter vorgenommen werden können. Des Weiteren stellen Performance Kriterien eine wichtige Grundlage zur Vergleichbarkeit auf breiter Basis. Mit Rückgriff auf solche Kriterien ist ein Benchmarking von unterschiedlichen HR-Systemen modellierbar, womit ein wichtiger Anreiz zur Weiterentwicklung der vorhandenen Systeme entsteht [12]. Zwar bieten die bereits vorhandenen Kriterien eine effektive Möglichkeit zur Beurteilung von Mensch-Roboter Teams, aber nicht alle wichtige Parameter(Aspekte) können bis jetzt sinnvoll gemessen werden (Vorhersagbarkeit, Planungssicherheit bzgl. Genauigkeit und Konsistenz von ermittelten Aufgaben). Für einige Aspekte treten Schwierigkeiten bei der Erarbeitung von nutzvollen und konsistenten Metriken auf, die für eine noch effizientere Verbesserung erforderlich sind. Dabei ist natürlich zu berücksichtigen, dass die Bemühungen in diese Richtung oft auch einer Beschränkung unterworfen sind, die durch bedingt formalisierbare und messbare Systemparameter (menschliche Leistungsfähigkeit, Umweltkomplexität) auferlegt werden. Weiterhin ist die Ausdifferenziertheit von bestehenden Kriterien eher gering, so dass die genaue Spezifizierung von möglichen Fehlerquellen oft noch nicht möglich ist. Als weiteres Forschungsgebiet für die Weiterentwicklung von Performance Kriterien sollte auch die Entwicklung von Performance Kriterien, die dazu dienen sollen die Interaktion innerhalb der Systemblöcke(Robotergruppen, Operatorgruppen) in Beziehung zur Performance des Gesamtsystems zu setzen. Referenzen [1] Jacob W. Crandall, M. L. Cummings. Developing Performance Metrics for the Supervisory Control of Multiple Robots. In HRI 07, March 8-11, 2007, Arlington, Virginia, USA. 2007

[2] Aaron Steinfeld, Jean Scholtz et al. Common Metrics for Human-Robot Interaction. In HRI'06, March 2 4, 2006, Salt Lake City, Utah, USA. 2006 [3] Dan R. Olsen Jr., Stephen Bart Wood. Fan-out: Measuring Human Control of Multiple Robots. CHI 2004, April 24 29, 2004, Vienna, Austria. 2004 [4] Yanco, H. A. and Drury, J. L. (2002). A taxonomy for human-robot interaction. In Proceedings of the AAAI Fall Symposium on Human-Robot Interaction, AAAI Technical Report FS-02-03, Falmouth, Massachusetts. November 2002 [5] Lee, J., and See, K. Trust in automation: designing for appropriate reliance. In Human Factors, 46. 2004 [6] Kristen Stubbs, Debra Bernstein, Illah Nourbakhsh. Cognitive Evaluation of Human- Robot Systems: A Method for Analyzing Cognitive Change in Human-Robot Systems. In The 15th IEEE International Symposium on Robot and Human Interactive Communication (RO- MAN06), Hatfield, UK. 2006. [7] Holly A. Yanco. Designing Metrics for Comparing the Performance of Robotic Systems in Robot Competitions. In Proceedings of the Workshop on Measuring Performance and Intelligence of Intelligent Systems (PERMIS). 2001. [8] A. R. Pritchett et al. USE OF TESTABLE RESPONSES FOR PERFORMANCE-BASED MEASUREMENT OF SITUATION AWARENESS. Presented at the International Conference on Experimental Analysis and Measurement of Situation Awareness DAYTONA BEACH, FL. 1996 [9] Endsley, M. R. Direct measurement of situation awareness: Validity and use of SAGAT. In M. R. Endsley & D. J. Garland (Eds.), "Situation Awareness Analysis and Measurement. 2000. [10] M. A. Goodrich, et al. Behavioral Entropy in Human-Robot Interaction. http://www.isd.mel.nist.gov/research_areas/research_engineering/performance_metrics/perm IS_2004/Proceedings/Goodrich.pdf. [11] John D. Lee and Katrina A. See. Trust in Automation: Designing for Appropriate Reliance. http://www.engineering.uiowa.edu/~csl/publications/pdf/leesee04.pdf. [12] ADACmotorwelt, Heft 7, Seite36. 2007. [13] G. Littlewort, et al. Towards social robots: Automatic evaluation of human-robot interaction by face detection and expression classification. In Advances in Neural Information Processing Systems. 2003. [14] Jill Drury, Jean Scholtz, Holly Yanco. Awareness in Human-Robot Interactions. In Proceedings of the IEEE Conference on Systems, Man and Cybernetics. 2003.