Verhaltenswirksamkeit von Likelihood Alarmsystemen

Transkript

1 Verhaltenswirksamkeit von Likelihood Alarmsystemen vorgelegt von M.Sc. Rebecca Wiczorek aus Berlin von der Fakultät V Verkehrs- und Maschinensysteme der Technischen Universität Berlin zur Erlangung des akademischen Grades Doktorin der Naturwissenschaften Dr. rer. nat. genehmigte Dissertation Promotionsausschuss: Vorsitzende: Prof. Dr.-Ing. Christine Ahrend Gutachter: Gutachter: Prof. Dr. phil. Dietrich Manzey Prof. Dr.-Ing. Günter Wozny Tag der wissenschaftlichen Aussprache: 14. November 2012 Berlin 2012 D 83 1

2 2

3 Danksagung Danksagung Ich möchte mich gerne bei allen bedanken, die mich in der Zeit der Entstehung dieser Arbeit begleitet und unterstützt haben. Mein besonderer Dank gilt meinem Doktorvater Prof. Dr. Dietrich Manzey, der sowohl fachlich als auch menschlich ein hervorragender Betreuer war. Er verstand es immer, mich durch eine ausgewogene Mischung aus Lob und Kritik zu motivieren und ich habe sehr viel von ihm gelernt. Meinem Zweitbetreuer Prof. Dr.-Ing. Günter Wozny danke ich für seine Unterstützung und sein Engagement, um mir Einblicke in die Welt der Leitwartenoperateure zu ermöglichen. Ein großer Dank gilt meiner Doktorschwester Dr. Nina Gérard, die mich immer bestärkt und mich in jeder erdenklichen Art unterstützt hat. Meinem Doktorbruder Torsten Günzler danke ich sehr für die vielen hilfreichen Gespräche. Außerdem möchte ich mich sehr bei meinen Kolleginnen vom Fachgebiet Linda Onnasch und Dr. Anne Klostermann für den fruchtbaren wissenschaftlichen Austausch und die motivationale Unterstützung bedanken. Allen Stipendiaten und Kollegiaten von prometei danke ich für den interessanten interdisziplinären Austausch, für ihre immerwährende Hilfsbereitschaft und die angenehme Arbeitsatmosphäre. Besonders erwähnen möchte ich dabei Janna Protzak, Sebastian Werk, Christian Stößel und Julian Adenauer. Der DFG danke ich für die finanzielle Unterstützung, die das Entstehen der Dissertation erst ermöglicht hat. Für die Programmierung der Versuchsumgebung und die Unterstützung bei der Auswertung danke ich Markus Bleil. Den Forschungsstudenten Marlene Vogel, Fabian Hasse und Caroline Merkel danke ich vielmals für die tatkräftige Unterstützung bei der Durchführung und Auswertung der Experimente. Mandy Dotzauer, danke ich für das Korrekturlesen meiner englischen Veröffentlichungen während der Promotion und Birgit Wiczorek, Judith Stöbe und Klaus-Jürgen Delhaes danke ich für das Korrekturlesen der Dissertation. 3

4 Zusammenfassung Zusammenfassung In sicherheitsrelevanten Arbeitsumgebungen wie der Prozessindustrie oder der Luftfahrt kommen Alarmsysteme zum Einsatz, die die Operateure bei Überwachungsaufgaben unterstützen, um es ihnen zu ermöglichen, sich parallelen Arbeitsaufgaben zu widmen. Um das Übersehen kritischer Ereignisse zu vermeiden, verfügen die meisten binären Alarmsysteme über liberale (niedrige) Schwellen, bei deren Überschreitung ein Alarm ausgelöst wird. Das führt dazu, dass diese Alarmsysteme viele falsche Alarme generieren. Die Alarmsysteme werden von den Operateuren als unzuverlässig wahrgenommen und sie verlieren ihr Vertrauen in dieselben. Das kann sowohl zu unsicheren als auch zu unproduktiven Verhaltensweisen führen. Es kommt vor, dass Operateure verlangsamt oder gar nicht mehr auf die Alarme reagieren, um ihre aktuellen Arbeitsaufgaben nicht zu unterbrechen. Besteht hingegen die Möglichkeit die Diagnosen der Alarmsysteme mithilfe von Zusatzinformationen wie z.b. Rohdaten zu validieren, neigen Operateure dazu, den Großteil der Alarme zu überprüfen. Durch das zeitaufwendige Prüfen werden parallele Arbeitsaufgaben vernachlässigt. Diese Probleme können mit binären Alarmsystemen nicht gelöst werden. Als Alternative wurden deswegen sogenannte Likelihood Alarmsysteme (LAS) vorgeschlagen, die über mehr als zwei Meldungs-Stufen verfügen und dadurch zusätzliche Informationen liefern. Die Stufen des LAS unterscheiden sich bezüglich der Wahrscheinlichkeit, (likelihood) mit der sie tatsächlich ein kritisches Ereignis anzeigen. Dadurch können sie die Operateure besser bei der Entscheidung unterstützen, ob und wie diese auf einen gegebenen Alarm reagieren sollen. Das Ziel dieser Arbeit ist es, die potentiellen Vorteile von LAS in Bezug auf Sicherheit und Produktivität zu untersuchen. Im Zuge dieser Arbeit wurden drei laborexperimentelle Studien mit einer PC-basierten Mehrfachaufgaben-Simulationsumgebung durchgeführt. Die Probanden bearbeiteten mehrere Aufgaben parallel, die kognitive Anforderungen von Leitwartenoperateuren simulierten. Das erste Experiment adressierte die Frage, welchen Nutzen LAS für die Alarm- und die Parallelaufgabe erbringt. Dazu wurde ein dreistufiges LAS mit einem binären Alarmsystem unter der Bedingung mit und ohne Prüfoption verglichen. Die Probanden vertrauten dem LAS stärker als dem binären System obwohl beide Alarmsysteme über dieselbe Reliabilität verfügten. Das LAS führte sowohl in der Alarm- als auch in der Parallelaufgabe zu einer besseren Leistung als das binäre System, wenn keine Prüfmöglichkeit zur Verfügung stand. Mit Prüfmöglichkeit unterschied sich die Leistung in der Alarmaufgabe nicht zwischen den Systemen und war signifikant besser als ohne Prüfoption. Das binäre System führte unter dieser Bedingung zu einer schlechteren Leistung in der Parallelaufgabe als das LAS. Beim 4

5 Zusammenfassung LAS kam es unter beiden Bedingungen zu einer Verhaltensdifferenzierung gegenüber Alarmen und Warnungen (mit niedrigerer Wahrscheinlichkeit korrekt), die zu den Unterschieden in der Leistung führten. Im zweiten und dritten Experiment wurde untersucht, wie verschiedene Schwellensetzungen bei LAS sich auf das Verhalten der Probanden und ihre Leistung in beiden Aufgaben auswirken. Verglichen wurden drei LAS mit unterschiedlicher zweiter Schwelle. Sie unterschieden sich in Hinblick auf ihre PPV (positive predictive value) von Alarmen und Warnungen, das heißt, die Wahrscheinlichkeit, mit der diese tatsächlich ein kritisches Ereignis anzeigen. Zusätzlich wurde die Belastung mithilfe einer zusätzlichen parallelen Aufgabe variiert. Im zweiten Experiment stand den Probanden keine Prüfoption zur Verfügung. Im dritten Experiment konnten sie die Diagnosen des LAS mithilfe von Rohdaten validieren. In keinem der Experimente zeigten sich Unterschiede zwischen den drei LAS in Bezug auf die Leistung in der Alarm- oder der Parallelaufgabe. Allerdings führten die drei LAS zu Unterschieden in der Häufigkeit der verschiedenen Fehlerarten, die die Probanden im Umgang mit dem jeweiligen Alarmsystem machten. Die Probanden, die mit dem LAS arbeiteten, welches über die höchste Alarm-PPV verfügte, ignorierten am meisten kritische Ereignisse, was sich unter höherer Belastung noch verstärkte. Das LAS mit der niedrigsten Alarm-PPV führte hingen dazu, dass die Probanden häufiger unnötige Bedienhandlungen ausführten, allerdings nur, wenn eine Prüfoption zur Verfügung stand. Die Schwellensetzung bei LAS hat demnach einen Einfluss auf die Art der Fehler, welche vermehrt von den Probanden im Umgang mit dem jeweiligen Alarmsystem begangen werden. Die Ergebnisse der drei Experimente, die im Zuge dieser Dissertation durchgeführt wurden, erweitern das theoretische Wissen in Bezug auf die Verhaltenswirksamkeit von LAS und ihren Einfluss auf Sicherheit und Produktivität. Dieses Wissen kann bei der Implementierung von LAS in der Praxis genutzt werden, um kontextangemessene Designlösungen zu gewährleiten. Der größte Nutzen für Sicherheit und Produktivität ergibt sich aus einer Kombination von LAS mit der Möglichkeit zur Validierung der Diagnosen. Eine wichtige Entscheidung beim Design des LAS betrifft die Schwellensetzung. Diese sollte in Abhängigkeit der Anforderungen der spezifischen Arbeitsumgebung erfolgen. In sicherheitsrelevanten Kontexten, in denen das Ignorieren kritischer Ereignisse schwerer wiegt als unnötige Handlungen der Operateure, sollte eine liberale zweite Schwelle gewählt werden, die zu einer niedrigen Alarm-PPV führt. Um in der Produktion unnötige zeitaufwendige Handlungen zu vermeiden, sollte hingegen eine konservative zweite Schwelle zum Einsatz kommen, die zu einer hohen Alarm-PPV führt. 5

6 Abstract Abstract Alarm systems represent essential elements of all safety related working environments such as control rooms, cockpits, or operating rooms in hospitals. They are designed to monitor systems or situations, enabling operators to engage in concurrent work tasks. In order to not miss any critical event, engineers usually design alarm systems with liberal (low) threshold settings. As an inevitable consequence, such systems produce a high number of false alarms. When operators realize that most alerts are rather false alarms, they lose their trust in the system. This lack of trust can result in unsafe or unproductive behavior. In order to not interrupt their ongoing work, operators react slower to a given alarm or completely ignore its occurrence. On the contrary, when they have the possibility to evaluate the alarm by cross-checking with other information, operators tend to validate nearly every given alarm. While controlling the system advices, they neglect their other work tasks. It is impossible to resolve that tradeoff between safety and productivity with the use of classical binary alarm systems. The alternative concept of likelihood alarm systems (LAS) has been proposed as a solution. LAS contain more than two alert stages and provide the operator with further information. Each stage represents a different likelihood for truly indicating a critical event. Thus, LAS can provide a better basis for operators decision on when and how to respond to a given alert. The aim of this dissertation project was to investigate the potential benefits of LAS regarding safety and productivity. Within the scope of this dissertation three laboratory studies were conducted with a PCbased multi-task simulation environment. Participants had to perform different tasks simultaneously which simulated the typical cognitive demands of control room operators in a chemical plant. The first experiment addressed the question whether the use of LAS would lead to an increased performance in respect to both, the alert-task and the concurrent tasks. One three-stage LAS was compared with an ordinary binary alarm system under two conditions: with and without cross-check possibilities. Results showed that participants trusted the LAS more than the binary system even though both systems had the same reliability. Performance with the LAS was significantly higher for both the alert-task and the concurrent task when no cross-check option was provided. With a cross-check possibility, both systems likewise led to a significantly higher alerttask performance than without it. However, under this condition the binary system led to a significantly poorer performance in the concurrent task compared to the LAS. When participants operated the LAS in the cross-check condition, they only validated the low likelihood warnings and responded directly to the high likelihood alarms. This behavioral differentiation led to an increase in productivity while maintaining a high 6

7 Abstract level of safety. In the second and third experiment, it was investigated how different threshold settings would influence participants behavior and performance of both tasks. By varying the second threshold, three LAS were designed which differed in regard to the PPV (positive predictive value) of the alarms and warnings respectively, i.e. the probability to truly indicate a critical event. These three LAS were compared under different workload conditions. In the second experiment, no cross-check option was available. In the third experiment, participants could cross-check diagnoses. In both experiments, no differences could be found in regard to concurrent task performance. The same was true for the general alert-task performance. However, significant differences with respect to the nature of errors participants committed with the three LAS were revealed. Operating the system with the high alarm-ppv, participants ignored more real critical events. This effect was more pronounced under the high workload condition. In the low alarm-ppv condition, participants committed more unnecessary actions. That was only true when a cross-check option was available. The threshold setting was found to have an important impact on participants willingness to commit different types of errors in regard to alarm handling. The three empirical studies produced important results regarding the theoretical knowledge about LAS as well as practical implications with respect to the future use of such systems. With the use of LAS, it is possible to increase the productivity while maintaining high levels of safety. The maximal benefit of LAS can be achieved when operators are given the opportunity to retrieve further information to validate system diagnoses. The critical issue in the concrete design of LAS is the threshold setting because it guides operators willingness to take unnecessary actions as well as to ignore real critical events. To avoid the latter behavior, liberal thresholds should be implemented in order to obtain low alarm-ppvs. A high alarm-ppv resulting from a conservative threshold setting is more desirable in order to prevent unnecessary time consuming actions. 7

8 Inhaltsverzeichnis Inhaltsverzeichnis Danksagung... 3 Zusammenfassung... 4 Abstract... 6 Inhaltsverzeichnis... 8 Abbildungsverzeichnis Tabellenverzeichnis Glossar Einleitung Exkurs: Die Nutzung von Alarmsystemen in der Prozessindustrie Alarmsysteme Probleme im Umgang mit Alarmsystemen Modellierungen von Alarmsystemen anhand der Signaldetektionstheorie Stand der Forschung zu binären Alarmsystemen Der Umgang mit Alarmsystemen als Entscheidungsproblem Strategien im Umgang mit Alarmsystemen Alarme im Mehrfachaufgaben-Paradigma Zusammenfassende Bewertung binärer Alarmsysteme Likelihood Alarmsysteme Modellierung von Likelihood Alarmsystemen mithilfe der Signaldetektionstheorie Potential von Likelihood Alarmsystemen Stand der Forschung zu abgestuften Warnungen und LAS Der Nutzen abgestufter Warnsysteme Der Nutzen von LAS Kritische Diskussion bisheriger Forschung zu LAS Ziel der Arbeit Versuchsumgebung M-TOPS Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Forschungsfrage Experiment Methode Experiment Stichprobe Versuchsumgebung Auszahlungssystem Design

9 Inhaltsverzeichnis Abhängige Variablen Durchführungsdetails Hypothesen Experiment Ergebnisse Experiment Manipulationscheck Verhaltensdaten Leistungsdaten Vertrauen Diskussion Experiment Experiment 2: Vergleich dreier LAS ohne Prüfoption Forschungsfrage Experiment Methode Experiment Stichprobe Versuchsumgebung Auszahlungssystem Design Abhängige Variablen Durchführungsdetails Hypothesen Experiment Ergebnisse Experiment Manipulationscheck Verhaltensdaten Leistungsdaten SDT-Parameter Vertrauen Zusammenhang zwischen Vertrauen und Verhalten Diskussion Experiment Experiment 3: Vergleich dreier LAS mit Prüfoption Forschungsfrage Experiment Methode Experiment Stichprobe Versuchsumgebung Auszahlungssystem Design Abhängige Variablen Durchführungsdetails Hypothesen Experiment Ergebnisse Experiment

10 Inhaltsverzeichnis Manipulationscheck Verhaltensdaten Leistungsdaten SDT-Parameter Vertrauen Diskussion Experiment Allgemeine Diskussion Der Einfluss von LAS auf das Verhalten der Nutzer im Umgang mit dem System Der Einfluss von LAS auf Sicherheit und Produktivität in Mehrfachaufgaben- Umgebungen Der Einfluss von LAS auf die SDT-Parameter des MMS Die Rolle von Vertrauen bei der Interaktion von Mensch und LAS Anwendungsmöglichkeiten von LAS in der Praxis Kritische Reflexion der Befunde Ausblick Fazit Literaturverzeichnis Anhang A Deskriptive Statistiken zu Experiment Anhang B Deskriptive Statistiken zu Experiment Anhang C Deskriptive Statistiken zu Experiment Anhang D Inferenzstatistische Ergänzungen zu Experiment Anhang E Instruktionen Anhang F Fragebogen

11 Abbildungsverzeichnis Abbildungsverzeichnis Abbildung 1: Einordnung eines Alarmsystems in das Types & Levels -Modell Abbildung 2: Veranschaulichung der Signaldetektionstheorie Abbildung 3: Umgang mit Alarmsystemen als 3-stufiger Entscheidungsprozesses Abbildung 4: Modellhafte Darstellung eines dreistufigen LAS auf Basis der SDT Abbildung 5: Varianten von LAS mit unterschiedlicher Schwellensetzung Abbildung 6: Bildschirmoberfläche M-TOPS Abbildung 7: Geöffnete Containeransicht in M-TOPS Abbildung 8: Mittelwerte der Reaktions-Raten bei Meldungen insgesamt Abbildung 9: Mittelwerte der Reaktions-Raten getrennt für Alarme und Warnungen Abbildung 10: Mittelwerte der Reaktions-Raten bei Normal-Meldungen Abbildung 11: Häufigkeiten der Antwortstrategien Abbildung 12: Mittelwerte der Leistung in der Alarmaufgabe Abbildung 13: Mittelwerte der Leistung in der Bestellaufgabe Abbildung 14: Mittelwerte Vertrauen allgemein Abbildung 15: Mittelwerte Vertrauen in Alarme Abbildung 16: Mittelwerte der Bearbeitungs-Raten bei Meldungen insgesamt Abbildung 17: Mittelwerte der Bearbeitungs-Raten bei Alarmen Abbildung 18: Mittelwerte der Bearbeitungs-Raten bei Warnungen Abbildung 19: Mittelwerte der Bearbeitungs-Raten bei Normal-Meldungen Abbildung 20: Häufigkeiten der Antwortstrategien bei Alarmen Abbildung 21: Häufigkeiten der Antwortstrategien bei Warnungen Abbildung 22: Mittelwerte der Leistung in der Alarmaufgabe Abbildung 23: Mittelwerte der Leistung in der Bestellaufgabe Abbildung 24: Mittelwerte der MMS-Sensitivität Abbildung 25: Mittelwerte des MMS-Kriteriums Abbildung 26: Mittelwerte der Anzahl an misses Abbildung 27: Mittelwerte der Anzahl an FAs Abbildung 28: Mittelwerte der Reaktions-Raten bei Meldungen insgesamt Abbildung 29: Mittelwerte der Reaktions-Raten bei Alarmen Abbildung 30: Mittelwerte der Reaktions-Raten bei Warnungen Abbildung 31: Mittelwerte der Reaktions-Raten bei Normal-Meldungen

12 Abbildungsverzeichnis Abbildung 32: Mittelwerte der Leistung in der Alarmaufgabe Abbildung 33: Mittelwerte der Leistung in der Bestellaufgabe Abbildung 34: Mittelwerte der MMS-Sensitivität Abbildung 35: Mittelwerte des MMS-Kriteriums Abbildung 36: Mittelwerte der Anzahl an misses Abbildung 37: Mittelwerte der Anzahl an FAs

13 Tabellenverzeichnis Tabellenverzeichnis Tabelle 1: 2x2-Matrix der SDT-Ausgangsgrößen Tabelle 2: Versuchsplan Experiment Tabelle 3: Systemparameter Experiment Tabelle 4: Ablauf Experiment Tabelle 5: Reliabilitätsschätzungen Experiment Tabelle 6: Versuchsplan Experiment Tabelle 7: Systemparameter Experiment Tabelle 8: Veranschaulichung des Unterschieds verschiedener Leistungsparameter Tabelle 9: Ablauf Experiment Tabelle 10: Reliabilitätsschätzungen Experiment Tabelle 11: Reliabilitätsschätzungen Experiment

14 Glossar Glossar a posteriori Wahrscheinlichkeit: Ist die bedingte Wahrscheinlichkeit, dass bei gegebenem Alarm tatsächlich ein kritisches Ereignis vorliegt (PPV) bzw. die bedingte Wahrscheinlichkeit, dass bei Abwesenheit eines Alarms tatsächlich kein kritisches Ereignis vorliegt (NPV). a priori Wahrscheinlichkeit: Wird auch als Fehlerbasisrate bezeichnet und stellt die absolute Wahrscheinlichkeit des Auftretens kritischer Ereignisse in einem zu überwachenden System dar. attention management: zu Deutsch Handhabung der Aufmerksamkeit, bezeichnet die Verteilung limitierter Aufmerksamkeitsressourcen auf mehrere parallele Aufgaben (vgl. Woods, 1985) automation bias: zu Deutsch Automationsverzerrung. Gemeint ist damit das unkritische Befolgen der Anweisungen von Automationen aufgrund eines zu hohen Vertrauens in dieselben (vgl. Mosier & Skitka, 1996) compliance: Zu Deutsch Befolgen, beschreibt das Reagieren auf einen Alarm durch eine Handlung, z.b. das korrigierende Eingreifen in einen zu überwachenden Prozess. correct rejection (CR): Zu Deutsch korrekte Zurückweisung, bezeichnet im Rahmen der Signaldetektionstheorie die korrekte Diagnose der Abwesenheit eines Signals durch ein Alarmsystem (oder einen Menschen). cry wolf phenomenon: Das verspätete oder ausbleibende Reagieren von Operateuren auf Alarme (mangelnde compliance) bei einem Alarmsystem, das viele FAs generiert (FAprone system), also über eine niedrige PPV verfügt. error of commission: Zu Deutsch Befolgungsfehler, das Reagieren auf einen Alarm (compliance), bei dem es sich um einen falschen Alarm handelt, ist deswegen ein Fehler, weil das Unterlassen einer Handlung die korrekte Reaktion auf die Abwesenheit eines kritischen Ereignisses darstellt. Die Bewertung als Fehler kann nur erfolgen, wenn der tatsächliche Zustand (vorliegen/abwesenheit eines kritischen Ereignisses) bekannt ist. error of omission: Zu Deutsch Unterlassungsfehler, das Unterlassen einer Handlung bei Abwesenheit eines Alarms, obwohl ein kritisches Ereignis vorliegt, ist deswegen ein Fehler, weil eine Handlung die korrekte Reaktion auf das Vorliegen eines kritischen Ereignisses darstellt. Die Bewertung als Fehler kann nur erfolgen, wenn der tatsächliche Zustand (vorliegen/abwesenheit eines kritischen Ereignisses) bekannt ist. 14

15 Glossar extreme responding: Eine Alles-oder-Nichts-Strategie, bei der Operateure entweder auf alle (positives extreme responding) oder auf keinen (negatives extreme responding) der Alarme reagieren, in Abhängigkeit der Reliabilität (bzw. PPV) des Alarmsystems. false alarm (FA): Zu Deutsch falscher Alarm, bezeichnet im Rahmen der Signaldetektionstheorie das fälschliche Detektieren eines nicht vorliegenden Signals durch ein Alarmsystem (oder einen Menschen). FA-prone system: Ein Alarmsystem, welches aufgrund einer liberalen Schwellensetzung viele FAs und wenige misses generiert. Diese Art von System verfügt über eine hohe NPV und eine niedrige PPV. hit: zu Deutsch Treffer, bezeichnet im Rahmen der Signaldetektionstheorie das korrekte Detektieren eines Signals durch ein Alarmsystem (oder einen Menschen). Human Factors: Die menschlichen Faktoren (Human Factors) sind alle physischen, psychischen und sozialen Charakteristika des Menschen, insofern sie das Handeln in und mit soziotechnischen Systemen beeinflussen oder von diesen beeinflusst werden. [ ] Human Factors als interdisziplinäre Wissenschaft beschäftigt sich mit dem Verhältnis von Menschen und Technik unter einer systemischen Perspektive und greift dabei auf verschiedene Basisdisziplinen zu. (Badke-Schaub, Hofinger, & Lauche, 2008, S.4+ S.7) informed compliance: Zu Deutsch Befolgen durch Informationssuche, beschreibt die Validierung eines gegebenen Alarms durch den Operateur mithilfe von Zusatzinformationen wie z.b. Rohdaten. Likelihood Alarmsystem: von deutsch Wahrscheinlichkeit abgeleitet. Gemeint ist ein mehrstufiges Alarmsystem, das dem Nutzer zusätzliche Informationen über die Wahrscheinlichkeit des tatsächlichen Vorliegens eines kritischen Ereignisse übermittelt. miss: Zu Deutsch Verpasser, bezeichnet im Rahmen der Signaldetektionstheorie ein fälschlicher Weise nicht detektiertes Signal durch ein Alarmsystem (oder einen Menschen). miss-prone system: Ein Alarmsystem, welches aufgrund einer konservativen Schwellensetzung viele misses und wenige FAs generiert. Diese Art von System verfügt über eine hohe PPV und eine niedrige NPV. negative predictive value (NPV): Zu Deutsch Negativ-Vorhersage Wert eines Alarmsystems, ergibt sich aus dem Verhältnis von korrekten Zurückweisungen (CRs) zu Verpassern (misses) und gibt Auskunft darüber, mit welcher Wahrscheinlichkeit 15

16 Glossar tatsächlich kein kritisches Ereignis vorliegt, wenn ein Alarmsystem keinen Alarm generiert. over-checking: Zu Deutsch übermäßiges Prüfen, bezeichnet die Tendenz von Operateuren nahezu jeden Alarm zu überprüfen, obwohl die PPV des Alarmsystems sehr hoch oder sehr niedrig ist und compliance in der überwiegenden Zahl der Fälle die korrekte Reaktion darstellen würde. Diese Verhaltensweise wirkt sich negativ aus, wenn dadurch andere parallele Arbeitsaufgaben vernachlässigt werden. probability matching: Der Versuch von Operateuren, ihre Reaktionshäufigkeit auf Alarme der Reliabilität (bzw. der PPV) des Alarmsystems anzupassen, indem sie versuchen, auf einen bestimmten Prozentsatz an Alarmen zu reagieren, der dem Prozentsatz an korrekten Alarmen (hits) entspricht. positive predictive value (PPV): Zu Deutsch Positiv-Vorhersage Wert eines Alarmsystems, ergibt sich aus dem Verhältnis von korrekten (hits) zu falschen (FAs) Alarmen und gibt Auskunft darüber, mit welcher Wahrscheinlichkeit tatsächlich ein kritisches Ereignis vorliegt, wenn ein Alarmsystem einen Alarm generiert. reliance: Zu Deutsch sich verlassen, der Operateur verlässt sich darauf, dass kein kritisches Ereignis vorliegt, wenn das Alarmsystem keinen Alarm generiert und führt in alarmfreien Phasen keine Handlungen, die den Reaktionen auf einen Alarm entsprechen, aus, z.b. korrigierendes Eingreifen in den Prozess tracking-aufgabe: zu Deutsch Zielfolgeaufgabe oder Nachführungsaufgabe, bei der einem (beweglichen) Objekt, z.b. auf einem Display gefolgt werden muss, z.b. mit dem Zeiger der Maus. 16

17 1. Einleitung 1. Einleitung Seit dem Zeitalter der Industrialisierung hat sich die technische Entwicklung stetig beschleunigt. In der heutigen Zeit ist die Interaktion mit Maschinen und technischen Geräten aller Art zum Alltag geworden. Im privaten Leben finden sich längst nicht mehr nur Waschmaschine, Herd und Auto. Die meisten Menschen des westlichen Kulturkreises besitzen einen eigenen Computer, mobile Kommunikations- und Unterhaltungselektronik sowie Assistenzsysteme wie ABS, Navigationsgeräte oder Einparkhilfen. Eine noch größere Rolle spielt die Technik in der Arbeitswelt. Hier kommt eine weite Bandbreite von Automationen zum Einsatz. Diese reicht von einfachen Diagnose- oder Assistenzsystemen wie z.b. Alarmsystemen, die Operateure 1 über das Vorliegen kritischer Zustände informieren und bei Entscheidungsfindungen unterstützen, bis hin zu komplexen Industrierobotern, die ganze Arbeitsabläufe eigenständig ausführen. Während technische Neuerungen im privaten Bereich oftmals primär dazu dienen, den Komfort zu erhöhen oder zu unterhalten, haben Maschinen und Computer beispielsweise in der Industrie oder im Verkehrswesen die Aufgabe, die Sicherheit zu erhöhen und die Produktivität zu steigern. Der stetig steigende Einsatz von Technik am Arbeitsplatz macht es erforderlich, den Fokus verstärkt auf die Interaktion der Menschen mit der Technik zu richten. Hierfür sind Ausbildung, Training und regelmäßige Leistungsüberprüfungen genauso wichtig wie die Verbesserung der Kommunikation zwischen Operateur und Maschine. Im Bereich der Human Factors Forschung wird versucht, psychologisches Wissen über Wahrnehmung, Denk- und Entscheidungsprozesse zu nutzen, um Technik so zu gestalten, dass Operateure effizient und sicher mit ihr interagieren können (vgl. Badke-Schaub et al., 2008). Ein spezielles Interesse gilt unter anderem der prospektiven Gestaltung von Produkten und Schnittstellen. Dieser Ansatz setzt bereits in den frühen Phasen der Entwicklung an. Das Ziel ist es, Designfehler zu vermeiden und die Produktqualität zu steigern. Enge Parallelen finden sich in den Ansätzen der nutzerorientierten Gestaltung (user-centered design). Die Gestaltung der Technik soll arbeitszentriert und an den Menschen angepasst sein. Um diese Forderungen zu erfüllen, werden iterative Vorgehensweisen und der Einbezug der Nutzer empfohlen. Die kontinuierliche Evaluierung in allen Phasen der Entwicklung kann dazu beitragen, zeitliche und monetäre Ressourcen zu sparen, die sich andernfalls durch einen Nachbesserungsbedarf ergäben. Um alle 1 Bei der Verwendung von Begriffen wie Operateur, Nutzer o.ä. wird immer auf Menschen beiderlei Geschlechts Bezug genommen. Der Übersichtlichkeit halber wurde jedoch auf die Ausschreibung beider Formen verzichtet. 17

18 1. Einleitung Aspekte der sozio-technischen Systeme ausreichend zu berücksichtigen, empfiehlt sich die Arbeit in interdisziplinären Teams. Die prospektive Gestaltung versteht sich als antizipativ und zukunftsorientiert (vgl. Gérard, Huber, Nachtwei, Schubert, & Satriadarma, 2011). In der vorliegenden Arbeit wurde ein klassischer Human Factors Aspekt im Zusammenhang mit der Nutzung automatisierter Systeme betrachtet. Dabei handelt es sich um Probleme, die beim Umgang von Operateuren mit binären Alarmsystemen auftreten. Beim heutigen Stand der Technik ist es nicht möglich, Alarmsysteme zu entwickeln, die zu 100% fehlerfrei funktionieren. Um das Übersehen kritischer Zustände durch die Alarmsysteme zu vermeiden, werden diese meist so konfiguriert, dass sie beim geringsten Anzeichen einer Abweichung vom Normalzustand einen Alarm generieren (Swets, 1992). Bei vielen dieser Alarme handelt es sich allerdings um Fehlalarme. Eine hohe Anzahl falscher Alarme wird von den Entwicklern der Alarmsysteme in Kauf genommen, wenn dadurch das Risiko von verpassten kritischen Zuständen minimiert werden kann. Es zeigt sich jedoch, dass auch das gehäufte Vorkommen von Fehlalarmen zu Sicherheitsproblemen führen kann. Wenn Operateure die Erfahrung machen, dass es sich bei den meisten Alarmierungen um falsche Alarme handelt, kann es passieren, dass sie das Vertrauen in das verwendete Alarmsystem verlieren (Madhavan, Wiegmann, & Lacson, 2006). In der Folge kann es vermehrt zu unsicherem Verhalten kommen (Lee & See, 2004) was sich im schlimmsten Fall darin äußert, dass Operateure die gegebenen Alarme gänzlich ignorieren (z.b. Bliss, Gilson, & Deaton, 1995). Dieser Effekt wird auch als cry wolf phenomenon bezeichnet (Breznitz, 1984). Technisch ist es jedoch nicht möglich, die Anzahl der Fehlalarme zu reduzieren ohne gleichzeitig das Risiko einzugehen, dass kritische Zustände vom System übersehen werden (vgl. Swets, 1964). Das Potential zur Lösung dieses Problems liegt deswegen in der Verbesserung der Interaktion von Operateur und System. Ziel ist es, einem Vertrauensverlust auf Seiten der Operateure vorzubeugen und so einen angemessenen Umgang mit den generierten Meldungen zu erreichen. Eine Möglichkeit das zu erreichen bietet die Nutzung von Alarmsystemen, die eine größere Transparenz gewährleisten, indem sie zusätzliche Informationen über die Wahrscheinlichkeit des tatsächlichen Vorliegens eines kritischen Ereignisses liefern. Diese Systeme werden als Likelihood Alarmsysteme (likelihood=wahrscheinlichkeit) bezeichnet (Sorkin, Kantowitz, & Kantowitz, 1988). Sie verfügen im Gegensatz zu binären Systemen über mehr als zwei Stufen und können dadurch Informationen über den Grad ihrer eigenen Sicherheit bezüglich der getroffenen Diagnosen liefern (Wickens & Colcombe, 2007). 18

19 1. Einleitung Im Zuge dreier experimenteller Laboruntersuchungen werden in dieser Arbeit unter Anwendung prospektiver Ansätze die Vorteile dieses alternativen Gestaltungskonzepts für Alarmsysteme empirisch evaluiert. Bei der ersten Untersuchung handelt es sich um den Vergleich eines binären Alarmsystems mit einem Likelihood Alarmsystem, während in der zweiten und dritten Untersuchung jeweils drei unterschiedliche Likelihood Alarmsysteme miteinander verglichen werden. Betrachtet wird dabei jeweils der Umgang der Probanden mit den Systemen, die Konsequenzen sowohl für die Sicherheit in Form der Leistung in Interaktion mit dem Alarmsystem als auch für die Produktivität in Form der Leistung in parallel zu bearbeitenden Aufgaben. Darüber hinaus wird auch das Vertrauen der Probanden in die jeweils verwendeten Alarmsysteme untersucht. Die vorliegende Arbeit gibt zunächst in einem kurzen Exkurs Einblicke in die Nutzung von Alarmsystemen in der Prozessindustrie, um die praktische Relevanz des Themas zu verdeutlichen. Bei der Prozessindustrie handelt es sich um eine von diversen Domänen, in denen Alarmsysteme vielfach Verwendung finden. Als besonders relevant können dabei auch die Luftfahrt, die Automobil- und Transportindustrie sowie die Medizintechnik angesehen werden. Die Prozessindustrie wird deswegen als Beispiel herangezogen, da es sich bei der für die Versuche verwendeten Mikrowelt um die (stark abstrahierte) Simulation der Leitwarte einer Chemieanlage handelt. Die Arbeit selbst ist in drei Teile gegliedert. Im Theorieteil wird zunächst auf binäre Alarmsysteme eingegangen. Vertieft wird dabei die Rolle des Vertrauens im Umgang mit Alarmsystemen dargestellt, da es sich dabei um ein wichtiges Thema bei der Forschung zum Umgang mit Automationen handelt. Es wird darauf eingegangen, welche Probleme sich bei der Nutzung binärer Alarmsysteme ergeben und der aktuelle Stand der Forschung dargestellt. Anschließend werden in Abgrenzung zu den binären Alarmsystemen abgestufte Warnsysteme und Likelihood Alarmsysteme beschrieben, ihr potentieller Nutzen thematisiert und der aktuelle Stand der Forschung zum Umgang mit dieser Art von Alarmsystemen dargestellt. Es erfolgt eine kritische Betrachtung der bisherigen Forschung, die dazu dient, offene Fragen herauszuarbeiten, aus denen die eigenen Fragestellungen abgeleitet werden. Im zweiten Teil werden alle drei Studien nacheinander beschrieben, die Ergebnisse präsentiert und im Hinblick auf die jeweilige Fragestellung diskutiert. Im dritten Teil werden in einer zusammenfassenden Diskussion die Erkenntnisse aus den drei Untersuchungen zusammengeführt, ihre Relevanz für Forschung und Praxis diskutiert und das Vorgehen der eigenen Arbeit kritisch betrachtet. Zuletzt wird ein Ausblick auf mögliche weiterführende Forschung gegeben und das Fazit aus der vorliegenden Arbeit gezogen. 19

20 2. Exkurs: Die Nutzung von Alarmsystemen in der Prozessindustrie 2. Exkurs: Die Nutzung von Alarmsystemen in der Prozessindustrie Die Handhabung kritischer Zustände umfasst lediglich 10% der Arbeitszeit von Leitwartenoperateuren (Reinartz & Reinartz, 1989). Da diese Aktivitäten jedoch von großer Relevanz für den sicheren und produktiven Betrieb von Anlagen sind, ist es wichtig, die Operateure bei diesen Tätigkeiten optimal zu unterstützen und Fehler bei der Bedienung der Anlagen zu vermeiden. Unterstützt werden Operateure dabei durch Alarme bzw. ein Alarm-Management-System. [Dieses] setzt im Gutbereich und im zulässigen Fehlbereich des Anlagenbetriebs an und unterstützt den Operateur frühzeitig in der Erkennung von Abweichungen vom Sollzustand. Es dient damit zur Sicherung der Produktqualität sowie zur Erhöhung der Anlagenverfügbarkeit durch rechtzeitiges Gegensteuern und damit zur Vermeidung des Ansprechens von Schutzeinrichtungen. (Kurz & Albert, 2004, S. 38) Die chemische und Prozessindustrie aber auch ähnliche Betriebe wie zum Beispiel Kernkraftwerke sind dadurch gekennzeichnet, dass es in den jeweiligen Anlagen eine Vielzahl von unterschiedlichen, meist sehr komplexen Einzelsystemen gibt. Diese sind oftmals eng gekoppelt, was bedeutet, dass sie einander beeinflussen (Perrow, 1984). Zur Überwachung der zahlreichen Komponenten (z.b. Pumpen, Ventile etc.) und der diversen prozessrelevanten Parameter (z.b. Druck, Temperatur etc.) dienen Alarmsysteme, die die Operateure über alle relevanten Ausfälle, Fehlfunktionen und Sollwertabweichungen informieren. Die Generierung von Alarmen erfolgt prozessnah in den Geräten der leittechnischen Ausrüstung wie z.b. Sensoren, Aktoren oder dem Prozessleitsystem (PLS). Alle Alarme gehen zur Bearbeitung in der Leitwarte ein. Leitwartenoperateure einer mittelgroßen Chemieanlage müssen sich an einem Tag mit durchschnittlich tausend Alarmen beschäftigen, in einem Kernkraftwerk können es sogar doppelt so viele sein (Cheon, Chang, & Chung, 1993; Kurz & Albert, 2004). Aufgrund der Verknüpfung der einzelnen Systeme und Komponenten sind nicht alle Alarme unabhängig voneinander (Stanton, 1995). In einigen Situationen kann es passieren, dass viele Alarme aufgrund derselben Ursache gleichzeitig oder nacheinander generiert werden. Ein Beispiel hierfür ist eine Pumpe mit nachgeschalteter Durchflussüberwachung. Im Falle eines Ausfalls der Pumpe sinkt in Konsequenz der gemessene Durchfluss. Werden beide Zustände alarmiert, handelt es sich um eine redundante Information. Für den Operateur wird es dadurch schwieriger, schnell die eigentliche Ursache von Problemen zu finden (Cheon et al., 1993). Diese enorme Menge an Alarmen kann die Operateure leicht überfordern, vor allem, wenn es sich um 20

21 2. Exkurs: Die Nutzung von Alarmsystemen in der Prozessindustrie nicht relevante oder Fehlalarme handelt und die Operateure Schwierigkeiten haben, diese von den wichtigen Alarmen zu unterscheiden (Park, Choi, Hong, & Chang, 1997). Um eine Überlastung der Operateure durch eine hohe Anzahl eintreffender Alarme zu vermeiden, bedarf es einer Analyse, Klassifizierung und Organisation der eintreffenden Alarme. Diese erfolgt durch sogenannte Alarm-Management-Systeme. Diese sollen die Operateure bei der frühzeitigen Erkennung von Abweichungen und Fehlfunktionen unterstützen. Mithilfe des Alarm-Managements soll es den Operateuren erleichtert werden, einen Überblick über den Zustand der gesamten Anlage zu behalten, indem sie wichtige Alarme schneller erkennen und ihre Dringlichkeit besser einschätzen können. Außerdem soll es die Operateure bei der Ursachensuche und der Wahl der richtigen Handlung unterstützen (z.b. Cheon et al., 1993; Harmon & Starr, 1992; Kurz & Albert, 2004; Park et al., 1997). Die Anforderungen an Alarme sind daher, dass sie relevant, eindeutig, zeitgerecht, priorisiert, verständlich, diagnostisch, hinweisend und fokussierend sein sollen (Kurz & Albert, 2004). Um diesen Anforderungen gerecht zu werden, bedarf es unterschiedlicher Maßnahmen. Zur Reduktion unwichtiger Alarme können beispielsweise Unterdrückungsfunktionen angewendet werden. Diese sollen unnötige Alarme wie zum Beispiel Folgealarme oder auch Flatteralarme aufgrund von minimalen Schwankungen um den Alarmwert herausfiltern, ebenso wie Alarme, die nur in einem bestimmten Modus relevant sind. Das betrifft vor allem die Vorgänge des Anund Abfahrens. Dabei werden ungleich mehr Alarme generiert, als im Regelbetrieb (Cheon et al., 1993). Viele davon sind jedoch unnötig, weil sie nur im Regelbetrieb tatsächlich einen ungewollten Zustand anzeigen. Durch die Unterdrückung solcher Alarme soll die Gesamtzahl an Alarmen und vor allem das Auftreten sogenannter Alarmschauer verhindert oder zumindest reduziert werden. Alarmschauer können zum Übersehen wichtiger Alarme beitragen, was ein häufiger Grund für Anlagenschäden ist (Kurz & Albert, 2004). Diese Reduktion von Alarmen darf jedoch nicht zu Lasten ihres Informationsgehalts erfolgen, sondern dient dem Zweck, ihre Validität zu steigern (Park et al., 1997). Trotz zahlreicher Unterdrückungsfunktionen treten dennoch häufig mehrere Alarme gleichzeitig auf. Es ist wichtig, diese Alarme im Hinblick auf ihre Priorität zu sortieren, um die Operateure bei der Entscheidung, auf welchen Alarm sie zuerst reagieren sollen, zu unterstützen. Zur Priorisierung werden verschiedene Kriterien herangezogen. Eine gängige Einteilung erfolgt auf Basis der Kombination des Schweregrads des eintretenden Schadens bei Nichteingreifen und der Einschätzung darüber, wie zeitnah ein Eingreifen erfolgen muss. Je gravierender der mögliche Schaden ist und je kleiner das Zeitfenster zum Reagieren, desto höher wird die Priorität des Alarms gewertet (Kurz & Albert, 2004). Ein weiteres Priorisierungsmerkmal kann auch die Art des resultierenden Schadens sein. Dabei wird zum Beispiel zwischen 21

22 2. Exkurs: Die Nutzung von Alarmsystemen in der Prozessindustrie potentiellen Schäden des Equipments und der Gefährdung von Menschen unterschieden (Harmon & Starr, 1992). Auch die Darstellung von Alarmen kann Operateure beim schnellen und korrekten Reagieren unterstützen. Die angezeigten Alarme können hinsichtlich ihrer Systemzugehörigkeit oder der betreffenden Funktionen gruppiert werden. Die Verwendung von Farben und Symbolen kann die Interpretation der Alarme erleichtern. Wichtig ist es hierbei, dass die Darstellungsformen konsistent und eindeutig sind (Harmon & Starr, 1992). Darüber hinaus sollten Alarme nicht doppelt dargestellt werden, sich nicht gegenseitig verdecken oder überlagern. Zur schnellen Identifizierung der Alarmquelle können Sprungfunktionen genutzt werden, mit deren Hilfe die Operateure aus den Darstellungen der Bereichsübersicht oder aus den Alarmlisten direkt zu den zugeordneten Prozess- oder Anlagenbildern gelangen. Angebotene Hilfstexte oder die Verknüpfung mit möglichen Prozeduren sollen es den Operateuren zusätzlich erleichtern, die richtige Handlung auszuwählen, um adäquat auf die angezeigte Fehlfunktion oder Abweichung zu reagieren (Kurz & Albert, 2004). Diese zusätzlichen Informationen erleichtern es den Operateuren, korrekte Diagnosen zu treffen und die richtige Handlungsalternative zu wählen (Park et al., 1997). Das ist wichtig, da immer mehrere mögliche Maßnahmen zur Verfügung stehen. Gäbe es nur eine Variante zu reagieren, könnte diese Funktion automatisiert werden und ein Alarm wäre nicht mehr nötig (Kurz & Albert, 2004). Je weniger Kosten an Zeit und Aufmerksamkeit die Suche nach Informationen erfordert, desto mehr Freiraum bleibt den Operateuren für die Führung des Prozesses (Stanton, 1995). Der Umgang mit Alarmen ist ein wichtiger Teil der Operateurstätigkeit in Leitwarten. Es ist nicht immer einfach, alarminitiierte Handlungen von generellen Leitwartentätigkeiten zu unterscheiden, zur Analyse bestehender Probleme und der Suche nach möglichen Verbesserungen ist es jedoch hilfreich (Stanton, 1995). Die unterschiedlichen Arten von Alarmen können nach verschiedenen Gesichtspunkten in diverse Kategorien unterteilt werden. Eine nützliche Differenzierung bezieht sich auf die Art der gemessenen Signale. Hierbei kann man zwischen kontinuierlichen bzw. analogen und diskreten Signalen unterscheiden. Analoge Signale werden häufig als kontinuierliche Kurven dargestellt, es existiert zu jedem Zeitpunkt ein Wert des relevanten, überwachten Parameters. Entsprechend können Bereiche definiert werden, bei deren Verlassen eine Alarmierung erfolgt. Dafür wird häufig das Konzept der sogenannten Voralarme benutzt. Beim Übergang des gemessenen Parameters vom Gutbereich in den zulässigen Fehlbereich wird der Operateur alarmiert. Er soll daraufhin entsprechende Maßnahmen ergreifen, um zu verhindern, dass der Wert sich in den unzulässigen Fehlbereich bewegt, was ein Anspringen der PLT(Prozessleittechnik)- Schutzvorrichtungen zur Folge hat. Diese sorgen dafür, dass es zum Abfahren des 22

23 2. Exkurs: Die Nutzung von Alarmsystemen in der Prozessindustrie Prozesses kommt, um Schäden für die Umwelt, den Menschen und die Anlage zu verhindern. Das Anspringen der PLT-Schutzeinrichtungen soll jedoch soweit es geht vermieden werden, weil das Abfahren und der anschließende Produktionsstillstand meist hohe Kosten verursacht. Bei diskreten Signalen existieren hingegen separate, einzelne Messwerte. Das kann aufgrund der Messhäufigkeit der Fall sein (zeitdiskret) oder weil die Prozessgröße einen diskreten Wertebereich besitzt (wertdiskret). Ein Beispiel für eine diskrete Messung ist das Funktionieren einer Pumpe, während die dazugehörige Durchflussrate ein analoges Signal darstellt, solange sie kontinuierlich gemessen wird. Der gemessene diskrete Wert wird mit einem vordefinierten Sollwert verglichen. Befindet sich der aktuelle Wert über (bzw. unter) dieser Schwelle, erfolgt die Alarmierung. Zur Analyse solcher Alarmsysteme, die diskrete Signale überwachen, und deren Handhabung durch die Operateure kann die Signaldetektionstheorie (SDT) nach (Swets, 1964) herangezogen werden (Park et al., 1997). Der Vorteil der SDT gegenüber anderen Methoden besteht darin, dass sie nicht ausschließlich auf Fehler und Mängel fokussiert, sondern diese auch mit der positiven Leistung der Systeme und Operateure in Beziehung setzt (Wallack & Adams, 1969). Die SDT bildet in dieser Arbeit deswegen das mathematische Rahmenkonzept, sowohl zur Konfiguration der verwendeten Alarmsysteme als auch zur Analyse der kombinierten Leistung von Mensch und Alarmsystem. Sie wird in Kapitel 3.2 ausführlich beschrieben. Die beschriebenen Probleme und der bestehende Optimierungsbedarf in Bezug auf die Nutzung von Alarmsystemen in komplexen Arbeitsumgebungen, wie sie sich in der Prozessindustrie finden, sind vielfältig. Der Fokus liegt in der Praxis meist auf der Vermeidung von Überforderung durch das gleichzeitige Auftreten vieler Alarme. Diese Überforderung kann dazu führen, dass Operateure falsche Entscheidungen im Umgang mit den generierten Diagnosen treffen. Die vorliegende Arbeit thematisiert Entscheidungsprobleme von Operateuren im Umgang mit Alarmen. Um diese Thematik möglichst isoliert von anderen (Stör- )Einflüssen untersuchen zu können, wird sie in eine Laborsimulationsumgebung transportiert. Der Umgang von Operateuren mit Alarmsystemen wird abstrahiert, indem er auf die Interaktion jeweils eines Probanden mit jeweils einem Alarmsystem reduziert wird. Diese Vereinfachung erlaubt es, einzelne Komponenten des Alarmsystems zu variieren und die Wirkung dieser Manipulation direkt zu untersuchen ohne die Gefahr einer Konfundierung mit anderen Faktoren. 23

24 3. Alarmsysteme 3. Alarmsysteme Bei Alarmsystemen handelt es sich um Automationen, die wiederum eine spezielle Kategorie von Maschinen darstellen. Unter einer Automation versteht man eine Maschine, die Tätigkeiten ausführt, welche ehemals von Menschen verrichtet wurden. Der Prozess der Übertragung dieser Tätigkeiten wird als Automatisierung bezeichnet (Hauß & Timpe, 2002). Die Nutzung von Automationen bietet viele Vorteile, da diese präzise, schnell und ermüdungsfrei arbeiten und auch unter Bedingungen einsetzbar sind, welche für den Menschen beschwerlich oder gesundheitsschädigend sind. Allerdings können Automationen auch Fehler machen. Das liegt sowohl daran, dass nicht alle Komponenten der jeweiligen Automation zu 100% reliabel arbeiten (wie z.b. die Sensorik, die sehr störanfällig auf Verschmutzung oder extreme Wetterbedingungen reagieren kann, Heesen, Beller, & Flemisch, 2011) als auch an ihrer algorithmischen Arbeitsweise, die es ihnen nicht erlaubt, Lösungsmöglichkeiten für unbekannte Situationen zu generieren (Sarter, Woods, & Billings, 1997). Zur Überwachung der Technik werden demnach Menschen benötigt, die im Versagensfall der Automation einspringen und die Aufgabe der Maschinen übernehmen. Die Aufgaben des Operateurs haben sich durch die Einführung von Automationen deswegen in den letzten Jahrzehnten zunehmend weg von manuellen hin zu überwachenden Tätigkeiten verlagert, Sheridan (1992) spricht deshalb vom Konzept der leitenden Kontrolle (supervisory control). Die meiste Zeit widmet sich der Operateur neben Aufgaben wie Planung und Programmierung der Überwachung der Automation. Welche Aufgaben sich im konkreten Einzelfall ergeben, hängt maßgeblich von der Art der Automation ab bzw. von den Aufgaben, die sie erfüllt. Zur Klassifizierung der unterschiedlichen Arten von Automationen sowie ihrem jeweiligen Automatisierungsgrad entwickelten Parasuraman, Sheridan und Wickens (2000) das Types & Levels -Modell, das sich an der Theorie der menschlichen Informationsaufnahme und -verarbeitung (Wickens, 1984) und den zehn Leveln der Automatisierung (Sheridan & Verplank, 1978) orientiert. Das Modell geht davon aus, dass eine komplette Aufgabe aus vier verschiedenen Prozessstufen besteht. Zunächst müssen die relevanten Informationen aufgenommen (Stufe 1) und anschließend analysiert werden (Stufe 2). Auf Basis der Analyse erfolgt die Auswahl einer adäquaten Handlung (Stufe 3), welche schließlich ausgeführt wird (Stufe 4). Daraus ergeben sich vier Funktionsklassen, die zu unterschiedlichen Graden automatisiert werden können. Der Grad der Automatisierung reicht von hochautomatisiert, über teilautomatisiert bis hin zu nichtautomatisiert bzw. manueller Ausführung. Automationen können mithilfe des Modells klassifiziert und verschiedene Automationsarten dadurch voneinander abgegrenzt werden. Alarmsysteme werden nach diesem Schema als Diagnoseautomation kategorisiert (Rice, 2009), die bei der 24

25 3. Alarmsysteme Informationsaufnahme und -analyse hochautomatisiert sind, während Entscheidungsauswahl und Handlungsausführung nicht automatisiert sind. Einige Alarmsysteme verfügen jedoch auch, bezogen auf die dritte Stufe, über einen gewissen Grad an Automatisierung, wenn sie Informationen bereit stellen, die bei der Handlungsauswahl helfen oder sogar ganz konkrete Handlungsanweisungen geben, wie z.b. das TCAS (traffic alert and collision avoidance system) im Flugzeug, das dem Piloten entweder eine Anweisung zum Sinken oder zum Steigen gibt, um die Kollision mit einem anderen, vom System detektierten Flugzeug zu vermeiden. Abbildung 1 stellt die Einordnung von Alarmsystemen in das Types & Levels -Modell dar. Abbildung 1: Einordnung eines Alarmsystems in das Types & Levels -Modell In Anlehnung an Parasuraman et al. (2000) Pritchett (2001) unterscheidet bei Alarmsystemen zusätzlich verschiedene Varianten anhand ihres jeweiligen Komplexitätsgrades. Das beschriebene TCAS repräsentiert ein Alarmsystem der komplexesten Stufe, der sogenannten Problemlöser (hazard resolvers). Diese Systeme überwachen, genau wie die Systeme der nächst niedrigeren Stufe, die als Gefahrenmelder (hazard detectors) bezeichnet werden, mehrere Parameter. Auf Basis dieser Daten erfolgt eine Analyse der Situation. Wird die Situation durch das Alarmsystem als Gefahrensituation erkannt, kommt es zur Alarmierung. Ein Problemlöser zeichnet sich jedoch zusätzlich dadurch aus, dass er eine konkrete Handlungsanweisung gibt, während der Gefahrenmelder die Handlungsauswahl dem Operateur überlässt. Ein Beispiel dafür ist das Kollisionswarnsystem im Auto, welches auf Basis der Entfernung und der Geschwindigkeit die Zeit bis zu einer potentiellen Kollision bestimmt und bei Unterschreitung eines festgelegten kritischen Werts einen Alarm generiert ohne jedoch Anweisungen zu geben, ob ein Brems- oder Ausweichmanöver die angemessene Handlung darstellt. Die einfachste Form von 25

26 3. Alarmsysteme Alarmsystemen sind die sogenannten Signaldetektoren (signal detectors), die keine Analyse komplexer Situationen vornehmen, sondern lediglich einen einzigen Parameter überwachen und bei dessen Abweichung vom Sollwert einen Alarm generieren. Diese Art von Alarmsystemen findet sich in vielen Anwendungsfeldern. In der Prozessindustrie werden z.b. viele Parameter wie Druck, Füllstand, Temperatur o.ä. einzeln gemessen und der Operateur wird sofort über ihr Abweichen vom Sollwert informiert. Allgemein können Alarmsysteme als sensorbasierte Signalsysteme definiert werden, die zu jedem Zeitpunkt eine von zwei oder mehr möglichen Nachrichten anzeigen, wobei mindestens eine Nachricht den Operateur über das mögliche Vorliegen eines kritischen Ereignisses informiert (Meyer, 2004). Diese Nachrichten bzw. Meldungen können sowohl auditiv, visuell oder haptisch übermittelt werden. Der Vorteil von auditiven gegenüber visuellen Signalen besteht in ihrer Salienz, die es schwieriger macht, sich ihnen zu entziehen, während visuelle Signale visuelle Aufmerksamkeit, also eine aktive Hinwendung erfordern. Visuelle Alarmierung ermöglicht hingegen die Darbietung von größerem Informationsgehalt, welcher über eine längere Dauer verfügbar bleiben kann. Der Vorteil haptischer Signale begründet sich vor allem durch die seltene Nutzung dieses Sinneskanals. Die Alarminformation muss hierbei nicht mit anderen Informationen konkurrieren. Häufig wird auch die Form der multimodalen Alarmierung gewählt. In Leitwarten und Cockpits werden gleichzeitig visuelle und auditive Alarme generiert. Es ist im Allgemeinen sinnvoll, die Modalität des Signals danach zu wählen, welcher Sinneskanal in der jeweiligen Situation am wenigsten durch andere Aufgaben beansprucht und somit am empfänglichsten für Informationen ist (für eine Übersicht über die Vor- und Nachteile der verschiedenen Modalitäten bei Alarmen und ihrer Kombinationen vgl. Ho, Reed, & Spence, 2007). Alarmsysteme finden in allen Bereichen Verwendung, in denen komplexe Technik zum Einsatz kommt, um das fehlerfreie Funktionieren der diversen technischen Komponenten und Abläufe zu überwachen. Beispiele hierfür sind Branchen wie Prozessindustrie, Medizintechnik, Bahn-, Schiffs- und Kraftfahrzeugverkehr sowie Luftfahrt. Der Einsatz von Alarmsystemen ist in all diesen Bereichen durch zahlreiche Regularien gesetzlich vorgeschrieben (Papastavrou & Lehto, 1996). Durch die Überwachung von Prozessen, Komponenten und Situationen durch Alarmsysteme, wird es den Operateuren ermöglicht, sich auf andere (primäre) Arbeitsaufgaben zu konzentrieren, wie z.b. Fliegen und Navigieren im Flugzeug oder Regelungs- und Steuerungsaufgaben in Leitwarten (Wickens & Horrey, 2008). Im Falle eines Alarms soll es jedoch beim Operateur zu einer Prioritätenverschiebung der Aufgaben kommen. 26

27 3. Alarmsysteme Er soll die aktuelle Aufgabe unterbrechen und sich der Handhabung des, durch den Alarm signalisierten Problems widmen. Diese Forderung nach einer Prioritätenverschiebung zeigt sich zum Beispiel ganz deutlich in einer Vorschrift aus der Prozessindustrie, in der ein Alarm definiert ist als [ ] eine Meldung vom Abweichen des Prozesses und/oder der Anlage, die eine unverzügliche Reaktion des Anlagenfahrers erfordert. Die Reaktion kann, je nach Situation ein Bedieneingriff, erhöhte Aufmerksamkeit, das Veranlassen weiterer Untersuchungen sein. (Kurz & Albert, 2004, S. 37). Die Entscheidung, wie auf die jeweilige Diagnose oder Anweisung eines Alarmsystems reagiert wird, obliegt dem Operateur, der auch die Verantwortung für die getätigte Handlungsauswahl trägt. Allerdings kommt es dabei auch immer wieder zu falschen Entscheidungen. So ergaben Analysen, dass viele Unfälle beispielsweise in der Prozessindustrie (z.b. Bransby & Jenkinson, 1998; Bliss & Fallon, 2006), in der Luftfahrt (z.b. Bliss, 2003a) oder bei Fluglotsen (z.b. NTSB, 2006) auf das nicht adäquate Reagieren auf Alarme zurückgeführt werden können. Eine Ursache dafür ist die Tatsache, dass es sich bei der Entscheidung, wie auf einen Alarm zu reagieren ist, oftmals um Entscheidungen unter Unsicherheit handelt (Meyer, 2004). 3.1 Probleme im Umgang mit Alarmsystemen Solange bei Operateuren eine Restunsicherheit der Situation besteht, können Fehler im Umgang mit Alarmsystemen auftreten. Zum jetzigen Zeitpunkt lassen sich diese Restunsicherheiten jedoch nicht vermeiden. Gründe hierfür liegen einerseits in der Technik selbst, deren Messgenauigkeit Schwankungen unterliegen kann. Andererseits schränken auch finanzielle Restriktionen die Nutzung von Systemen ein. So ist es zum Beispiel im Bereich der Verfahrenstechnik nicht möglich, in einer Kolonne (verfahrenstechnischer Apparat zur Trennung von Stoffgemischen) flächendeckend Sensoren anzubringen. Die Bereiche, welche zwischen zwei Sensoren liegen, müssen aus den Werten dieser beiden geschätzt werden. Die Vorhersage von dynamischem, komplexem Prozessverhalten ist jedoch auch für erfahrene Operateure oft nicht einfach (Su, 2004). Weitere Unsicherheiten können sich zusätzlich durch Datenverlust aufgrund von Kompression ergeben (Bamberg et al., 2007). Hinzu kommt, dass Automatisierung zwar eine Vielzahl von Messungen ermöglicht, jedoch auch zum Verlust von Informationen führt, welche vorher in der direkten Interaktion mit der Anlage verfügbar waren. Operateure erhielten viele Informationen durch das bloße Wahrnehmen von Geräuschen, Gerüchen, Vibrationen und optischen Signalen, von denen sie in den 27

28 3. Alarmsysteme heutigen Leitwarten abgeschirmt sind (Zuboff, 1988). Zeitdruck und hohe Belastung können den Wahrnehmungsraum von Operateuren zusätzlich einschränken, was zur Nichtbeachtung von Hinweisen, zum Nachlassen der allgemeinen Vigilanz und zur Reduktion der Arbeitsgedächtniskapazität führen kann (vgl. Sarter & Schroeder, 2001). Ein spezielles Problem welches sich im Umgang mit binären Alarmsystemen zeigt, ist eine mangelnde Priorisierung der Alarme, die bis hin zum kompletten Ignorieren derselben führen kann. In der Praxis kommt es vor, dass Operateure Alarme einfach ausschalten, ohne nach Zusatzinformationen zu suchen, die ihnen Auskunft darüber geben könnten, ob ein kritisches Ereignis vorliegt oder nicht (Sorkin, 1988). Auch in empirischen Studien konnte gezeigt werden, dass es vorkommt, dass Probanden langsamer auf die generierten Alarme reagieren (Getty, Swets, Pickett, & Gonthier, 1995) oder diese komplett ignorieren (Bliss, Gilson, et al., 1995). Als Ursache dafür wurde in diesen Studien eine hohe Anzahl vom System generierter Fehlalarme identifiziert. Die kontinuierlich dargebotenen Fehlalarme bewirkten, dass sich die Probanden bei einem Großteil der Alarme so verhielten, als läge kein kritisches Ereignis vor, indem sie keine Reaktion zeigten. Diese Verhaltensweise wird in Anlehnung an eine griechische Fabel Äsops auch als cry wolf phenomenon bezeichnet (Breznitz, 1984). In dieser Fabel alarmiert ein Junge die Bewohner seines Dorfes mehrere Male, indem er vorgibt, einen Wolf gesehen zu haben. Nachdem sich jedes Mal herausstellt, dass der Junge gelogen hat, verlieren die Dorfbewohner ihr Vertrauen in seine Aussagen und reagieren nicht mehr auf seine Rufe Ein Wolf!. Die Geschichte nimmt ein böses Ende als beim tatsächlichen Erscheinen eines Wolfes niemand dem schreienden Jungen zu Hilfe eilt, weil sie seine Rufe für einen erneuten Fehlalarm halten. Ebenso wie in der Geschichte steigt auch in sicherheitsrelevanten Arbeitsumgebungen das Risiko für Vorkommnisse, wenn Operateure die generierten Diagnosen vernachlässigen. Und ebenso wie in der beschriebenen Fabel kann diese Nichtnutzung von Alarmsystemen (zumindest teilweise) auf ein mangelndes Vertrauen der Operateure in die verwendeten Alarmsysteme zurückgeführt werden (Parasuraman & Riley, 1997). Zur Rolle des Vertrauens in der Mensch-Maschine-Interaktion (MMI) gibt es einige Modelle. Die meisten gehen davon aus, dass sich das Vertrauen auf Basis der Systemeigenschaften entwickelt; wie z.b. Zuverlässigkeit, Nutzen oder Intention des Systems. Der resultierende Grad an Vertrauen lenkt seinerseits das Verhalten der Operateure gegenüber dem jeweiligen System, speziell die Häufigkeit und Art des Gebrauchs (z.b. Lee & Moray, 1992; Lee & See, 2004; Madhavan & Wiegmann, 2004; Muir, 1994). Madhavan et al. (2006) konnten zeigen, dass Probanden Alarmsystemen weniger stark vertrauen, die sie aufgrund höherer Fehlerzahlen als weniger zuverlässig wahrnehmen. Ein mangelndes Vertrauen kann seinerseits dazu führen, dass sich der Umgang der 28

29 3. Alarmsysteme Operateure mit dem Alarmsystem verändert (Lee & See, 2004). In einigen empirischen Studien zeigte sich, dass die Nutzung der Alarm- bzw. Assistenzsysteme mit der Höhe des Vertrauens in die jeweiligen Systeme korrespondierte (Lees & Lee, 2007; Madhavan et al., 2006). Es gibt jedoch auch Untersuchungen, in denen keine mediirende Wirkung des Vertrauens belegt werden konnte. Vielmehr orientierte sich das Verhalten der Probanden direkt an den wahrgenommenen Systemeigenschaften (Bustamante, 2009; Wiczorek & Manzey, 2010). Während die Befundlage zur Rolle des Vertrauens bei der Interaktion von Operateuren mit Alarmsystemen noch stellenweise uneindeutig ist, konnte der cry wolf Effekt als Reaktion auf das häufige Vorkommen falscher Alarme bereits mehrfach beschrieben werden (z.b. Getty et al., 1995; Bliss, Gilson, et al., 1995; Gérard & Manzey, 2010). Ursächlich für das gehäufte Vorkommen von Fehlalarmen ist unter anderem die Schwellensetzung bei Alarmsystemen sowie das seltene Auftreten kritischer Ereignisse (Dixon, Wickens, & McCarley, 2007). Zum besseren Verständnis dieser Zusammenhänge kann die Signaldetektionstheorie (SDT, Swets, 1964) herangezogen werden. 3.2 Modellierungen von Alarmsystemen anhand der Signaldetektionstheorie Mithilfe der SDT kann die Konfiguration binärer Alarmsysteme zur Überwachung diskreter Signale beschrieben und modelliert werden. Diese Theorie entstammt dem Bereich der Psychophysik und beschreibt die Vorgänge bei der Detektion verrauschter Signale. Die SDT ermöglicht die Unterscheidung zwischen der Sensitivität, also der Detektionsgüte und dem Schwellenwert eines Alarmsystems (Egan, 1975). Die SDT bezieht sich auf Situationen, in denen es zwei sich gegenseitig ausschließende Zustände in der Welt gibt, zwischen welchen differenziert werden soll. Diese Zustände werden als Vorliegen und Abwesenheit eines Signals bezeichnet. Binäre Alarmsysteme finden in Situationen dieser Art Anwendung. Ihre Aufgabe besteht darin, die Umwelt oder technische Systeme zu überwachen und Signale also eine Abweichung vom Normalzustand zu detektieren und bei deren Vorliegen einen Alarm zu generieren. Die SDT geht ferner davon aus, dass die Differenzierung zwischen diesen beiden Zuständen nicht immer eindeutig möglich ist. Der Grund dafür besteht in der permanenten Anwesenheit eines Rauschens. Unter Rauschen wird in der Physik allgemein eine Störgröße mit breitem unspezifischem Frequenzspektrum verstanden. Da sowohl das Rauschen als auch Signale in ihrer Intensität schwanken, kann es passieren, dass ein starkes Rauschen dieselbe Intensität besitzt wie ein schwaches Signal. In diesem Fall ist 29

30 3. Alarmsysteme es für ein Alarmsystem nicht möglich, eindeutig zwischen beiden Zuständen zu unterscheiden. Abbildung 2 stellt die zwei sich überlappenden Intensitätsverteilungen des Rauschens und des Rauschen-Signals (im Folgenden als Signal-Verteilung bezeichnet) dar. Abbildung 2: Veranschaulichung der Signaldetektionstheorie Darstellung der sich überlappenden Rauschen- und Signalverteilung Die Größe des Unsicherheitsbereichs variiert in Abhängigkeit der Überlappung der beiden Verteilungen. Je größer der Abstand der beiden Kurven, desto besser kann ein System zwischen Rauschen und Signal differenzieren. Der Abstand der Scheitelpunkte der beiden Kurven entspricht der Sensitivität d des Alarmsystems. Die Sensitivität ist meist sowohl durch technische als auch finanzielle Realisierbarkeit limitiert, was sich vorrangig auf die Sensortechnik bezieht. Die Entwicklung perfekter Sensoren, die auch kleinste Unterschiede durchgängig fehlerfrei erfassen, ist mit dem heutigen Stand der Technik in den meisten Fällen nicht umsetzbar oder wäre so teuer, dass sie sich unter wirtschaftlichen Gesichtspunkten nicht rentieren würde. Solange die Sensitivität nicht perfekt ist, kommt es im Bereich der Überlappung zu Fehlern bei der Zuordnung von Messwerten zu einer der beiden Kurven. Hierbei existieren zwei mögliche Fehlerarten. Wird ein Signal fälschlicherweise der Rauschen-Verteilung zugeordnet, also übersehen, so spricht man von einem miss (Verpasser). Die andere Möglichkeit besteht in der fälschlichen Zuordnung zufälligen Rauschens zur Signal-Verteilung. Das Alarmsystem generiert einen Alarm, bei dem es sich um einen False Alarm (FA, falscher Alarm) handelt. Während die Anzahl der Fehler, die vom Alarmsystem gemacht wird, von dessen Sensitivität abhängt, wird die Art der Fehler durch die Wahl des Schwellenwerts bzw. des Kriteriums c bestimmt. Der Schwellenwert teilt die Verteilungen in einen Gutbereich (links der Schwelle) und einen Alarmbereich. Das 30

31 3. Alarmsysteme bedeutet, dass alle gemessenen Werte, welche unterhalb des festgelegten Schwellenwerts liegen, keinen Alarm auslösen 2. Ist der gemessene Wert höher als der festgelegte Schwellenwert, gibt das System einen Alarm. Wird ein liberaler (niedriger) Schwellenwert gewählt, befindet sich der Großteil der Überlappung beider Verteilungen im Alarmbereich. Da nach Überschreiten der Schwelle ein Alarm generiert wird, kommt es in diesem Fall zu vielen FAs und zu wenigen misses. Ein konservativer (hoher) Schwellenwert führt hingegen zu vielen misses und wenigen FAs, da sich der Großteil der Überlappung im Gutbereich befindet und erst bei Messwerten hoher Intensitäten Alarm gegeben wird. Der Schwellenwert wird vom Ingenieur bzw. Designer des Alarmsystems festgelegt. Die Entscheidung darüber, welcher Schwellenwert angemessen ist, erfolgt auf Basis der möglichen Konsequenzen eines misses bzw. FAs. Auf Basis der Ausgangsgrößen eines Alarmsystems kann man sowohl seine Sensitivität als auch den Schwellenwert empirisch bestimmen. Dafür werden über einen festgelegten Zeitraum alle vom Alarmsystem generierten Diagnosen betrachtet. Angegeben wird hierfür die Anzahl an Alarmen und an alarmfreien Messungen, wie viele davon fehlerhaft waren (FAs und misses) und wie viele korrekt. Die richtigen Entscheidungen werden in hits (Treffer) und Correct Rejections (CRs, korrekte Zurückweisungen) unterteilt. Daraus ergibt sich eine 2x2-Matrix, wie sie in Tabelle 1 zu sehen ist. 2 Einige Alarmsysteme zeigen bei Abwesenheit eines Alarms nichts an, andere kommunizieren auch diesen Zustand, z.b. durch eine grüne Anzeige. In der vorliegenden Arbeit wird zur besseren Unterscheidbarkeit im Folgenden von Normal-Meldungen gesprochen, wenn die Abwesenheit eines Alarms durch das Alarmsystem angezeigt wird. Gemeint ist damit, dass das Alarmsystem meldet, dass der Zustand des überwachten Parameters normal ist, sich also innerhalb der vorgeschriebenen Grenzen befindet. 31

32 3. Alarmsysteme Tabelle 1: 2x2-Matrix der SDT-Ausgangsgrößen Reaktion des Warnsystems Alarm Kein Alarm Systemzustand Systemfehler Hit Miss Kein Systemfehler False Alarm Correct Rejektion Zunächst werden die hit-rate (1) und die FA-Rate (2) des Alarmsystems berechnet und anschließend z-transformiert. Die hit-rate sagt aus, wie viele der tatsächlich vorhandenen Signale vom System detektiert wurden, während die FA-Rate Angaben darüber liefert, wie oft ein Rauschen fälschlicherweise für ein Signal gehalten wurde. Auf Basis dieser Werte lässt sich dann sowohl die Sensitivität (3) als auch der Schwellenwert (4) des Systems berechnen. phit = pfa = hits hits+ misses FAs (FAs+CRs) (1) (2) d = z(phit) z(pfa) (3) c = 0,5 (z(phit) + z(pfa)) (4) Je höher der Wert der Sensitivität, desto besser ist die Detektionsleistung des Alarmsystems. Bezogen auf die Schwelle sind auch negative Werte möglich. Ein hoher Wert repräsentiert eine konservative, ein niedriger Wert eine liberale Schwelle. Eine weitere Größe, die dem Operateur im Umgang mit dem System wichtige Informationen liefert, ist die Zuverlässigkeit oder Reliabilität des Alarmsystems, welche ebenfalls auf Basis der 2x2-Matrix berechnet werden kann (5). Reliabilität ist hierbei im ingenieurswissenschaftlichen Sinne definiert als die Anzahl aller korrekten Diagnosen gemessen an allen Diagnosen in einem vorher definierten Zeitraum (Wickens & Dixon, 2005). Die Zuverlässigkeit ist also abhängig von der Anzahl der Fehler, die das 32

33 3. Alarmsysteme Alarmsystem produziert. Darüber hinaus kann auch die Wahrscheinlichkeit betrachtet werden, dass bei gegebenem Alarm tatsächlich ein kritischer Zustand vorliegt. Diese wird als positive predictive value (PPV, Positiv-Vorhersage Wert) bezeichnet (Getty et al., 1995), ihre Berechnung ist in Formel (6) dargestellt. Das Äquivalent dazu bildet der negative predictive value (NPV, Negativ-Vorhersage Wert), die Wahrscheinlichkeit, dass bei Abwesenheit eines Alarms tatsächlich kein Signal vorliegt (7) (Meyer & Bitan, 2002). Während die PPV von der Anzahl der FAs beeinflusst wird, hat die Anzahl an misses Einfluss auf die NPV des Alarmsystems. Reliabilität = PPV = NPV = hits hits+fas CRs CRs+ misses hits+crs hits+crs+fas+ misses (5) (6) (7) Während die Sensitivität für die Operateure nicht unmittelbar wahrnehmbar ist, können sie sich in der Interaktion mit einem Alarmsystem eine relativ gute mentale Repräsentation von dessen Reliabilität bzw. der PPV und NPV machen, wobei sie jedoch eine Tendenz zur Mitte haben. Das heißt, dass sie sehr hohe Reliabilitäten unterund sehr niedrige Reliabilitäten überschätzen (z.b. Wiegmann, 2002; Wiczorek & Manzey, 2010). Während die hit- und die FA-Rate eines Alarmsystems auch bei veränderten Umgebungsbedingungen gleich bleiben, werden die PPV und NPV von der zugrunde liegenden Basisrate kritischer Ereignisse beeinflusst, die auch als a priori Fehlerwahrscheinlichkeit bezeichnet wird. In unterschiedlichen Kontexten und Branchen kann die a priori Fehlerwahrscheinlichkeit stark variieren, wobei es aufgrund der heutigen sehr hohen technischen Standards in den meisten sicherheitsrelevanten Arbeitskontexten sehr selten zu kritischen Ereignissen kommt. Je geringer die a priori Wahrscheinlichkeit eines zu überwachenden Systems, desto geringer ist auch die PPV des Alarmsystems, bei der es sich um eine bedingte Wahrscheinlichkeit handelt, weshalb sie auch als a posteriori Fehlerwahrscheinlichkeit bezeichnet wird (Parasuraman, Hancock, & Olofinboba, 1997). Ein Alarmsystem mit einer geringen PPV generiert viele falsche Alarme. Im Gegensatz dazu bewirkt dieselbe geringe Basisrate (bei gleichbleibender Schwellensetzung) eine hohe NPV, das Alarmsystem generiert also wenige misses. Die meisten Alarmsysteme, die in sicherheitsrelevanten Arbeitsumgebungen wie der Prozessindustrie oder der Luftfahrt genutzt werden, sind aufgrund der geringen 33

34 3. Alarmsysteme Basisraten durch solche niedrigen PPVs gekennzeichnet. Da es in diesen Bereichen besonders wichtig ist, kein kritisches Ereignis zu übersehen, weil diese mitunter schwerwiegende Konsequenzen haben können, verfügen die dort verwendeten Alarmsysteme in der Regel über einen liberalen Schwellenwert, der seinerseits die PPV zusätzlich reduziert. Die Designer der Systeme wählen möglichst liberale Schwellenwerte, um die Anzahl der misses so gering wie möglich zu halten. Die resultierende hohe Anzahl an FAs wird dafür in Kauf genommen. Dieses Vorgehen wird auch als fail-safe engineering approach (ingenieurwissenschaftlicher Ansatz, welcher sein Ziel, die Sicherheit zu erhöhen, verfehlt; Swets (1992) bezeichnet; obwohl die Wahl des Schwellenwerts in dem Bestreben erfolgt, die Sicherheit zu erhöhen, kann die resultierende hohe Anzahl an FAs zu unerwünschten Verhaltensweisen führen. Besonders problematisch ist dabei der beschriebene cry wolf Effekt, der seinerseits zum Übersehen kritischer Ereignisse führen kann. Diese und andere Verhaltensweisen im Umgang von Operateuren mit binären Alarmsystemen sind Inhalt zahlreicher empirischer Studien, die das Ziel haben, ein besseres Verständnis der Mechanismen zu entwickeln, die bei der Interaktion von Menschen mit Alarmsystem zum Tragen kommen, um daraus Empfehlungen für die Praxis ableiten zu können. 3.3 Stand der Forschung zu binären Alarmsystemen Im Fokus der Forschung zur Verhaltenswirksamkeit binärer Alarmsysteme stehen die Handlungen des Operateurs bzw. das Unterlassen derselben in Abhängigkeit unterschiedlicher Konfigurationen der jeweiligen Alarmsysteme und der Situation sowie deren Auswirkungen auf die Leistung bei der Überwachung. Um die Interaktion von Operateuren mit Alarmsystemen von einem Human Factors Standpunkt aus analysieren zu können, bedarf es der Analyse der einzelnen Komponenten bzw. Einflussfaktoren auf Seiten der Alarmsysteme sowie der kognitiven Mechanismen auf Seiten der Operateure Der Umgang mit Alarmsystemen als Entscheidungsproblem Bei der Reaktion von Operateuren auf Alarmsysteme können zwei Verhaltenskomponenten unterschieden werden; die Reaktion auf Alarme und die Reaktion auf deren Abwesenheit. Meyer (2001) führte hierfür die beiden Bezeichnungen compliance und reliance ein. Compliance bedeutet so viel wie Befolgen und beschreibt das direkte Reagieren auf einen Alarm, meist in Form eines korrigierenden Eingriffs in das zu überwachende System. Reliance kann mit Sich verlassen übersetzt werden und bezeichnet die Nicht-Aktivität des Operateurs bei 34

35 3. Alarmsysteme Abwesenheit eines Alarms. Meyer (2001) ging davon aus, dass sich die compliance eines Operateurs reduziert, wenn das Alarmsystem viele FAs generiert. Produziert das System hingegen misses, so sollte das nur die reliance-komponente beeinträchtigen. Neuere Studien liefern jedoch Anhaltspunkte dafür, dass die beiden Konzepte nicht unabhängig voneinander sind, da sich eine Reduktion der PPV auch negativ auf die reliance des Operateurs auswirkt (z.b. Rice & McCarley, 2011; Wiczorek, Meyer, & Guenzler, 2012). Obwohl compliance und reliance die intendierten Verhaltensweisen repräsentieren, handelt es sich beim direkten Reagieren auf einen Alarm nicht immer um die richtige Entscheidung (Mosier & Skitka, 1996). Liegt kein kritischer Zustand im überwachten System vor und der Operateur folgt dennoch dem falschen Alarm, so handelt es sich um einen error of commission (Befolgungsfehler). Wird ein kritischer Zustand hingegen vom Alarmsystem übersehen und aufgrund seiner reliance vom Operateur nicht behoben, so wird von einem error of omission (Unterlassungsfehler) gesprochen. Die Entscheidung darüber, ob auf einen Alarm reagiert wird oder nicht obliegt allein dem Operateur. In vielen Fällen steht ihm jedoch wenig oder nur inkomplette Information über den tatsächlichen Zustand des überwachten Systems zur Verfügung (z.b. Vereisungs-Warnsystem im Cockpit, Meyer, 2004). Es gibt auch Situationen, die eine schnelle Entscheidung erfordern, was eine komplette Informationssuche unmöglich macht. Meyer (2004) modelliert diese Entscheidungen unter Unsicherheit mithilfe der Erwartungswert-Theorie (expected-value-theory), die versucht, die Handlungsauswahl mathematisch abzubilden (8). EV = n i=1 pivi (8) Wobei n die Anzahl möglicher Ausgangsgrößen ist, Vi die jeweilige Konsequenz einer Ausgangsgröße i und pi deren Wahrscheinlichkeit. So kann ein Erwartungswert für Handeln und ein Erwartungswert für Nicht-Handeln ermittelt werden. Wenn sich der Operateur auf Basis dieser Abwägungen für die Alternative mit dem höheren Wert entscheidet, kann sein Verhalten als rational bezeichnet werden. Die Bewertung von Entscheidungen unter Unsicherheit sollte demnach nicht retrospektiv unter Einbezug des tatsächlichen Ausgangs der Situation erfolgen, sondern unter Berücksichtigung der begrenzten Informationen, welche zum Zeitpunkt der Entscheidung zur Verfügung standen (Meyer, 2004). 35

36 3. Alarmsysteme Ein verbesserter Zugang des Operateurs zu Informationen wie z.b. Rohdaten erhöht die Wahrscheinlichkeit einer korrekten Entscheidung. Im Idealfall ergänzen sich das Alarmsystem und der Operateur und die Leistung des Mensch-Maschine-Systems übersteigt die Leistung der beiden Einzelakteure. Sorkin und Woods (1985) sprechen in diesem Zusammenhang von einem doppelten SDT-Paradigma. Gérard und Manzey (2010) bezeichnen das Einholen von Informationen als Reaktion auf einen Alarm als informed compliance (Befolgen durch Informationssuche). Steht dem Operateur ein solcher Zugriff auf ergänzende Informationen zur Verfügung, bedarf es zusätzlich der Entscheidung darüber, ob diese berücksichtigt, also zur Validierung des Alarms herangezogen werden. Das Abrufen von Informationen kann mitunter mit hohen zeitlichen Kosten verbunden sein, was einen möglichen Grund darstellt, darauf zu verzichten. Des Weiteren ist in vielen Fällen nicht gewährleistet, dass Zusatzinformationen vom Operateur eindeutig interpretiert werden können. Je nach Art der Information kann es auch hierbei zu einer Überlagerung des Signals durch ein Rauschen kommen. Besteht grundsätzlich die Möglichkeit, ergänzende Informationen einzuholen, ergeben sich daraus drei mögliche Verhaltensoptionen für den Operateur. Er kann den generierten Alarm ignorieren, er kann direkt darauf reagieren, indem er korrigierend in den Prozess eingreift oder er kann sich dafür entscheiden, Zusatzinformationen einzuholen, um die Alarmdiagnose zu validieren (Sorkin et al., 1988). Die Interaktion von Operateur und Alarmsystem kann in diesem Fall als zwei- bzw. dreistufiger Entscheidungsprozess betrachtet werden (Allendoerfer, Pai, & Friedman-Berg, 2008). Auf der ersten Ebene erfolgt die Entscheidung des Alarmsystems. Der gemessene Wert des relevanten Parameters wird mit einem festgelegten Sollwert abgeglichen. Liegt der gemessene Wert über dieser Schwelle, so generiert das System einen Alarm. Auf der zweiten Ebene erfolgt die Entscheidung des Operateurs darüber, ob er dem Alarm Folge leisten möchte, ihn ignoriert oder zusätzliche Informationen einholt. Entscheidet er sich für letzteres, muss er auf der dritten Ebene auf Basis der Informationen über den Prozess entscheiden, ob er regulierend eingreift oder nicht. Abbildung 3 liefert eine schematische Darstellung der Abfolge der einzelnen Stufen. 36

37 3. Alarmsysteme Abbildung 3: Umgang mit Alarmsystemen als 3-stufiger Entscheidungsprozesses Darstellung in Anlehnung an Allendoerfer et al. (2008) Strategien im Umgang mit Alarmsystemen Die Möglichkeit einer Prüfoption (durch Zugriff auf ergänzende Informationen) erweitert nicht nur den Entscheidungsraum der Operateure, sondern beeinflusst auch ihre Antwortstrategien. Aus der Entscheidungsforschung ist bekannt (z.b. Kahneman, Slovic, & Tversky (1982), dass Menschen in uneindeutigen Situationen auf Heuristiken zurückgreifen, um Entscheidungen zu treffen. Auch im Umgang mit Alarmsystemen kommt es mitunter zur Anwendung von Heuristiken durch die Operateure, dabei stehen sich insbesondere zwei Strategien gegenüber. Die eine Heuristik wird als probability matching (Wahrscheinlichkeitsabgleich) bezeichnet. Dieser Begriff geht auf Herrnstein (1961) zurück und bezeichnet die Tendenz der Probanden, die Reliabilität des Alarmsystems zu imitieren, indem sie mit annähernd derselben Wahrscheinlichkeit auf einen Alarm reagieren, mit der dieser korrekt ist. Bei einer PPV von 0.6 werden bei Anwendung dieser Heuristik 60 von 100 Alarmen befolgt. Das Vorkommen dieser Strategie konnte in mehreren empirischen Studien nachgewiesen werden (z.b. Bliss, 1997; Bliss, Gilson et al., 1995). Die zweite Heuristik wird nach Bliss (1993, zitiert nach Bliss, 2003b) als extreme responding (extremes Antwortverhalten) bezeichnet. Dabei handelt es sich um eine Alles-oder-Nichts -Strategie, bei der die Probanden in Abhängigkeit der PPV entweder alle oder keinen der Alarme befolgen, was sich ebenfalls in Untersuchungen zeigen ließ (z.b. Wiczorek, 2012). Der potentielle Nachteil 37

38 3. Alarmsysteme beider Heuristiken besteht darin, dass sie im Falle einer niedrigen PPV zum cry wolf Effekt führen. In einer Metaanalyse untersuchte Bliss (2003b) mögliche Ursachen der Verwendung dieser beiden unterschiedlichen Heuristiken durch die Operateure. Auf Basis der Ergebnisse schlussfolgerte er, dass es für den Operateur primär zwei wichtige Informationen bezüglich des Alarmsystems gibt. In Abhängigkeit der Verfügbarkeit dieser Informationen kommt es zur Wahl unterschiedlicher Heuristiken. Bei diesen Informationen handelt es sich zum einen um die Reliabilität des Systems sowie zum anderen um die Validität des einzelnen Alarms. Steht nur das Wissen über die Reliabilität zur Verfügung, sollte es häufiger zur Anwendung der extreme responding Heuristik kommen. Hat der Operateur hingegen zusätzlich die Möglichkeit Rohdaten zu überprüfen, sollte er häufiger eine probability matching Strategie wählen. Gérard (2012) untersuchte in ihrer Dissertation unter anderem den Einfluss verschieden aufwendiger Prüfprozeduren auf das Verhalten von Probanden im Umgang mit Alarmsystemen. In einem Zwei-Aufgaben-Paradigma konnten die Teilnehmer die Diagnosen eines automatischen Prüfsystems in einem oder in zwei Schritten validieren. Die Rohdaten waren für die Probanden eindeutig zu interpretieren. In beiden Untersuchungen wurde kein probability matching Verhalten gefunden, was möglicherweise auf das eindeutig interpretierbare Stimulusmaterial zurückzuführen ist, welches den Probanden eine 100% Unsicherheitsreduktion ermöglichte. Die Ergebnisse der Untersuchungen legen nahe, dass die Vermeidung von Unsicherheit in Entscheidungssituationen eine wichtige Rolle spielt. Außer bei sehr hohen PPVs wurden fast alle Alarme durch die Probanden überprüft und so die Unsicherheit nahezu auf null reduziert. Das häufige Prüfen erfolgte sowohl bei einer ein- als auch bei einer zweischrittigen Prüfprozedur. Die Einführung einer Prüfoption für eindeutig interpretierbare Informationen führte hier zur Eliminierung des cry wolf Effekts. Obwohl das Überprüfen aller Alarme zu einer Reduktion der Fehler in der Alarmaufgabe führte, wurde dieses Verhalten dennoch als over-checking (übermäßiges Prüfen) klassifiziert, da die Probanden übermäßig viel Zeit in die Alarmaufgabe investierten und in Konsequenz die parallele Arbeitsaufgabe vernachlässigten Alarme im Mehrfachaufgaben-Paradigma Bei den meisten Anwendungsfeldern von Alarmsystemen handelt es sich um Arbeitsplätze, an denen Operateure für mehrere Aufgaben gleichzeitig verantwortlich sind. Oftmals erfolgt die Bearbeitung verschiedener Aufgaben seriell, es kann dabei aber auch zu Überlappungen kommen. Erfordern zwei Aufgaben gleichzeitig die Aufmerksamkeit durch den Operateur, bedarf es eines sinnvollen attention 38

39 3. Alarmsysteme managements (Handhabung der Aufmerksamkeit, Woods, 1985). Dabei entstehen zeitliche Wechselkosten (Rogers & Monsell, 1995) und im schlimmsten Fall Fehler bei der Bearbeitung, wenn auf dieselben mentalen Ressourcen zurückgegriffen werden muss (z.b. Wickens, 2008). Bei der Überwachung mithilfe eines Alarmsystems handelt es sich in den meisten Fällen um eine konkurrierende Nebentätigkeit zu den eigentlichen Hauptaufgaben wie Navigieren und Fliegen im Cockpit oder Regeln und Steuern in der Leitwarte (Wickens & Horrey, 2008). Im Falle eines Alarms wird jedoch vom Operateur erwartet, dass er seine aktuelle Tätigkeit so schnell wie möglich unterbricht und die Alarme priorisiert. Bei steigender Belastung durch die Parallelaufgaben kann es jedoch zu einer Verschlechterung der Leistung in der Alarmaufgabe kommen (Bliss & Dunn, 2000). Dies ist besonders dann der Fall, wenn das System viele falsche Alarme generiert (Dixon & Wickens, 2006). Das Vorhandensein von Prüfoptionen begünstigt jedoch die Priorisierung der Alarmaufgabe (Gérard & Manzey, 2010). Durch ein kontinuierliches Prüfverhalten wird die Leistung in der Überwachung und dadurch auch die Sicherheit erhöht. Ein kontinuierliches Prüfen kann jedoch sehr zeitintensiv sein, wenn Rohdaten schwer zugänglich oder schwer zu interpretieren sind. In diesem Falle kann es zu Einbußen in den parallelen Arbeitsaufgaben kommen, wenn die Operateure diese zugunsten der Überwachungsaufgabe vernachlässigen (Wickens, Dixon, Goh, & Hammer, 2005). Produktivität und Sicherheit stehen demnach in Konkurrenz. 3.4 Zusammenfassende Bewertung binärer Alarmsysteme Diese Problematik der Konkurrenz von Sicherheit und Produktivität in Arbeitsumgebungen, in denen neben der Überwachung auch andere der Produktion dienliche Aufgaben vom Operateur erfüllt werden müssen, lässt sich im Kontext binärer Alarmsysteme nicht lösen. Das gleiche gilt für die wechselseitige Abhängigkeit von FAs und misses. Solange binäre Alarmsysteme nicht perfekt reliabel sind, stehen die Entwickler von Alarmsystemen immer vor der Entscheidung, welcher Schwellenwert im jeweiligen Kontext angemessen erscheint. Gegen konservative Schwellen spricht die dadurch steigende Anzahl an misses, die gerade in sicherheitsrelevanten Arbeitsumgebungen vermieden werden sollen, um zu verhindern, dass kritische Ereignisse durch die Operateure übersehen werden. Sowohl in der Praxis als auch in der Forschung zeigt sich jedoch, dass liberale Schwellen ebenso das Risiko bergen, zum Übersehen kritischer Ereignisse beizutragen. Sie generieren eine hohe Anzahl FAs, die dazu führen können, dass die Operateure das System als unzuverlässig wahrnehmen, ihr 39

40 3. Alarmsysteme Vertrauen in das System verlieren und in Konsequenz beginnen, die vermeintlich falschen Alarme zu ignorieren. Da binäre Alarmsysteme auch für dieses Problem keine adäquate Lösung bieten, sollten alternative Alarmkonzepte in Betracht gezogen werden. Sorkin et al. schlugen dafür schon 1988 das Konzept des Likelihood Alarmsystems vor. Dieses erscheint geeignet, einige Defizite binärer Systeme auszugleichen, indem es durch eine größere Transparenz und eine Reduktion der FAs einem Vertrauensverlust auf Seiten der Operateure vorbeugt. Dadurch wird den Alarmen eine größere Priorität eingeräumt und das Auftreten von cry wolf Effekten kann reduziert oder gänzlich vermieden werden. 40

41 4. Likelihood Alarmsysteme 4. Likelihood Alarmsysteme Bei Likelihood Alarmsystemen (LAS) handelt es sich, wie der Name Likelihood (Wahrscheinlichkeit) schon impliziert, um Alarmsysteme, die dem Operateur zusätzlich zur Alarmierung angeben, wie hoch die Wahrscheinlichkeit ist, dass tatsächlich ein kritisches Ereignis vorliegt. Diese Informationsübermittlung wird durch das Vorhandensein mehrerer Meldungsstufen realisiert. Dabei können die verschiedenen Meldungen ebenso wie beim binären Alarmsystem sowohl auditiv, haptisch oder visuell dargestellt werden. Bei auditiven und haptischen Signalen kann die Abstufung über die Intensität oder über die Dauer der Meldungen erfolgen. Die visuelle Abstufung kann mithilfe verschiedener Farben oder Symbole erfolgen. Wahrscheinlichkeits- oder Prozentwerte sollten dagegen eher vermieden werden, da Menschen Schwierigkeiten bei ihrer Interpretation haben (Cosmides & Tooby, 1996). Das Konzept der LAS geht auf Sorkin et al. (1988) zurück, die als erste Untersuchungen mit LAS durchführten. Sie bezeichnen LAS als sinnvolle Alternative zu binären Alarmsystemen, da sie aufgrund ihrer Mehrstufigkeit zusätzliche Informationen vermitteln, die den Operateur bei seinen Entscheidungen unterstützen sollen. Die Funktionsweise des LAS ist analog zu der des binären Alarmsystems. Die Intensität des zu überwachenden Parameters wird durch die Sensoren des Systems ermittelt. Im Unterschied zum binären Alarmsystem verfügt das LAS aber über mehr als einen Schwellenwert. In Abhängigkeit der Intensität generiert das System Meldungen unterschiedlicher Abstufung. Mit jedem Überschreiten eines weiteren Schwellenwerts steigt die Wahrscheinlichkeit für das tatsächliche Vorliegen eines kritischen Ereignisses. Durch die zusätzlichen Abstufungen ist das LAS in der Lage, den Unsicherheitsbereich der Überlappung der beiden Intensitätsverteilungen kenntlich zu machen. Das bedeutet, das System kann über seine eigene Sicherheit (bzw. Unsicherheit) bezüglich der getroffenen Aussage Auskunft geben (Wickens & Colcombe, 2007). Dadurch wird die Funktionsweise des Systems für den Operateur transparenter. Meldungen, die aufgrund eines geringen Messwerts ausgelöst werden, zeigen zwar nur mit einer geringen Wahrscheinlichkeit tatsächlich ein kritisches Ereignis an, kommunizieren diese Tatsache aber auch direkt an den Operateur. Die Anwendung von LAS erfolgt ebenso wie die der vorher beschriebenen binären Alarmsysteme zur Überwachung diskreter Signale. LAS können deshalb gleichfalls mithilfe der SDT modelliert werden. 41

42 4. Likelihood Alarmsysteme 4.1 Modellierung von Likelihood Alarmsystemen mithilfe der Signaldetektionstheorie Ein LAS verfügt ebenso wie ein binäres System über eine Sensitivität (d ) und einen Schwellenwert bzw. Kriterium (c). Darüber hinaus besitzt es mindestens einen weiteren Schwellenwert (c*), welcher eine zusätzliche Abstufung bewirkt. Neben dem Gut- und dem Alarmbereich entsteht somit mindestens ein zusätzlicher Bereich, der sich zwischen den beiden anderen befindet und als Warnbereich bezeichnet werden kann (vgl. Abbildung 4). Abbildung 4: Modellhafte Darstellung eines dreistufigen LAS auf Basis der SDT Es ist möglich sowohl den Alarmbereich als auch den Gutbereich oder beide mithilfe einer oder mehrerer zusätzlicher Schwellen zu unterteilen. Weiterhin ist es möglich, das ursprüngliche Kriterium (erste Schwelle) zu verschieben und mithilfe einer weiteren Schwelle einen Bereich zu schaffen, der sowohl Anteile des früheren Gut- als auch des früheren Alarmbereichs enthält. Abbildung 5 veranschaulicht die unterschiedlichen Varianten. 42

43 4. Likelihood Alarmsysteme Abbildung 5: Varianten von LAS mit unterschiedlicher Schwellensetzung Ausgehend von einem binären System mit neutralem Kriterium Das LAS verfügt ebenso wie das binäre System über eine PPV der Alarme und eine NPV der Normal-Meldungen. Auch die zusätzlich entstandenen Bereiche verfügen über ein bestimmtes Verhältnis von korrekten zu falschen Diagnosen. Ob es sich dabei eher um zusätzliche PPVs oder NPVs handelt, kann davon abhängig gemacht werden, ob der Gut- oder der Alarmbereich zusätzlich unterteilt wurde. Abbildung 5b zeigt ein System, dessen zusätzliche Schwelle den Alarmbereich unterteilt. Dieses System verfügt 43

44 4. Likelihood Alarmsysteme demnach über eine NPV, eine Warn-PPV und eine Alarm-PPV, während man bei dem LAS aus Abbildung 5c eher von einer Warn-NPV sprechen könnte. 4.2 Potential von Likelihood Alarmsystemen Ein großer Vorteil des LAS gegenüber einem binären Alarmsystem besteht darin, dass die wechselseitige Abhängigkeit der Höhe von NPV und Alarm-PPV aufgehoben werden kann. Ein binäres Alarmsystem mit einem liberalen Kriterium und einer dementsprechend hohen NPV verfügt immer über eine niedrige (Alarm-)PPV und generiert somit viele falsche Alarme. Ein LAS, welches über dieselbe hohe NPV verfügt, weil seine erste Schwelle dem Kriterium des binärem Systems entspricht, jedoch zusätzlich eine zweite konservativere Schwelle besitzt, hat eine höhere Alarm- PPV und generiert weniger falsche Alarme. Die Anzahl an falschen Warnungen ist bei einem solchen LAS hingegen hoch. Allerdings kann erwartet werden, dass falsche Warnungen nicht denselben Effekt haben wie falsche Alarme. Während ein Alarm einen sehr starken Aufforderungscharakter besitzt, handelt es sich bei einer Warnung viel mehr um die Information, dass möglicherweise ein kritisches Ereignis vorliegt. Der Operateur wird dadurch bereits darauf vorbereitet, dass es sich auch um eine falsche Meldung handeln kann. Ist das tatsächlich der Fall, interpretiert er die Warnung nicht als Fehler des Alarmsystems, da das System selbst auf die Wahrscheinlichkeit eines Irrtums hingewiesen hat. Werden nur die falschen Alarme, nicht aber die falschen Warnungen vom Operateur als Systemfehler wahrgenommen, wird das LAS insgesamt durch den Operateur als zuverlässiger eingeschätzt. Zusätzlich wird die Funktionsweise des Systems durch die Kennzeichnung der eigenen Unsicherheit für den Operateur transparenter. Sowohl die wahrgenommene Zuverlässigkeit, als auch die wahrgenommene Transparenz eines Systems sind Faktoren, die das Vertrauen von Operateuren in die verwendeten Systeme beeinflussen (z.b. Lee & Moray, 1992; Muir, 1994; Wiczorek, 2011). Das Vertrauen gegenüber einem LAS sollte demnach höher ausfallen, als das Vertrauen in ein binäres Alarmsystem, dessen Kriterium dem ersten Schwellenwert des LAS entspricht. Ist das Vertrauen des Operateurs in das verwendete LAS hoch, kann davon ausgegangen werden, dass es nicht oder nur in geringem Maße zu Einbußen in der compliance mit Alarmen kommt. LAS haben somit das Potential den cry wolf Effekt zu reduzieren. Dennoch existiert bisher relativ wenig Forschung in diesem Bereich. 44

45 4. Likelihood Alarmsysteme 4.3 Stand der Forschung zu abgestuften Warnungen und LAS Zur Verhaltenswirksamkeit von LAS gibt es weit weniger Untersuchungen als zu binären Alarmsystemen. Die existierenden Studien widmen sich primär dem Vergleich von LAS mit binären Alarmsystemen bezogen auf die Leistung bei der Überwachung und in parallelen Arbeitsaufgaben. Deutlich mehr empirische Forschung als zu LAS findet sich zur Verhaltenswirksamkeit abgestufter Warnungen im Allgemeinen. Unter Alarmsystemen mit abgestuften Warnungen kann man alle Systeme fassen, die mehr als zwei Arten von Meldungen generieren. Die Intention abgestufter Warnungen ist es, dem Operateur zusätzliche Informationen zu übermitteln. LAS stellen eine Unterkategorie abgestufter Warnungen dar, sie dienen der Überwachung diskreter Signale und übermitteln dem Operateur Zusatzinformationen über die Wahrscheinlichkeit des tatsächlichen Vorliegens eines kritischen Ereignisses. Die meisten anderen Konzepte abgestufter Warnungen beziehen sich auf die Überwachung analoger Signale. Sie finden sich beispielsweise in Form von Voralarmen in der Prozessindustrie, wo sie den Operateur über das Abweichen eines oder mehrerer Parameter in den zulässigen Fehlbereich informieren. Der Operateur weiß dadurch, wie viel Spielraum für Gegenmaßnehmen besteht, um das Anspringen der PLT-Schutzeinrichtung zu verhindern. In den letzten Jahrzehnten erbrachte die Forschung einige wichtige Ergebnisse bezüglich der Nützlichkeit abgestufter Warnungen bezogen auf die Interaktion der Nutzer mit solchen Systemen, deren Wirkung auf das Vertrauen und auf die resultierende Leistung. Aufgrund der unterschiedlichen Verwendung der jeweiligen Systeme (analoge vs. diskrete Signale) wird der Forschungsstand zu abgestuften Warnungen und LAS getrennt nacheinander dargestellt Der Nutzen abgestufter Warnsysteme Durch die Abstufung von Alarmen können den Operateuren Unterschiede in Bezug auf deren Dringlichkeit vermittelt werden, was einen Einfluss auf die Einstellung der Nutzer gegenüber den Meldungen haben kann sowie auf ihren Umgang mit denselben. In einer unter Piloten durchgeführten Befragung gaben diese an, dass ihre Akzeptanz von Alarmsystemen im Cockpit sowohl von der Anzahl an falschen Alarmen als auch von der Dringlichkeit der Meldungen beeinflusst würde (Williams & Simpson, 1976, zitiert nach Sorkin und Woods, 1985). Auch Autofahrer klassifizieren Alarme mit höherer Dringlichkeitsstufe als angemessener (Marshall, Lee, & Austria, 2007). Darüber hinaus konnte gezeigt werden, dass Alarme, welche als dringlicher gekennzeichnet waren, zu häufigerem Reagieren (Bliss, Gilson et al., 1995) und zu schnelleren Reaktionszeiten (Bliss, Dunn, & Fuller, 1995) von Probanden führten. Die Einstufung 45

46 4. Likelihood Alarmsysteme eines Alarms als dringlicher sollte jedoch durch dessen Validität gerechtfertigt sein. Vor allem in Mehrfachaufgaben-Umgebungen ist die Unterbrechung einer parallelen Arbeitsaufgabe nur dann gerechtfertigt, wenn der generierte Alarm über eine entsprechende Validität verfügt (Maltz & Meyer, 2001). Ho, Nikolic, Waters, und Sarter (2004) konnten zeigen, dass ein effizienteres Unterbrechungs-Management durch informativere Meldungen zu erreichen ist. In ihrer Untersuchung im Rahmen einer Fluglotsenaufgabe wurden die Probanden während der Bearbeitung einer Aufgabe durch Meldungen darüber informiert, dass eine weitere Aufgabe zu bearbeiten war. Diese Meldungen zeigten zusätzlich an, welche Priorität die Bearbeitung der jeweiligen Aufgabe hatte. Die Probanden mussten entscheiden, ob sie die aktuelle Aufgabe unterbrechen wollten, um sich unverzüglich der anderen Aufgabe zu widmen oder ob sie die aktuelle Aufgabe zuerst beenden und die andere im Anschluss bearbeiten wollten. Auf Meldungen mit höherer Priorität wurde schneller reagiert als auf Meldungen mit niedrigerer Priorität. Diese Strategie kam den parallelen Aufgaben mit hoher Priorität ebenso zugute wie den aktuell bearbeiteten Aufgaben, wenn diese nicht sofort unterbrochen wurden. Ein weiterer Vorteil ergibt sich dabei auch durch die Reduktion der anfallenden Wechselkosten zwischen verschiedenen Aufgaben, wenn diese nicht ständig unterbrochen werden müssen, sondern in Abhängigkeit der Dringlichkeit des Alarms vorher beendet werden können (Hameed, Ferris, Jayaraman, & Sarter, 2009). Die Priorisierung von Meldungen kann in Abhängigkeit unterschiedlicher Parameter erfolgen. Bei einem Kollisionswarnsystem im Auto kann die Priorisierung z.b. durch die Zusatzinformation über die verbleibende Zeit bis zur Kollision erfolgen (Kohl, Stanley, Miikkulainen, Samples, & Sherony, 2006). Mehrere Untersuchungen, die hauptsächlich im Automobilkontext durchgeführt wurden, bestätigen den Nutzen zeitlicher Priorisierung, welche über abgestufte Warnungen vermittelt wird. Hierbei wurde der Fokus auf Probleme gelegt, die mit automation bias (Automationsverzerrung, Mosier & Skitka, 1996) assoziiert sind. Darunter versteht man das Befolgen von Anweisungen einer Automation ohne deren Angemessenheit kritisch zu hinterfragen. Automation bias wird auf ein Übervertrauen in die verwendete Technik zurück geführt. Zum Problem wird dieses blinde Vertrauen dann, wenn die Automation einen Fehler macht und dieser vom Nutzer unentdeckt bleibt. Im Falle einer unnötigen Warnung im Fahrzeug kann ein sofortiges Lenk- oder Bremsmanöver ohne vorherige Absicherung zu gefährlichen Situationen führen. In einer Studie von Gupta, Bisantz und Singh (2002) konnte mithilfe abgestufter auditiver Warnungen die laterale Kontrolle des Fahrers über das Fahrzeug erhöht werden, was die Rutschhäufigkeit signifikant reduzierte. Lee, Hoffman, und Hayes (2004) konnten zeigen, dass sich unnötige Bremsmanöver der Fahrer signifikant verringerten, wenn die Alarme des 46

47 4. Likelihood Alarmsysteme Kollisionswarnsystems in abgestufter Form präsentiert wurden. Die Erhöhung des Sicherheitsspielraums durch die Nutzung von abgestuften Warnungen begründen diese Autoren vor allem durch ein angemesseneres Vertrauen in das System. McGuirl und Sarter (2006) untersuchten diese Veränderung von Vertrauen gegenüber Assistenzsystemen in Abhängigkeit abgestufter Meldungen im Kontext einer simulierten Flugaufgabe. Bei der Nutzung eines Systems, dessen Leistungsfähigkeit in Abhängigkeit wechselnder situativer Bedingungen variierte, erhielten die Probanden Rückmeldung über die aktuelle Leistungsfähigkeit des Systems. Diese führte dazu, dass das bestehende Vertrauen der Teilnehmer dem System gegenüber angemessener war, als wenn keine solche Rückmeldung gegeben wurde. Die Studien zum Nutzen abgestufter Warnungen zeigen, dass es verschiedene Möglichkeiten zur Abstufung gibt. Diese können bei analogen Signalen über die Geschwindigkeit, die verbleibende Zeit, die Distanz oder andere relevante Größen erfolgen. Bei der Messung diskreter Signale ist es nicht möglich diese Art von Informationen mithilfe eines Alarmsystems zu vermitteln, da auf Basis der Daten keine Prognose der zeitlichen Entwicklung gegeben werden kann. Durch den Einsatz von LAS ist es jedoch möglich, dem Nutzer Zusatzinformationen in Form von Wahrscheinlichkeitsangaben zu liefern, die ihn ebenfalls bei der Wahl der richtigen Entscheidung unterstützen können Der Nutzen von LAS Der Einsatz von LAS ist besonders in solchen Situationen angemessen, die durch viele falsche Alarme gekennzeichnet sind und in denen das unnötige Reagieren als besonders beanspruchend oder zeitraubend empfunden wird (Papastavrou & Lehto, 1996). Die erste Untersuchung dieser Art von Systemen wurde von Sorkin et al. (1988) durchgeführt, die ein LAS mit einem binären Alarmsystem verglichen. Die Autoren verwendeten ein Zweiaufgaben-Paradigma für ihre Studie. In einer tracking-aufgabe (Zielfolge-Aufgabe) mussten die Teilnehmer mithilfe eines Joysticks einem beweglichen Cursor auf dem Bildschirm folgen. Dabei gab es zwei Schwierigkeitsgrade zur Variation der Belastung. Bei der konkurrierenden Überwachungsaufgabe wurden unterschiedliche Dezimalzahlen präsentiert. Die Probanden mussten entscheiden, aus welcher von zwei Verteilungen diese stammten. Die beiden Verteilungen unterschieden sich bezüglich ihres Mittelwerts von 3 bzw. 4. Bei dieser Aufgabe wurden die Teilnehmer von einem binären Alarmsystem bzw. von einem vierstufigen LAS unterstützt. Die Fehlerbasisrate betrug 0,5, die beiden verschiedenen Systeme verfügten über dieselbe Sensitivität d =1,67. Das binäre System hatte ein neutrales Kriterium und 47

48 4. Likelihood Alarmsysteme damit eine PPV von 0,8. Beim LAS waren sowohl der Gut- als auch der Alarmbereich zusätzlich von jeweils einem Schwellenwert unterteilt (vgl. Abbildung 5d). Die Angaben der Autoren bezüglich der Schwellenwerte bzw. der resultierenden PPVs des LAS sind nicht eindeutig interpretierbar. Variiert wurden darüber hinaus auch die Ausgabemodalitäten der Alarmsysteme. Verglichen wurde eine visuelle Anzeige (farblich kodiert) mit einer auditiven (Variation synthetischer Sprachkommandos). Die für das binäre System verwendeten Farben waren Weiß und Rot, beim LAS wurden die unterschiedlichen Likelihood-Stufen von niedrig nach hoch durch Weiß, Grün, Gelb und Magenta repräsentiert. Insgesamt sechs Versuchspersonen arbeiteten nacheinander in derselben Reihenfolge mit allen verschiedenen Varianten. Sie erhielten eine Basisbezahlung sowie einen leistungsabhängigen Bonus für ihre Performanz in beiden Aufgaben. Die Auswertung zeigte, dass die Alarmmodalität keinen Einfluss auf die Leistung in den beiden parallelen Aufgaben hatte. Die Art des Alarmsystems (binär vs. LAS) führte nicht zu Leistungsunterschieden in der tracking-aufgabe. Bei der Überwachung zeigte sich hingegen ein signifikanter Vorteil für die Leistung bei LAS- Nutzung. Dieser Effekt trat allerdings nur unter hoher Belastung (schwierigeres tracking) auf. Bei niedriger Belastung unterschied sich die Leistung bei der Überwachung nicht in Abhängigkeit der beiden verschiedenen Alarmsysteme. Diese Untersuchung lieferte erste Hinweise darauf, dass LAS in speziellen Situationen einen Vorteil für die Überwachungsleistung erbringen können. Die Autoren begründen dies mit einer besseren Aufmerksamkeits-Allokation zwischen den verschiedenen Aufgaben. Allerdings wurden keine Verhaltensdaten berichtet, die diese These belegen könnten. Weitere Einschränkungen dieser Studie bestehen in der geringen Probandenzahl sowie dem nicht ausbalancierten Messwiederholungsdesign, die der Studie einen eher explorativen Charakter verleihen. Während diese Ergebnisse noch recht uneindeutig waren, konnten Fallon, Bustamante und Bliss (2005) zeigen, dass LAS sowohl in der Lage sind, die Beanspruchung der Probanden zu reduzieren als auch ihr Situationsbewusstsein zu steigern. Weiterhin kann die Nutzung von LAS dazu beitragen, die Sensitivität des Mensch-Maschine-Systems zu steigern (Bustamante, 2005), indem es die Reaktionshäufigkeit gegenüber echten Alarmen erhöht und gegenüber falschen Alarmen reduziert (Bustamante & Bliss, 2005). In den genannten Untersuchungen wurden immer sogenannte FA-prone systems (zu FAs neigende Systeme) untersucht. Diese verfügen über ein liberales Kriterium und generieren viele FAs im Vergleich zu wenigen oder gar keinen misses. In einer Untersuchung mit miss-prone systems (zu misses neigende Systeme) von Clark, Peyton und Bustamante (2009) konnte hingegen keine Leistungssteigerung durch LAS nachgewiesen werden. Allerdings wurde in der Studie nicht der Gutbereich unterteilt 48

49 4. Likelihood Alarmsysteme (vgl. Abbildung 5c), was in Anbetracht einer niedrigen NPV naheliegend wäre, sondern der Alarmbereich des Systems (vgl. Abbildung 5b bzw. e). Die Effekte einer Steigerung der NPV durch Unterteilung des Gutbereichs bei miss-prone systems wurden bisher nicht untersucht. Wickens und Colcombe (2007) beschäftigten sich mit der Frage des potentiellen Vorteils von LAS im Hinblick auf parallele Arbeitsaufgaben, wobei sie keinen solchen nachweisen konnten. Allerdings handelte es sich bei ihrer Überwachungsaufgabe um air traffic conflict detection (Konflikterkennung im Luftraum), bei der es darum ging zu verhindern, dass andere Flugzeuge in den eigenen Sicherheitsraum eindrangen. Den Probanden stand ein Display zur Verfügung, auf dem die Bewegungen der anderen Flugzeuge und der eigene Sicherheitsraum permanent angezeigt wurden. Demnach handelte es sich in dieser Untersuchung eher um abgestufte Warnungen, als um LAS. Die Annahme, dass eine Warnung bei größerer Distanz des anderen Flugzeugs zu einer verzögerten Hinwendung zum Konflikt führen würde, was der Parallelaufgabe zugutekommen sollte, konnte hierbei nicht bestätigt werden. Während die Probanden in dieser Studie permanenten Zugriff auf eindeutig zu interpretierende Rohdaten hatten, untersuchte Bustamante (2008) die Wirkung einer Kombination aus dreistufigem LAS mit der Option, aktiv auf Rohdaten zugreifen zu können, welche einen bestimmten Prozentsatz an Informationen lieferten. Hierbei wurden ebenfalls ein LAS und ein binäres Alarmsystem mithilfe der Multi-Attribute- Task-Battery (MAT-Battery, Comstock & Arnegard, 1992) verglichen, die mehrere Pilotenaufgaben parallel simuliert. Bei den beiden Parallelaufgaben handelt es sich um eine Ressourcen-Aufgabe, bei der ein optimales Level an Treibstoff aufrecht erhalten werden muss sowie um eine tracking-aufgabe. Durch unterschiedliche Schwierigkeitsgrade beider Aufgaben wurde die Belastung der Probanden variiert. Die Alarmaufgabe bestand in der Überwachung der Triebwerksfunktionen mithilfe eines automatisierten Alarmsystems. Bei den verwendeten Alarmsystemen handelte es sich um ein binäres System mit einer PPV von 0,18 und um ein dreistufiges LAS mit einer Warn-PPV von 0,05 und einer Alarm-PPV von 0,88, was einer zusätzlichen Teilung des Alarmbereichs entspricht (vgl. Abbildung 5b bzw. e). Angaben zur Sensitivität und zur Fehlerbasisrate wurden nicht gemacht. Die Systemausgaben erfolgten multimodal durch farbliche und auditive Codierung. Der Alarm des binären Systems wurde durch eine gelbe Anzeige und das Wort warning (Warnung) repräsentiert, ebenso die mittlere Stufe des LAS. Die höchste Likelihood-Stufe wurde mit einer roten Anzeige und dem Wort danger (Gefahr) kenntlich gemacht. Die beiden Variablen Belastung und Alarmsystem wurden in einem Messwiederholungsdesign als Innersubjektfaktoren in ausbalancierter Reihenfolge erhoben. Als Zwischensubjektfaktor diente die Möglichkeit des aktiven Zugriffs auf Zusatzinformationen, mithilfe derer die Probanden die Validität 49

50 4. Likelihood Alarmsysteme der Systemdiagnosen bewerten konnten. Die vorhandenen Zusatzinformationen konnten die Unsicherheit jedoch nicht auf null reduzieren, sondern maximal auf 22% absenken. Über eine etwaige Vergütung der Probanden finden sich keine Angaben. Die Analysen zeigten, dass eine hohe Belastung die Reaktionshäufigkeit der Probanden auf Alarme und Warnungen reduzierte. Denselben Effekt hatten auch die Zusatzinformationen. Diese führten darüber hinaus auch zu einer besseren Überwachungsleistung, allerdings nur, wenn ein binäres Alarmsystem verwendet wurde. Bei LAS-Nutzung fand sich kein Unterschied. Die Nutzung von LAS führte jedoch insgesamt zu einer signifikant besseren Leistung bei der Überwachung. Dieser Effekt verstärkte sich unter hoher Belastung zusätzlich. Angaben zur Leistung in den parallelen Arbeitsaufgaben wurden nicht gemacht. Der Autor geht davon aus, dass die höhere Leistung bei LAS-Nutzung darauf zurückzuführen ist, dass sich die Reaktionshäufigkeiten bei Alarmen erhöhen, während sie sich bei Warnungen reduzieren. Verhaltensdaten wurden jedoch nicht berichtet. 4.4 Kritische Diskussion bisheriger Forschung zu LAS Besonders die von Sorkin et al. (1988) und Bustamante (2008) durchgeführten Untersuchungen liefern erste wertvolle Erkenntnisse zum Einfluss von LAS auf die Leistung von Operateuren. Dennoch weisen beide Untersuchungen einige Merkmale im Design und Ablauf auf, die die Ergebnisse beeinträchtigt haben könnten bzw. ihre Interpretation erschweren. In beiden Studien wurde ein Messwiederholungsdesign verwendet. Es ist nicht auszuschließen, dass die mentale Repräsentation, welche sich die Probanden von den unterschiedlichen Systemen und ihren jeweiligen Alarm- und Warn-PPVs machten, durch die Nutzung von zwei unterschiedlichen Systemen nacheinander verzerrt wurde. Da in keiner der beiden Studien Abfragen der mentalen Repräsentation erfolgten, lässt sich darüber jedoch nur spekulieren. Ein weiteres Problem, welches ebenfalls mit der mentalen Repräsentation zusammenhängt, ist die inkonsistente farbliche und verbale Bezeichnung der verschiedenen Stufen. Der jeweilige Alarmbereich des binären und des LAS wurde auf unterschiedliche Weise dargestellt. Bei Bustamante (2008) könnte die Bezeichnung der Alarmstufe des binären Systems als warning dazu beigetragen haben, dass die Probanden die Dringlichkeit der Meldung unterschätzten, während die rote Farbe und das Wort danger beim LAS einen stärkeren Aufforderungscharakter hatten. Die wahrgenommene Dringlichkeit könnte demnach für die gefundenen Leistungsunterschiede zwischen den zwei Systemarten verantwortlich sein, indem sie das Verhalten der Probanden beeinflusste, 50

51 4. Likelihood Alarmsysteme wie es auch in einer Studie von Bliss, Dunn et al. (1995) gezeigt werden konnte. Eine weitere mögliche Erklärung dafür, dass die Effekte des LAS bei Bustamante (2008) viel ausgeprägter waren als bei Sorkin et al. (1988), ist der starke Unterschied in der Höhe der Kriterien der verwendeten binären Systeme. In der letztgenannten Studie verfügte das binäre System über ein neutrales Kriterium, was zu einer sehr hohen PPV von 0,8 führte. Bei derart hohen PPVs kommt es in der Regel nicht zum cry wolf Effekt (Gérard, 2012). Die geringen Unterschiede zwischen dem binären und dem LAS, welche sich nur unter hoher Belastung zeigten, könnten demnach auch durch einen Deckeneffekt zu erklären sein. Bei dem von Bustamante (2008) verwendeten Schwellenwert des binären Systems, der eine PPV von 0,18 erzeugte, zeigte sich die Wirkung des LAS stärker und auch bei niedrigerer Belastung. Die Einführung eines zweiten Schwellenwerts beim LAS führte hier zu einer starken Erhöhung der Alarm-PPV auf 0,88, während die Erhöhung bei Sorkin et al. (1988) von 0,8 auf einen (geschätzten) Wert von 0,85-0,95 eine deutlich geringere Verbesserung darstellt. Im Zusammenhang mit binären Alarmsystemen konnte gezeigt werden, dass die Höhe des Kriteriums bzw. Schwellenwerts einen Einfluss auf das Verhalten der Probanden hat, indem es ihre Reaktionszeiten und -häufigkeiten beeinflusst. Je höher (konservativer) der Schwellenwert, desto kürzer die Reaktionszeiten (z.b. Bustamante, Bliss, & Anderson, 2007; Getty et al., 1995) und -häufigkeiten (Gérard & Manzey, 2010) der Probanden. Dementsprechend ist es möglich, dass auch die zusätzliche Schwellen des LAS in Abhängigkeit ihrer Höhe das Verhalten der Nutzer beeinflussen kann. Eine Verschiebung des Antwortkriteriums des Nutzers in Abhängigkeit des zusätzlichen Schwellenwerts des LAS könnte demnach Auswirkungen auf die Ausgangsgrößen des MMS (in Form einer Kombination aus Mensch und Alarmsystem) und damit auf die Sensitivität des MMS haben. Eine Verbesserung der MMS-Sensitivität und damit der Leistung kann ebenfalls durch die Gabe von Zusatzinformationen erfolgen. In der Untersuchung von Bustamante (2008) führte neben dem LAS auch die Bereitstellung von Zusatzinformationen in Form von Rohdaten zu einer Leistungssteigerung in der Überwachung. Dieser Effekt entspricht den Befunden von Gérard und Manzey (2010). Die Leistungssteigerung stellte sich jedoch nur ein, wenn ein binäres System verwendet wurde, nicht aber bei einem LAS. Während die Probanden in der Untersuchung von Gérard und Manzey (2010) mithilfe von Zusatzinformationen in der Lage waren, ihre Unsicherheit in Bezug auf die Alarmvalidität auf null zu reduzieren, blieb bei Bustamante (2008) eine Restunsicherheit von 22%. Das LAS lieferte den Probanden jedoch bereits eine Wahrscheinlichkeitsinformation. Während die Zusatzinformationen beim binären System zu einer starken Reduktion der Unsicherheit führte, war die Verbesserung beim LAS verhältnismäßig gering. Es ist demnach denkbar, dass die 51

52 4. Likelihood Alarmsysteme Probanden bei der LAS-Nutzung nicht gewillt waren, den zeitlichen Aufwand einer Überprüfung der Diagnosen mithilfe der Zusatzinformation auf sich zu nehmen. Die Möglichkeit einer vollständigen Reduktion der Unsicherheit könnte hingegen bewirken, dass die Probanden auch beim LAS Gebrauch von einer Prüfoption machen würden, die ihnen Zugang zu weiteren Informationen wie z.b. Rohdaten gewährt. Wie häufig in der Studie von Bustamante (2008) tatsächlich geprüft wurde, kann aufgrund der fehlenden Verhaltensdaten jedoch nicht festgestellt werden. Dasselbe gilt für die Reaktionen auf die unterschiedlichen Stufen des LAS. Auch hierzu gibt es in dieser und der Studie von Sorkin et al. (1988) keine Angaben. Bustamante (2008) vertritt die Annahme, dass sich durch die Einführung von LAS die Reaktionshäufigkeit auf Alarme erhöht und dies zu einer Verringerung der Reaktionshäufigkeit bei Warnungen führt. Dieses Verhalten kann laut Sorkin et al. (1988) zu einer verbesserten Aufmerksamkeits-Allokation zwischen den verschiedenen Aufgaben führen. Sollte das tatsächlich der Fall sein, wäre zu erwarten, dass auch die Leistung in der Parallelaufgabe von der LAS-Nutzung profitiert. Wenn die Probanden aufgrund des LAS weniger Ressourcen in die Überwachung investieren müssen, können sie die zusätzlichen zeitlichen und mentalen Kapazitäten für die Bearbeitung der Parallelaufgaben nutzen. In den beiden beschriebenen Untersuchungen wurde ein solcher Effekt nicht gefunden, weder bei niedriger noch bei hoher Belastung. Dabei könnte die Erhöhung der Belastung durch die gesteigerte Schwierigkeit in der Parallelaufgabe mit dazu beigetragen haben, solche Effekte zu überdecken. Eine Erhöhung der Belastung unabhängig von der betrachteten Parallelaufgabe kann hingegen einer Konfundierung von Leistung und Belastung vorbeugen. Die getroffenen Annahmen bezüglich der Parallelaufgabe und des Einflusses der Schwellensetzung bedürfen jedoch ebenso wie die Annahmen zum Verhalten von Operateuren im Umgang mit LAS einer empirischen Überprüfung. 52

53 5. Ziel der Arbeit 5. Ziel der Arbeit In der vorliegenden Arbeit liegt der Fokus auf der Untersuchung der Verhaltenswirksamkeit von LAS und dem Einfluss verschiedener Schwellensetzungen auf die Sicherheit und die Produktivität in einer Mehrfachaufgaben-Umgebung. Dazu werden mehrere Studien präsentiert. In der ersten Studie wurde untersucht, welche Verhaltensänderungen LAS im Vergleich zu binären Systemen bewirken, bezogen auf die Antworthäufigkeit der Probanden bei Meldungen (Alarmen und Warnungen), welche vom Alarmsystem generiert werden. Ferner wurde analysiert, wie sich die erwarteten Änderungen im Verhalten auf die Leistung in einer Alarmaufgabe (Überwachungsaufgabe) auswirken und ob sie außerdem Einfluss auf die Leistung in einer Parallelaufgabe haben. Des Weiteren wurde untersucht, welche Wechselwirkungen sich aus der Kombination von LAS mit einer Prüfoption für die Probanden ergeben, die es ihnen gestattet, ihre Unsicherheit bezüglich der Validität der Diagnosen auf null zu reduzieren. Ergänzend wurde außerdem der Einfluss der jeweiligen Systemart auf das Vertrauen der Probanden gegenüber dem verwendeten Alarmsystem betrachtet. In der zweiten und dritten Studie wurde untersucht, welchen Einfluss unterschiedliche Schwellensetzungen bei LAS auf das Verhalten der Probanden sowie ihre Leistung in einer Alarm- und einer Parallelaufgabe haben. Ferner wurde analysiert, ob es aufgrund der Verschiebung des zweiten Schwellenwerts zu einer Verschiebung der Antwortkriterien der Probanden kommt. Dazu wurden die Sensitivität und das Kriterium des Mensch-Maschine-Systems ebenso wie die Häufigkeit der beiden Fehlerarten (FAs vs. misses) betrachtet. Zusätzlich wurde untersucht, ob sich der Einfluss der verschiedenen zweiten Schwellen der LAS in Abhängigkeit einer Variation der Belastung unterschiedlich verändert. In der zweiten Untersuchung erhielten die Probanden keinen Zugriff auf Zusatzinformationen und somit keine Möglichkeit zur Validierung der Alarminformation. In der dritten Studie stand ihnen eine solche Möglichkeit zur Verfügung, um ihnen eine komplette Unsicherheitsreduktion zu ermöglichen. 53

54 6. Versuchsumgebung M-TOPS 6. Versuchsumgebung M-TOPS Aufgrund der hohen Sicherheitsrelevanz von Alarmsystemen ist die Implementierung und Untersuchung neuer Konzepte im Feld, also in realen Arbeitsumgebungen wie z.b. Leitwarten, in diesem frühen Stadium der Evaluation nicht möglich. Eine gute Alternative bietet jedoch die Nutzung von Simulationen, die es ermöglichen, Aufgabenanforderungen aus der Praxis im Labor nachzubilden. Ein Vorteil von Laboruntersuchungen liegt zudem darin, dass kein Fachpersonal, wie Operateure, als Versuchspersonen gebraucht wird, was in hochkomplexen Arbeitsumgebungen anderenfalls nötig wäre. Die Rekrutierung von ausreichendem Fachpersonal für wissenschaftliche Forschung ist meist zu teuer und oft nicht in ausreichendem Maße möglich (Wallack & Adams, 1969). Ein weiterer Vorteil von Laboruntersuchungen besteht in der Durchführung von Untersuchungen unter kontrollierten Bedingungen, die den Einfluss von Störvariablen minimieren. Bei der Versuchsumgebung M-TOPS (Multi-Task Operator Performance Simulation) handelt es sich um ein computerbasiertes Mehrfachaufgaben-Paradigma. Die kognitiven Anforderungen der Aufgaben sind denen von Leitwartenmitarbeitern in der Prozessindustrie nachempfunden. M-TOPS wurde schon mehrfach zur Untersuchung der Verhaltenswirksamkeit von Alarmsystemen verwendet (z.b. Gérard & Manzey, 2010; Wiczorek & Manzey, 2010, 2011; Gérard, 2012). In diesem Paradigma ist die Alarmaufgabe als Qualitätskontrolle deklariert. Das ermöglicht zum einen, kontinuierlich Alarme zu generieren und es erlaubt zum anderen eine höhere Flexibilität in Bezug auf die gewählten Basisraten. Während des normalen Betriebs in Leitwarten kommt es zum Glück nur selten vor, dass die Operateure mit einer Vielzahl an Alarmen in kurzer Zeit umgehen und sich um die Handhabung kritischer Zustände kümmern müssen. Dennoch sind gerade diese Phasen hoher Belastung durch die parallele Alarm- Handhabung von Interesse und Relevanz. Die Aufgabe der Qualitätskontrolle, welche durch ein automatisches Prüfsystem unterstützt wird, erlaubt es hingegen, kontinuierlich Alarme zu generieren und somit eine durch viele Alarme beanspruchende Situation zu schaffen. Aus Gründen der Versuchsökonomie ist es außerdem schwierig, sehr niedrige Fehlerbasisraten zu wählen, die jedoch kennzeichnend für sicherheitsrelevante Bereiche wie Chemieanlagen sind. Im Falle sehr niedriger Basisraten müsste die Versuchsdauer deutlich erhöht werden (mindestens verdreifacht), was für die Versuchspersonen und Versuchsleiter eine erhebliche Mehrbelastung darstellt. In Bereichen der Qualitätskontrolle finden sich jedoch auch in der Praxis häufiger höhere Basisraten. Die Versuchsumgebung M-TOPS wurde in allen drei Experimenten verwendet und wird im Folgenden beschrieben. 54

55 6. Versuchsumgebung M-TOPS Eine ähnliche Beschreibung der Versuchsumgebung findet sich auch bei (Wiczorek & Manzey, 2011). Die Simulation umfasst drei Aufgaben; die Qualitätskontrolle des Endprodukts - chemikaliengefüllter Container, die mithilfe eines automatischen Prüfsystems erfolgt (Alarmaufgabe), die Bestellung von Chemikalien, welche für den chemischen Prozess benötigt werden (Bestellaufgabe) und den Austausch von Kühlwasser zur Kühlung des chemischen Prozesses (Tankfüllaufgabe). Die Aufgabe der Probanden besteht darin, zwei oder drei Aufgaben parallel zu bearbeiten und dabei möglichst viele Punkte zu erzielen. Für die jeweiligen Aufgaben werden ihnen unterschiedlich viele Punkte gutgeschrieben bzw. abgezogen. Abbildung 6 zeigt die Bildschirmansicht der Versuchsumgebung M-TOPS. Das Programm loggt alle Verhaltens- sowie Leistungsdaten der Personen mit. Abbildung 6: Bildschirmoberfläche M-TOPS Mit den drei parallelen Aufgaben (von links oben im Uhrzeigersinn) Bestellaufgabe, Tankfüllaufgabe und Alarmaufgabe (mit Prüfoption) Alarmaufgabe: Diese Aufgabe befindet sich in der rechten unteren Ecke des Bildschirms. In der Mitte des Quadranten ist die Prüfstation platziert. In einer Zeitspanne von 3 Sekunden fährt ein Container bzw. die Ansicht eines Containers (dargestellt durch ein graues Rechteck) von links nach rechts in die Prüfstation ein, verweilt dort für 5 Sekunden und fährt auf der anderen Seite wieder hinaus (Dauer ebenfalls 3 Sekunden). Die Qualitätskontrolle bzw. Kontrolle des Endprodukts besteht 55

56 6. Versuchsumgebung M-TOPS in der Beurteilung des Molekulargewichts des jeweiligen Containers, bevor dieser an den Kunden ausgeliefert wird. Befindet sich das Molekulargewicht im zulässigen Bereich, kann der Container die Prüfstation verlassen, ohne dass ein Eingriff erforderlich ist. Ist das Molekulargewicht zu hoch, muss die Temperatur im Container gesenkt werden, um das Molekulargewicht auf ein angemessenes Maß zu reduzieren. Das Senken der Temperatur erfolgt durch das Klicken des Bearbeiten -Buttons, welcher sich links unter der Prüfstation befindet. Die Probanden werden bei dieser Aufgabe durch ein automatisches System unterstützt, welches in der Station die Prüfung der Container vornimmt und mithilfe einer farbigen Anzeige eine Diagnose abgibt. Zusätzlich wird diese im Zustandsmonitor schriftlich dargestellt, welcher sich rechts unterhalb der Prüfstation befindet. Alle Meldungen werden visuell realisiert, da Untersuchungen zeigen, dass auditive Meldungen von den Probanden häufig als unangenehm und störend wahrgenommen werden (Marshall et al., 2007) und diese keinen Vorteil gegenüber visuellen Meldungen erbringen (Sorkin et al., 1988). In der Laborsituation kann außerdem im Gegensatz zur Leitwarte davon ausgegangen werden, dass die Probanden ihre Aufmerksamkeit nicht vom Monitor abwenden, dadurch ist ein Verpassen der visuellen Meldung unwahrscheinlich. Das Prüfsystem kann in der Anzahl seiner Stufen variieren. Handelt es sich um ein binäres (zweistufiges) System, verfügt es über eine rote (links) und eine grüne (rechts) Anzeige. Zeigt das System Rot an, erscheint im Zustandsmonitor die Mitteilung: Alarm Das Molekulargewicht in Container (Nr.) ist zu hoch. Bei einer grünen Diagnose erscheint im Zustandsmonitor der Text: Das Molekulargewicht in Container (Nr.) ist ok. Das dreistufige LAS verfügt über dieselben Stufen wie das binäre System und hat zusätzlich eine dritte Stufe. Die dritte Diagnoseoption des Systems wird durch eine amberfarbene Anzeige (mittig) dargestellt. Im Zustandsmonitor wird diese durch den Text: Warnung das Molekulargewicht in Container (Nr.) ist eventuell zu hoch. angezeigt. Das jeweilige System liefert jedoch nur die Diagnose, die Entscheidung über eine Bearbeitung des Containers obliegt den Probanden. M-TOPS bietet weiterhin die Möglichkeit, den Probanden eine sogenannte Prüfoption zur Verfügung zu stellen. Dann befindet sich über dem Bearbeiten -Button ein weiterer, der Prüfen -Button. Wenn sich ein Container in der Prüfstation befindet, kann der Proband auf den Prüfen -Button klicken. Daraufhin öffnet sich ein Bild der Innenansicht des Containers (Abbildung 7). In der Abbildung befinden sich rote Markierungen auf grünem Grund. Sind 15 Markierungen zu sehen, ist das Molekulargewicht des Containers in Ordnung. Bei 16 Markierungen ist das Gewicht zu hoch und sollte durch Temperatursenkung reguliert werden. Die Probanden können nach der Prüfung entweder auf Bearbeiten oder auf einen Weiter -Button klicken, der während der Prüfprozedur über dem 56

57 6. Versuchsumgebung M-TOPS Bearbeiten -Button angezeigt wird. Während die Innenansicht des Containers geöffnet ist, sind die Schaltflächen der anderen beiden Aufgaben deaktiviert. Das soll verhindern, dass die Probanden eine Containeransicht öffnen und diese nicht bearbeiten, um Zeit für die Bearbeitung der anderen Aufgaben zu gewinnen. Abbildung 7: Geöffnete Containeransicht in M-TOPS Ausschnitt aus der Bildschirmansicht von M-TOPS, Alarmaufgabe, geöffnete Containeransicht nach Klicken auf Prüfen-Button Bestellaufgabe: Diese Aufgabe befindet sich in der linken oberen Ecke des Bildschirms. Die Probanden müssen durch Subtrahieren des Vorrats vom Bedarf die für den Prozess benötigte Menge einer Chemikalie berechnen und anschließend bestellen. Oben wird die Nummer der jeweiligen Chemikalie angezeigt. Im Feld darunter der aktuelle Vorrat der Chemikalie und darunter der Bedarf. Im Feld darunter kann die Bestellmenge eingetragen werden. Dies geschieht nach Anklicken mit der Maus über die Zahlen der Tastatur. Ganz unten befindet sich ein Abschicken -Button. Wird dieser betätigt, wird die Bestellung der Chemikalienmenge versandt. Durch Klicken der Pfeiltaste in der rechten oberen Ecke erscheint die nächste Bestellaufgabe. Wird die Pfeiltaste nicht betätigt, erscheint die nächste Aufgabe nach drei Sekunden automatisch. Jede Aufgabe wird für 15 Sekunden angezeigt, danach erscheint automatisch die nächste, wenn die Bestellung noch nicht abgeschickt wurde. Dadurch soll das Gefühl des Zeitdrucks erhöht werden. Tankfüllaufgabe: diese Aufgabe befindet sich in der rechten oberen Ecke des Bildschirms. Die Aufgabe der Probanden ist es, das verbrauchte, also warme Kühlwasser gegen frisches kaltes Kühlwasser auszutauschen. Sie bekommen jeweils einen bestimmten Bereich der Anlage angezeigt, dessen Kühlsystem aus zwei Tankbehältern besteht. Oben wird die Nummer des jeweiligen Bereichs angezeigt. In 57

58 6. Versuchsumgebung M-TOPS einer vorgegebenen Abfolge aus Schritten müssen sie das alte Kühlwasser ablassen und die Behälter mit neuem Kühlwasser befüllen. Hierzu müssen sie die zwei Zu- und die zwei Ablaufventile unter Einhaltung vorgegebener Regeln öffnen und schließen. Es können nie zwei Zu- oder zwei Ablaufventile gleichzeitig geöffnet sein. Dementsprechend muss zuerst einer der beiden Behälter entleert werden, danach der andere. Währenddessen muss der erste Behälter befüllt werden, der zweite dann im Anschluss. Wenn beide Behälter mit frischem Wasser gefüllt und alle Ventile geschlossen sind, kann durch Klicken der Pfeiltaste unten rechts ein neuer Bereich angefordert werden. Aufgrund der Verzögerung beim Ablaufen und Einfüllen des Wassers verfügt diese Aufgabe über sogenannte Totzeiten (wie sie auch in der Prozessindustrie häufig auftreten). Ein kompletter Austausch des Kühlwassers dauert ca. 40 Sekunden, wobei die Ablauf- und Einfüllzeiten der beiden Behälter von Durchgang zu Durchgang variieren, um zu vermeiden, dass die Probanden zeitliche Strategien entwickeln. 58

59 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS 7.1 Forschungsfrage Experiment 1 Im vorliegenden Experiment soll ein LAS mit einem binären Alarmsystem im Rahmen eines Mehrfachaufgaben-Paradigmas bei Vorhandensein und Abwesenheit einer Prüfoption verglichen werden. Bei dem binären System handelt es sich um ein System mit liberalem Kriterium welches eine dementsprechend hohe Anzahl von FAs generiert. Das LAS verfügt über dieselbe erste Schwelle und eine zusätzliche zweite Schwelle. Betrachtet wird dabei der Einfluss der Systemart auf das Verhalten der Probanden gegenüber den unterschiedlichen Diagnosen der Systeme, die Leistung von Probanden in einer Alarm- und einer Parallelaufgabe, sowie ihr Vertrauen in die verwendeten Systeme. In den beschriebenen Untersuchungen von Sorkin et al. (1988) und Bustamante (2008) zeigte sich die Überlegenheit von LAS gegenüber binären Alarmsystemen in Bezug auf die Überwachungs- bzw. Alarmaufgabe. Die Autoren erklären die Überlegenheit von LAS durch eine Verhaltensänderung der Probanden. Sie gehen davon aus, dass Probanden häufiger auf Alarme und weniger häufig auf Warnungen des LAS reagieren. Diese Theorie kann durch Befunde zum Umgang mit binären Alarmsystemen gestützt werden, die zeigen, dass es bei höheren PPVs zum häufigeren Bearbeiten kommt, als bei niedrigen PPVs (z.b. Bliss, Gilson et al., 1995; Wiczorek & Manzey, 2010). Entsprechend sollte die hohe Alarm-PPV des LAS zu einem häufigeren Bearbeiten führen als die niedrige Warn-PPV. In der vorliegenden Studie soll die Analyse der Antworthäufigkeiten von Probanden in der Interaktion mit binären und LAS Aufschluss über die tatsächliche Verhaltenswirksamkeit von LAS liefern. Es wird davon ausgegangen, dass die leistungssteigernde Wirkung des LAS durch eine differenziertere Strategie im Umgang mit dem System erzielt werden kann. Zunächst werden die Erwartungen in Bezug auf die Verhaltensdifferenzierungen bei LAS ohne Prüfoption und ihre möglichen Effekte auf die Leistung in den Aufgaben dargestellt. Im Anschluss werden Annahmen bezüglich des Umgangs der Probanden mit LAS mit Prüfoption gemacht und die erwarteten Konsequenzen für die Leistung. Bei einem binären System mit einer niedrigen PPV, das nicht über eine Prüfmöglichkeit verfügt, stehen als Verhaltensstrategien entweder das probability matching oder das negative extreme responding (Ignorieren aller Meldungen) zur Verfügung. Beide Heuristiken können viele Fehlentscheidungen bewirken, die wiederum zu einem cry 59

60 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS wolf Effekt führen können. Ein solches binäres System bietet den Nutzern nicht ausreichend Informationen, um eine differenziertere Handlungsstrategie anzuwenden. Das LAS bietet den Probanden hingegen die Möglichkeit ihre Antwortstrategie in Abhängigkeit der verschiedenen Stufen zu optimieren. Durch die zusätzliche Wahrscheinlichkeitsinformation des LAS wird die Unsicherheit der Probanden bei der Wahl der angemessenen Reaktion reduziert und es bietet die Möglichkeit einer differenzierten Strategienwahl in Abhängigkeit der jeweiligen Meldungs-Stufe. Es wird davon ausgegangen, dass die LAS-Nutzer auf Alarme mit einem positiven extreme responding (direktes Bearbeiten aller Alarme) reagieren, da das LAS über eine hohe Alarm-PPV verfügt. In einer Studie zu binären Alarmsystemen wählten die Probanden ein positives extreme responding als häufigste Strategie bei hohen PPVs (Wiczorek, 2012). Hingegen wird erwartet, dass sie bei Warnungen aufgrund der niedrigen Warn- PPV zu einer probability matching Strategie tendieren, ebenso wie die Nutzer des binären Systems bei Alarmen, da Probanden auf mittlere PPVs binärer Systeme am häufigsten mit dieser Strategie reagieren (Bliss, Gilson et al., 1995). Ein positives extreme responding bei Alarmen würde die Trefferwahrscheinlichkeit erhöhen, in Kombination mit einem probability matching bei Warnungen, deren Warn-PPV niedriger ist, als die Alarm-PPV beim binären System würde sich gleichzeitig die Gesamtantworthäufigkeit reduzieren. Die Reaktionen der Nutzer in Bezug auf Normal- Meldungen also die grünen Diagnosen sollten sich nicht unterscheiden, da es keine Unterschiede in der NPV der verwendeten Systeme gibt. Aufgrund der erwarteten verhaltensdifferenzierenden Wirkung von LAS wird angenommen, dass die Nutzung von LAS nicht nur, wie in den beschriebenen Studien, zu einer Leistungsverbesserung in der Alarmaufgabe führt, sondern darüber hinaus auch die Leistung in einer parallelen Arbeitsaufgabe verbessert. Voraussetzung dafür ist eine Reduktion der Gesamtantworthäufigkeit, wie es in der Studie von Bustamante und Bliss (2005) der Fall war. Aufgrund der selteneren Interaktion mit der Alarmaufgabe sollten den Probanden mehr zeitliche und Aufmerksamkeitsressourcen zur Verfügung stehen. Eine Investition dieser Ressourcen in eine parallele Aufgabe sollte in dieser entsprechend zu einer Leistungssteigerung führen. Anreize zur Investition gewonnener Ressourcen sollen durch leistungsabhängige Vergütung der Probanden geschaffen werden. Unter der Bedingung, dass den Teilnehmern eine Prüfoption zur Verfügung steht, sollte es hingegen zu einer anderen Art von Verhaltensdifferenzierung kommen. Das starke Bedürfnis nach Unsicherheitsreduktion sollte bei den Nutzern des binären Systems dazu führen, dass sie den Großteil der vom System generierten Meldungen überprüfen, wie 60

61 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS es in der Studie von Gérard und Manzey (2010) der Fall war. Ein Überprüfen nahezu aller Meldungen sollte im Vergleich zu der Bedingung ohne Prüfoption einerseits zu einer Verbesserung der Leistung in der Alarmaufgabe führen und gleichzeitig die Leistung in der Parallelaufgabe beeinträchtigen, da weniger zeitliche und Aufmerksamkeitsressourcen zu ihrer Bearbeitung zur Verfügung stehen. In einer Studie von Gérard (2012) dominierte das Prüfen als Reaktion auf einen Alarm jedoch nicht bei allen Systemen. Wenn das verwendete binäre Alarmsystem über eine sehr hohe PPV von mindestens 0,85 verfügte, bearbeiteten die Probanden den Großteil der Alarme direkt und reduzierten ihr Prüfverhalten stark. Die Parallelaufgabe profitiert von häufigem direktem Bearbeiten, da dieses weniger zeitintensiv ist als Prüfen. Es ist anzunehmen, dass eine hohe Alarm-PPV des LAS zu einem ähnlichen Effekt führen kann wie eine hohe PPV beim binären System. Die Probanden sollten als Reaktion auf Alarme häufiger mit direktem Bearbeiten als mit Prüfen reagieren. Die Warnungen des LAS sollten hingegen aufgrund der niedrigen Warn-PPV zu einem sehr hohen Anteil überprüft werden. Diese Verhaltensdifferenzierung bei LAS in Bezug auf Alarme und Warnungen könnte die Beeinträchtigung der Leistung in der Parallelaufgabe reduzieren. Durch das direkte Bearbeiten von Alarmen können wertvolle zeitliche Ressourcen eingespart werden, die stattdessen in die parallele Arbeitsaufgabe investiert werden können. Im Gegensatz zu der von Bustamante (2008) verwendeten Prüfoption soll es den Probanden in dieser Studie ermöglicht werden, ihre Unsicherheit auf null zu reduzieren. Es wird davon ausgegangen, dass die Tatsache, dass der Autor die beschriebenen Effekte nicht finden konnte, möglicherweise auf die verbleibende Restunsicherheit von 22% zurückgeführt werden kann. Dementsprechend könnte eine Prüfoption ohne Restunsicherheit, wie sie z.b. von Gérard und Manzey (2010) verwendet wurde, die Leistung aller Probanden in der Alarmaufgabe steigern. In Bezug auf Normal-Meldungen wird erwartet, dass es bei keinem der Systeme zu einem direkten Bearbeiten kommt und auch von der Prüfoption bei beiden Systemen sehr selten Gebrauch gemacht wird, wie es die Befunde von Gérard (2012) nahelegen. Bei einer NPV von 0,98, die der hier verwendeten NPV entspricht, kam es in der besagten Untersuchung nicht zur direkten Bearbeitung von Normal-Meldungen und äußerst selten zum Prüfen derselben. Es wird angenommen, dass die Verhaltensunterschiede bei binären Alarmsystemen und LAS auf ein höheres Vertrauen gegenüber dem LAS zurückgeführt werden können. Dieses höhere Vertrauen sollte sich sowohl durch die höhere wahrgenommene Zuverlässigkeit der Alarme (Lee & Moray, 1992) als auch durch die größere Transparenz des LAS ergeben (Wiczorek, 2011). Es wird davon ausgegangen, dass die Probanden dem LAS stärker vertrauen als dem binären System, da ihr Vertrauen im 61

62 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Gegensatz zu dem der Nutzer des binären Systems nicht so stark durch eine hohe Anzahl FAs beeinträchtigt wird. Diese Annahme beruht auf der Überlegung, dass falsche Warnungen im Gegensatz zu FAs nicht als Fehler des Systems interpretiert werden. Zur Überprüfung dieser Annahme soll auch in dieser Studie das Vertrauen der Probanden gegenüber den verwendeten Alarmsystemen erhoben und verglichen werden. Während in Bezug auf das Vertrauen in Alarme ein Unterschied zugunsten des LAS erwartet wird, sollte sich das Vertrauen in Normal-Meldungen nicht zwischen den beiden Systemarten unterscheiden. Die Darstellung und Beschreibung der Forschungshypothesen findet sich in Abschnitt 7.3 vor dem Ergebnisteil. 7.2 Methode Experiment Stichprobe An dieser Studie nahmen 60 Versuchspersonen (30 davon weiblich) im Alter zwischen 19 und 38 Jahren (MW: 26,74; SD: 4,46) teil. Die Rekrutierung der Teilnehmer erfolgte über den Probandenserver PESA der Humboldt Universität Berlin. Bei 40 Teilnehmern handelte es sich um Studenten, 15 waren berufstätig und sechs gaben an, weder zu studieren noch berufstätig zu sein. 19 Teilnehmer hatten einen naturwissenschaftlichen bzw. ingenieurswissenschaftlichen Hintergrund, 41 kamen aus anderen Disziplinen. Keiner der Teilnehmer hatte eine Rot-grün-Schwäche. Die Teilnahme am Experiment erfolgte freiwillig. Die Versuchspersonen erhielten für ihre Teilnahme eine Aufwandsentschädigung, welche sich aus einer Basisbezahlung von 10 und einer leistungsabhängigen Bezahlung von bis zu 10 zusammensetzte. Jeder Teilnehmer wurde zufällig einer von vier Experimentalgruppen zugeteilt, sodass es 15 Teilnehmer pro Gruppe gab. Dabei wurde auf eine Ausbalancierung der Geschlechter geachtet Versuchsumgebung Zur Durchführung des Experiments wurde die beschriebene Versuchsumgebung M- TOPS verwendet. Allerdings bearbeiteten die Teilnehmer in diesem Experiment nur zwei der drei Aufgaben; die Alarmaufgabe und die Bestellaufgabe Auszahlungssystem Das Ziel des Auszahlungssystems bestand darin, einen Anreiz für gute Leistungen in den beiden Aufgaben zu schaffen, indem die Probanden auf Basis der erreichten Punkte 62

63 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS leistungsabhängig vergütet wurden. Weiterhin sollte mit Hilfe des Auszahlungssystems eine Konkurrenz zwischen den beiden Aufgaben hergestellt werden. Überwachungsaufgaben stellen in der Praxis meist Sekundäraufgaben dar, für deren Bearbeitung der Operateur seine primären Arbeitsaufgaben unterbrechen muss (Wickens & Horrey, 2008). Dass bedeutet nicht, dass diese Aufgaben weniger wichtig sind, allerdings stehen sie in unmittelbarer zeitlicher Konkurrenz zur aktuell durch den Operateur bearbeiteten Aufgabe. Es ist oft nicht möglich, die primäre Arbeitsaufgabe zugunsten der Alarm-Handhabung komplett abzubrechen. Vielmehr müssen die Operateure adäquate Möglichkeiten zur parallelen Bewältigung mehrerer Anforderungen finden. Um diese Konkurrenz auch in der Simulationsumgebung abzubilden, erhielten die Teilnehmer für jede richtige Lösung einer Bestellaufgabe 1,5 Pluspunkte, während ihnen für falsche Entscheidungen bei der Containerbearbeitung 2 Punkte abgezogen wurden. Falsche Entscheidungen waren sowohl das unnötige Bearbeiten eines intakten Containers als auch das Unterlassen der Bearbeitung eines Containers mit zu hohem Molekulargewicht. Die Höhe der jeweiligen Punkte ergab sich aus der Analyse der Zeitstruktur der beiden Aufgaben, die von Gérard (2012) vorgenommen wurde. Die gewonnenen Punkte wurden den Teilnehmern am Ende des Experiments zusätzlich zu ihrer Basisvergütung ausgezahlt, wobei jeder Punkt mit zwei Cent vergütet wurde Design Bei dem Versuchsplan der Untersuchung handelte es sich um ein 2 (binäres Alarmsystem vs. LAS) x 2 (mit vs. ohne Prüfen) Design mit unabhängigen Stichproben. Der Versuchsplan ist in Tabelle 2dargestellt. Tabelle 2: Versuchsplan Experiment 1 (n=teilstichprobe) 63

64 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Die beiden verwendeten Alarmsysteme verfügten über dieselbe Sensitivität d und über denselben ersten Schwellenwert bzw. Kriterium c. Das Überschreiten des Kriteriums c durch den gemessenen Wert kennzeichnete ein Verlassen des Gutbereichs. Die Größe der Gutbereiche beider Systeme war aufgrund dieser Schwellenwertfestsetzung gleich und in Konsequenz verfügten beide über dieselbe NPV. Es wurde bewusst darauf geachtet, keine zusätzliche Varianz durch eine Variation der NPV zu schaffen. Veränderungen in der NPV könnten zu Unterschieden in der reliance der Probanden führen, was sich wiederum in der Leistung in den parallelen Arbeitsaufgaben niederschlagen und so die Vergleichbarkeit der beiden Systeme erschweren könnte (Wickens et al., 2005). Im Unterschied zum binären System verfügte das LAS zusätzlich über eine zweite Schwelle c*. Diese unterteilte den verbleibenden Bereich in einen Warnbereich und einen Alarmbereich, während das binäre System nur über einen Alarmbereich verfügte. Die PPV-Werte der zwei Systeme waren im Gegensatz zur NPV nicht identisch. Die Alarm-PPV des LAS war höher als die des binären Systems, der Wert der Warn-PPV lag unter dem der binären Alarm-PPV. Der Schwellenwert c* des LAS wurde in Anlehnung an die Studie von Bustamante (2008) so gewählt, dass sich eine Alarm-PPV von 0.88 ergab. Diese Alarm-PPV hatte in der besagten Untersuchung dazu geführt, dass die LAS-Nutzer eine bessere Leistung in der Überwachungsaufgabe erzielten als die Nutzer des binären Systems. Tabelle 3 gibt einen Überblick über alle relevanten Systemparameter der verwendeten Alarmsysteme. Tabelle 3: Systemparameter Experiment 1 SDT-Parameter für das binäre Alarmsystem und das LAS 64

65 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Die eine Hälfte der Teilnehmer arbeitete mit dem beschriebenen binären Alarmsystem, die andere mit dem LAS. Jeweils die Hälfte beider Gruppen arbeitete mit einer M-TOPS Version die ihnen die Überprüfung der Rohdaten gestattete. Durch das Klicken des Prüfen -Buttons konnten die Probanden die Innenansicht des jeweiligen Containers öffnen und durch das Zählen der Markierungen überprüfen, ob das Molekulargewicht des Containers angemessen oder zu hoch war. Diese Information war immer zu 100% valide und gestattete den Probanden dadurch eine komplette Reduktion ihrer Unsicherheit. Die andere Gruppe verfügte nicht über diese Möglichkeit. In ihrer M- TOPS Version existierte kein Prüfen -Button. Die Probanden konnten die Container entweder ignorieren oder bearbeiten Abhängige Variablen In dieser Untersuchung wurden abhängige Variablen zum Verhalten der Probanden gegenüber den verschiedenen Meldungsarten der zwei unterschiedlichen Alarmsysteme, zur Leistung der Probanden in den zwei parallelen Arbeitsaufgaben (Alarm- und Bestellaufgabe) und zum Vertrauen der Probanden in die verwendeten Alarmsysteme erhoben Verhaltensdaten Um die Verhaltenswirksamkeit der zwei verschiedenen Alarmsysteme zu analysieren, wurden die Reaktionen der Teilnehmer auf die unterschiedlichen Diagnosen der Alarmsysteme ausgewertet, die von der Simulationsumgebung M-TOPS geloggt wurden. Verhalten im Umgang mit dem Alarmsystem wurde dabei einerseits in Form von Reaktions-Raten und andererseits in Form von Antwortstrategien operationalisiert. Die Antwortstrategien wurden nur für die beiden Gruppen (binäres und LAS) ohne Prüfoption ermittelt, da die Nutzung von Antwortstrategien als Heuristiken nur in Situationen unter Unsicherheit erfolgt, die bei den beiden Gruppen mit Prüfoption aufgrund derselben nicht bestand. Reaktions-Raten bei Meldungen insgesamt: Erhoben wurde die Häufigkeit des Bearbeitens sowie des Prüfens der Container durch die Probanden. Die Häufigkeit des Ignorierens (mit dem Begriff Ignorieren ist hier das Nichts-tun der Probanden gemeint, der Begriff impliziert keine Wertigkeit im Sinne der Angemessenheit dieses Verhaltens) ergab sich als Differenz aus der Anzahl aller Container abzüglich der bearbeiteten und überprüften Container. Es resultierten: 65

66 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Bearbeitungs-Raten bei Meldungen Prüf-Raten bei Meldungen Ignorier-Raten bei Meldungen Reaktions-Raten bei Alarmen: Diese wurden ebenso ermittelt wie die Reaktions-Raten bei Meldungen insgesamt. Aufgrund der unterschiedlichen Anzahl an Alarmen beim binären und beim LAS wurden die absoluten Häufigkeiten durch die Anzahl der jeweiligen Diagnosen geteilt. Es resultierten: Bearbeitungs-Raten bei Alarmen Prüf-Raten bei Alarmen Ignorier-Raten bei Alarmen Reaktions-Raten bei Warnungen: Diese wurden ebenso ermittelt wie die Reaktions- Raten bei Alarmen. Es resultierten: Bearbeitungs-Raten bei Warnungen Prüf-Raten bei Warnungen Ignorier-Raten bei Warnungen Reaktions-Raten bei Normal-Meldungen: Diese wurden ebenso ermittelt wie die Reaktions-Raten bei Meldungen insgesamt. Es resultierten: Bearbeitungs-Raten bei Normal-Meldungen Prüf-Raten bei Normal-Meldungen Ignorier-Raten bei Normal-Meldungen Antwortstrategien: Bei Untersuchungen zum Umgang mit Alarmsystemen hat es sich bewährt, zusätzlich zum Vergleich der Mittelwerte Betrachtungen des Verhaltens auf individueller Ebene vorzunehmen, da Antwortheuristiken wie das extreme responding die Mittelwerte verzerren können (Bliss, 2003b; Wiczorek, 2012)). Wenn z.b. die Hälfte der Probanden mit einem positiven extreme responding auf Alarme reagiert, also (nahezu) 100% der Alarme bearbeitet, und die andere Hälfte der Probanden ein negatives extreme responding Verhalten zeigt, indem sie auf 0% der Alarme reagiert, ergibt sich ein Mittelwert von 50%. Der Mittelwert suggeriert, dass die meisten Teilnehmer auf 50% der Alarme reagiert hätten, was faktisch nicht der Fall ist. Deswegen wurde das Antwortverhalten in Bezug auf Alarme und Warnungen für jeden Teilnehmer individuell kategorisiert: 66

67 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS positives extreme responding: mindestens 90% der jeweilig betrachteten Diagnoseart wurden von dem Probanden direkt bearbeitet. negatives extreme responding: höchstens 10% der jeweilig betrachteten Diagnoseart wurden von dem Probanden direkt bearbeitet. probability matching: es wurden mehr als 10% und weniger als 90% der jeweiligen Diagnoseart bearbeitet Leistungsdaten Die Bewertung der Leistung erfolgte anhand der Menge von Plus- und Minuspunkten, die die Probanden in jeder der zwei Aufgaben gesammelt hatten. Die Punkte wurden vom System M-TOPS geloggt. Grundlage für die Bepunktung der Leistung in den beiden Aufgaben bildete das beschriebene Auszahlungssystem, welches den Teilnehmern vor dem Versuch mitgeteilt wurde. Leistung Alarmaufgabe: Für die Beurteilung der Leistung in der Alarmaufgabe wurde die Anzahl an Minuspunkten herangezogen, welche die Teilnehmer für fehlerhaftes Verhalten im Umgang mit den überwachten Containern bekamen. Es wurden je 2 Punkte abgezogen, wenn ein intakter Container bearbeitet wurde oder ein Container mit zu hohem Molekulargewicht nicht bearbeitet wurde. Je weniger Minuspunkte ein Proband bekam, desto besser war seine Leistung in der Alarmaufgabe. Leistung in der Bestellaufgabe: Die Menge an Punkten, die die Teilnehmer in der Bestellaufgabe gesammelt hatten, diente als Maß für ihre Leistung in dieser Aufgabe. Die Teilnehmer erhielten 1,5 Punkte für jede korrekte Bestellung. Je mehr Punkte erreicht wurden, desto besser war die Leistung der Teilnehmer in der Bestellaufgabe Subjektive Daten: Vertrauen Die Analyse der Höhe des Vertrauens der Probanden in die von ihnen verwendeten Systeme sollte Aufschluss über ihre Wahrnehmung derselben geben. Ferner sollten die Zusammenhänge von Vertrauen und Verhalten analysiert werden. Im Anschluss an die Interaktion mit dem jeweiligen System wurde den Versuchspersonen ein Fragebogen vorgelegt, auf dem sie die Höhe ihres Vertrauens in das jeweilige System und seine einzelnen Komponenten angeben mussten (siehe Anhang F). Auf dem Fragebogen war eine 20 cm lange, vertikale, unskalierte Linie zu sehen, die mit verbalen Verankerungen beschriftet war. Die Probanden wurden gebeten, auf dieser Linie ein Kreuz zu machen, welches die Höhe ihres Vertrauens repräsentierte. Diese Abfrage erfolgte für das Vertrauen in das System allgemein sowie für das 67

68 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Vertrauen in das System, wenn es Rot anzeigte (Alarme), Amber anzeigte (Warnungen) und Grün anzeigte (Normal-Meldungen). Diese zusätzlichen Einzelabfragen erfolgten aufgrund der Verhaltensdifferenzierung in compliance und reliance (Meyer, 2001) und den zugrunde liegenden unabhängigen Vertrauenswerten gegenüber den verschiedenen Anzeigen des Alarmsystems (Onnasch, Wiczorek, & Manzey, 2011). Der Abstand des Kreuzes zum unteren Ende der Linie wurde ausgemessen und die resultierenden Werte von mm in eine Skala von transformiert, wobei ein Wert von 100 vollstes Vertrauen in das System bedeutete und ein Wert von 0 kein Vertrauen in das System Durchführungsdetails Die Durchführung des Versuchs fand in den Laborräumen des Fachgebiets der Arbeits-, Ingenieur- und Organisationspsychologie der TU Berlin statt. Die Teilnehmer arbeiteten jeweils an einem eigenen PC mit 17-Zoll Monitor, des Weiteren wurden handelsübliche Kopfhörer verwendet. Die Erhebung der subjektiven Daten erfolgte durch schriftliche Beantwortung von ausgedruckten Fragebögen. Die Durchführung des Versuchs dauerte insgesamt ca. 1,5 Stunden und erfolgte in Gruppen von bis zu vier Teilnehmern unter Anwesenheit einer von drei geschulten Versuchsleiterinnen. Nach der Begrüßung durch die Versuchsleiterin füllten die Probanden einen demografischen Fragebogen aus und gaben ihr Alter, Geschlecht sowie die Art ihrer momentanen Beschäftigung und ihre Fachrichtung an, anschließend lasen sie die standardisierten schriftlichen Instruktionen am Computer (siehe Anhang E). Darin wurde ihnen erklärt, dass sie in diesem Versuch die Rolle eines Mitarbeiters in der Leitwarte einer Chemieanlage übernehmen und dafür mehrere Aufgaben parallel bearbeiten sollten. Im Anschluss wurden beide Aufgaben in der Instruktion einzeln erklärt und für jeweils zwei Minuten geübt. Den Probanden wurde gesagt, dass das Alarmsystem nicht über eine perfekte Zuverlässigkeit verfügte und es zu Fehlern bei den gestellten Diagnosen kommen könnte. Des Weiteren wurden sie darauf hingewiesen, dass die letztendliche Entscheidung über das Bearbeiten eines Containers bei ihnen liege. Das Punkte- sowie Auszahlungssystem wurde ebenfalls erläutert. Danach erfolgte ein sogenannter Kennenlerndurchgang, bei dem die Teilnehmer die Qualitätskontrolle von 50 Containern mit Hilfe des Alarmsystems absolvieren mussten. Die Bestellaufgabe war währenddessen ausgeblendet, weil sie nicht bearbeitet werden sollte. Den Probanden wurde mitgeteilt, dass sie den Durchgang nutzen sollten, um sich mit den Charakteristika des Alarmsystems vertraut zu machen, mit welchem sie im anschließenden Experimentaldurchgang arbeiten würden. Die Dauer dieses Durchgangs betrug ca. acht Minuten. Nach Durchlauf von 50 Containern endete der Durchgang von 68

69 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS selbst. Während dieses Durchgangs wurde über Kopfhörer eine auditive Rückmeldung gegeben, wenn die Probanden eine falsche Entscheidung getroffen hatten (unnötiges Bearbeiten bzw. Unterlassen eines erforderlichen Bearbeitens). Ziel dieses Durchgangs war es, den Teilnehmern die Möglichkeit zu geben, eine möglichst korrekte mentale Repräsentation des Alarmsystems bzw. der Zuverlässigkeit desselben aufzubauen. Im Anschluss an den Kennenlerndurchgang füllten die Probanden den Vertrauensfragebogen aus. Anschließend wurden sie gebeten, die Häufigkeitsmatrix zur Schätzung der Reliabilitäts-Parameter auszufüllen. Die unterschiedliche Wahrnehmung der beiden Systeme durch die Probanden diente als Manipulationscheck und war Voraussetzung für die Analysen der abhängigen Variablen. Der Schätzfragebogen (siehe Anhang F) war in Form einer 2x2 (für das binäre System) bzw. einer 2x3 (für das LAS) Häufigkeitsmatrix gestaltet. Bei vorgegebener Gesamtsumme mussten die Probanden angeben, wie häufig das System Rot, Amber und Grün angezeigt hatte und bei wie vielen der jeweiligen Diagnosen der Container fehlerhaft (Molekulargewicht zu hoch) und fehlerfrei (Molekulargewicht ok) gewesen war. Die Abfrage erfolgte bewusst in dieser Form der Angabe von Häufigkeiten, da Menschen diese besser wiedergeben können, als Prozent- oder Wahrscheinlichkeitswerte (Cosmides & Tooby, 1996). Während dieses gesamten Zeitabschnitts der zur Vorbereitung der Probanden auf das Experiment diente, war eine der drei Versuchsleiterinnen durchgängig anwesend. Die Probanden konnten in dieser Phase des Experiments jederzeit Verständnisfragen stellen. Im Anschluss folgte der Experimentaldurchgang. Die Versuchsleiterin ließ die Teilnehmer allein und hielt sich für die Dauer des Durchgangs im benachbarten Versuchsleiterraum auf. Durch die Abwesenheit der Versuchsleiterin sollten mögliche Versuchsleiter-Effekte vermieden werden, um die Ergebnisse nicht zu verfälschen. Während des Experimentaldurchgangs war es den Probanden nicht mehr erlaubt Fragen zu stellen. Die Teilnehmer bearbeiteten nun beide Aufgaben gleichzeitig. Auf eine online (mitlaufende) Rückmeldung wurde im Experimentaldurchgang bewusst verzichtet, da auch in der Praxis selten eine unmittelbare Rückmeldung erfolgt. Es wurde davon ausgegangen, dass die Probanden ihre Strategie im Umgang mit dem Alarmsystem auf Basis der Erfahrungen aus dem Kennenlerndurchgang ausbilden würden. Der Durchgang endete, wenn 100 Container durch die Prüfstation gelaufen waren nach einer durchschnittlichen Dauer von 15 Minuten von selbst. Die Probanden erhielten eine visuelle Rückmeldung darüber, wie viele Punkte sie in der Bestellaufgabe gesammelt hatten, wie viele Punkte ihnen durch Fehlverhalten bei der Containerüberwachung abgezogen worden waren und über den resultierenden Endpunktestand. Danach füllten sie abermals den schon zuvor bearbeiteten Vertrauensfragebogen aus. Zuletzt beantworteten sie eine Vorversion des FMV (Fragebogen zur mehrdimensionalen 69

70 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Erfassung von Vertrauen, Wiczorek, 2011). Auch dieser dient der Messung des Vertrauens in das Alarmsystem. Im Gegensatz zum ersten Vertrauensfragebogen wird hierbei mehrdimensional auf verschiedenen Skalen mit mehreren Items gemessen. Da sich dieser Fragebogen jedoch in der Konstruktions- bzw. Validierungsphase befand, wurde er nicht in die Analyse des Experiments mit einbezogen. Nach Beendigung des Versuchs erhielten die Teilnehmer eine Aufwandsentschädigung entsprechend der erbrachten Leistung, welche sie mit ihrer Unterschrift quittierten. Bei Interesse wurden etwaige Fragen zum Versuch beantwortet und die Teilnehmer anschließend verabschiedet. Tabelle 4 gibt den Ablauf des Versuchs wieder. Tabelle 4: Ablauf Experiment Hypothesen Experiment 1 Verhalten H1: Bezogen auf die Häufigkeit des direkten Bearbeitens gibt es eine Interaktion zwischen der Art des Alarmsystems und der Möglichkeit Diagnosen zu überprüfen. Ist keine Prüfoption vorhanden, bearbeiten die LAS-Nutzer weniger Meldungen direkt als die Nutzer des binären Systems. Steht eine Prüfoption zur Verfügung, bearbeiten LAS-Nutzer mehr Meldungen direkt als die Nutzer des binären Systems. Die geringere Bearbeitungshäufigkeit ohne Prüfoption sollte aufgrund der angenommenen Verhaltensdifferenzierung gegenüber Alarmen und 70

71 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Warnungen erfolgen (vgl. H2) und zeigte sich in dieser Form bereits bei Bustamante und Bliss (2005). Bei vorhandener Prüfoption sollte die hohe Alarm-PPV des LAS hingegen dazu führen, dass direktes Bearbeiten die dominante Reaktion auf Alarme des LAS ist, da sich dieses Verhaltensmuster auch bei binären Alarmsystemen mit hoher PPV zeigte (Gérard 2012). Das häufige direkte Bearbeiten von Alarmen sollte sich wiederum auch in einem häufigeren direkten Bearbeiten von Meldungen niederschlagen. H2: Mit Prüfoption werden weniger Meldungen direkt bearbeitet und weniger Meldungen ignoriert als mit Prüfoption. Dieser Effekt entspricht Befunden von Gérard und Manzey (2010), wonach das Vorhandensein einer Prüfoption das Ignorieren sowie das direkte Bearbeiten von Meldungen zugunsten eines Überprüfens derselben reduziert. H3: Es gibt eine Interaktion zwischen dem Vorhandensein einer Validierungsmöglichkeit und der Art des Alarmsystems in Bezug auf die Häufigkeit des Ignorierens von Meldungen. Mit Prüfoption zeigt sich kein Unterschied in der Häufigkeit des Ignorierens von Meldungen in Abhängigkeit der Art des Alarmsystems, während ohne Prüfoption mehr Meldungen von den LAS-Nutzern ignoriert werden als von den Nutzern des binären Systems. Das Vorhandensein einer Validierungsmöglichkeit reduziert das Ignorieren von Meldungen zugunsten einer Unsicherheitsreduktion durch Prüfen (Gérard & Manzey, 2010). Ohne Validierungsmöglichkeit ist die Häufigkeit des Ignorierens das Äquivalent der Bearbeitungshäufigkeit, für die Unterschiede zwischen den Systemarten angenommen werden (vgl. H1) H4: Ohne Prüfoption regieren LAS-Nutzer bei Alarmen häufiger und bei Warnungen seltener mit direktem Bearbeiten als Nutzer des binären Alarmsystems bei Alarmen. Dieser Effekt sollte sich ergeben, da sich in Bezug auf binäre Alarmsysteme zeigte, dass es bei hohen PPVs zu einem häufigeren direkten Bearbeiten kommt als bei niedrigen PPVs (Bliss, Gilson et al., 71

72 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS 1995; Wiczorek & Manzey, 2010) und die Alarm-PPV des LAS höher und die Warn-PPV des LAS niedriger ist als die PPV des binären Systems. H5: Normal-Meldungen werden von den Probanden ignoriert, unabhängig von der Art des verwendeten Alarmsystems und des Vorhandenseins einer Prüfoption. Dementsprechend zeigen sich keine Unterschiede in der Häufigkeit des Ignorierens, des direkten Bearbeitens oder des Prüfens. Dieser Effekt wird angenommen, da sich die NPV der Systeme nicht unterscheidet und es bei hohen NPVs zu einem Ignorieren fast aller Meldungen kommt (Gérard, 2012). H6: Ohne Prüfoption ist die häufigste Verhaltensstrategie gegenüber LAS- Alarmen ein positives extreme responding, während gegenüber LAS- Warnungen und Alarmen des binären Systems am häufigsten mit einem probability matching reagiert wird. Diese Effekte werden erwartet, da hohe PPVs bei binären Alarmsystemen zur Wahl des positiven extreme respondings führen (Wiczorek, 2012), während mittlere PPVs ein probability matching bewirken (Bliss, Gilson et al., 1995). Leistung H7: Die Nutzung des LAS führt zu einer besseren Leistung in der Alarmaufgabe als die Nutzung des binären Systems. Dieser Effekt wird aufgrund der Verhaltensdifferenzierung gegenüber den unterschiedlichen Meldungen (H1) erwartet, der zu mehr korrekten Entscheidungen und zu weniger Fehlern führen soll und konnte bereits in früheren Studien gefunden werden (Sorkin et al., 1988; Bustamante, 2008). H8: Die Nutzung des LAS führt zu einer besseren Leistung in der Parallelaufgabe als die Nutzung des binären Systems. Da erwartet wird, dass die Nutzer des LAS insgesamt weniger Meldungen direkt bearbeiten (H2), bleiben ihnen mehr zeitliche Ressourcen zur Verfügung, die sie in die Parallelaufgabe investieren können. 72

73 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS H9: Das Vorhandensein einer Prüfoption führt bei beiden Systemarten zu einer besseren Leistung in der Alarmaufgabe. Eine Prüfoption gestattet es den Nutzern, ihre Unsicherheit in Bezug auf die gestellte Diagnose zu reduzieren, was zu mehr richtigen Entscheidungen und weniger Fehlern führt (Gérard & Manzey, 2010). H10: Das Vorhandensein einer Prüfoption führt beim binären System zu einer schlechteren Leistung in der Parallelaufgabe als beim LAS. Da angenommen wird, dass LAS-Nutzer auf Meldungen häufiger mit direktem Bearbeiten reagieren (H3), steht ihnen mehr Zeit zur Bearbeitung der Parallelaufgabe zur Verfügung. Vertrauen H11: Das Vertrauen gegenüber dem LAS ist höher als das Vertrauen gegenüber dem binären System, ebenso ist das Vertrauen gegenüber LAS-Alarmen höher als das Vertrauen in binäre Alarme, während sich das Vertrauen in Normal-Meldungen nicht unterscheidet. Diese Ergebnisse sollten sich ergeben, da die Faktoren Transparenz und Zuverlässigkeit das Vertrauen in technische Systeme beeinflussen (z.b. Lee & Moray, 1992; Wiczorek, 2011). 7.4 Ergebnisse Experiment 1 Nachfolgend werden die Ergebnisse der statistischen Auswertungen des Einflusses der beiden unabhängigen Variablen ALARMSYSTEM und PRÜFOPTION dargestellt. Zunächst werden die Ergebnisse des Manipulationschecks dargestellt, danach die Ergebnisse zum Verhalten, die Ergebnisse der Leistungsdaten und abschließend die Ergebnisse der Analysen zum Vertrauen. Die meisten Analysen dienten dem Zweck der Prüfung von Unterschiedshypothesen, das Signifikanzniveau lag dabei entsprechend der Konvention bei p=0,05. Im Falle einer Nullhypothesenprüfung wurde das Signifikanzniveau zur Vermeidung eines Fehlers zweiter Art auf p=0,20 angehoben. Irrtumswahrscheinlichkeiten zwischen 0,05 und 0,10 werden in dieser Arbeit als marginal signifikant bezeichnet. Sie liegen über dem allgemein akzeptierten Grenzwert für Signifikanz, deuten aber aufgrund ihrer sehr geringen Grenzüberschreitung eher auf einen Unterschied zwischen den untersuchten Gruppen hin. Die Mittelwerte (M) und 73

74 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Standardabweichungen (SD) aller berichteten Ergebnisse aus Experiment 1 finden sich im Anhang A Manipulationscheck Auf Basis der Angaben aus dem Schätzfragebogen zur Reliabilität wurden die geschätzte Reliabilität, NPV, Alarm-PPV entsprechend den Formeln 5-7 (siehe Kapitel 3.2) errechnet. In die Analyse der geschätzten Reliabilitätsparameter gingen nur die Daten der 51 Versuchspersonen ein, die die Felder der Matrix korrekt ausgefüllt hatten. Die Auswertung der geschätzten Reliabilitätsparameter erfolgte mittels 2(ALARMSYSTEM) x 2(PRÜFOPTION) Varianzanalysen. Für die Analysen der geschätzten Reliabilität und der geschätzten NPV wurde das Signifikanzniveau zur Vermeidung eines Fehlers 2. Art (ß-Fehler) auf p=0,20 angehoben, da es sich um die Prüfung von Nullhypothesen handelte. Es wurden hier keine Unterschiede erwartet, da sich die Reliabilität und die NPV der Systeme nicht unterschieden. Tabelle 5: Reliabilitätsschätzungen Experiment 1 Mittelwerte der geschätzten Reliabilitätsparameter im Vergleich zu den wahren Werten Reliabilität PPV Alarm-PPV Warn-PPV NPV wahre Werte 0,6 0,46 0,88 0,29 0,97 Binäres AS 0,32 0, ,87 LAS 0,33-0,66 0,27 0,87 Die Mittelwerte der geschätzten Reliabilitätsparameter sind in Tabelle 5 dargestellt. Entsprechend den Erwartungen, unterschieden sich die Schätzungen der Alarm-PPV zwischen dem binären System und dem LAS. Die Probanden schätzten die Alarm-PPV des LAS signifikant höher als die des binären Systems. Dieses Ergebnis zeigt, dass sich die Wahrnehmung der Alarmsysteme durch die Probanden unterschied und liefert damit eine wichtige Voraussetzung für die weiteren Analysen. Unterschiede in den Schätzungen der Reliabilität und der NPV ergaben sich erwartungsgemäß nicht. Auch die Prüfoption hatte keinen Einfluss auf die Höhe der geschätzten Reliabilitätsparameter. Nachfolgend sind die Ergebnisse der statistischen Analysen zusammenfassend dargestellt: Reliabilität: Haupteffekt für ALARMSYSTEM: F(1,47)=0,02; n.s.; Haupteffekt für PRÜFOPTION: F(1,47)=1,14; n.s.; Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION), F(1,47)=0,31; n.s. 74

75 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Alarm-PPV: Haupteffekt für ALARMSYSTEM: F(1,47)=8,72; p<0,01; Haupteffekt für PRÜFOPTION: F(1,47)=0,81; n.s.; Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION): F(1,47)=0,25; n.s. NPV: Haupteffekt für ALARMSYSTEM: F(1,47)=0,01; n.s.; Haupteffekt für PRÜFOPTION: F(1,47)=0,01; n.s.; Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION): F(1,47)=1,42; n.s Verhaltensdaten Die Analyse der Verhaltensdaten erfolgte in zwei Schritten. Im ersten Schritt wurden die Reaktions-Raten analysiert. Dazu wurden zunächst für Meldungen insgesamt und dann für Normal-Meldungen die Bearbeitungs- und Ignorier-Raten mit 2(ALARMSYSTEM) x 2(PRÜFOPTION) Varianzanalysen ausgewertet. Die Analyse der Reaktions-Raten für Alarme und Warnungen separat, erfolgte nicht inferenzstatistisch sondern lediglich deskriptiv, das gleiche gilt für die Prüf-Raten bei allen Arten von Meldungen und Normal-Meldungen. Im zweiten Schritt wurden die Antwortstrategien gegenüber Alarmen, Warnungen und Normal-Meldungen für die Bedingungen ohne Prüfoption mithilfe von Mehr-Felder-χ²-Tests analysiert. Reaktions-Raten bei Meldungen insgesamt: 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Meldungen insgesamt BAS LAS BAS LAS Ignorieren Prüfen Bearbeiten ohne Prüfoption mit Prüfoption Abbildung 8: Mittelwerte der Reaktions-Raten bei Meldungen insgesamt Für das binäre Alarmsystem und das LAS mit und ohne Prüfoption Bearbeitungs-Raten bei Meldungen: Aus Abbildung 8 ist ersichtlich, dass die Nutzer des LAS seltener mit direktem Bearbeiten auf Meldungen reagierten als die Nutzer des binären Systems, wenn keine Prüfoption zur Verfügung stand. Bei vorhandener 75

76 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Prüfoption war es hingegen umgekehrt. Die LAS-Nutzer bearbeiteten häufiger direkt als die Nutzer des binären Systems. Dieses Ergebnis entspricht den Erwartungen und wird statistisch durch einen signifikanten Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION), F(1,56)= 9,59; p<0.01, gestützt. Der signifikante Haupteffekt für PRÜFOPTION, F(1,56)= 75,63; p<0,001, bestätigt zudem, dass unabhängig von der Art des Alarmsystems weniger Meldungen direkt bearbeitet wurden, wenn eine Prüfoption zur Verfügung stand. Der Haupteffekt für ALARMSYSTEM, F(1,56)= 0,27; n.s., wurde nicht signifikant. Ignorieren-Raten bei Meldungen: Weiterhin ist in Abbildung 8 zu sehen, dass bei Abwesenheit der Prüfoption bei beiden Arten von Alarmsystemen mehr Meldungen ignoriert wurden, als wenn eine solche vorhanden war. Dieser Unterschied wird durch den signifikanten Haupteffekt für PRÜFOPTION, F(1,56)= 43,04; p<0,001, statistisch bestätigt. Der Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION), F(1,56)= 4,07; p<0.05, wurde, entsprechend den Annahmen, ebenfalls signifikant. Stand den Probanden eine Prüfoption zur Verfügung wurden, entsprechend den Erwartungen, nur wenige Meldungen ignoriert und zwar unabhängig von der Art des Alarmsystems. Bei Abwesenheit einer Prüfoption unterschied sich die Häufigkeit des Ignorierens. Die LAS-Nutzer ignorierten mehr Meldungen als die Nutzer des binären Systems. Der Haupteffekt für ALARMSYSTEM, F(1,56)= 2,65; n.s., wurde nicht signifikant. Reaktions-Raten bei Alarmen und Warnungen: Verhalten bei Alarmen und Warnungen 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% BAS Alarm LAS Warnung LAS Alarm BAS Alarm LAS Warnung LAS Alarm Ignorieren Prüfen Bearbeiten ohne Prüfoption mit Prüfoption Abbildung 9: Mittelwerte der Reaktions-Raten getrennt für Alarme und Warnungen Für Alarme des binären Alarmsystems und Warnungen und Alarme des LAS mit und ohne Prüfoption Abbildung 9 sind auf der linken Seite die Bearbeitungs-Raten bei Alarmen des binären Systems den Bearbeitungs-Raten bei Alarmen und Warnungen des LAS in der 76

77 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Bedingung ohne Prüfoption gegenüber gestellt. Die Nutzer des binären Systems bearbeiteten 67% der Alarme, während die LAS-Nutzer über 99% der Alarme bearbeiteten, aber nur 31% der Warnungen. Entsprechend der Annahme, kam es beim LAS zur Verhaltensdifferenzierung gegenüber den zwei verschiedenen Meldungsarten. Die Nutzung von LAS führte zu gesteigerten Bearbeitungs-Raten bei Alarmen und zu reduzierten Bearbeitungs-Raten bei Warnungen im Vergleich zu den Bearbeitungs-Raten bei Alarmen des binären Systems. Die niedrigen Bearbeitungs-Raten bei Warnungen waren ursächlich für die beschriebenen niedrigeren Bearbeitungs-Raten bei Meldungen insgesamt im Vergleich zum binären System. Dieser Effekt stellte sich trotz der hohen Bearbeitungs-Raten bei LAS-Alarmen ein, da das LAS deutlich mehr Warnungen als Alarme generierte. Abbildung 9 sind die verschiedenen Reaktions-Raten in der Bedingung mit Prüfoption für die Alarme des binären Systems und die Alarme und Warnungen des LAS dargestellt. Es zeigte sich auch bei der Bedingung mit Prüfoption eine deutliche Verhaltensdifferenzierung in Abhängigkeit der unterschiedlichen Meldungsarten des LAS. Die Nutzer des binären Alarmsystems bearbeiteten 1% der Alarme direkt, ignorierten 7% und überprüften die restlichen 92%. Dieses Verhalten entspricht exakt dem Umgang der LAS-Nutzer mit Warnungen, die ebenfalls zu 1% direkt bearbeitet, zu 7% ignoriert und zu 92% überprüft wurden. Von den Alarmen des LAS wurden hingegen 63% direkt bearbeitet und 37% überprüft, zum Ignorieren von Alarmen kam es beim LAS nicht. Entsprechend der Annahme, machten die Nutzer des LAS bei Alarmen Gebrauch von der Möglichkeit des direkten Bearbeitens, was ursächlich für das beschriebene häufigere direkte Bearbeiten von Meldungen insgesamt war. Abbildung 9 verdeutlicht, dass sich die Verhaltensweisen der Probanden gegenüber Alarmen des binären Systems stark von denen der LAS-Nutzer bei Alarmen unterschieden, während sie deren Verhalten bei Warnungen ähnelten. Diese Übereinstimmung im Umgang mit binären Alarmen und LAS-Warnungen ist in der Bedingung mit Prüfoption sehr viel eindeutiger als in der Bedingung ohne Prüfoption, im Vergleich mit den LAS-Alarmen wird sie aber auch in letzterer deutlich. 77

78 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Reaktions-Raten bei Normal-Meldungen: Bezogen auf die Reaktions-Raten gegenüber Normal-Meldungen wurde das Signifikanzniveau auf p=0,20 angehoben, da es sich dabei um Nullhypothesenprüfungen handelte. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Normal-Meldungen BAS LAS BAS LAS Ignorieren Prüfen Bearbeiten ohne Prüfoption mit Prüfoption Abbildung 10: Mittelwerte der Reaktions-Raten bei Normal-Meldungen Für das binäre Alarmsystem und das LAS mit und ohne Prüfoption Ignorier-Raten bei Normal-Meldungen: In Abbildung 10 sind die Häufigkeit der verschiedenen Verhaltensoptionen gegenüber Normal-Meldungen für binäre und LAS mit und ohne Prüfoption dargestellt. Entgegen den Erwartungen unterschied sich die Häufigkeit des Ignorierens von Normal-Meldungen in Abhängigkeit des Vorhandenseins einer Prüfoption. Stand eine Prüfoption zur Verfügung, ignorierten die Nutzer unabhängig von der Art des verwendeten Systems signifikant weniger Normal- Meldungen, als wenn keine solche Option zur Verfügung stand, F(1,56)=14,80; p<0,001. Stattdessen machten die Nutzer des binären Systems und die LAS-Nutzer zu 32% bzw. 25% Gebrauch von der vorhandenen Prüfoption. Der Haupteffekt für ALARMSYSTEM, F(1,56)=0,02; n.s., und der Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION), F(1,56)=0,83; n.s., wurden nicht signifikant. Bearbeitungs-Raten bei Normal-Meldungen: Ebenfalls entgegen den Erwartungen zeigten sich Unterschiede in den Bearbeitungs-Raten von Normal-Meldungen. War keine Prüfoption vorhanden, bearbeiteten die Nutzer des binären Systems 5% der Normal-Meldungen direkt, während die LAS-Nutzer nicht vom direkten Bearbeiten Gebrauch machten, ebenso wenig die Nutzer von LAS und binärem System unter der Bedingung mit Prüfoption. Dieser Befund zeigt sich statistisch in einem signifikanten Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION), F(1,56)=5,02; p<0,05. Die beiden 78

79 Häufigkeiten 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Haupteffekte für ALARMSYSTEM, F(1,56)=3,64; p<0,05, und für PRÜFOPTION, F(1,56)=4,30; p<0,05, wurden ebenfalls signifikant. Die erwartete Verhaltensweise des Ignorierens aller Normal-Meldungen zeigte sich nur beim LAS in der Bedingung ohne Prüfoption. Die Nutzer der anderen Systeme machten zusätzlich zur dominanten Verhaltensweise des Ignorierens außerdem Gebrauch von den anderen Verhaltensweisen. In der Bedingung ohne Prüfoption kam es beim binären System auch zum direkten Bearbeiten, während in der Bedingung mit Validierungsmöglichkeit bei beiden Systemarten auch geprüft wurde. Antwortstrategien: Die Analyse der Antwortstrategien erfolgte nur für die Alarme des binären Alarmsystems und die Alarme und Warnungen des LAS in der Bedingung ohne Prüfoption, da es sich bei dem Umgang mit solchen Systemen um Entscheidungen unter Unsicherheit handelt. Die Abwesenheit einer Prüfoption forciert die Wahl einer Heuristik wie extreme responding oder probability matching. Bei Vorhandensein einer Prüfoption müssen hingegen keine Heuristiken angewandt werden, da eine Möglichkeit zur Validierung der Diagnosen zur Verfügung steht. 15 Antwortstrategien bei Alarmen und Warnungen 10 positives extreme responding probability matching 5 negatives extreme responding 0 BAS-Alarme LAS-Warnungen LAS-Alarme Abbildung 11: Häufigkeiten der Antwortstrategien Anzahl der Nutzer, die die jeweilige Strategie wählten, für die Alarme des binären Alarmsystems und die Warnungen und Alarme des LAS In Abbildung 11 sind die verschiedenen Antwortstrategien gegenüber den Alarmen des binären Systems und den Alarmen und Warnungen des LAS zu sehen. Es zeigt sich deutlich, dass gemäß der Erwartungen das positive extreme responding die dominante 79

80 Minuspunkte 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Strategie in Bezug auf die Alarme des LAS darstellte, χ²(2, n=15)=30; p<0,001. Alle Nutzer verwendeten diese Heuristik im Umgang mit LAS-Alarmen. Beim binären System erwies sich hingegen das probability matching als die dominante Strategie, χ²(2, n=15)=6,4; p<0,05, was ebenfalls den Erwartungen entspricht. Bezogen auf die Warnungen des LAS zeigt Abbildung 11, dass nicht, wie angenommen, das probability matching sondern das negative extreme responding die häufigste Antwortstrategie darstellte. Dieser Effekt wurde jedoch nicht signifikant, χ²(2, n=15)=3,6; n.s. Die Ergebnisse der Analysen der Antwortstrategien verdeutlichen die verhaltensdifferenzierende Wirkung des LAS. Während alle Probanden als Strategie im Umgang mit den Alarmen ein positives extreme responding wählten, entschieden sich die meisten gegenüber den Warnungen für ein negatives extreme responding. Zudem wird deutlich, dass die Ähnlichkeit in den Bearbeitungs- bzw. Ignorieren-Raten von binären Alarmen und LAS-Warnungen nicht, wie erwartet, auf einer ähnlichen Strategie beruhen. Während die Ignorieren-Rate bei binären Alarmen ein Resultat des häufig angewandten probability matchings ist, entstand die (höhere) Ignorieren-Raten bei LAS-Warnungen durch die häufige Wahl des negativen extreme respondings Leistungsdaten Zur Analyse der Leistung in den beiden Einzelaufgaben wurden 2(ALARMSYSTEM) x 2(PRÜFOPTION) Varianzanalysen gerechnet. Leistung in der Alarmaufgabe: Leistung Alarmaufgabe ohne Prüfoption mit Prüfoption BAS LAS Abbildung 12: Mittelwerte der Leistung in der Alarmaufgabe In Form von Minuspunkten, für das binäre Alarmsystem und das LAS mit und ohne Prüfoption 80

81 Punkte 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Wie in Abbildung 12 deutlich zu sehen ist, führte das Vorhandensein einer Prüfmöglichkeit bei beiden Systemarten zu einer signifikant besseren Leistung (weniger Minuspunkte) in der Alarmaufgabe, F(1,56)= ; p<0.01. Die Leistung der LAS- Nutzer war zudem signifikant besser als die der Nutzer des binären Systems, F(1,56)= 13.21; p<0.01. Dies traf allerdings, entsprechend den Erwartungen, nur zu, wenn keine Prüfoption zur Verfügung stand, wie der signifikante Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION) zeigt, F(1,56)= 12,34; p<0.01. Leistung in der Bestellaufgabe: 350 Leistung Bestellaufgabe BAS LAS 50 0 ohne Prüfoption mit Prüfoption Abbildung 13: Mittelwerte der Leistung in der Bestellaufgabe In Form von Pluspunkten, für das binäre Alarmsystem und das LAS mit und ohne Prüfoption Abbildung 13 veranschaulicht die Leistungsunterschiede in der Bestellaufgabe. Sowohl die Art des Alarmsystems als auch das Vorhandensein einer Prüfoption hatten einen Einfluss auf die parallel zu bearbeitende Bestellaufgabe. Die LAS-Nutzer erzielten eine signifikant bessere Leistung (mehr Pluspunkte) als die Nutzer des binären Systems, wie der Haupteffekt für ALARMSYSTEM zeigt, F(1,56)= 7,00; p<0,05. Das Vorhandensein einer Prüfoption führte unabhängig von der Art des verwendeten Alarmsystems zu einer signifikant besseren Leistung, als wenn keine Prüfoption zur Verfügung stand, F(1,56)=4,16; p<0,05. Der Interaktionseffekt (ALARMSYSTEM x PRÜFOPTION) wurde nicht signifikant, F(1,56)= 0,36; n.s Vertrauen Die Angaben für Vertrauen in das System allgemein sowie das Vertrauen in Alarme und in Normal-Meldungen wurden mit einer 2(ALARMSYSTEM) x 2(PRÜFOPTION) x 2(MESSWIEDERHOLUNG) Varianzanalyse ausgewertet. Das Vertrauen in Warnungen 81

82 Vertrauensskala 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS wurde explorativ mit einer 2(PRÜFOPTION) x 2(MESSWIEDERHOLUNG) Varianzanalyse ausgewertet. Nachfolgend werden nur die Ergebnisse der drei Haupteffekte und der signifikanten Interaktionseffekte dargestellt. Die Ergebnisse aller weiteren Interaktionseffekte finden sich in Anhang D. Allgemeines Vertrauen: Aufgrund fehlender Daten gingen in die Analyse des allgemeinen Vertrauens die Werte von 58 Teilnehmern ein. Vertrauen allgemein ohne Prüfoption mit Prüfoption BAS LAS Abbildung 14: Mittelwerte Vertrauen allgemein Für das binäre Alarmsystem und das LAS mit und ohne Prüfoption Aus Abbildung 14 ist ersichtlich, dass das allgemeine Vertrauen in das verwendete Alarmsystem bei Nutzern des LAS höher war als bei Nutzern des binären Systems. Dieses Ergebnis entspricht den Erwartungen und wird durch den signifikanten Haupteffekt für ALARMSYSTEM; F(1,54)=9,91; p<0,01, statistisch bestätigt. Der signifikante Haupteffekt für PRÜFOPTION; F(1,54)=14,67; P<0,001, zeigt zudem, dass das Vertrauen mit Prüfoption höher war als ohne Prüfoption. Der Messwiederholungseffekt wurde nicht signifikant, F(1,54)=0,30, n.s. 3 Aufgrund der unterschiedlichen Entwicklung des Vertrauens über die Zeit in Abhängigkeit des Vorhandenseins einer Prüfoption und der Art des verwendeten Alarmsystems ergab sich eine signifikante Tripelinteraktion (ALARMSYSTEM x PRÜFOPTION x MESSWIEDERHOLUNG), F(1,54)=4,22; p<0,05. Bestand keine Möglichkeit 3 Da für keine der abhängigen Variablen der Messwiederholungseffekt signifikant wurde, sind in allen Abbildungen zum Vertrauen jeweils die Mittelwerte der zwei Messungen dargestellt. 82

83 Vertrauensskala 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS zur Überprüfung, veränderten sich die angegebenen Vertrauenswerte in beiden Systemgruppen nicht über die zwei Messzeitpunkte, die jeweils vor und nach dem Experimentaldurchgang lagen. Konnten die Teilnehmer die Diagnosen ihrer jeweiligen Systeme hingegen überprüfen, so führte das bei den Nutzern des binären Systems dazu, dass ihr Vertrauen in das System von 52 auf 58 stieg, während das Vertrauen der Probanden in das LAS über die zwei Messzeitpunkte von 70 auf 61 sank Vertrauen in Alarme: Bei der Analyse des Vertrauens in Alarme gingen aufgrund fehlender Daten die Werte von 59 Teilnehmern ein ohne Prüfoption Vertrauen in Alarme mit Prüfoption BAS LAS Abbildung 15: Mittelwerte Vertrauen in Alarme Für das binäre Alarmsystem und das LAS mit und ohne Prüfoption Abbildung 15 veranschaulicht, dass das Vertrauen der Probanden in Alarme des LAS, wie vermutet, höher war als gegenüber den Alarmen des binären Systems, F(1,55)=76,26; p<0,001. Dieser Unterschied zeigte sich stärker, wenn keine Prüfoption zur Verfügung stand, da die Möglichkeit zur Überprüfung beim LAS zu einem niedrigeren und beim binären System zu einem höheren Vertrauen in Alarme führte, was sich in einer signifikanten Interaktion (ALARMSYSTEM x PRÜFOPTION), F(1,55)=10,59; p<0,01, äußerte. Der Haupteffekt für PRÜFOPTION, F(1,55)=0,01; n.s.; und der Messwiederholungseffekt; F(1,55)=0,70; n.s.; wurden nicht signifikant. Für die restlichen Interaktionen zeigten sich ebenfalls keine signifikanten Ergebnisse. Vertrauen in Normal-Meldungen: Bei der Analyse des Vertrauens in die grünen Anzeigen des Systems gingen ebenfalls aufgrund fehlender Daten die Werte von 59 Versuchspersonen in die Analyse ein. 83

84 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Das Vertrauen in die Normal-Meldungen des Systems nahm insgesamt über die zwei Messzeitpunkte ab, F(1,55)=5,84; p<0,05. Von 80 zu 66 beim binären System ohne Prüfoption, von 76 auf 71 beim LAS ohne und von 78 auf 70 beim LAS mit Prüfoption. Die einzige Ausnahme machte hierbei das binäre System mit Prüfoption, bei dem der Wert mit 70 bzw. 72 nahezu unverändert blieb, was sich in einer marginal signifikanten Tripelinteraktion (ALARMSYSTEM x PRÜFOPTION x MESSWIEDERHOLUNG), niederschlug, F(1,55)=3,74; p=0,058. Der Haupteffekt für ALARMSYSTEM wurde nicht signifikant, F(1,55)=0,21; n.s., ebenso wenig der Haupteffekt für PRÜFOPTION, F(1,55)=0,87; n.s. Vertrauen in Warnungen: Für das Vertrauen in Warnungen wurde eine explorative 2(PRÜFOPTION) x 2(MESSWIEDERHOLUNG) Varianzanalyse gerechnet, in die aufgrund fehlender Daten die Werte von 29 Versuchspersonen (statt 30) eingingen. Die Vertrauenswerte (gemittelt über beide Messzeitpunkte) lagen bei 35 bzw. 48 in der Bedingung ohne bzw. mit Prüfoption. Dieser Unterschied wurde jedoch nicht signifikant, F(1,27)=2,33; n.s. ebenso wenig wie der Messwiederholungseffekt, F(1,27)=0,23; n.s., und der Interaktionseffekt, F(1,27)=0,58; n.s. 7.5 Diskussion Experiment 1 In dieser Studie wurde ein LAS mit einem binären Alarmsystem unter den Bedingungen mit und ohne Prüfoption verglichen. Untersucht wurde der Einfluss der beiden Systeme auf das Verhalten der Probanden gegenüber den unterschiedlichen Meldungsarten der Alarmsysteme, die Leistung der Probanden in der Alarm- und in der Parallelaufgabe sowie ihr Vertrauen in die verwendeten Alarmsysteme. Die Diskussion ist zum besseren Verständnis der Ergebnisse in mehrere Abschnitte gegliedert, die der Reihenfolge der Darstellung im Ergebnisteil folgen. Im ersten Abschnitt wird auf die Ergebnisse des durchgeführten Manipulationschecks eingegangen. Danach werden im zweiten Teil die Ergebnisse des Verhaltens dargestellt. Dabei wird zunächst auf den Vergleich beider Systemarten in der Bedingung ohne Prüfoption eingegangen. Anschließend werden die Verhaltensunterschiede in Abhängigkeit des Vorhandenseins einer Prüfoption betrachtet, gefolgt vom Verhaltensvergleich zwischen den beiden Systemen mit Prüfoption. Zuletzt werden kurz die Ergebnisse zum Verhalten gegenüber Normal-Meldungen erläutert. Im anschließenden dritten Teil erfolgt die Betrachtung der Leistungsdaten nach demselben Muster und im vierten Teil wird der Einfluss von binärem System und LAS auf das Vertrauen in das jeweilige System diskutiert. Der abschließenden Zusammenfassung 84

85 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS folgt dann noch eine kurze Thematisierung der offenen Fragen zur Verhaltenswirksamkeit von LAS. Voraussetzung für die Analyse von Unterschieden in Verhalten, Leistung und Einstellung der Probanden der verschiedenen Gruppen war die unterschiedliche Wahrnehmung der beiden Systeme durch die Probanden. Eine Abfrage der durch die Teilnehmer geschätzten Reliabilitäten diente deswegen als Manipulationscheck. Es wurde erwartet, dass sich die Schätzungen der LAS-Nutzer in Bezug auf die Höhe der Alarm-PPV unterscheiden würden, da diese beim LAS 0,88 betrug, während die PPV des binären Systems bei 0,43 lag. Für die Schätzungen der Reliabilität, die bei 0,6 lag sowie die Schätzung der NPV, deren wahrer Wert 0,97 betrug, wurden hingegen keine Unterschiede erwartet, da diese bei beiden Systemen identisch waren. Die Auswertung der geschätzten Reliabilitätsparameter bestätigte die Annahmen. Die LAS-Nutzer schätzten die Alarm-PPV signifikant höher als die Nutzer des binären Systems dessen PPV. Dadurch waren die Voraussetzungen für die weiteren Analysen erfüllt. Die Schätzungen der Reliabilität und der NPV unterschieden sich hingegen nicht. Das Vorhandensein bzw. die Abwesenheit einer Prüfoption hatte keinen Einfluss auf die Höhe der geschätzten Reliabilitätsparameter. Für die Bedingung ohne Prüfoption wurde erwartet, dass es durch die Nutzung von LAS zu geringeren Bearbeitungs-Raten bei Meldungen insgesamt käme. Außerdem wurde eine Verhaltensdifferenzierung gegenüber Alarmen und Warnungen des LAS postuliert. Die gefundenen Ergebnisse bestätigen diese Hypothesen. Es zeigte sich, dass die Nutzer des LAS insgesamt weniger Meldungen bearbeiteten als die Nutzer des binären Systems. Dieses Ergebnis entspricht Befunden von Bustamante und Bliss (2005), die ebenfalls zeigten, dass die Nutzung von LAS die Reaktionshäufigkeit gegenüber Meldungen reduziert. Dieses Ergebnis ist jedoch nicht, wie auf den ersten Blick angenommen werden könnte, auf eine insgesamt mangelnde compliance mit dem LAS zurückzuführen. Es ist vielmehr das Resultat einer Verhaltensdifferenzierung, die die LAS-Nutzer gegenüber Alarmen und Warnungen an den Tag legten, wie die Vergleiche der Bearbeitungs-Raten beim binären und LAS für Alarme und Warnungen separat zeigen. Die Nutzung des binären Systems führte zu Bearbeitungs-Raten von 67% bei Alarmen, was einem cry wolf Effekt entspricht und bereits in mehreren Studien gezeigt wurde (z.b. Bliss, Gilson et al., 1995; Wiczorek & Manzey, 2010). Im Gegensatz dazu bearbeiteten die LAS-Nutzer über 99% der Alarme und waren damit hoch compliant. Das war in Bezug auf die Warnungen nicht der Fall, die sie gerade mal zu 31% bearbeiteten. Dieses Ergebnis bestätigt die Annahme von Bustamante (2008), wonach die verhaltensdifferenzierende Wirkung von LAS sich durch eine Steigerung der 85

86 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Reaktionshäufigkeit auf Alarme bei gleichzeitiger Reduzierung der Reaktionshäufigkeit bei Warnungen äußert, verglichen mit der Reaktionshäufigkeit bei Alarmen binärer Systeme. Der cry wolf Effekt wird durch das LAS nicht eliminiert, sondern es kommt vielmehr zu einer Verlagerung des Effekts in den Bereich der Warnungen. Wenn das LAS, wie in diesem Fall, viele Warnungen und wenige Alarme generiert, führt die beschriebene Verhaltensdifferenzierung zu einer reduzierten Bearbeitungshäufigkeit der Meldungen insgesamt, verglichen mit der des binären Alarmsystems. Zum besseren Verständnis der Verhaltensdifferenzierung bei LAS ohne Prüfoption wurden zusätzlich zu den Reaktions-Raten auch die Antwortstrategien der Nutzer des binären Systems und der LAS-Nutzer analysiert. Dazu erfolgte eine Kategorisierung des Verhaltens auf individueller Ebene. Anhand der Bearbeitungs-Raten wurde für jeden Probanden bestimmt, welche Antwortstrategie er gegenüber Alarmen (beim binären System) bzw. gegenüber Alarmen und gegenüber Warnungen (beim LAS) gewählt hatte. Dabei wurden die drei Heuristiken probability matching, positives und negatives extreme responding unterschieden. Es wurde erwartet, dass die bevorzugte Antwortstrategie bei Alarmen des LAS das positive extreme responding wäre, bei dem die Probanden auf nahezu alle Alarme mit direktem Bearbeiten reagieren. Für die Alarme des binären Systems und die LAS-Warnungen wurde hingegen angenommen, dass es sich bei der dominanten Strategie um das probability matching handeln würde, bei dem die Probanden versuchen, einen Anteil der Alarme (bzw. Warnungen) zu bearbeiten, welcher der wahrgenommenen (Warn-)PPV entspricht. Die jeweilige Höhe der Bearbeitungs-Raten von 99% bei LAS-Alarmen, 67% bei binären Alarmen deren PPV 0,43 betrug und 31% bei LAS-Warnungen deren Warn-PPV bei 0,29 lag, deutete darauf hin, dass die dominanten Strategien den Erwartungen entsprachen. Die statistischen Analysen bestätigten diese Vermutungen jedoch nicht vollständig. Die Annahmen bestätigten sich in Bezug auf die LAS-Alarme, auf die alle Probanden mit einem positiven extreme responding reagiert hatten. Dieses Ergebnis entspricht Befunden von Wiczorek (2012) zu binären Alarmsystemen, wonach die dominante Strategie bei hohen PPVs das positive extreme responding ist. Auch bei den Nutzern des binären Systems war die dominante Strategie, entsprechend den Erwartungen, das probability matching, das 9 der 15 Probanden zeigten. Bei den LAS-Warnungen zeigte sich hingegen statistisch keine dominante Strategie. Die am häufigsten vorkommende war zudem nicht das probability matching, sondern das negative extreme responding, welches bei 8 der 14 Probanden zur Anwendung kam. Bei Bliss, Gilson et al. (1995) führten mittlere PPVs bei binären Alarmsystemen am häufigsten zur Wahl eines probability matchings, was hier nur für die Alarme des binären Systems bestätigt werden konnte. Dass solche Analysen auf individueller Ebene zum besseren Verständnis 86

87 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS des Verhaltens beitragen können (Wiczorek, 2012), macht der Vergleich der Bearbeitungs-Raten mit den Analysen der Antwortstrategien deutlich. Wie man in Bezug auf die Warnungen sieht, kann die Interpretation von Mittelwerten mitunter zu einem falschen Bild des Probandenverhaltens führen, indem sich verschiedene Tendenzen gegenseitig ausmitteln. In der beschriebenen Bedingung ohne Prüfoption war die Häufigkeit des Ignorierens das negative Äquivalent zur Bearbeitungshäufigkeit, da nur diese beiden Verhaltensalternativen zur Verfügung standen. In der Bedingung mit Prüfoption hatten die Probanden die Wahl auf die Diagnosen direkt zu reagieren, deren Validität mithilfe von Rohdaten zu überprüfen oder die Meldungen zu ignorieren. Entsprechend wurde erwartet, dass sich das Verhalten mit und ohne Prüfoption insofern unterscheiden würde, als dass es bei Vorhandensein einer Prüfoption zu niedrigeren Ignorieren- und niedrigeren Bearbeitungs-Raten bei Meldungen insgesamt kommen sollte. Es wurde erwartet, dass die Probanden bei beiden Arten von Alarmsystemen den Großteil der Meldungen überprüfen würden, um ihrem Bedürfnis nach Unsicherheitsreduzierung zu folgen. Die Ergebnisse bestätigen diese Annahmen. Bei beiden Arten von Alarmsystemen erwies sich das Prüfen als dominante Reaktion auf Meldungen. Die Nutzer des binären Systems überprüften 92% der Meldungen, die LAS-Nutzer 79%. Aufgrund des häufigen Prüfens hatten beide Gruppen entsprechend niedrige Ignorieren- Raten mit 7% beim binären System und 5% beim LAS. In der Bedingung ohne Prüfoption wurden hingegen von den Nutzern des binären Systems 33% und von den LAS-Nutzern sogar 53% der Meldungen ignoriert. Auch von der Option des direkten Bearbeitens wurde zugunsten des Prüfens weniger Gebrauch gemacht, als wenn keine solche Validierungsmöglichkeit zur Verfügung stand. Die Nutzer des binären Systems bearbeiteten nur 1% der Meldungen direkt, beim LAS wurden 15% der Meldungen direkt bearbeitet, was immer noch sehr viel weniger war als die 67% bzw. 47% Bearbeitungs-Raten beim binären bzw. LAS in der Bedingung ohne Prüfoption. Die Ergebnisse zeigen, dass nicht nur die Nutzer binärer Alarmsysteme sondern auch LAS- Nutzer zur Unsicherheitsreduktion durch Überprüfung der Meldungen neigen, wenn ihnen die Möglichkeit dazu gegeben wird. Diese Ergebnisse bestätigen Befunde von Gérard und Manzey (2010) zu binären Alarmsystemen und zeigen darüber hinaus, dass die Einführung einer Prüfoption auch bei LAS zur Eliminierung des cry wolf Effekts bei Meldungen führt. Bezogen auf den Vergleich der beiden Systemarten in der Bedingung mit Prüfoption wurde ebenfalls, wie auch bei Abwesenheit einer solchen, davon ausgegangen, dass es beim LAS zu einer Verhaltensdifferenzierung zwischen den beiden Meldungsarten 87

88 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Alarme und Warnungen kommen würde. Die Analysen der Reaktions-Raten bei Alarmen und Warnungen separat bestätigen diese Annahme. LAS-Nutzer überprüften nur 37% der Alarme und reagierten auf 63% derselben mit einem direkten Bearbeiten. Von dieser Verhaltensoption machten sie hingegen bei den Warnungen nur zu 1% Gebrauch, während sie 90% überprüften. Das Verhalten der LAS-Nutzer bei Warnungen entsprach exakt dem Verhalten der Nutzer des binären Systems bei Alarmen, die diese auch nur zu 1% direkt bearbeiteten, zu 90% überprüften und zu 9% ignorierten. Diese Ergebnisse stehen in Einklang mit Befunden von Gérard (2012), wonach das Prüfen bei binären Alarmsystemen bis zu einer PPV von 0,85 die dominante Verhaltensweise darstellt und erst danach zugunsten des direkten Bearbeitens abnimmt. Die Verhaltensdifferenzierung bei LAS führte dementsprechend auch in der Bedingung mit Prüfoption zu einer Verlagerung von Verhaltenstendenzen. Das für binäre Alarmsysteme mit niedrigen PPVs typischerweise dominante Vorkommen des Prüfverhaltens verlagerte sich beim LAS in den Bereich der Warnungen, während bei Alarmen am häufigsten von der dritten Verhaltensoption dem direkten Bearbeiten Gebrauch gemacht wurde. Das Verhalten der Probanden gegenüber Normal-Meldungen der Alarmsysteme wurde in dieser Untersuchung nur am Rande betrachtet. Da in Bezug auf die NPV keine Manipulation erfolgte, wurde angenommen, dass sich die Reaktionen der Probanden auf Normal-Meldungen nicht unterscheiden würden und sie unabhängig von der jeweiligen Bedingung den Großteil der Normal-Meldungen ignorieren würden. Entgegen den Erwartungen ergaben die Analysen jedoch sowohl in Abhängigkeit der Art des Alarmsystems als auch in Abhängigkeit des Vorhandenseins einer Prüfoption Unterschiede in Bezug auf den Umgang mit Normal-Meldungen. Bei Abwesenheit der Prüfoption bearbeiteten die Probanden mit dem binären System die Normal-Meldungen signifikant häufiger als die LAS-Nutzer, wenn auch nur zu 5%. War eine Prüfoption vorhanden, begannen die Nutzer beider Systemarten die Normal-Meldungen zu 25% beim binären bzw. zu 32% beim LAS zu überprüfen. Aufgrund der hohen NPV von 0,98 erscheint dieses Verhalten wenig rational, zumal die Prüf-Raten fast denjenigen bei LAS-Alarmen von 37% entsprechen, deren Alarm-PPV bei 0,88 liegt. Diese Ergebnisse decken sich nicht mit Befunden von Gérard (2012), in deren Untersuchung die Prüf- Rate bei Normal-Meldungen eines binären Systems identischer NPV bei 8% lag. Einige Studien zeigten jedoch, dass auch die Höhe der PPV einen Einfluss auf den Umgang von Probanden mit Normal-Meldungen hat (z.b. Rice & McCarley, 2011; Wiczorek, Meyer & Guenzler, 2012). Die PPV des von Gérard (2012) verwendeten binären Alarmsystems lag bei 0,3 und unterscheidet sich dadurch von den hier verwendeten Alarm-PPVs, was eine mögliche Erklärung für die höheren Prüf- bzw. Bearbeiten-Raten 88

89 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS sein könnte. Insgesamt existieren verhältnismäßig wenige Studien, die die reliance, also das Nicht-Reagieren (oder Ignorieren) auf eine Normal-Meldung untersuchen. Die beschriebenen Befunde deuten jedoch darauf hin, dass es auch bezogen auf diesen Aspekt des Verhaltens im Umgang mit Alarmsystemen eines verstärkten Forschungsbestrebens bedarf. Im Anschluss an die Betrachtung des Verhaltens, wurde analysiert, wie die verschiedenen Systemarten sowie die Abwesenheit bzw. das Vorhandensein einer Prüfoption sich auf die Leistung der Probanden in der Alarmaufgabe sowie in der parallel zu bearbeitenden Bestellaufgabe auswirkten. Für die Bedingung mit Prüfoption wurde erwartet, dass die LAS-Nutzung sowohl zu einer besseren Leistung in der Alarmals auch in der Bestellaufgabe führen würde. Die Ergebnisse bestätigten diese Annahmen. Die LAS-Nutzer erhielten weniger Minuspunkte für ihre Reaktionen auf die Diagnosen des Alarmsystems, da sie weniger falsche Entscheidungen trafen. Dieses Ergebnis entspricht dem einer früheren Untersuchung von Bustamante (2008) und lässt sich durch die verhaltensdifferenzierende Wirkung des LAS begründen. Das konsequente Bearbeiten aller LAS-Alarme führt aufgrund der hohen Alarm-PPV zu mehr korrekten Entscheidungen als das anteilige Bearbeiten der Alarme des binären Systems, das gerade mal über eine halb so hohe PPV verfügt. Auch in der Bestellaufgabe erzielten die LAS-Nutzer eine höhere Leistung als die Nutzer des binären Systems. Dieser Effekt wurde bereits in anderen Studien angenommen, konnte jedoch bis jetzt nicht gezeigt werden (Sorkin et al., 1988; Bustamante, 2008). Er erklärt sich durch die niedrigen Bearbeitungs-Raten bei Warnungen, welche zu einer Reduzierung der Bearbeitungs-Raten von Meldungen insgesamt führen, verglichen mit denen der Nutzer des binären Systems. Da die LAS-Nutzer demnach insgesamt weniger Meldungen bearbeiteten, sparten sie sowohl zeitliche als auch Aufmerksamkeitsressourcen im Umgang mit dem Alarmsystem. Diese Ressourcen konnten sie gewinnbringend in die Bestellaufgabe investieren. Bezogen auf den Vergleich der Leistung in den beiden parallelen Aufgaben in Abhängigkeit des Vorhandenseins einer Prüfoption wurde erwartet, dass diese zu einer besseren Leistung in der Alarmaufgabe führen würde, während die Leistung in der Bestellaufgabe schlechter ausfallen würde als in der Bedingung ohne Prüfoption. Die Auswertung der Ergebnisse bestätigte diese Annahmen. Die hohe Leistung in der Alarmaufgabe deckt sich mit den Ergebnissen von Gérard und Manzey (2010) und ist auf die hohen Prüf-Raten bei beiden Systemen zurückzuführen. Die dadurch erfolgte Reduktion der Unsicherheit führte dazu, dass die Probanden nur sehr wenige falsche Entscheidungen im Umgang mit dem jeweiligen Alarmsystem trafen. Die Leistung in 89

90 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS der Bestellaufgabe war erwartungsgemäß deutlich schlechter als in der Bedingung ohne Prüfoption. Zur Überprüfung der Meldungen investierten die Probanden einen Großteil ihrer zeitlichen und Aufmerksamkeitsressourcen in die Alarmaufgabe, die ihnen somit nicht mehr für die Bearbeitung der Bestellaufgabe zur Verfügung standen, was die Leistung in derselben gegenüber der Bedingung ohne Prüfoption beeinträchtigte. Für den Vergleich der beiden Systemarten in der Bedingung mit Prüfoption wurden, anders als in der Bedingung ohne, keine Unterschiede zwischen dem LAS und dem binären System in Hinblick auf die Leistung in der Alarmaufgabe erwartet. Allerdings wurde angenommen, dass die Nutzung des LAS zu einer besseren Leistung in der Alarmaufgabe führen würde als die des binären Systems. Beide Hypothesen konnten bestätigt werden. Die bei beiden Systemen gleiche gute Leistung in der Alarmaufgabe ist auf die hohen Prüf-Raten beider Systeme zurückzuführen, die dazu führte, dass nur wenige Fehler im Umgang mit den Alarmsystemen gemacht wurden. Die Prüf-Raten beim LAS waren zwar geringer als beim binären System, allerdings wurden diese bei Alarmen zugunsten eines direkten Bearbeitens reduziert. Aufgrund der hohen Alarm- PPV führte dieses gezielte direkte Bearbeiten von Alarmen deswegen zum selben Ergebnis. In diesem Experiment konnten die LAS-Nutzer, anders als in der Studie von Bustamante (2008), ebenso wie die Nutzer des binären Systems von der Prüfoption profitieren, da beim Prüfen keine Restunsicherheit bestehen blieb. In Bezug auf die Leistung in der Bestellaufgabe ergaben sich im Gegensatz zur Alarmaufgabe Unterschiede zwischen den beiden Systemarten. Erwartungsgemäß erzielten die LAS- Nutzer bessere Resultate als die Nutzer des binären Systems. Dieser Effekt lässt sich durch das anteilige direkte Bearbeiten von Alarmen erklären. Da das Bearbeiten weniger Zeit kostet als das Prüfen, standen den LAS-Nutzern zusätzliche zeitliche und Aufmerksamkeitsressourcen zur Verfügung, die sie in die Bestellaufgabe investieren konnten und dadurch ihre Leistung gegenüber den Nutzern des binären Systems verbesserten. Bezogen auf die subjektive Beurteilung der Systeme durch die Probanden wurde erwartet, dass das LAS zu einem höheren Vertrauen der Nutzer führen würde als das binäre System. Weiterhin wurde angenommen, dass den Alarmen des LAS mehr Vertrauen geschenkt würde als den binären Alarmen, während bezogen auf das Vertrauen in Normal-Meldungen keine Unterschiede erwartet wurden. Die Auswertung bestätigte die Annahmen zum Vertrauen. Es wird davon ausgegangen, dass die größere Transparenz des LAS zu einer anderen Fehlerwahrnehmung der Probanden führt. Während die LAS-Nutzer nur die falschen Alarme als Systemfehler bewerten, nicht aber die falschen Warnungen, können die Nutzer des binären Systems hier keine 90

91 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS Differenzierung vornehmen und werten alle falschen Alarme als Systemfehler. Dementsprechend werden die Meldungen des LAS insgesamt als zuverlässiger wahrgenommen als die des binären Systems. Das Vertrauen in das LAS ist demnach höher, da das System durch die Nutzer sowohl als transparenter als auch als zuverlässiger eingeschätzt wird und diese beiden Faktoren zur Bildung von Vertrauen beitragen (z.b. Lee & Moray, 1992; Wiczorek, 2011). Darüber hinaus scheint sich das allgemeine Vertrauen aus einer Integration der Vertrauenswerte in die unterschiedlichen Diagnosearten des Systems zu ergeben. Die Kombination aus demselben Vertrauen in Normal-Meldungen wie beim binären System und einem höheren Vertrauen in Alarme des LAS könnten demnach zu dem höheren Vertrauen in das LAS insgesamt geführt haben. Dafür spricht, dass sich zwar das Vertrauen in die beiden Systeme unterschied, nicht aber die von den Probanden wahrgenommene Gesamtreliabilität, die demnach nicht als Grundlage für das allgemeine Vertrauen herangezogen wurde. Die Analyse der Veränderung des Vertrauens über die Zeit führte zu uneinheitlichen Ergebnissen, die kein klares Muster erkennen lassen. Die Prüfoption hatte, mit Ausnahme des allgemeinen Vertrauens, bei dem sie zu einer Steigerung führte, keine Effekte auf die Höhe der Vertrauenswerte der Teilnehmer. Insgesamt scheinen die Ergebnisse zum Vertrauen sehr gut mit den Verhaltensdaten zu korrespondieren, was die Theorien zur verhaltensleitenden Wirkung von Vertrauen unterstützen würde (Lees & Lee, 2007; Madhavan et al., 2006). Ob sich das Verhalten jedoch als Konsequenz des Vertrauens oder direkt als Reaktion auf die wahrgenommenen Systemcharakteristika ergibt, kann auf Basis der Datenlage nicht abschließend beantwortet werden. Die Studie bestätigt insgesamt die Annahmen, dass LAS im Kontext von Mehrfachaufgaben-Paradigmen einen Vorteil gegenüber binären Alarmsystemen erbringen. Das LAS stellt für die Probanden verglichen mit dem binären Alarmsystem ein adäquateres Entscheidungsunterstützungssystem dar, das es ihnen ermöglicht, angemessene Strategien im Umgang mit den unterschiedlichen Meldungen zu entwickeln. Von dieser Verhaltensdifferenzierung profitiert sowohl die Leistung in der Alarmaufgabe als auch die Leistung in der Parallelaufgabe. Die Annahme von Sorkin et al. (1988) wonach LAS zu einer besseren Aufmerksamkeits-Allokation zwischen parallelen Aufgaben führen als binäre Alarmsysteme, konnte demnach sowohl auf der Ebene des Verhaltens als auch auf der Leistungsebene bestätigt werden. Die Frage, ob diese Effekte auf die gefundenen Unterschiede im Vertrauen zurückzuführen sind, konnte auf Basis der gefundenen Ergebnisse nicht abschließend beantwortet werden. In der beschriebenen Untersuchung zeigte sich eine deutliche Verhaltenswirksamkeit des LAS obwohl die Belastung durch die Parallelaufgabe lediglich moderat war. Zu 91

92 7. Experiment 1: Vergleich eines binären Alarmsystems mit einem LAS ähnlichen Befunden kam auch Bustamante (2008), während sich die positiven Effekte des LAS in der Untersuchung von Sorkin et al. (1988) erst unter hoher Belastung durch die Parallelaufgabe einstellten. Das LAS in der vorliegenden Untersuchung verfügte über dieselbe Alarm-PPV von 0,88 wie dasjenige in der Studie von Bustamante (2008), während bei Sorkin et al. (1988) eine höhere Alarm-PPV vorlag. Ein Vergleich der Ergebnisse der zwei Studien mit denen der hier beschriebenen Untersuchung legt die Vermutung nahe, dass die Höhe der Alarm-PPV beziehungsweise die Höhe des Schwellenwerts, der diese bedingt, einen Einfluss auf die Art bzw. Stärke der Verhaltenswirksamkeit von LAS haben könnte. Darüber hinaus zeigte sich in beiden Untersuchungen, dass sich das Verhalten im Umgang mit LAS auch in Abhängigkeit der Belastung von Probanden unterschied. In den folgenden beiden Experimenten soll deswegen die Frage nach dem Einfluss unterschiedlicher Schwellenwerte von LAS bei verschieden hoher Belastung auf das Verhalten von Probanden und ihre Leistung in den verschiedenen Arbeitsaufgaben näher untersucht werden. Die beiden Studien unterscheiden sich in Bezug auf das Vorhandensein bzw. die Abwesenheit einer Prüfoption. In der zweiten Untersuchung soll die Wirkung dreier verschiedener LAS unter zwei unterschiedlichen Belastungsniveaus verglichen werden, wenn den Probanden keine Möglichkeit zur Überprüfung der Diagnosen zur Verfügung steht. 92

93 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption 8.1 Forschungsfrage Experiment 2 Das zweite Experiment adressiert die Frage nach dem Einfluss unterschiedlicher zweiter Schwellenwerte bei LAS. Dazu wurde die Wirkung dreier verschiedener LAS auf das Verhalten, die Leistung und das Vertrauen von Probanden in einem Mehrfachaufgaben- Paradigma untersucht. Es wird davon ausgegangen, dass sowohl sehr hohe als auch sehr niedrige zweite Schwellen den positiven Effekt von LAS aufheben können. Eine hohe zweite Schwelle führt zu einem sehr kleinen Alarmbereich und zu sehr wenigen Alarmen. Es könnte passieren, dass die Nutzer sich dadurch primär auf den Warnbereich konzentrieren und das LAS in ihrer mentalen Repräsentation wieder zu einem binären System wird, dessen hohe Anzahl falscher Warnungen zu einem cry wolf Effekt führt. Eine sehr niedrige zweite Schwelle könnte hingegen die Alarm-PPV in einem Maße reduzieren, dass diese aufgrund der hohen Zahl an FAs zu Einbußen in der compliance führt. Im Experiment 2 sollte deswegen das LAS, welches im ersten Experiment im Vergleich zum binären Alarmsystem zu besseren Ergebnissen geführt hatte, mit einem LAS mit höherer zweiter Schwelle und einem LAS mit niedrigerer zweiter Schwelle verglichen werden. Es wurde erwartet, dass das LAS mit mittlerer Schwelle zu besseren Ergebnissen in der Leistung führen würde als die beiden anderen Systeme. Zur Variation der untersuchten Systeme wurde die Zahl der vom System generierten hits gewählt. Das in Experiment 1 untersuchte LAS (nachfolgend als 0.8-LAS bezeichnet) diente als Referenzsystem und wurde mit einem LAS verglichen, welches doppelt so viele hits generierte, was in einer Alarm-PPV von 0,63 und einer Warn-PPV von 0,14 resultierte (nachfolgend als 0.6-LAS bezeichnet). Das dritte LAS generierte halb so viele hits, was zu einer Alarm-PPV von 0,89 und einer Warn-PPV von 0,35 führte (nachfolgend als 0.9-LAS bezeichnet). Um zu gewährleisten, dass das 0.9-LAS weiterhin FAs generierte, war keine weitere Steigerung der PPV unter den gegebenen Rahmenbedingungen möglich. Zum Verständnis der erwarteten Leistungsunterschiede werden zunächst die erwarteten Unterschiede im Verhalten erläutert. In Studien mit binären Alarmsystemen ohne Prüfoption konnte gezeigt werden, dass sich die Antworthäufigkeiten von Probanden mit steigender PPV erhöhen (Bliss, Gilson et al., 1995; Wiczorek & Manzey, 2010). Davon ausgehend wurde erwartet, dass sich ein ähnlicher Effekt in Abhängigkeit einer Variation der Alarm-PPV bei LAS einstellen würde, welcher aus der Verschiebung der zweiten Schwelle resultieren sollte. Es wurde davon ausgegangen, dass die Probanden, wie in Experiment 1, ihr Verhalten im Umgang 93

94 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption mit den unterschiedlichen Meldungsarten des LAS differenzieren würden. Da ihnen keine Prüfoption zur Verfügung stand, sollten sie sich jeweils einer der drei beschriebenen Heuristiken im Umgang mit den Alarmen und den Warnungen bedienen. Es wurde angenommen, dass die Probanden der 0.8- und 0.9-Bedingung auf Alarme des LAS mit einem positiven extreme responding reagieren würden, während die Probanden im Umgang mit den Alarmen des 0.6-LAS neben dem positiven extreme responding auch vermehrt das probability matching wählen würden. Diese Annahme basiert auf Ergebnissen einer Studie zu binären Alarmsystemen, bei der sich erst ab einer PPV von 0,7 das positive extreme responding als die meistgewählte Antwortstrategie erwies und niedrigere PPVs zu uneinheitlicher Strategiewahl führten (Wiczorek, 2012). Demnach sollte das 0.6-LAS zu niedrigeren Bearbeitungs-Raten bei Alarmen führen als die anderen beiden LAS. Zum Umgang mit den Warnungen wurde erwartet, dass die Probanden der 0.8- und 0.6-Gruppe eher zu einem negativen extreme responding tendieren würden, wie es auch im zweiten Experiment der Fall gewesen war. Die Probanden der 0.9-Gruppe sollten aufgrund der höheren Warn-PPV eher eine probability matching Strategie verfolgen. Das 0.9-LAS würde entsprechend zu höheren Bearbeitungs-Raten bei Warnungen führen als die anderen beiden LAS. Rechnerisch sollten sich aus der Kombination der Bearbeitungs-Raten bei Alarmen und Warnungen für das 0.8-LAS niedrigere Bearbeitungs-Raten bei Meldungen insgesamt ergeben. Das liegt daran, dass das 0.9-LAS den größten Warn-Bereich und das 0.6-LAS den größten Alarmbereich hat und für diese jeweils ein probability matching erwartet wurde. Bezogen auf die Normal-Meldungen wurde angenommen, dass die Probanden diese fast komplett ignorieren würden, wie sie es in Experiment 1 beim Umgang mit dem LAS ohne Prüfoption getan hatten. Es wurde nicht erwartet, dass sich in Bezug auf die Bearbeitungs-Raten bei Normal-Meldungen Unterschiede zwischen den drei LAS zeigen würden, da sie alle über dieselbe NPV verfügten. Aufgrund der beschriebenen erwarteten Verhaltensdifferenzierung wurde angenommen, dass sich bei der 0.9-Gruppe vermehrt FAs, als Konsequenz des probability matchings bei Warnungen, ergeben würden. Bei der 0.6-Gruppe sollte es hingegen aufgrund des probability matchings bei Alarmen vermehrt zu misses kommen. Diese höhere Anzahl an Fehlern sollte jeweils die Leistung der beiden Gruppen im Verhältnis zur 0.8-Gruppe reduzieren. Demnach sollte das 0.8-LAS zur besten Leistung in der Alarmaufgabe führen. Da die 0.8-Gruppe aufgrund der niedrigeren Bearbeitungs-Raten bei Meldungen insgesamt außerdem über die meisten freien zeitlichen Ressourcen verfügen sollte, wurde außerdem erwartet, dass die Nutzung des 0.8-LAS zur besten Leistung in der parallelen Bestellaufgabe führen würde. 94

95 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption In diesem zweiten Experiment wurde außerdem untersucht, welchen Einfluss die drei verschiedenen LAS auf die Parameter des MMS haben. Die Leistung des MMS ergibt sich aus der Kombination der Leistung von Mensch und Alarmsystem (Sorkin & Woods, 1985). Gemeint sind hier zum einen die beiden Fehlerarten des MMS, FAs und misses sowie seine SDT-Parameter MMS-Sensitivität d und MMS-Kriterium c, die auf Basis der Ausgangsgrößen des MMS in Form von hits, misses, FAs und CRs bestimmt werden. Auch bei der Interaktion von Mensch und LAS, welches über zwei Schwellenwerte verfügt, ergibt sich eine Vier-Felder-Ausgangsgrößen-Matrix und in Konsequenz nur ein Kriterium bzw. Schwellenwert des MMS (nicht zwei), da den Probanden nur zwei Verhaltensoptionen (Bearbeiten oder Ignorieren) zur Verfügung stehen, die zu den wahren Umweltzuständen (Container intakt oder nicht) in Bezug gesetzt werden. Die Betrachtung der MMS-Parameter erlaubt eine differenziertere Beurteilung der Leistung im Umgang mit dem Alarmsystem als die reine Betrachtung der Leistungsdaten in Form von Fehlern bei der Bearbeitung. Zum einen wird hierbei zwischen den Arten von Fehlern unterschieden und zum anderen bietet sich mit der Sensitivität des MMS ein Maß, welches nicht nur die Fehler berücksichtigt, sondern diese in Beziehung zu den korrekten Entscheidungen setzt (Wallack & Adams, 1969). Auf die Relevanz dieses Unterschieds wird in Abschnitt nochmals genauer eingegangen. In bisherigen Studien, bei denen MMS-Parameter als abhängige Variablen dienten, konnte gezeigt werden, dass LAS gegenüber binären Alarmsystemen zu einer Reduktion der FAs (Bustamante & Bliss, 2005) führen und darüber hinaus zu einer Steigerung der MMS-Sensitivität (Bustamante, 2005). Diese Effekte erklären sich durch eine Verschiebung des Antwortkriteriums der Probanden, die Einfluss auf das MMS- Kriterium sowie seine anderen Parameter nehmen kann. In diesem Experiment wurde erwartet, dass das 0.8-LAS zu einem konservativeren MMS-Kriterium führen würde als die beiden anderen LAS. Dieses konservative MMS-Kriterium sollte sich aufgrund der niedrigen Bearbeitungs-Raten bei Meldungen ergeben, die für das 0.8-LAS erwartet wurden. Unterschiedliche MMS-Kriterien führen nicht zwangsläufig zu Unterschieden in der MMS-Sensitivität. Dennoch wurde angenommen, dass das 0.8-LAS zu einer höheren MMS-Sensitivität führen würde als die beiden anderen LAS. Diese Annahme beruhte auf der oben beschriebenen Erwartung einer höheren Anzahl FAs für das 0.9- LAS und einer höheren Anzahl misses beim 0.6-LAS. Entsprechend den Ergebnissen des ersten Experiments wurde außerdem erwartet, dass sich das Vertrauensurteil der Probanden in Abhängigkeit der Reliabilitätsparameter unterscheiden würde. Es wurde davon ausgegangen, dass das Vertrauen in die 95

96 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption jeweiligen Diagnosen mit steigender Alarm- bzw. Warn-PPV höher ausfiele und dass sich die einzelnen höheren Vertrauenswerte auch im Gesamtvertrauen widerspiegeln würden. Diese Erwartung basierte auf der beschriebenen Annahme, dass die Probanden die Einzelvertrauensurteile zu einem Gesamturteil integrieren. Dementsprechend sollten die Nutzer des 0.9-LAS die höchsten Vertrauenswerte in Alarme und Warnungen des Systems und in Folge auch ein höheres Gesamtvertrauen berichten. Die Nutzer des 0.6- LAS sollten hingegen bezogen auf Alarme, Warnungen und das Vertrauen in das LAS allgemein die niedrigsten Werte erzielen. Bezogen auf Normal-Meldungen wurden keine Unterschiede im Vertrauen der Probanden aller drei Gruppen erwartet, da die NPV aufgrund derselben ersten Schwelle bei allen drei Systemen gleich war. In diesem Experiment sollte außerdem der Zusammenhang zwischen Vertrauen und Verhalten näher untersucht werden. In Studien zur Wirkung des Vertrauens auf den Umgang mit binären Alarmsystemen konnte gezeigt werden, dass es einen positiven Zusammenhang zwischen der Höhe des angegebenen Vertrauens in das verwendete System und der Nutzung in Form von compliance gibt (Madhavan et al., 2006, Lee & Lees, 2007). In diesem Experiment sollten entsprechend die Bearbeitungs-Raten bei Alarmen und Warnungen mit dem jeweiligen Vertrauen in diese Diagnosen positiv korrelieren, die Bearbeitungs-Raten bei Normal-Meldungen hingegen negativ. Da davon ausgegangen wurde, dass sich das allgemeine Vertrauen durch eine Integration der Einzelvertrauenswerte ergibt, sollten sich auch bei diesem Zusammenhänge mit den verschiedenen Bearbeitungs-Raten ergeben. Neben der Schwellensetzung wurde in diesem zweiten Experiment auch der Einfluss der Höhe der Belastung der Probanden auf das Verhalten und die Leistung untersucht. Die Variation der Belastung erfolgte durch die Einführung einer zusätzlichen parallelen Arbeitsaufgabe, der in Kapitel 6 beschriebenen Tankfüllaufgabe. Dadurch, dass nicht die Bestellaufgabe selbst zur Variation der Belastung genutzt wurde, sollte verhindert werden, dass es bei den Ergebnissen zur Konfundierung mit der Leistung käme. In Studien mit binären Alarmsystemen konnte gezeigt werden, dass eine höhere Belastung die Reaktionshäufigkeiten auf Alarme reduziert (Gérard, 2012) und zu einer niedrigeren Leistung in der Alarmaufgabe und in parallelen Arbeitsaufgaben führt (z.b. Bliss & Dunn, 2000). Dementsprechend wurde davon ausgegangen, dass sich die Bearbeitungs- Raten bei Alarmen und Warnungen bei allen drei LAS reduzieren würden, da die Bearbeitung einer zusätzlichen Aufgabe den Einsatz von Ressourcen erfordert, die von den anderen beiden Aufgaben abgezogen werden müssen. In den Studien zum Vergleich binärer Alarmsysteme und LAS führte eine Erhöhung der Belastung zu einer Intensivierung des Leistungsunterschiedes in der Alarmaufgabe (Sorkin et al., 1988; 96

97 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Bustamante, 2008). Dieser Effekt ist auch im Vergleich verschiedener LAS denkbar. Es wurde dementsprechend davon ausgegangen, dass sich die erwarteten Leistungsunterschiede zwischen dem 0.8-LAS und den beiden anderen LAS sowohl in der Alarm- als auch in der Parallelaufgabe bei höherer Belastung verstärken würden. Ähnliche Annahmen wurden auch bezogen auf die MMS-Parameter getroffen. Die höhere Belastung sollte bei allen drei LAS zu einem konservativeren MMS-Kriterium und dadurch zu mehr misses und weniger FAs führen. Die MMS-Sensitivität sollte sich bei allen drei LAS reduzieren. Die erwarteten Unterschiede in der MMS-Sensitivität zwischen 0.8-LAS und den anderen beiden Systemen sollten sich jedoch trotzdem verstärken, da davon ausgegangen wurde, dass die Verschiebung des MMS-Kriteriums und die resultierende Verringerung der MMS-Sensitivität beim 0.6- und 0.9-LAS stärker ausfallen würde. In Bezug auf das Vertrauen der Probanden in die LAS und ihre Diagnosen wurde kein Effekt einer Variation der Belastung erwartet. Die Darstellung und Beschreibung der Forschungshypothesen findet sich in Abschnitt 8.3 vor dem Ergebnisteil. 8.2 Methode Experiment Stichprobe In die Auswertung gingen die Daten von 45 Versuchspersonen (22 davon weiblich) im Alter zwischen 18 und 34 Jahren (M: 25,42; SD: 4,18) ein. Die Datensätze von drei der ursprünglich 48 Probanden wurden aus der Auswertung ausgeschlossen, da die Probanden die Aufgaben nicht entsprechend der Instruktion bearbeitet hatten. Die Rekrutierung der Teilnehmer erfolgte über den Probandenserver PESA der HU Berlin. Bei 36 der Teilnehmer handelte es sich um Studenten, sechs waren berufstätig und drei gaben an, weder zu studieren noch berufstätig zu sein. 16 Teilnehmer hatten einen naturwissenschaftlichen bzw. ingenieurswissenschaftlichen Hintergrund, 29 kamen aus anderen Disziplinen. Die Teilnahme am Experiment erfolgte freiwillig. Die Versuchspersonen erhielten für ihre Teilnahme eine Aufwandsentschädigung, welche sich aus einer Basisbezahlung von 10 und einer leistungsabhängigen Bezahlung von bis zu 10 zusammensetzte. Jeder Teilnehmer wurde zufällig einer der drei Experimentalgruppen zugeteilt, sodass es ursprünglich 16 Teilnehmer pro Gruppe gab. Dabei wurde auf eine Ausbalancierung der Geschlechter geachtet. Aufgrund des Ausschlusses von drei Probanden reduzierte sich die Anzahl in einer der Experimentalgruppen auf

98 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Versuchsumgebung Zur Durchführung des Experiments wurde, wie in Experiment 1, die Versuchsumgebung M-TOPS verwendet. Im Laufe des Experiments wurden alle drei Aufgaben bearbeitet; Alarmaufgabe, Bestellaufgabe und Tankfüllaufgabe. Den Teilnehmern wurde in diesem Experiment nicht die Möglichkeit gegeben, die Diagnosen des Alarmsystems mithilfe der Prüfoption zu validieren. Sie konnten lediglich wählen, ob sie einen Container bearbeiten oder ihn ignorieren wollten Auszahlungssystem Bei dem Auszahlungssystem handelte es sich ebenfalls um dasselbe, welches in Experiment 1 Verwendung fand. Für die dritte Aufgabe (Tankfüllaufgabe) erhielten die Teilnehmer 7,5 Punkte pro komplettem Kühlwasseraustausch. Diese Anzahl an Punkten sollte gewährleisten, dass der Anreiz der Bestell- und der Tankfüllaufgabe annähernd gleich wahrgenommen werden. In der Zeit, die ein kompletter Austausch benötigt, können die Probanden ca. fünf Bestellaufgaben (à 1,5 Punkte) lösen Design Bei dem Design der Untersuchung handelte es sich um ein 3(0.6- vs vs 0.9-LAS) x 2(hohe vs. niedrige Belastung) Design mit Messwiederholung auf dem zweiten Faktor. Der Versuchsplan ist in Tabelle 6 dargestellt. Tabelle 6: Versuchsplan Experiment 2 (n=teilstichprobe) 98

99 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Die drei verwendeten LAS verfügten über dieselbe Sensitivität d und über dasselbe Kriterium c (erster Schwellenwert), in Konsequenz verfügten sie ebenfalls über dieselbe NPV. Die drei LAS hatten zusätzlich eine zweite Schwelle c*, welche sich bei allen drei LAS unterschied. Folglich variierten die drei LAS in Bezug auf ihre jeweilige Alarmund Warn-PPV. Tabelle 7 gibt einen Überblick über alle relevanten Systemparameter der verwendeten Alarmsysteme. Tabelle 7: Systemparameter Experiment 2 SDT-Parameter für die drei LAS In einem der zwei Experimentaldurchgänge bearbeiteten die Teilnehmer nur die beiden selben Aufgaben wie in Experiment 1, in dem anderen alle drei Aufgaben (Alarm-, Bestell- und Tankfüllaufgabe) parallel. Die Hinzunahme der dritten Aufgabe erfolgte in der Absicht einer Belastungserhöhung der Probanden. In vorherigen Untersuchungen mit derselben Versuchsumgebung hatte sich gezeigt, dass die Leistung der Probanden in der Tankfüllaufgabe, unabhängig von der jeweiligen Bedingung, eher homogen war (z.b. Gérard, 2012). Diese Tatsache lässt sich vermutlich durch die Zeitstruktur der Aufgabe erklären. Demnach erschien die Tankfüllaufgabe gut geeignet, um die Belastung zu erhöhen ohne selbst zu viel zusätzliche Varianz zu erzeugen. Es wurde davon ausgegangen, dass sich die drei Gruppen in dieser Aufgabe nicht unterscheiden würden. Die Reihenfolge der unterschiedlichen Belastungsniveaus wurde ausbalanciert Abhängige Variablen Die abhängigen Variablen, welche in diesem Experiment betrachtet wurden, entsprachen denen aus dem ersten Experiment. Bezogen auf die Reaktions-Raten gegenüber den verschiedenen Meldungsarten standen jedoch nur zwei 99

100 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Verhaltensoptionen zur Auswahl; Bearbeiten und Ignorieren. Da die Summe der jeweiligen Bearbeitungs- und Ignorieren-Rate eins ergibt und es sich deswegen bei den Ignorieren-Raten um redundante Informationen handelt, werden nur die Bearbeitungs- Raten berichtet. Die Leistung in der dritten Aufgabe (Tankfüllaufgabe), die nur im zweiten Experimentaldurchgang bearbeitet wurde, diente lediglich der Erhöhung der Belastung und stellt deswegen keine abhängige Variable dar. Zusätzlich wurden weitere abhängige Variablen in Bezug auf die SDT-Parameter der resultierenden MMS erhoben und ausgewertet. Betrachtet wurde: die MMS-Sensitivität d das MMS-Kriterium c sowie die Häufigkeit des Vorkommens der beiden Fehlerarten: FAs Misses MMS-Sensitivität und MMS-Kriterium wurden auf Basis der vier Ausgangsvariablen hits, FAs, misses und CRs des MMS entsprechend den Formeln, welche in Kapitel 3.2 dargestellt sind, berechnet. Die Sensitivität stellt ein alternatives Maß zur Leistung im Umgang mit dem Alarmsystem dar. Während bei der Bewertung der Leistung anhand der Minuspunkte in der Alarmaufgabe nur die Anzahl an Fehlern betrachtet wird, welche bei der Interaktion mit dem Alarmsystem gemacht werden, gibt die Sensitivität Auskunft über die Diskriminationsfähigkeit der Kombination aus Mensch und Alarmsystem. Dabei werden Fehler und richtige Entscheidungen in Beziehung gesetzt. Die gleiche Anzahl an Minuspunkten in der Alarmaufgabe aufgrund gleicher absoluter Fehlerzahl kann je nach Verteilung Resultat unterschiedlicher Sensitivitäten sein. Tabelle 8 veranschaulicht diese Zusammenhänge anhand zweier Beispiele. 100

101 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Tabelle 8: Veranschaulichung des Unterschieds verschiedener Leistungsparameter Vergleich zweier Ausgangsgrößenmatrizen gleicher Fehler- bzw. Minuspunkteanzahl bei unterschiedlicher Sensitivität Durchführungsdetails Die Durchführung von Experiment 2 dauerte ca. zwei Stunden, der Ablauf des Experiments erfolgte wie in Experiment 1. In der Instruktion wurde den Teilnehmern zusätzlich die dritte Aufgabe erklärt, die sie im Anschluss genau wie die beiden anderen für zwei Minuten üben konnten. Im Gegensatz zum ersten erstreckte sich dieses Experiment über zwei Experimentaldurchgänge, in denen jeweils 100 Container über den Bildschirm liefen. Die Dauer betrug bei beiden Durchgängen durchschnittlich je 15 Minuten. In einem Experimentaldurchgang bearbeiteten die Probanden zwei Aufgaben (Alarmaufgabe und Bestellaufgabe), im anderen alle drei Aufgaben. Die Reihenfolge der beiden Durchgänge mit unterschiedlicher Belastung wurde ausbalanciert, um Reihenfolgeeffekte zu vermeiden. Nach jeweils beiden Experimentaldurchgängen füllten die Teilnehmer den Vertrauensfragebogen aus (allgemeines Vertrauen, Vertrauen in Alarme, Warnungen und Normal-Meldungen). Der FMV wurde nur einmal, wie auch in Experiment 1, am Ende bearbeitet. Tabelle 9 gibt den Verlauf des Versuchs wieder. 101

102 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Tabelle 9: Ablauf Experiment Hypothesen Experiment 2 Hypothesen zum Vergleich der drei LAS mit unterschiedlicher zweiter Schwelle o Verhalten H1: Die drei LAS unterscheiden sich hinsichtlich der jeweiligen Höhe der Bearbeitungs-Raten bei Alarmen, Warnungen und Meldungen insgesamt. Das 0.6-LAS hat die niedrigsten Bearbeitungs-Raten bei Alarmen, das 0.9-LAS die höchsten Bearbeitungs-Raten bei Warnungen und das 0.8-LAS die niedrigsten Bearbeitungs-Raten bei Meldungen insgesamt. Diese Erwartungen beruhen auf Ergebnissen zu binären Alarmsystemen, wonach sich die Häufigkeit des Bearbeitens mit steigender PPV erhöht (Bliss, Gilson, et al., 1995; Wiczorek & Manzey, 2010). Die angenommenen Unterschiede bei Alarmen und Warnungen sollten ihrerseits in den beschriebenen Unterschieden der Bearbeitungs-Raten bei Meldungen insgesamt resultieren. H2: Bezogen auf die Normal-Meldungen zeigen sich keine Unterschiede zwischen den drei LAS. 102

103 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption H3: Die Probanden, die mit dem 0.9- und dem 0.8-LAS arbeiten, wählen als dominante Antwortstrategie auf Alarme das positive extreme responding, beim 0.6-LAS gibt es keine dominante Strategie im Umgang mit Alarmen. H4: Die Probanden, die mit dem 0.8- und dem 0.6-LAS arbeiten, wählen als dominante Antwortstrategie auf Warnungen das negative extreme responding, beim 0.9-LAS gibt es keine dominante Strategie im Umgang mit Warnungen. Hypothese 3 und 4 beruhen auf Ergebnissen zur Wahl von Antwortstrategien bei binären Alarmsystemen (Wiczorek, 2012). Es zeigte sich, dass erst ab einer PPV von 0,7 das positive extreme responding die dominante Strategie darstellt und erst bei PPVs von 0,3 und darunter das negative extreme responding als dominante Strategie auftritt. o Leistung H5: Das 0.8-LAS führt zu einer höheren Leistung in der Alarmaufgabe und zu einer höheren Leistung in der Bestellaufgabe als die anderen beiden LAS. Die höhere Leistung in der Bestellaufgabe sollte sich aufgrund der geringeren Bearbeitungs-Raten bei Meldungen insgesamt ergeben (H1). Die höhere Leistung in der Alarmaufgabe sollten sich aufgrund der erwarteten Kombination der Antwortstrategien bei Alarmen und Warnungen ergeben (H3, H4), die insgesamt zu weniger Fehlern führen sollten (vgl. H7). o SDT-Parameter H6: Die MMS-Sensitivität und das MMS-Kriterium unterscheiden sich für die drei LAS. Das 0.8-LAS führt zum konservativsten MMS-Kriterium und zur höchsten MMS-Sensitivität. Das konservativste MMS-Kriterium sollte sich aufgrund der erwarteten niedrigen Bearbeitungs-Raten bei Meldungen insgesamt ergeben (H1). Die höchste Sensitivität aufgrund der geringeren Fehlerzahl (vgl. H7). 103

104 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption H7: Die Anzahl der MMS-Fehler unterscheidet sich für die drei LAS. Das 0.6-LAS führt zur höchsten Anzahl an misses, das 0.9-LAS zur höchsten Anzahl an FAs. Aufgrund der angenommenen niedrigsten Bearbeitungs-Rate bei Alarmen (H1) wird die höhere Zahl an misses beim 0.6-LAS erwartet. Die höhere Zahl der FAs beim 0.9-LAS wird aufgrund der erwarteten niedrigeren Bearbeitungs-Raten bei Warnungen (H1) angenommen. o Vertrauen H8: Das Vertrauen allgemein, in Alarme und Warnungen unterscheidet sich in Abhängigkeit des verwendeten LAS. Je höher die jeweilige Alarmbzw. Warn-PPV, desto höher das Vertrauen. Das 0.9-LAS führt jeweils zum höchsten Vertrauen. Diese Erwartung beruht auf Befunden zum Zusammenhang von Vertrauen und wahrgenommener Zuverlässigkeit des Alarmsystems (Madhavan et al., 2006) und der Interpretation der Ergebnisse aus Experiment 1, für die angenommen wurde, dass sich das Gesamtvertrauen aus der Integration der Einzelvertrauenswerte ergibt. H9: Das Vertrauen in Normal-Meldungen unterscheidet sich nicht zwischen den drei LAS. Hypothesen zur Variation der Belastung H10: Eine höhere Belastung führt zu einer Reduktion der Bearbeitungs- Raten, der Leistung in den beiden Aufgaben, der MMS-Sensitivität und der Anzahl an FAs und außerdem zu einer Steigerung der Anzahl an misses und zu einer Verschiebung des MMS-Kriteriums in konservativer Richtung. Diese Annahmen beruhen auf Befunden zur Reduktion der Bearbeitungshäufigkeit (Gérard, 2012), der Leistung in der Alarmund Parallelaufgabe (Bliss & Dunn, 2000) und der Überlegung, dass sich bezogen auf die SDT-Parameter ähnliche Effekte ergeben sollten. 104

105 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption H11: Eine höhere Belastung verstärkt die zwischen dem 0.8-LAS und den anderen beiden LAS erwarteten Unterschiede in Bezug auf die Leistung in den beiden Aufgaben und die MMS-Sensitivität. Diese Hypothese beruht auf Befunden zum Vergleich von LAS mit binären Alarmsystemen, bei denen sich die Unterschiede entweder ausschließlich oder verstärkt unter höherer Belastung zeigten (Sorkin et al., 1988; Bustamante 2008). 8.4 Ergebnisse Experiment 2 Der nachfolgende Bericht der Ergebnisse stellt die statistische Auswertung des Einflusses der beiden unabhängigen Variablen ALARMSYSTEM und BELASTUNG auf die beschriebenen abhängigen Variablen dar. Zunächst werden die Ergebnisse des Manipulationschecks dargestellt, danach die Ergebnisse zum Verhalten, die Ergebnisse der Leistungsdaten die Ergebnisse zu den SDT-Parametern, und abschließend die Ergebnisse der Analysen zum Vertrauen. Wenn nicht anders angegeben, liegt das Signifikanzniveau bei p=0,05. Die Mittelwerte (M) und Standardabweichungen (SD) aller berichteten Ergebnisse aus Experiment 2 finden sich im Anhang B Manipulationscheck In die Analyse der geschätzten Reliabilitätsparameter gingen nur die Daten der 32 Versuchspersonen ein, die die Felder der Matrix korrekt ausgefüllt hatten. Die Auswertung der geschätzten Reliabilitätsparameter erfolgte mittels einer einfaktoriellen Varianzanalyse mit dem Faktor ALARMSYSTEM. Bezogen auf die Reliabilität und die NPV der Systeme wurde das Signifikanzniveau auf p=0,20 angehoben, da keine Unterschiede erwartet wurden und es sich somit um eine Nullhypothesenprüfung handelte. 105

106 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Tabelle 10: Reliabilitätsschätzungen Experiment 2 Mittelwerte der geschätzten Reliabilitätsparameter im Vergleich zu den wahren Werten (in Klammern) Reliabilität Alarm-PPV Warn-PPV NPV 0.6-LAS 0.8-LAS 0.9-LAS 0,61 (0,6) 0,67 (0,6) 0,68 (0,6) 0,6 (0,63) 0,84 (0,88) 0,90 (0,89) 0,42 (0,14) 0,46 (0,29) 0,45 (0,35) 0,81 (0,97) 0,87 (0,97) 0,85 (0,97) Die Mittelwerte geschätzten Reliabilitätsparameter sind in Tabelle 10 dargestellt. Die Schätzungen unterschieden sich, entsprechend den Erwartungen, bezogen auf die Reliabilität, F(1,29)=1,05; n.s., und die NPV, F(1,29)=0,32; n.s., nicht zwischen den drei LAS. Die Schätzungen der Alarm-PPV unterschieden sich signifikant in angenommener Richtung, F(1,29)=11,97; p<0,001. Die höchsten Schätzungen erfolgten für das 0.9- LAS, die niedrigsten für das 0.6-LAS. Diese Unterschiede in der Schätzung der Alarm- PPV bestätigen einen Unterschied in der Wahrnehmung der drei Arten von LAS durch die Probanden und liefern damit die Voraussetzung für die weiteren Analysen. Die Schätzungen der Warn-PPV unterschieden sich entgegen den Erwartungen nicht signifikant, F(1,29)=0,13; n.s Verhaltensdaten Die Auswertung der Verhaltensdaten erfolgte, wie in Experiment 1, in zwei Schritten, wobei zunächst die Bearbeitungs-Raten bei Meldungen insgesamt, Alarmen, Warnungen und Normal-Meldungen mit 3(ALARMSYSTEM) x 2 (BELASTUNG) Varianzanalysen mit Messwiederholungen auf dem zweiten Faktor ausgewertet wurden. Die Werte für das Ignorieren der jeweiligen Diagnosen waren immer komplementär (Ignorieren-Rate = 1 Bearbeitungs-Rate) zu den Bearbeitungs-Raten und werden deshalb nicht zusätzlich dargestellt. Anschließend wurden die Antwortstrategien gegenüber Alarmen und mithilfe von Mehr-Felder-χ²-Tests analysiert. 106

107 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Bearbeitungs-Raten bei Meldungen insgesamt: 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Meldungen Ignorieren Bearbeiten niedrige Belastung hohe Belastung Abbildung 16: Mittelwerte der Bearbeitungs-Raten bei Meldungen insgesamt Für die drei LAS unter niedriger und hoher Belastung Abbildung 16 zeigt die Bearbeitungs-Raten bei Meldungen insgesamt der drei LAS unter den zwei verschiedenen Belastungsniveaus. Die niedrigsten Bearbeitungs-Raten zeigten nicht, wie erwartet, die Probanden, die mit dem 0.8-LAS gearbeitet hatten. Ihre Bearbeitungs-Raten lagen unter beiden Belastungs-Niveaus über 50% und entsprachen annähernd denen der 0.6-Bedingung. Stattdessen zeigten sich für das 0.9-LAS niedrigere Bearbeitungs-Raten, was zu einem signifikanten Haupteffekt für ALARMSYSTEM, F(2,42)=3,31; p<0,05, führte. Weiterhin zeigt sich, dass die angenommene Reduzierung der Bearbeitungs-Raten für die 0.8- und die 0.9-Bedingung erfolgte, was sich im Haupteffekt für PRÜFOPTION niederschlägt, F(1,42)=7,75; p<0,01. Die Bearbeitungs-Raten beim 0.6-LAS blieben hingegen auch bei höherer Belastung konstant, was sich in der marginal signifikanten Interaktion (ALARMSYSTEM x BELASTUNG) zeigt, F(2,42)=2,88; p=0,

108 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Reaktions-Raten bei Alarmen: 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Alarmen Ignorieren Bearbeiten niedrige Belastung hohe Belastung Abbildung 17: Mittelwerte der Bearbeitungs-Raten bei Alarmen Für die drei LAS unter niedriger und hoher Belastung Abbildung 17 zeigt, dass es bei niedriger Belastung bei allen drei LAS zu sehr hohen Bearbeitungs-Raten über 90% kam. Entgegen den Erwartungen unterschieden sich die drei Gruppen nicht in Hinblick auf ihre Bearbeitungs-Raten bei Alarmen, F(2,42)=1,46; n.s. Für alle drei Gruppen zeigte sich hingegen eine hypothesenkonforme, wenn auch geringe Abnahme der Bearbeitungs-Raten unter höherer Belastung, die zu einem marginal signifikanten Haupteffekt für BELASTUNG führte, F(1,42)=3,67; p=0,062. Der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,42)=2,17; n.s., wurde nicht signifikant. 108

109 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Bearbeitungs-Raten bei Warnungen: 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Warnungen Ignorieren Bearbeiten niedrige Belastung hohe Belastung Abbildung 18: Mittelwerte der Bearbeitungs-Raten bei Warnungen Für die drei LAS unter niedriger und hoher Belastung In Abbildung 18 zeigen die Bearbeitungs-Raten bei Warnungen deutliche Unterschiede zwischen den drei LAS, F(2,42)=3,52; p<0,05. Zu den niedrigsten Bearbeitungs-Raten bei Warnungen führte das 0.6-LAS und zu den höchsten, nicht, wie angenommen, das 0.9-LAS, sondern das 0.8-LAS. Bei steigender Belastung reduzierten die Probanden der 0.8-Bedingung ihre Bearbeitungs-Raten ebenso wie die Probanden der 0.9-Bedingung, wenn auch in geringerem Ausmaß. Die Bearbeitungs-Raten der 0.6-Bedingung blieben dagegen konstant. Diese Unterschiede äußern sich in einem signifikanten Haupteffekt für BELASTUNG, F(1,42)=7,97; p<0,01, relativiert durch einen marginal signifikanten Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,42)=2,69; p=0,

110 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Bearbeitungs-Raten bei Normal-Meldungen: Bei der Analyse wurde das Signifikanzniveau für den Haupteffekt ALARMSYSTEM auf p=0,20 angehoben, da es sich um eine Nullhypothesenprüfung handelte. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Normal-Meldungen Ignorieren Bearbeiten niedrige Belastung hohe Belastung Abbildung 19: Mittelwerte der Bearbeitungs-Raten bei Normal-Meldungen Für die drei LAS unter niedriger und hoher Belastung Abbildung 19 zeigt die Bearbeitungs-Raten bei Normal-Meldungen. Entsprechend den Erwartungen unterschieden sich die Probanden der drei Gruppen nicht in Bezug auf ihre Bearbeitungs-Raten bei Normal-Meldungen, F(2,42)=1,29; n.s., diese lagen für alle drei LAS in einem sehr niedrigen Bereich unter 5%. Der signifikante Haupteffekt für BELASTUNG, F(1,42)=6,73; p<0,05, zeigt, dass alle drei Gruppen ihre ohnehin geringen Bearbeitungs-Raten unter steigender Belastung zusätzlich reduzierten. Der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,42)=0,57; n.s., wurde nicht signifikant. 110

111 Häufigkeiten Häufigkeiten 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Antwortstrategien bei Alarmen und Warnungen: Bearbeiten bei Alarm, niedrige Belastung Positive Extreme Responder Probability Matching Negative Extreme Responder Alarm-PPV 0.6 Alarm-PPV 0.8 Alarm-PPV 0.9 Abbildung 20: Häufigkeiten der Antwortstrategien bei Alarmen Für die drei LAS unter niedriger Belastung Aus Abbildung 20, die die Verteilung der drei Antwortstrategien bei Alarmen darstellt, wird deutlich, dass sich die Probanden der drei Gruppen in der Wahl der dominanten Heuristik nicht unterschieden. Die am häufigsten gewählte Antwortstrategie war bei allen drei LAS das positive extreme responding, im Durchgang mit niedriger, χ²(4, n=45)=1,8; n.s., ebenso wie im Durchgang mit hoher Belastung, χ²(4, n=45)=0,6; n.s., weswegen nur die Ergebnisse aus ersterem hier grafisch dargestellt werden. Bearbeiten bei Warnung, niedrige Belastung Positive Extreme Responder Probability Matching Negative Extreme Responder Warn-PPV 0.14 Warn-PPV 0.29 Warn-PPV 0.35 Abbildung 21: Häufigkeiten der Antwortstrategien bei Warnungen Für die drei LAS unter niedriger Belastung 111

112 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Abbildung 21 veranschaulicht die Wahl der Antwortstrategien bei Warnungen. Die Erwartung, dass sowohl die 0.6- als auch die 0.8-Gruppe als bevorzugte Strategie das negative extreme responding wählen würden, bestätigt sich nur für die 0.6-Bedingung. Die Probanden, die mit dem 0.8-LAS arbeiteten, präferierten hingegen die probability matching Strategie. In der 0.9-Bedingung war erwartungsgemäß keine dominante Strategie erkennbar. Diese Präferenzen führen nicht zu einem signifikanten Ergebnis im Vergleich der drei Gruppen (niedrige Belastung: χ²(4, n=45)=4,0; n.s.; hohe Belastung: χ²(4, n=45)=1,9; n.s.). Die Vergleiche der Häufigkeiten der drei Strategien innerhalb der Gruppen bestätigten jedoch die Präferenz der 0.6-LAS-Nutzer für das negative extreme responding (χ²(2, n=13)=7,5; p<0,05; χ²(2, n=13)=7,5; p<0,05) und der 0.8-Gruppe für das probability matching im Durchgang mit niedriger Belastung, χ²(2, n=16)=6,1; p<0,05. Unter hoher Belastung reduzierten einige Probanden der 0.8-Gruppe das probability matching zugunsten des negativen extreme respondings, es ergabt sich ein ähnliches Muster wie bei der 0.9-Gruppe, χ²(2, n=16)=1,6; n.s. Für die 0.9-Gruppe zeigte sich, entsprechend den deskriptiven Daten, auch innerhalb der Gruppe kein signifikantes Ergebnis (χ²(2, n=16)=1,6; n.s.; χ²(2, n=16)=3,1; n.s.) Leistungsdaten Die Leistung der drei Gruppen in der Tankfüllaufgabe wurde mit einer einfaktoriellen Varianzanalyse ausgewertet. Da für die Leistung in der Tankfüllaufgabe keine Unterschiede zwischen den LAS erwartet wurden, wurde das Signifikanzniveau auf p=0,20 angehoben. Die Auswertung der Leistung in der Alarm- und der Bestellaufgabe erfolgte mittels 3(ALARMSYSTEM) x 2(BELASTUNG) Varianzanalysen mit Messwiederholung auf dem zweiten Faktor. Leistung in der Tankfüllaufgabe: Das Ergebnis des statistischen Vergleichs unterschritt das gewählte Signifikanzniveau knapp, F(2,42)=1,77; p=0,182, weshalb die Nullhypothese nicht bestätigt werden konnte. Die 0.9-Gruppe zeigte die höchste, die 0.6-Gruppe die niedrigste Leistung in der Tankfüllaufgabe. Da dieses Muster der Leistung der drei Gruppen in der Bestellaufgabe entspricht (vgl. Abbildung 23) und es sich bei beiden Aufgaben um Parallelaufgaben handelte, die in Konkurrenz zur Alarmaufgabe standen, wird davon ausgegangen, dass die Interpretation der Leistung der drei Gruppen in der Alarm- und der Bestellaufgabe dadurch nicht beeinträchtigt wird. 112

113 Minuspunkte 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Leistung in der Alarmaufgabe: Leistung Alarmaufgabe Arbeitsbelastung niedrig hoch 0.6-LAS 0.8-LAS 0.9-LAS Abbildung 22: Mittelwerte der Leistung in der Alarmaufgabe In Form von Minuspunkten, für die drei LAS unter niedriger und hoher Belastung Die Erwartungen bezüglich der Leistungsunterschiede in der Alarmaufgabe zwischen den drei Gruppen bestätigten sich nicht, da die in Abbildung 22 dargestellten deskriptiven Unterschiede zwischen den Gruppen nicht signifikant wurden, F(2,42)=1,94; n.s. Auch unter hoher Belastung stellten sich die erwarteten Unterschiede zwischen den Gruppen nicht ein, wie das nicht signifikante Ergebnis der Interaktion (ALARMSYSTEM x BELASTUNG), F(2,42)=1,20; n.s., zeigt. Der Haupteffekt für BELASTUNG wurde hingegen, entsprechend den Erwartungen, signifikant, F(1,42)=5,65; p<0,05. Die höhere Belastung führte jedoch nicht, wie angenommen, zu einer schlechteren Leistung. Die Leistung in der Alarmaufgabe verbesserte sich bei allen drei Gruppen unter höherer Belastung signifikant. 113

114 Punkte 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Leistung in der Bestellaufgabe: Leistung Bestellaufgabe niedrig hoch Arbeitsbelastung 0.6-LAS 0.8-LAS 0.9-LAS Abbildung 23: Mittelwerte der Leistung in der Bestellaufgabe In Form von Pluspunkten, für die drei LAS unter niedriger und hoher Belastung Die deskriptiven Daten in Abbildung 23 zeigen, dass die Leistung der 0.9-Gruppe in der Bestellaufgabe etwas höher lag als die Leistung der beiden anderen Gruppen. Dieser Unterschied wurde jedoch nicht signifikant, F(2,42)=1,42; n.s., wie auch in der Alarmaufgabe führte die Nutzung der verschiedenen LAS nicht zu Unterschieden bei der Leistung in der Bestellaufgabe. Dieses Muster zeigte sich sowohl unter hoher als auch unter niedriger Belastung, entsprechend ergab sich kein signifikanter Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,09; n.s. Entsprechend den Annahmen verringerte sich die Leistung in der Bestellaufgabe bei allen drei Gruppen unter höherer Belastung, wie der signifikante Haupteffekt für BELASTUNG zeigt, F(1,42)=165,43; p<0, SDT-Parameter Die MMS-Sensitivität (d ), das MMS-Kriterium (c) sowie die Häufigkeit des Vorkommens der beiden Fehlerarten misses und FAs des MMS wurden jeweils mit 3(ALARMSYSTEM) x 2(BELASTUNG) Varianzanalysen mit Messwiederholung auf dem zweiten Faktor ausgewertet. 114

115 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption MMS-Sensitivität: Sensitivität 2,0 1,5 1,0 0,5 0.6-LAS 0.8-LAS 0.9-LAS 0,0 niedrig Arbeitsbelastung hoch Abbildung 24: Mittelwerte der MMS-Sensitivität Für die drei LAS unter niedriger und hoher Belastung Abbildung 24 stellt die MMS-Sensitivität der drei Experimentalgruppen bei hoher und niedriger Belastung dar. Es zeigt sich ein sehr deutlicher Unterschied zwischen den drei Gruppen, der sich in einem signifikanten Haupteffekt für ALARMSYSTEM niederschlug, F(2,42)=3,72; p<0,05. Die höchste MMS-Sensitivität zeigte sich in der 0.6-Bedingung und nicht, wie erwartet, in der 0.8-Bedingung. Die niedrigste MMS-Sensitivität hatte die 0.9-Gruppe. Entgegen den Erwartungen kam es bei keiner der drei Gruppen zu Einbußen in der Sensitivität, wenn die Belastung höher war, wie der nicht signifikante Haupteffekt für BELASTUNG zeigt, F(1,42)=0,03; n.s. Auch der Interaktionseffekt (ALARMSYSTEM x BELASTUNG) wurde nicht signifikant, F(2,42)=1,36; n.s. 115

116 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption MMS-Kriterium: 1,5 1,0 Kriterium 0,5 0,0-0,5 0.6-LAS 0.8-LAS 0.9-LAS -1,0 niedrig Arbeitsbelastung hoch Abbildung 25: Mittelwerte des MMS-Kriteriums Für die drei LAS unter niedriger und hoher Belastung Abbildung 25 zeigt die MMS-Kriterien der drei Gruppen und ihre Veränderung unter den beiden Belastungsniveaus. Das liberalste MMS-Kriterium zeigte sich für die 0.6- Bedingung, das konservativste für die 0.9-Gruppe. Diese Unterschiede führten zu einem signifikanten Haupteffekt für ALARMSYSTEM, F(2,42)=4,88; p<0,05. Dieser entspricht der Hypothese, allerdings war angenommen worden, dass die Nutzung des 0.8-LAS zum konservativsten MMS-Kriterium führen würde, was sich nicht bestätigte. Entsprechend den Erwartungen verschoben sich die MMS-Kriterien der 0.9- und der 0.8-Gruppe in konservativer Richtung, was zu einem signifikanten Haupteffekt für BELASTUNG führte, F(1,42)=10,34; p<0,01. In der 0.6-Gruppe kam es hingegen nicht zu einer Verschiebung des MMS-Kriteriums und dadurch zur erwarteten Intensivierung der Unterschiede zwischen den Gruppen bei höherer Belastung, was der signifikante Interaktionseffekt (ALARMSYSTEM x BELASTUNG) zeigt, F(2,42)=3,74; p<0,

117 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption misses: Anteil Misses niedrig hoch Arbeitsbelastung 0.6-LAS 0.8-LAS 0.9-LAS Abbildung 26: Mittelwerte der Anzahl an misses Für die drei LAS unter niedriger und hoher Belastung Wie die deskriptiven Daten in Abbildung 26 zeigen, bestätigten sich die Erwartungen in Bezug auf die Häufigkeit des Vorkommens von misses bei den drei LAS unter den beiden verschiedenen Belastungsniveaus nur teilweise. Die Nutzer des 0.6-LAS machten nicht, wie angenommen, mehr misses als die Nutzer der anderen beiden LAS. Im Gegenteil kam es in der 0.6-Bedingung zu den wenigsten misses in Interaktion mit dem verwendeten Alarmsystem. Die höchste Anzahl an misses zeigte sich hingegen für die 0.9-Gruppe. Diese Unterschiede führten zu einem signifikanten Haupteffekt für ALARMSYSTEM, F(2,42)=11,30; p<0,001. Bei steigender Belastung kam es bei der 0.8- und der 0.9-Gruppe, wie erwartet, zu einem Anstieg der misses, was sich in einem signifikanten Haupteffekt für BELASTUNG zeigt, F(1,42)=6,05; p<0,05. Bei den Nutzern des 0.6-LAS reduzierte sich die Zahl der misses, hingegen leicht, was nicht den Erwartungen entsprach und zu einem signifikanten Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,42)=3,359; p<0,05, führte. 117

118 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption FAs: False Alarms niedrig Arbeitsbelastung hoch 0.6-LAS 0.8-LAS 0.9-LAS Abbildung 27: Mittelwerte der Anzahl an FAs Für die drei LAS unter niedriger und hoher Belastung Die in Abbildung 27 dargestellte Anzahl an FAs unterschied sich trotz der deskriptiven Unterschiede, entgegen den Annahmen, nicht für die drei LAS, F(2,42)=1,36, n.s. Aus der Abbildung geht hingegen klar hervor, dass sich die Anzahl an FAs bei allen drei LAS, wie erwartet reduzierte, wenn sich die Belastung erhöhte, was der signifikante Haupteffekt für BELASTUNG statistisch untermauert, F(1,42)=9,05; p<0,01. Der Interaktionseffekt (ALARMSYSTEM x BELASTUNG) wurde nicht signifikant, F(2,42)=2,13; n.s Vertrauen Die Angaben für Vertrauen in das System allgemein sowie das Vertrauen in Alarme, Warnungen und Normal-Meldungen wurden mit 3(ALARMSYSTEM) x 3(BELASTUNG) Varianzanalyse mit Messwiederholung auf dem zweiten Faktor ausgewertet. Bezogen auf das Vertrauen in Normal-Meldungen wurde das Signifikanzniveau auf p=0,20 angehoben, da es sich um die Prüfung einer Nullhypothese handelte. Die Messung des Vertrauens erfolgte zu drei Zeitpunkten im Experiment, nach dem Kennenlerndurchgang, nach dem Durchgang mit niedriger Belastung und nach dem Durchgang mit hoher Belastung. Die angegebenen Werte unterschieden sich, entsprechend den Erwartungen, für keines der angegebenen Vertrauensmaße in Abhängigkeit der Höhe der Belastung, weiterhin wurde für keine der abhängigen Variablen ein Interaktionseffekt signifikant. Auf die detaillierte Beschreibung der Ergebnisse im Text wird daher verzichtet. Die Ergebnisse finden sich in Anhang D. 118

119 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Da die Reihenfolge der Versuchsdurchgänge mit unterschiedlicher Belastung zwischen den Teilnehmern ausbalanciert war, stellte der Durchgang mit niedriger Belastung für einige den ersten Experimentaldurchgang und für andere den zweiten dar. Deswegen kann auf Basis der Messwiederholungsanalyse für den Faktor BELASTUNG keine Aussage darüber gemacht werden, ob sich das Vertrauen der Teilnehmer über die Zeit veränderte. In Experiment 1 hatten sich für einige der abhängigen Variablen zum Vertrauen Veränderungen über die Zeit gezeigt (allerdings unsystematisch). Deswegen wurden in Ergänzung zu den beschriebenen Analysen zusätzliche zweifaktorielle Varianzanalysen berechnet, bei denen als Messwiederholungsfaktor der Zeitpunkt der Erhebung (unabhängig von der Höhe der Belastung) diente. Allerdings zeigte sich für keine der abhängigen Variablen eine Veränderung in Abhängigkeit des Messzeitpunkts, ebenso wenig ergaben sich Interaktionseffekte. Die Ergebnisse der Analysen werden daher hier sondern in Anhang D dargestellt. Allgemeines Vertrauen: Das allgemeine Vertrauen in das benutzte System unterschied sich, entgegen den Erwartungen, nicht zwischen den drei Bedingungen. Die Analyse des Vertrauens allgemein führte nicht zu einem signifikanten Effekt des Faktors ALARMSYSTEM, F(2,42)=0,65; n.s. Gemittelt über drei Messzeitpunkte war der Vertrauenswert der Nutzer des 0.6-LAS am höchsten und lag bei 57. Der Vertrauenswert der 0.8-Gruppe war mit 49 am niedrigsten, der Wert der 0.9-Gruppe lag mit 53 dazwischen. Vertrauen in Alarme: Bezogen auf das Vertrauen in Alarme unterschieden sich die Angaben der Probanden der drei Gruppen signifikant, F(2,42)=7,66; p<0,001 und in erwarteter Richtung. Je höher die Alarm-PPV des verwendeten LAS, desto höher fielen die Vertrauensurteile der Probanden aus. Der (über die Messzeitpunkte gemittelte) Wert der 0.6-Gruppe war mit 62 am niedrigsten, die 0.8-Gruppe hatte einen Wert von 76 und der höchste Vertrauenswert in Alarme zeigte sich bei den Nutzern des 0.9-LAS mit 85. Vertrauen in Warnungen: Auch bezogen auf das Vertrauen in Warnungen unterschieden sich die angegebenen Werte signifikant zwischen den drei Bedingungen, F(2,42)=5,48; p<0,01. Die Unterschiede zeigten sich jedoch nicht in erwarteter Richtung. Das Vertrauen nahm mit steigender Warn-PPV nicht zu, sondern ab. Dementsprechend hatte die 0.6-Gruppe den (gemittelt über die Messzeitpunkte) höchsten Wert von 50, die 0.8-Gruppe einen mittleren Wert von 34 und die 0.9-Gruppe den niedrigsten Wert von

120 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Vertrauen in Normal-Meldungen: Das Vertrauen in Normal-Meldungen unterschied sich, entsprechend den Erwartungen, nicht signifikant zwischen den drei Bedingungen, F(2,42)=1,93; n.s. Der (gemittelt über die drei Messzeitpunkte) Wert der 0.6-Gruppe lag bei 76, der der 0.8-Gruppe bei 74 und die Nutzer des 0.9-LAS hatten einen Wert von Zusammenhang zwischen Vertrauen und Verhalten Die Voraussetzung für eine verhaltensleitende Wirkung von Vertrauen bildet ein korrelativer Zusammenhang des angegebenen Vertrauens und der gezeigten Bearbeitungs-Raten. Um diesen Zusammenhang zu untersuchen, wurden die Angaben zum Vertrauen insgesamt mit den Bearbeitungs-Raten gegenüber Meldungen insgesamt, Alarmen, Warnungen und Normal-Meldungen korreliert. Da davon ausgegangen wird, dass es sich bei compliance und reliance um zwei (teilweise) voneinander unabhängige Verhaltensweisen handelt, die auf unterschiedliche Vertrauenskomponenten zurückzuführen sind, wurden die Einzelvertrauenswerte gegenüber den verschiedenen Diagnosen mit den jeweiligen Bearbeitungs-Raten gegenüber diesen Diagnosen korreliert. Die Korrelationen nach Pearson wurden für beide Experimentaldurchgänge einzeln berechnet. Es wurde jeweils das Vertrauen, welches vor dem betrachteten Experimentaldurchgang erhoben worden war, mit dem in diesem Durchgang gezeigten Verhalten korreliert, da diese Analysen Aufschluss über den Einfluss von Vertrauen auf das Verhalten liefern sollten und nicht umgekehrt. Korrelationen von Vertrauen und Verhalten: Bei allen signifikanten Korrelationen steigerte sich der gefundene Zusammenhang vom ersten zum zweiten Durchgang. Bezogen auf das allgemeine Vertrauen wurde angenommen, dass es positiv mit den Bearbeitungs-Raten bei Meldungen insgesamt, bei Alarmen und bei Warnungen korrelieren würde und negativ mit den Bearbeitungs-Raten bei Normal-Meldungen. Dieses Muster zeigte sich jedoch nicht. Der Zusammenhang zwischen allgemeinem Vertrauen und den Bearbeitung-Raten bei Meldungen insgesamt war zwar signifikant, jedoch negativ (Durchgang1: r=-0,353; p<0,05, Durchgang 2: r=-0,468; p<0,001). Auch in Bezug auf die Bearbeitungs-Raten bei Warnungen zeigte sich ein unerwarteter negativer Zusammenhang (r=-0,369; p<0,05; r=-0,570; p<0,001). Keine signifikanten Korrelationen zeigten sich hingegen in Bezug auf die Bearbeitungs-Raten bei Alarmen (r=-0,024; n.s.; r=0,130; n.s.) und ebenso wenig bei den Bearbeitungs-Raten bei Normal-Meldungen (r=-0,27; n.s.; r=0,021; n.s.). 120

121 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Für das Vertrauen in Alarme war ein positiver Zusammenhang mit den Bearbeitungs- Raten bei Alarmen erwartet worden, welcher sich entsprechend in signifikanten Korrelationen zeigte (r=0,309; p<0,05; r=0,443; p<0,01). Je stärker die Probanden den Alarmen vertrauten, desto häufiger bearbeiteten sie diese. Auch in Bezug auf die Warnungen war ein positiver Zusammenhang der Höhe des Vertrauens mit den Bearbeitungs-Raten erwartet worden. Stattdessen zeigte sich eine signifikante negative Korrelation (r=-0,364; p<0,05; r=-0,389; p<0,01). Je höher das Vertrauen der Probanden in die Warnungen des LAS war, desto weniger häufig bearbeiteten sie die Warnungen. Für das Vertrauen in Normal-Meldungen war ein negativer Zusammenhang mit den Bearbeitungs-Raten bei Normal-Meldungen angenommen worden. Stattdessen zeigte sich keine signifikante Korrelation der Höhe des Vertrauens in Normal-Meldungen und der Reaktionen der Probanden auf diese (r=-0,081; n.s.; r=-0,195; n.s.). 8.5 Diskussion Experiment 2 In diesem zweiten Experiment wurde der Einfluss der Höhe der zweiten Schwelle von LAS unter zwei verschiedenen Belastungsniveaus auf das Verhalten der Probanden gegenüber den verschiedenen Meldungsarten der LAS, auf ihre Leistung in der Alarmund der Parallelaufgabe, auf die SDT-Parameter der drei MMS sowie auf das Vertrauen der Probanden in die Alarmsysteme und ihre einzelnen Komponenten untersucht. Es wurde davon ausgegangen, dass sich das Verhalten der Nutzer in Abhängigkeit der verschiedenen zweiten Schwellen unterschiedlich differenzieren würde und dass das zu Unterschieden in der Leistung und bei den SDT-Parametern führen würde. Dabei wurde erwartet, dass die Nutzung des 0.8-LAS zur höchsten Leistung in der Alarm- und der Parallelaufgabe führen würde und ebenso zur höchsten MMS-Sensitivität. Diese Annahmen konnten in dieser Form nicht bestätigt werden. Nachfolgend werden zunächst die Verhaltensunterschiede beim Umgang mit den drei LAS und ihre Bedeutung für die Leistung und die SDT-Parameter diskutiert. Anschließend wird der Einfluss der Belastung betrachtet und abschließend die Rolle des Vertrauens im Umgang mit LAS thematisiert. Es wurde erwartet, dass sich die Nutzer der drei LAS in Hinblick auf ihre präferierte Antwortstrategie bei Alarmen unterscheiden würden, indem nur die Nutzer der 0.8- und des 0.9-LAS das positive extreme responding favorisieren sollten, während für das 0.6- LAS keine dominante Strategie erwartet wurde. Diese Hypothese konnte nicht bestätigt 121

122 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption werden. Bei allen drei LAS zeigte sich das positive extreme responding als dominante Strategie, die nahezu alle Probanden anwandten. In einer früheren Untersuchung war für binäre Alarmsysteme gezeigt worden, dass sich das positive extreme responding erst ab einer PPV von 0,7 als dominante Strategie durchsetzt (Wiczorek, 2012). Da in dieser Studie die nächst niedrigere PPV-Stufe bei 0,5 lag, stehen die hier gefundenen Ergebnisse jedoch nicht unbedingt im Widerspruch zu dem besagten Befund. Es ist eher anzunehmen, dass sich auch bei binären Alarmsystemen schon ab einer PPV von 0,6 das positive extreme responding gegenüber den anderen Strategien durchsetzen würde. Bezogen auf die Bearbeitungs-Raten bei Alarmen zeigten sich in Konsequenz der einheitlichen Strategien bei der Bearbeitung keine Unterschiede in Abhängigkeit der Alarm-PPV, welche aufgrund früherer Befunde anderer Studien angenommen worden waren (Bliss, Gilson et al., 1995; Wiczorek & Manzey, 2010). In der Studie von Bliss, Gilson et al., (1995) lag die höchste untersuchte PPV bei 0,75 und führte zu Unterschieden in der Bearbeitungshäufigkeit im Vergleich zu einem System mit PPV von 0,5 und einem weiteren mit einer PPV von 0,25. Die hier gefundenen Ergebnisse stehen deswegen nicht unbedingt im Widerspruch zu diesen, da es sich hier um den Vergleich von Systemen höherer Alarm-PPVs untereinander handelte. Zumal die Ergebnisse von Wiczorek und Manzey (2010) nahelegen, dass sich die Bearbeitungshäufigkeiten ab einer PPV von 0,7 nicht mehr zwischen den Systemen unterscheiden. Die hier ermittelten Bearbeitungshäufigkeiten sprechen vielmehr dafür, dass es schon bei PPVs niedriger als 0,7 zu Bearbeitungshäufigkeiten von annähernd 100% kommt. Zur Ermittlung des kritischen Werts, ab dem sich die Probanden entscheiden nahezu alle Alarme zu bearbeiten, könnte eine Feinanalyse durchgeführt werden, wie sie von Gérard (2012) für binäre Alarmsysteme mit Prüfoption gemacht wurde, um diejenige PPV zu ermitteln, ab derer die Probanden das direkte Bearbeiten dem Prüfen vorziehen. Dazu wäre eine feinere Abstufung der PPVs im Bereich zwischen 0,5 und 0,7 erforderlich. Ähnlich wie bei den Alarmen, bestätigten sich die Annahmen zur dominanten Strategienwahl bei Warnungen nur teilweise. Die Probanden, die mit dem 0.6-LAS arbeiteten, wählten, entsprechend den Erwartungen, am häufigsten das negative extreme responding als angemessene Heuristik im Umgang mit Warnungen. Bei der 0.9-Gruppe gab es hingegen keine dominante Strategie, was ebenfalls angenommen worden war. Die Nutzer des 0.8-LAS verhielten sich hingegen nicht wie erwartet. Anstelle des negativen extreme respondings, welches die häufigste Strategie in Experiment 1 gewesen war, favorisierten sie das probability matching bei niedriger Belastung, während sich bei höherer Belastung keine Strategie als dominant erwies. Da sich in der 0.8-Bedingung weniger Probanden als erwartet für das negative extreme responding 122

123 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption entschieden, ergaben sich für die 0.8-Gruppe insgesamt höhere Bearbeitungs-Raten bei Warnungen als angenommen. Das führte dazu, dass nicht die 0.9-Gruppe, wie erwartet, die höchsten Bearbeitungs-Raten bei Warnungen zeigte, sondern die 0.8-Gruppe. Die Probanden der 0.6-Bedingung hatten hingegen insgesamt die niedrigsten Bearbeitungs- Raten bei Warnungen. Die verhältnismäßig hohen Bearbeitungs-Raten der 0.8-Gruppe bei Warnungen bewirkten, dass es nicht zu den erwarteten niedrigen Bearbeitungs-Raten bei Meldungen insgesamt kam. Statt der 0.8-Gruppe hatten die Probanden, die mit dem 0.9-LAS gearbeitet hatten die niedrigsten Bearbeitungs-Raten bei Meldungen insgesamt. Die Nutzung des 0.8-LAS führte sogar bei niedriger Belastung, zu den höchsten Bearbeitungs-Raten bei Meldungen insgesamt. Bezogen auf die Normal-Meldungen unterschieden sich die drei Gruppen, entsprechend den Erwartungen, nicht. Unter allen drei Bedingungen kam es nur zu sehr niedrigen Bearbeitungs-Raten. Ausgehend von den für diese Bedingung erwarteten, niedrigen Bearbeitungs-Raten bei Meldungen insgesamt war angenommen worden, dass die Nutzer des 0.8-LAS die beste Leistung in der Bestellaufgabe erzielen würden, da ihnen für die Bearbeitung mehr Ressourcen zur Verfügung stehen sollten. Tatsächlich zeigten die Nutzer des 0.9-LAS, die auch die niedrigsten Bearbeitungs-Raten bei Meldungen insgesamt hatten, die beste Leistung in der Bestellaufgabe. Die Unterschiede in der Leistung der drei Gruppen wurden jedoch nicht signifikant. Der zeitliche Vorteil der 0.9-Gruppe hatte nicht ausgereicht, um einen Leistungsvorsprung in der Bestellaufgabe zu erzielen. Bezogen auf die Alarmaufgabe sollte sich, entsprechend den Annahmen, ebenfalls ein Vorteil für die 0.8-Gruppe ergeben. Der Grund für diese Annahme war die für die 0.6- Gruppe erwartete höhere Anzahl an misses aufgrund niedrigerer Bearbeitungs-Raten bei Alarmen sowie die erwartete höhere Anzahl an FAs bei der 0.9-Bedingung aufgrund des erwarteten häufigeren Bearbeitens bei Warnungen. Wie beschrieben unterschied sich die 0.6-Gruppe jedoch in ihren Bearbeitungs-Raten bei Alarmen nicht von der 0.8-Gruppe. Letztere zeigte außerdem höhere Bearbeitungs-Raten bei Warnungen als die 0.9-LAS- Nutzer. Unter diesen Voraussetzungen konnte sich kein Vorteil für die 0.8-Gruppe in Bezug auf die Leistung in der Alarmaufgabe einstellen, im Gegenteil erwies sie sich als die schlechteste Gruppe. Die beste Leistung in der Alarmaufgabe erzielte hingegen die 0.6-Gruppe. Die Unterschiede bei der Leistung in der Alarmaufgabe wurden jedoch, wie auch bei der Bestellaufgabe, nicht signifikant. Der Vorteil der 0.6-LAS-Nutzer aufgrund ihrer Verhaltensdifferenzierung führte nicht zu einem statistisch bedeutsamen Unterschied in der Leistung. 123

124 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Diese Aussage kann allerdings relativiert werden, wenn man die Ergebnisse der Auswertung der SDT-Parameter betrachtet. Hier zeigte sich der eingangs beschriebene Fall, dass sich die Leistung in der Alarmaufgabe in Form von Punkten von der Leistung in Form der MMS-Sensitivität unterschied. Die Nutzung des 0.6-LAS führte zur signifikant höchsten Sensitivität, die des 0.9-LAS zur niedrigsten. Die Analyse des MMS-Kriteriums bzw. der verschiedenen Fehlerarten misses und FAs erklärt diesen Effekt näher. Die MMS-Kriterien der drei LAS unterschieden sich ebenfalls signifikant, wobei das 0.6-LAS zum liberalsten und das 0.9-LAS zum konservativsten MMS- Kriterium führte. Wie bereits erwähnt, müssen unterschiedliche Kriterien nicht zwangsläufig zu Unterschieden in der Sensitivität führen, wenn sich die Zahl der verschiedenen Fehlerarten ausgleicht. In diesem Fall zeigte sich, dass sich bezogen auf die drei LAS keine Unterschiede in Bezug auf die Anzahl der FAs ergaben, auch wenn erwartet worden war, dass diese beim 0.9-LAS höher wäre als bei den anderen beiden LAS. Der wichtigste Unterschied zwischen den Systemen bestand in der Differenz der Anzahl an misses. Mit dem 0.6-LAS machten die Probanden signifikant weniger misses als mit den beiden anderen LAS, was zu ihrem Vorteil in Bezug auf die MMS- Sensitivität führte. Insgesamt bekräftigen die Ergebnisse der Analyse der SDT- Parameter im Vergleich zur Auswertung der Leistung in der Alarmaufgabe in Form von Punkten die Feststellung von Wallack und Adams (1969), wonach die SDT zur Beschreibung und Analyse des Umgangs von Operateuren mit Alarmsystemen die geeignetste Herangehensweise darstellt. Die Überlegenheit des 0.6-LAS gegenüber den anderen beiden LAS zeigte sich auch im Hinblick auf die Effekte der Variation der Belastung durch eine zusätzliche Arbeitsaufgabe. Bezogen auf das Verhalten war erwartet worden, dass es, wie in der Arbeit von Gérard (2012) zu binären Alarmsystemen bei allen LAS zur Reduktion der Bearbeitungs-Raten bei Alarmen, Warnungen und Meldungen insgesamt kommen würde. Diese Annahme bestätigte sich jedoch nur in Bezug auf das 0.8- und das 0.9- LAS. Die Probanden die mit dem 0.6-LAS gearbeitet hatten, veränderten ihre Bearbeitungshäufigkeiten auch unter höherer Belastung nicht. Sie zeigten außerdem unter beiden Belastungsniveaus die homogenste Wahl der Antwortstrategien bei Alarmen und Warnungen. Dennoch verringerte sich auch bei der 0.6-Gruppe, wie bei allen anderen, die Leistung in der Bestellaufgabe, wenn zusätzlich eine weitere Aufgabe bearbeitet werden musste. Das zeigt, dass die 0.6-Gruppe die benötigten Ressourcen zur Bearbeitung der dritten Aufgabe ausschließlich von der Bestellaufgabe abzog, während die Nutzer des 0.8- und des 0.9-LAS sowohl die Bearbeitung der Bestellaufgabe als auch die Bearbeitung der Alarmaufgabe reduzierten, um Ressourcen zur Bearbeitung der dritten Aufgabe bereitzustellen. Die Einbußen in der Leistung bei der Bestellaufgabe 124

125 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption entsprechen ähnlichen Befunden von Bliss und Dunn (2000) zur Auswirkung von Belastung auf die Leistung von Probanden in Mehrfachaufgaben-Umgebungen. Im Widerspruch zu ihren Ergebnissen kam es in diesem Experiment jedoch nicht zu einer Reduktion der Leistung in der Alarmaufgabe. Im Gegenteil steigerte sich die Leistung in der Alarmaufgabe unter höherer Belastung. Dieses scheinbar kontraintuitive Ergebnis kann durch die verhaltensdifferenzierende Wirkung von LAS erklärt werden. Es erscheint logisch, dass die Zahl der Fehler bei höherer Belastung zunimmt und der signifikante Anstieg der misses bei der 0.8- und der 0.9-Gruppe bestätigt diese Annahme. Gleichzeitig kam es jedoch auch zu einer Reduktion der FAs aufgrund der reduzierten Bearbeitungs-Raten bei Warnungen. Da sich die Anzahl der FAs in einem stärkeren Maße absenkte, als die Anzahl der misses stieg, erhöhte sich die Leistung in der Alarmaufgabe anstatt zu sinken, wie es bei binären Alarmsystemen der Fall ist (Bliss & Dunn, 2000). Die Probanden hatten zwar auch die Bearbeitungs-Raten bei Alarmen reduziert, allerdings in einem weitaus geringeren Maße als bei den Warnungen. Während es bei binären Systemen nur die Möglichkeit gibt die Bearbeitungs-Raten insgesamt zu reduzieren, können die Nutzer bei LAS zwischen den zwei Meldungsarten unterscheiden. Die Entscheidung, die Bearbeitung der Alarme beizubehalten und die benötigten Ressourcen durch eine Reduktion der Bearbeitung von Warnungen zu gewinnen, führt nicht nur dazu, dass Einbußen in der Alarmaufgabe vermieden werden, sondern kann die Leistung, wie gezeigt, sogar verbessern. Dieser Effekt, der primär auf die Reduzierung der Zahl von FAs zurückzuführen ist, stellt darüber hinaus eine sinnvolle Erklärung der Effekte von Belastung auf die Leistungsunterschiede bei LAS und binären Systemen dar, wie sie in früheren Untersuchungen von Sorkin et al. (1988) und Bustamante (2008) gezeigt werden konnten. Dabei war es zu einer Intensivierung der Leistungsunterschiede zwischen den beiden Systemarten gekommen, wenn die Belastung der Probanden erhöht wurde. Auch in dieser Untersuchung waren Interaktionseffekte zwischen der Höhe der Belastung und der Art des LAS erwartet worden. Diese zeigten sich, wie bereits oben beschriebenen, darin, dass sich die Bearbeitungs-Raten bei Warnungen und Meldungen insgesamt nur beim 0.8- und 0.9-LAS reduzierten, während die Probanden der 0.6- Gruppe ihre konstant hielten. Das führte zu einem konstant liberalen MMS-Kriterium und in der Konsequenz zu (nahezu) unveränderten Fehlerzahlen sowohl bei misses als auch bei FAs. Die Reduktion der Bearbeitungs-Raten der anderen beiden Gruppen bewirkte eine Verschiebung des MMS-Kriteriums in konservativer Richtung, was zu einem Anstieg von misses und einer Reduktion der FAs führte. Vor dem Hintergrund dieser Ergebnisse erscheinen die Unterschiede in den Befunde von Sorkin et al. (1988) im Vergleich zu denen von Bustamante (2008) nachvollziehbarer. In der erstgenannten 125

126 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Studie hatte sich die Überlegenheit von LAS gegenüber einem binären System nur unter der Voraussetzung einer hohen Belastung gezeigt, nicht aber bei niedriger Belastung. Bustamante (2008) konnte hingegen auch bei niedriger Belastung einen Vorteil von LAS gegenüber einem binären Alarmsystem zeigen, der sich dann bei höherer Belastung verstärkte. Die beiden Studien unterschieden sich vor allem in Bezug auf die Alarm-PPV der verwendeten LAS, was Anlass gab, darin die Ursache für die Unterschiede in den Befunde zu suchen. In dem hier beschriebenen Experiment bestätigte sich die Annahme der Relevanz der Höhe der zweiten Schwelle bzw. der Alarm-PPV des LAS teilweise. Es kam nicht zu Unterschieden zwischen den drei LAS in Bezug auf die Leistung in der Alarmaufgabe. Das LAS mit der niedrigsten zweiten Schwelle führte jedoch zu einer höheren MMS-Sensitivität als die beiden anderen Systeme. Zusammenfassend lässt sich sagen, dass sich das Verhalten im Umgang mit LAS in Abhängigkeit der Höhe der zweiten Schwelle unterscheidet und Einfluss auf die SDT- Parameter nimmt. Eine liberale Schwelle führt zu sehr einheitlichen Antwortstrategien. Gegenüber Alarmen kommt am häufigsten das positive extreme responding zum Einsatz, bei Warnungen das negative extreme responding. Daraus ergeben sich (zumindest in den Grenzen der hier verwendeten Alarm-PPVs) keine Leistungsunterschiede in den beiden parallelen Aufgaben. Allerdings führt die effiziente Verhaltensdifferenzierung zu Vorteilen der 0.6-Gruppe in Bezug auf die MMS- Sensitivität. Diese begründen sich durch eine geringere Anzahl an misses im Vergleich zu den anderen beiden Systemen. Eine mögliche Erklärung dafür ist, dass die Unsicherheit der Nutzer im Umgang mit dem 0.6-LAS geringer war als bei den anderen beiden Gruppen. Diese Annahme wird von den Vertrauensurteilen der Probanden über die jeweils verwendeten LAS gestützt. Während sich das Vertrauen in Alarme, entsprechend den Hypothesen, mit der Höhe der Alarm-PPV steigerte und somit beim 0.9-LAS am höchsten und beim 0.6-LAS am niedrigsten war, zeigte sich für die Warnungen ein anderes Muster. Die 0.6-Nutzer, deren System die niedrigste Warn-PPV hatte, vertrauten den Warnungen, entgegen den Erwartungen, signifikant mehr als die Nutzer der anderen beiden Systeme. Dieses Ergebnis liefert in Hinblick auf die mentale Repräsentation des Systems durch die Nutzer unerwartete und interessante Hinweise. Eine mögliche Erklärung ist, dass das Vertrauen der Probanden in dem Maße steigt, wie sich das System entsprechend ihren Erwartungen verhält. Ist die Häufigkeit von hits im Warnbereich zu hoch, verunsichert das die Probanden, einige beginnen sogar alle Warnungen zu bearbeiten. Ist die Anzahl von hits im Warnbereich hingegen auf einem für die Nutzer angemessen niedrigen 126

127 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption Niveau, vertrauen sie darauf, dass es nicht zum Übersehen zu vieler Ereignisse kommen wird. Sie reduzieren ihre Antworthäufigkeiten, die meisten wählen sogar die Strategie des negativen extreme responding und bearbeiten keine der Warnungen. Die niedrige Warn-PPV hilft den Nutzern dabei, ihr Verhalten zu differenzieren. Ein weiterführender Erklärungsansatz besteht darin, anzunehmen, dass die Nutzer die Warnungen nicht in Hinblick auf ihre PPV interpretieren, sondern in Hinblick auf ihre NPV. Das würde bedeuten, dass sie die hits der Warnstufe des LAS als misses wahrnehmen und die FAs als CRs. Je mehr Warnungen sich als CRs herausstellen, im Verhältnis zu misses, desto höher ist die Warn-NPV und desto mehr vertrauen die Probanden den Warnungen des Systems. Die Ergebnisse der Korrelationen von Vertrauen und Verhalten der Probanden unterstützen diese Annahme. Während sich, wie erwartet, positive Zusammenhänge zwischen dem Vertrauen in Alarme und den Bearbeitungs-Raten bei Alarmen zeigten, gab es bei den Warnungen einen negativen Zusammenhang zwischen der Höhe des Vertrauens und der Häufigkeit des Bearbeitens. Je mehr die Probanden den Warnungen vertrauten, desto seltener bearbeiteten sie diese. Da man einen solchen Zusammenhang bei Normal-Meldungen erwarten würde, nicht jedoch bei Alarmen, liegt es nahe, anzunehmen, dass sich die Abstufung der Meldungen in der mentalen Repräsentation der Nutzer anders darstellt als erwartet. Das Verhalten der Probanden und ihre Vertrauensurteile deuten darauf hin, dass sie die Unterteilung durch die zweite Schwelle als Abstufung der Normal-Meldungen betrachten und nicht als Abstufung der Alarme. Warnungen wären demnach eine Form von Normal-Meldungen mit einer geringeren Wahrscheinlichkeit korrekt zu sein. Insgesamt entsprechen die gefundenen Zusammenhänge zwischen Vertrauen und Verhalten Ergebnissen früherer Untersuchungen, die dem Zwecke dienten, die prädiktive Funktion des Vertrauens in Bezug auf das Verhalten zu belegen (Madhavan et al., 2006; Lees & Lee, 2007). Allerdings sollte an dieser Stelle auch darauf hingewiesen werden, dass Korrelationen keine Kausalität implizieren und auf Basis derselben nicht der Schluss gezogen werden kann, dass das Vertrauen in Alarmsysteme das Verhalten im Umgang mit denselben steuert. Lee und See (2004) beschreiben Unsicherheit als Rahmenbedingung für das Konzept des Vertrauens. Wiczorek und Onnasch (2012) gehen darüber hinaus davon aus, dass die Relevanz von Vertrauen im Umgang mit Alarmsystemen unter anderem in Abhängigkeit der Interpretierbarkeit der Situation variiert. Wenn das Verhalten im Umgang mit dem Alarmsystem jedoch nicht mehr vom Vertrauen in dasselbe abhängt und die Operateure in der Lage sind, Entscheidungen auf Basis fundierter Informationen zu treffen, kann 127

128 8. Experiment 2: Vergleich dreier LAS ohne Prüfoption das dazu führen, dass Alarmsysteme und speziell LAS anders verwendet werden als in Situationen, die durch Unsicherheit gekennzeichnet sind. Im ersten Experiment zeigte sich unter der Bedingung, dass den Probanden eine Prüfoption zur Verfügung stand, die es ihnen gestattete ihr Unsicherheit auf null zu reduzieren, ein anderer Umgang mit dem LAS als bei Abwesenheit der Prüfoption. Die beschriebene Validierungsmöglichkeit kam besonders der Alarmaufgabe zugute, bei weit geringeren Einbußen in der Parallelaufgabe im Vergleich zum binären System. Ob sich die im ersten Experiment gefundenen Effekte der Prüfoption unter Variation der zweiten Schwelle des LAS und der Höhe der Belastung verändern, soll in Experiment 3 untersucht werden. 128

129 9. Experiment 3: Vergleich dreier LAS mit Prüfoption 9. Experiment 3: Vergleich dreier LAS mit Prüfoption 9.1 Forschungsfrage Experiment 3 Das dritte Experiment adressierte die Frage nach Effekten einer Prüfoption bei LAS mit unterschiedlichen zweiten Schwellen. Es kamen dieselben drei LAS zum Einsatz wie in Experiment zwei. Im Unterschied zur zweiten Studie hatten die Probanden hier jedoch die Möglichkeit, die Diagnosen der Alarmsysteme mit Hilfe der in Experiment 1 verwendeten Prüfoption zu validieren, die es ihnen gestattet, ihre Unsicherheit auf null zu reduzieren. Insgesamt wurde erwartet, dass der Einfluss unterschiedlicher Schwellensetzung bei LAS einen weit geringeren Einfluss haben sollte, wenn eine Prüfoption vorhanden wäre. Als Ausgangspunkt für die Annahmen in diesem Experiment dienten die Studien der Dissertation von Gérard (2012), in denen die Prüfhäufigkeit von Probanden bei binären Systemen unterschiedlicher PPV untersucht worden war. In den ersten beiden Untersuchungen zeigte sich, dass die Probanden den Großteil der Alarme überprüften. Diese Präferenz des Prüfens nahm erst ab einer PPV von 0,85 zugunsten des direkten Bearbeitens ab. Bei PPVs über 0.85 stellte das direkte Bearbeiten die häufigste Reaktion auf Alarme dar und es wurden dementsprechend weniger überprüft. Die LAS-Nutzer aus Experiment eins zeigten ein Verhalten gegenüber Alarmen und Warnungen, das dem von Gérard (2012) gefundenen entsprach. Da die Alarm-PPV des LAS über der ermittelten Grenze von 0,85 lag, war ihre bevorzugte Reaktion auf Alarme das direkte Bearbeiten. Die Warnungen überprüften sie hingegen zu einem sehr hohen Prozentsatz, was auf die Warn-PPV von 0,29 zurückgeführt wurde. Für dieses Experiment wurde ebenfalls angenommen, dass sich die Häufigkeit des direkten Bearbeitens von Alarmen und Warnungen nach der jeweiligen Alarm- und Warn-PPV der LAS richten würde. Bei allen drei LAS sollte demnach der Großteil der Warnungen überprüft werden. Unterschiede sollten sich hingegen im Umgang mit den Alarmen zeigen. Während das 0.8- und das 0.9-LAS mit Alarm-PPVs über 0,85 zum direkten Bearbeiten als hauptsächlicher Reaktion gegenüber Alarmen führen sollte, wurde von den Probanden der 0.6-Bedingung ein anderes Verhalten erwartet. Da dieses LAS eine Alarm-PPV kleiner als 0,85 hat, sollte hier der Hauptteil der Alarme überprüft werden. Für die Häufigkeit des Ignorierens wurden entsprechend den Ergebnissen von Gérard (2012), keine Unterschiede zwischen den Gruppen erwartet. 129

130 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Diese angenommenen Unterschiede im Verhalten sollten zu Unterschieden bei der Leistung in der Bestellaufgabe führen. Das Überprüfen von nahezu allen Warnungen und allen Alarmen in der 0.6-Bedingung sollte zu Einbußen gegenüber den anderen beiden Gruppen führen. In Experiment 2 hatte sich, trotz der Unterschiede in der Anzahl an Alarmen und Warnungen der 0.8- und 0.9-LAS, kein Unterschied in Bezug auf die Leistung in der Bestellaufgabe gezeigt. Entsprechend diesem Ergebnis wurde auch im Experiment 3 kein solcher Unterschied zwischen den beiden Systemen erwartet. Im ersten Experiment hatte sich zwischen dem binären Alarmsystem und dem LAS kein Unterschied bezogen auf die Leistung in der Alarmaufgabe gezeigt, obwohl es Unterschiede in Bezug auf die Häufigkeit von Bearbeiten und Prüfen gegeben hatte. Entsprechend diesem Ergebnis wurde auch in diesem dritten Experiment kein Unterschied zwischen den drei LAS in Bezug auf die Alarmaufgabe erwartet. Bezogen auf die SDT-Parameter wurden aus demselben Grund ebenfalls keine Unterschiede zwischen den drei LAS erwartet. Wie auch in Experiment 2 sollte als zusätzliche Variation die Belastung der Probanden durch Hinzunahme einer dritten Aufgabe dienen. Erwartet wurde, auf Basis der Ergebnisse von Gérard (2012), ein Anstieg des Ignorierens in allen drei Gruppen bei beiden Meldungsarten, der zu einer Steigerung an misses führen würde. Das sollte die Leistung in der Alarmaufgabe reduzieren, ebenso wie die MMS-Sensitivität. Auch die Leistung in der Bestellaufgabe sollte sich bei allen drei Gruppen reduzieren, wie es sich im zweiten Experiment und in der Untersuchung von Bliss und Dunn (2000) gezeigt hatte. Darüber hinaus wurden auch spezifischere Interaktionseffekte erwartet. Es wurde angenommen, dass sich das Verhalten der 0.6-LAS-Nutzer gegenüber Alarmen unter höherer Belastung verändern würde. Diese Annahme beruht auf den Ergebnissen der vierten Untersuchung von Gérard (2012). In dieser bearbeiteten die Probanden ebenfalls drei Aufgaben parallel. Diese gesteigerte Belastung führte dazu, dass schon bei einer PPV von 0,7 das direkte Bearbeiten gegenüber dem Prüfen deutlich zunahm und die häufigste Reaktion gegenüber Alarmen darstellte, während es bei einer PPV von 0,5 umgekehrt war. Die Ergebnisse lassen keine eindeutige Vorhersage für die Reaktionen der 0.6-LAS-Nutzer gegenüber Alarmen zu, da ihre Alarm-PPV in der Mitte zwischen denen aus der beschriebenen Untersuchung liegt. Allerdings wurde aufgrund der Ergebnisse aus Experiment 2 angenommen, dass es bei höherer Belastung schon ab einer Alarm-PPV von 0,6 zu einer Präferenzverschiebung kommen würde. In Experiment 2 hatte die 0.6-Gruppe jeweils Verhaltensweisen gezeigt, die bei binären Alarmsystemen für PPVs ab 0,7 beschrieben worden waren. Dementsprechend wurde 130

131 9. Experiment 3: Vergleich dreier LAS mit Prüfoption angenommen, dass unter höherer Belastung beim 0.6-LAS eine Reduzierung des Prüfens zugunsten des direkten Bearbeitens stattfinden würde. Es sollte also unter höherer Belastung keine Unterschiede in Bezug auf die Bearbeitungs-Raten bei Alarmen zwischen den drei LAS geben. Diese Annahme bedeutet gleichzeitig die Erwartung eines Unterschieds in den Bearbeitungs-Raten bei Meldungen insgesamt. Da das 0.6-LAS die höchste Anzahl an Alarmen generiert, sollte das beschriebene Verhalten zu den höchsten Bearbeitungs- Raten bei Meldungen insgesamt führen. Da die höheren Bearbeitungs-Raten mit niedrigeren Prüf-Raten einher gehen, sollte es beim 0.6-LAS im Vergleich zu den anderen beiden LAS zu einer Einsparung von zeitlichen Ressourcen kommen, wenn sich das zeitaufwendige Prüfen reduziert. Es wurde davon ausgegangen, dass sich dieser Vorteil der 0.6-Gruppe in Form einer besseren Leistung in der Bestellaufgabe im Vergleich zu den anderen beiden LAS niederschlagen würde. Das häufige direkte Bearbeiten sollte außerdem zu einer schlechteren Leistung der 0.6- Gruppe im Vergleich zu den anderen beiden in der Alarmaufgabe führen. Der Grund dafür liegt in der erwarteten höheren Anzahl von FAs, die die Probanden der 0.6-Gruppe machen würden, da das 0.6-LAS selbst, aufgrund des größeren Alarmbereichs, mehr FAs produziert als die anderen beiden LAS. Die größere Zahl an FAs sollte sich darüber hinaus auch in einer niedrigeren MMS-Sensitivität des 0.6-LAS niederschlagen sowie in einem liberaleren MMS-Kriterium. Zusammenfassend wurde erwartet, dass das 0.6-LAS unter hoher Belastung aufgrund des häufigen direkten Bearbeitens zu einer besseren Leistung in der Bestellaufgabe und zu einer schlechteren Leistung in der Alarmaufgabe führen würde als die anderen beiden LAS. Unter niedriger Belastung sollte es hingegen aufgrund des häufigen Prüfens der Probanden, die mit dem 0.6-LAS arbeiteten, zu einer schlechteren Leistung dieser Gruppe in der Bestellaufgabe kommen, bei gleicher Leistung der drei Gruppen in der Alarmaufgabe. Diese erwarteten Interaktionen von Belastung und Schwellensetzung sollten sich auch für die SDT-Parameter zeigen. Bei niedriger Belastung sollte es keine Unterschiede in Bezug auf die SDT-Parameter der drei Gruppen geben. Bei hoher Belastung sollte die 0.6-Gruppe das liberalste MMS-Kriterium haben, in der Folge sollte es zu mehr FAs kommen als in den anderen beiden Gruppen, was zu einer niedrigeren MMS-Sensitivität der 0.6-Gruppe führen würde. Da sich in Experiment eins mit einer Ausnahme kein Effekt der Prüfoption auf das Vertrauen in die Systeme und die einzelnen Meldungsarten gezeigt hatte, sollte sich in Bezug auf die Vertrauenswerte in Experiment drei ein ähnliches Muster zeigen wie in Experiment zwei. Es wurde davon ausgegangen, dass es bezüglich Normal-Meldungen 131

132 9. Experiment 3: Vergleich dreier LAS mit Prüfoption keine Unterschiede zwischen den Systemen geben würde. Bezogen auf das Vertrauen in Alarme wurde hingegen erwartet, dass sich die Werte in Abhängigkeit der Höhe der Alarm-PPVs der Systeme unterscheiden würden. Das höchste Vertrauen wurde demnach für das 0.9-LAS, das niedrigste für das 0.6-LAS erwartet. Bei den Warnungen wurde ein umgekehrter Trend erwartet. Hier sollte, wie in Experiment zwei, das höchste Vertrauen beim 0.6-LAS erzielt werden, welches über die niedrigste Warn-PPV verfügte, während die niedrigsten Werte für das 0.9-LAS mit der höchsten Warn-PPV erwartet wurden. Da davon ausgegangen wurde, dass die Probanden die Einzelvertrauenswerte zu einem Gesamtwert in Form des allgemeinen Vertrauens in das System integrieren würden, wurde für diesen kein Unterschied zwischen den LAS erwartet, was den Ergebnissen aus Experiment 2 entspricht. Auf eine Korrelation der Vertrauenswerte mit dem Verhalten der Probanden wurde in dieser Untersuchung verzichtet. Obwohl es eine interessante Frage ist, ob die Möglichkeit zur Überprüfung der Diagnosen und damit zur Reduzierung der Unsicherheit dazu führen kann, die Korrelationen zu reduzieren, wird dieser nicht nachgegangen. Der Grund dafür liegt in der Verfügbarkeit von drei anstatt zwei Verhaltensoptionen. Während bei zwei zur Verfügung stehenden Reaktionsmöglichkeiten wie dem Bearbeiten oder Ignorieren die Definition derjenigen Verhaltensweise, die, abhängig von der Art der Meldung, auf Vertrauen beruht relativ einfach ist, gestaltet sich diese Auswahl bei drei Handlungsalternativen problematischer. Das liegt daran, dass eine Differenzierung der Reaktionen bei LAS durchaus erwünscht ist, was jedoch bedeutet, dass das Prüfen bei Alarmen im Vergleich zum direkten Bearbeiten eher als Zeichen mangelnden Vertrauens angesehen werden kann, während das Prüfen bei Warnungen durchaus erwünscht und dadurch im Vergleich zum Ignorieren derselben, als Zeichen höheren Vertrauens gesehen werden kann. Das wirft allerdings die Frage auf, wie ein direktes Bearbeiten von Warnungen oder auch ein Ignorieren von Alarmen zu bewerten wäre, die nicht so einfach zu beantworten ist. Die eindeutige Interpretation der Ergebnisse von Korrelationen zwischen Vertrauenswerten mit je drei unterschiedlichen Verhaltensweisen, die in Abhängigkeit von der jeweiligen Meldungsart ihre Bedeutung verändern, erscheint unter den gegebenen Umständen deswegen nicht möglich. 132

133 9. Experiment 3: Vergleich dreier LAS mit Prüfoption 9.2 Methode Experiment Stichprobe An dieser Studie nahmen 62 Versuchspersonen (32 davon weiblich) im Alter zwischen 20 und 37 Jahren (M: 26,24; SD: 3,84) teil. Einer der ursprünglich 63 erhobenen Probanden wurden aus der Auswertung ausgeschlossen, da er die Aufgaben nicht entsprechend der Instruktion bearbeitet hatte. Die Rekrutierung der Teilnehmer erfolgte über den Probandenserver PESA der Humboldt Universität Berlin. Bei 43 der Teilnehmer handelte es sich um Studenten, 14 waren berufstätig und fünf gaben an, weder zu studieren noch berufstätig zu sein. 18 Teilnehmer hatten einen naturwissenschaftlichen bzw. ingenieurswissenschaftlichen Hintergrund, 44 kamen aus anderen Disziplinen. Die Teilnahme am Experiment erfolgte freiwillig. Die Versuchspersonen erhielten für ihre Teilnahme eine Aufwandsentschädigung, welche sich aus einer Basisbezahlung von 10 und einer leistungsabhängigen Bezahlung von bis zu 10 zusammensetzte. Jeder Teilnehmer wurde zufällig einer von drei Experimentalgruppen zugeteilt, sodass es zwei Gruppen à 21 und (aufgrund des Ausschlusses einer Versuchsperson) eine Gruppe à 20 Teilnehmern gab. Dabei wurde auf eine Ausbalancierung der Geschlechter geachtet Versuchsumgebung Zur Durchführung des Experiments wurde, wie in Experiment 1 und 2, die Versuchsumgebung M-TOPS verwendet. Im Laufe des Experiments wurden alle drei Aufgaben bearbeitet; Alarmaufgabe, Bestellaufgabe und Tankfüllaufgabe. Den Teilnehmern stand jederzeit eine Prüfoption zur Verfügung, mit der sie die Diagnosen der LAS validieren konnten Auszahlungssystem Das Auszahlungssystem entsprach dem in Experiment 2 verwendeten Design Der Versuchsplan sowie die unabhängigen Variablen entsprachen denen aus Experiment

134 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Abhängige Variablen Es wurden dieselben abhängigen Variablen erhoben und analysiert wie in Experiment 2, mit Ausnahme der Antwortstrategien. Es wurde davon ausgegangen, dass das Vorhandensein einer Prüfoption die Wahl von Heuristiken zur Reduktion der Unsicherheit überflüssig machte. Bezogen auf die Reaktions-Raten wurde zwischen Bearbeiten, Prüfen und Ignorieren unterschieden (vgl. Experiment 1) Durchführungsdetails Der Ablauf entsprach dem Ablauf von Experiment Hypothesen Experiment 3 Verhalten H1: Bei niedriger Belastung ist die Bearbeitungshäufigkeit bei Alarmen beim 0.8- und 0.9-LAS höher als beim 0.6-LAS, während sie sich unter hoher Belastung nicht unterscheidet. Diese Erwartung beruht auf Befunden von Gérard (2012), wonach bei niedriger Belastung erst ab einer PPV über 0,85 häufiger direkt bearbeitet als geprüft wird, während bei hoher Belastung schon bei niedrigeren PPVs (zwischen 0,5 und 0,7) häufiger direkt bearbeitet als geprüft wird. H2: Unabhängig von der Höhe der Belastung ist die Häufigkeit des Prüfens von Warnungen bei allen drei LAS gleich und übersteigt die Bearbeitungshäufigkeit, die sich ebenfalls nicht unterscheidet. Die Ergebnisse von Gérard (2012) bilden die Grundlage für diese Annahme, da sich dort zeigte, dass unabhängig von der Höhe der Belastung bei PPVs unter 0,5 immer häufiger geprüft als direkt bearbeitet wird. H3: Bei niedriger Belastung kommt es beim 0.6-LAS häufiger zum Prüfen von Meldungen insgesamt, bei hoher Belastung häufiger zum direkten Bearbeiten als bei den anderen beiden LAS. Diese Erwartung ergibt sich aus den beiden vorherigen Annahmen (H1, H2) und der Tatsache, dass das 0,6-LAS im Vergleich zu den anderen beiden LAS die meisten Alarme generiert. 134

135 9. Experiment 3: Vergleich dreier LAS mit Prüfoption H4: Die Häufigkeit des Ignorierens von Alarmen, Warnungen und Meldungen insgesamt unterscheidet sich nicht zwischen den drei LAS. In der Arbeit von Gérard (2012) zeigten sich keine solchen Unterschiede zwischen den Systemen mit unterschiedlicher PPV. H5: Bezogen auf die Reaktions-Raten bei Normal-Meldungen ergeben sich keine Unterschiede zwischen den Gruppen. Leistung H6: Die Nutzung des 0.6-LAS führt unter niedriger Belastung zu einer schlechteren, unter hoher Belastung zu einer besseren Leistung in der Bestellaufgabe als die anderen beiden LAS. Diese Erwartung beruht auf der Annahme, dass das erwartete Verhalten (H1-3) dazu führt, dass der 0.6-Gruppe bei niedriger Belastung weniger und bei hoher Belastung mehr zeitliche Ressourcen zur Verfügung stehen, die sie in die Bestellaufgabe investieren können. H7: Die Nutzung des 0.6-LAS führt unter hoher Belastung zu einer schlechteren Leistung in der Alarmaufgabe als die beiden anderen LAS, während sich die Leistung der drei LAS unter niedriger Belastung nicht unterscheidet. Die Annahme zur niedrigen Belastung beruht auf den Ergebnissen aus Experiment eins, wo sich die Alarmleistung der LAS-Nutzer nicht von der der Nutzer des binären Systems unterschied. Die erwartete schlechtere Leistung sollte sich aufgrund des häufigeren Bearbeitens von Alarmen (H1) und in Folge von Meldungen insgesamt (H3) einstellen, da dieses zu einer höheren Anzahl an FAs (vgl. H6) führen würde. SDT-Parameter H8: Die Nutzung des 0.6-LAS führt unter hoher Belastung zu einer schlechteren MMS-Sensitivität, einem liberalen MMS-Kriterium und 135

136 9. Experiment 3: Vergleich dreier LAS mit Prüfoption einer höheren Anzahl an FAs als die beiden anderen LAS, während sich diese unter niedriger Belastung nicht für die drei LAS unterscheiden. Diese Annahmen beruhen auf den erwarteten Unterschieden im Verhalten (H1-3) in Kombination mit dem größeren Alarmbereich des 0.6-LAS. H9: Die Anzahl an misses unterscheidet sich nicht in Abhängigkeit der LAS. Es wird davon ausgegangen, dass es keine Unterschiede zwischen den LAS in Bezug auf das Ignorieren von Alarmen und Warnungen (H4) gibt. Vertrauen H10: Das Vertrauen in Alarme steigt in Abhängigkeit einer steigenden Alarm-PPV. H11: Das Vertrauen in Warnungen sinkt in Abhängigkeit einer steigenden Warn-PPV H12: Das allgemeine Vertrauen in das LAS und das Vertrauen in Normal- Meldungen unterscheidet sich nicht zwischen den drei LAS. Die Hypothesen werden aufgrund der Ergebnisse aus Experiment 2 erwartet. Ergänzende Annahmen zur Variation der Belastung H13: Unter höherer Belastung steigt bei allen LAS die Häufigkeit des Ignorierens von Alarmen, Warnungen und Meldungen insgesamt sowie die Anzahl an misses an, während die Leistung in der Bestellaufgabe und in der Alarmaufgabe sowie die Höhe der MMS- Sensitivität abnimmt. Diese Erwartungen basieren auf früheren Befunden zur Steigerung der Belastung (Bliss & Dunn, 2000; Gérard, 2012). 136

137 9. Experiment 3: Vergleich dreier LAS mit Prüfoption 9.4 Ergebnisse Experiment 3 Die Präsentation der Ergebnisse erfolgt in derselben Reihenfolge wie in Experiment 2. Wenn nicht anders angegeben liegt das Signifikanzniveau bei p=0,05. Die Mittelwerte (M) und Standardabweichungen (SD) aller berichteten Ergebnisse aus Experiment 3 finden sich im Anhang C Manipulationscheck In die Analyse der geschätzten Reliabilitätsparameter gingen nur die 46 Versuchspersonen ein, die die Felder der Matrix korrekt ausgefüllt hatten. Die Auswertung der geschätzten Reliabilitätsparameter erfolgte mittels einer einfaktoriellen Varianzanalyse mit dem Faktor ALARMSYSTEM. Bezogen auf die Reliabilität und die NPV der Systeme wurde das Signifikanzniveau auf p=0,20 angehoben. Tabelle 11: Reliabilitätsschätzungen Experiment 3 Mittelwerte der geschätzten Reliabilitätsparameter im Vergleich zu den wahren Werten (in Klammern) Reliabilität Alarm-PPV Warn-PPV NPV 0.6-LAS 0.8-LAS 0.9-LAS 0,71 (0,6) 0,65 (0,6) 0,67 (0,6) 0,62 (0,63) 0,85 (0,88) 0,86 (0,89) 0,43 (0,14) 0,43 (0,29) 0,44 (0,35) 0,9 (0,97) 0,81 (0,97) 0,82 (0,97) Die Mittelwerte geschätzten Reliabilitätsparameter sind in Tabelle 11 dargestellt. Die Schätzungen unterschieden sich, entsprechend den Erwartungen, bezogen auf die Reliabilität, F(1,43)=0,77; n.s., und die NPV, F(1,43)=0,69; n.s., nicht zwischen den drei LAS. Die Schätzungen der Alarm-PPV unterschieden sich signifikant in angenommener Richtung, F(1,43)=11,92; p<0,001. Die höchsten Schätzungen erfolgten für das 0.9- LAS, die niedrigsten für das 0.6-LAS. Diese Unterschiede in der Schätzung der Alarm- PPV bestätigen einen Unterschied in der Wahrnehmung der drei Arten von LAS durch die Probanden und liefern damit die Voraussetzung für die weiteren Analysen. Die Schätzungen der Warn-PPV unterschieden sich wie schon in Experiment 2 nicht signifikant, F(1,43)=0,32; n.s. 137

138 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Verhaltensdaten Die Auswertung der Verhaltensdaten erfolgte mit 3 (ALARMSYSTEM) x 2 (BELASTUNG) Varianzanalysen mit Messwiederholung auf dem zweiten Faktor. Betrachtet wurden zunächst die drei verschiedenen Reaktions-Raten: Bearbeitungs-, Prüf- und Ignorieren- Raten für Meldungen insgesamt, dann für Alarme, Warnungen und zuletzt für Normal- Meldungen. Reaktions-Raten bei Meldungen insgesamt: Bezogen auf das Ignorieren von Meldungen insgesamt wurde das Signifikanzniveau auf p=0,20 angehoben, da es sich um eine Nullhypothesenprüfung handelte. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Meldungen Ignorieren Prüfen Bearbeiten niedrige Belastung hohe Belastung Abbildung 28: Mittelwerte der Reaktions-Raten bei Meldungen insgesamt Für die drei LAS unter niedriger und hoher Belastung Bearbeitungs-Raten bei Meldungen insgesamt: Der in Abbildung 28 sichtbare Anstieg in den Bearbeitungs-Raten der 0.6-Bedingung unter höherer Belastung führte widererwarten nicht zu einem signifikanten Interaktionseffekt (ALARMSYSTEM x BELASTUNG), und ebenso wenig zu einem signifikanten Haupteffekt für BELASTUNG (F(2,59)=1,10; n.s.; F(1,59)=2,59; n.s.). Lediglich der Haupteffekt für ALARMSYSTEM wurde marginal signifikant, F(2,59)=2,40; p=0,10. Die höchsten Bearbeitungs-Raten zeigten sich, wie erwartet, beim 0.6-LAS, die niedrigsten beim 0.9-LAS. Prüf-Raten bei Meldungen insgesamt: Aus Abbildung 28 wird deutlich, dass das Prüfen bei allen drei LAS die häufigste Reaktion auf Meldungen insgesamt war. Die Prüfen- Rate reduzierte sich bei allen LAS mit steigender Belastung, unterschieden sich hingegen, entgegen den Erwartungen, nicht zwischen den Gruppen. Die Analyse der Prüfen-Rate bei den Meldungen ergab einen signifikanten Haupteffekt für BELASTUNG, 138

139 9. Experiment 3: Vergleich dreier LAS mit Prüfoption F(1,59)=20,62; p<0,001. Der Haupteffekt für ALARMSYSTEM, F(2,59)=0,12; n.s., sowie der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,41; n.s., wurden nicht signifikant. Ignorieren-Raten bei Meldungen insgesamt: Bei allen drei LAS erhöhte sich die Anzahl ignorierter Meldungen mit steigender Belastung. Das führte zu einem signifikanten Haupteffekt für BELASTUNG, F(1,59)=21,34; p<0,001. Die Nullhypothese in Bezug auf den Faktor ALARMSYSTEM konnte nicht bestätigt werden F(2,59)=1,79; p=0,18. Die Ignorieren-Raten der drei LAS waren nicht gleich. Die 0.9-Gruppe ignorierte mehr Meldungen insgesamt als die beiden anderen Gruppen. Der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=1,81; n.s., wurden nicht signifikant. Reaktions-Raten bei Alarmen: Bezogen auf das Ignorieren von Meldungen insgesamt wurde das Signifikanzniveau auf p=0,20 angehoben, da es sich um eine Nullhypothesenprüfung handelte. Verhalten bei Alarmen 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Ignorieren Prüfen Bearbeiten niedrige Belastung hohe Belastung Abbildung 29: Mittelwerte der Reaktions-Raten bei Alarmen Für die drei LAS unter niedriger und hoher Belastung Bearbeitungs-Raten bei Alarmen: Aus Abbildung 29 ist zu ersehen, dass bei den Probanden der 0.8- und der 0.9-Gruppe das direkte Bearbeiten die häufigste Reaktion auf Alarme darstellte. Es zeigt sich weiterhin, dass die Probanden der 0.6-Bedingung bei niedriger Belastung, entsprechend den Erwartungen, deutlich weniger Alarme direkt bearbeiteten als die beiden anderen Gruppen. Die höchsten Bearbeitungs-Raten zeigten sich bei der 0.8-Gruppe. Dieses Verhalten führte zu einem signifikanten Haupteffekt für ALARMSYSTEM, F(2,59)=3,26; p<0,05. Allerdings kam es nicht zur erwarteten Steigerung der Bearbeitungs-Raten der 0.6-Bedingung unter höherer Belastung. Es zeigte sich hingegen, dass alle drei Gruppen ihre Bearbeitungs-Raten auch unter höherer 139

140 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Belastung konstant hielten. Der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,47; n.s., und der Haupteffekt für BELASTUNG, F(1,59)=1,79; n.s., wurden dementsprechend nicht signifikant. Prüf-Raten bei Alarmen: Abbildung 29 zeigt weiterhin, dass für die Probanden der 0.6- Bedingung das Prüfen die am häufigsten gewählte Reaktion auf Alarme darstellte, sie überprüften von allen drei Gruppen die meisten, die 0.8-Gruppe hingegen die wenigsten Alarme. Die Prüf-Raten aller drei Gruppen reduzierten sich unter hoher Belastung gleichermaßen. Dieses Verhalten führte zu einem signifikanten Haupteffekt für ALARMSYSTEM, F(2,59)=3,19; p<0,05, und einem signifikanten Haupteffekt für BELASTUNG, F(1,59)=7,58; p<0,01, während der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), nicht signifikant wurde, F(2,59)=0,28; n.s. Ignorieren-Raten bei Alarmen: Die Ignorieren-Raten der Teilnehmer waren erwartungsgemäß in allen Bedingungen gleich niedrig und erhöhten sich bei Ansteigen der Belastung. Die statistische Analyse ergab daher einen signifikanten Haupteffekt für BELASTUNG, F(1,59)=13,04; p<0,001, während der Haupteffekt für ALARMSYSTEM, F(2,59)=0,06; n.s., und der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,14; n.s., nicht signifikant wurden. Reaktions-Raten bei Warnungen: Da zwischen den LAS keine Unterschiede in Bezug auf die drei Reaktions-Raten erwartet wurden, wurde das Signifikanzniveau auf p=0,20 angehoben. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Warnungen Ignorieren Prüfen Bearbeiten niedrige Belastung hohe Belastung Abbildung 30: Mittelwerte der Reaktions-Raten bei Warnungen Für die drei LAS unter niedriger und hoher Belastung 140

141 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Bearbeitungs-Raten bei Warnungen: Wie aus Abbildung 30 hervorgeht unterschieden sich die Bearbeitungs-Raten, wie angenommen, nicht zwischen den verschiedenen Belastungsniveaus. Entsprechend ergab sich kein signifikanter Effekt für BELASTUNG, F(1,59)=2,36; n.s. Allerdings war die Höhe der Bearbeitungs-Raten nicht für alle LAS gleich, wie das Ergebnis des Haupteffekts für ALARMSYSTEM zeigt. Die Nullhypothese konnte nicht bestätigt werden, F(2,59)=2,33; p=0,12. Der Interaktionseffekt (ALARMSYSTEM x BELASTUNG) wurde nicht signifikant, F(2,59)=1,04; n.s. Prüf-Raten bei Warnungen: Ganz deutlich ist in Abbildung 30 zu sehen, dass das Prüfen, wie angenommen, die häufigste Reaktion der Probanden im Umgang mit Warnungen darstellte. Bei allen drei LAS reduzierten sich die Prüf-Raten, wenn die Belastung der Probanden höher war. Das zeigt sich in einem signifikanten Haupteffekt für BELASTUNG, F(1,59)=18,40; p<0,001. Obwohl zu sehen ist, dass die 0.9-Gruppe ihre Prüf-Raten am stärksten reduzierte, wurden der Haupteffekt für ALARMSYSTEM, F(2,59)=0,13; n.s., und der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,69; n.s., nicht signifikant. Ignorieren-Raten bei Warnungen: Ein ähnliches Muster zeigte sich für die Ignorier- Raten. Der deutliche Anstieg des Ignorierens bei allen drei Gruppen unter höherer Belastung führte zu einem signifikanten Haupteffekt für BELASTUNG, F(1,59)=15,40; p<0,001, während der Haupteffekt für ALARMSYSTEM, F(2,59)=0,39; n.s., und der Interaktionseffekt, F(2,59)=1,63; n.s., nicht signifikant wurden. 141

142 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Reaktions-Raten bei Normal-Meldungen: Da für die Reaktions-Raten keine Unterschiede zwischen den LAS sowie in Abhängigkeit der Belastungshöhe erwartet wurden, wurde das Signifikanzniveau auf p=0,20 angehoben. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Verhalten bei Normal-Meldungen Ignorieren Prüfen Bearbeiten niedrige Belastung hohe Belastung Abbildung 31: Mittelwerte der Reaktions-Raten bei Normal-Meldungen Für die drei LAS unter niedriger und hoher Belastung Abbildung 31 zeigt, dass die häufigste Reaktion auf normal-meldungen der LAS das Ignorieren derselben war. Ein geringer Teil der Normal-Meldungen wurde von den Probanden auch überprüft, dieser lag aber in allen Bedingungen unter 20%. Die statistischen Analysen führten, entsprechend den Erwartungen, nicht zu unterschieden in Bezug auf die Höhe der Belastung. Die Nullhypothese für den Faktor ALARMSYSTEM konnte nicht bestätigt werden, da in der 0.6-Bedingung 0,002% der Normal-Meldungen bearbeite wurden. Dieses Verhalten unterscheidet sich statistisch von dem der anderen beiden Gruppen, in denen es in keinem Fall zum direkten Bearbeiten von Normal- Meldungen kam, wird jedoch aufgrund des sehr seltenen Vorkommens als nicht relevant erachtet. Bearbeitungs-Raten bei Normal-Meldungen: Haupteffekt für ALARMSYSTEM, F(2,59)=2,05; p=0,14; Haupteffekt für BELASTUNG, F(1,59)=0; n.s., Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0; n.s. Prüf-Raten bei Normal-Meldungen: Haupteffekt für ALARMSYSTEM, F(2,59)=0,23; n.s., Haupteffekt für BELASTUNG, F(1,59)=2,60; n.s., Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,18; n.s. 142

143 Minuspunkte 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Ignorieren-Raten bei Normal-Meldungen: Haupteffekt für ALARMSYSTEM, F(2,59)=0,24; n.s., Haupteffekt für BELASTUNG, F(1,59)=2,59; n.s., Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,18; n.s Leistungsdaten Die Leistung der drei Gruppen in der Tankfüllaufgabe wurde mit einer einfaktoriellen Varianzanalyse ausgewertet. Da für die Leistung in der Tankfüllaufgabe keine Unterschiede zwischen den LAS erwartet wurden, wurde das Signifikanzniveau auf p=0,20 angehoben. Die Auswertung der Leistung in der Alarm- und der Bestellaufgabe erfolgte mittels 3(ALARMSYSTEM) x 2(BELASTUNG) Varianzanalysen mit Messwiederholung auf dem zweiten Faktor. Leistung in der Tankfüllaufgabe: Entsprechend der Annahme, unterschied sich die Leistung der drei Gruppen nicht, F(2,59)=0,63; n.s. Leistung in der Alarmaufgabe: 0-10 Leistung Alarmaufgabe LAS 0.8-LAS 0.9-LAS -50 niedrig Arbeitsbelastung hoch Abbildung 32: Mittelwerte der Leistung in der Alarmaufgabe In Form von Minuspunkten, für die drei LAS unter niedriger und hoher Belastung Wie Abbildung 32 zeigt, nahmen die Leistungen aller drei Gruppen mit steigender Belastung, wie erwartet, ab. Es kam jedoch nicht zu den erwarteten Unterschieden zwischen den drei LAS. Dementsprechend wurde nur der Haupteffekt für BELASTUNG, F(1,59)=13,85; p<0,001 signifikant. Der Haupteffekt für ALARMSYSTEM wurde nicht signifikant, F(2,59)=0,21; n.s., ebenso wenig wie der Interaktionseffekt (ALARMSYSTEM x BELASTUNG) F(2,59)=0,36; n.s. 143

144 Punkte 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Leistung in der Bestellaufgabe: Leistung Bestellaufgabe niedrig hoch Arbeitsbelastung 0.6-LAS 0.8-LAS 0.9-LAS Abbildung 33: Mittelwerte der Leistung in der Bestellaufgabe In Form von Pluspunkten, für die drei LAS unter niedriger und hoher Belastung Aus Abbildung 33 geht hervor, dass sich die Leistung in der Bestellaufgabe, wie erwartet, reduzierte, wenn sich die Belastung erhöhte. Zu den erwarteten Unterschieden in der Leistung zwischen den LAS kam es hingegen nicht. Wie bei der Alarmaufgabe wurde auch hier der Haupteffekt für BELASTUNG signifikant, F(1,59)=150, 87; p<0,001, nicht aber der Haupteffekt für ALARMSYSTEM, F(2,59)=0,14; n.s., und ebenso wenig wie der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=0,19; n.s SDT-Parameter Die MMS-Sensitivität d, das MMS-Kriterium c sowie die Häufigkeit des Vorkommens der beiden Fehlerarten misses und FAs des MMS wurden jeweils mit 3(ALARMSYSTEM) x 2(BELASTUNG) Varianzanalysen mit Messwiederholung auf dem zweiten Faktor ausgewertet. Für die Analyse der misses wurde das Signifikanzniveau auf p=0,20 erhöht, da es sich um Nullhypothesenprüfungen handelte. 144

145 9. Experiment 3: Vergleich dreier LAS mit Prüfoption MMS-Sensitivität: 4,0 3,5 3,0 2,5 2,0 1,5 1,0 0,5 0,0 Sensitivität niedrig hoch Arbeitsbelastung 0.6-LAS 0.8-LAS 0.9-LAS Abbildung 34: Mittelwerte der MMS-Sensitivität Für die drei LAS unter niedriger und hoher Belastung Abbildung 34 zeigt, dass die MMS-Sensitivität bei allen LAS unter höherer Belastung abnahm, was den Erwartungen entsprach. Zu Unterschieden zwischen den LAS- Bedingungen kam es jedoch bezogen auf die Höhe der MMS-Sensitivität, entgegen den Annahmen, nicht. Deswegen wurde nur der Haupteffekt für BELASTUNG marginal signifikant, F(1,59)=3,95; p=0,051. Der Haupteffekt für ALARMSYSTEM wurde nicht signifikant, F(2,59)=0,02; n.s., ebenso wenig der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=1,53; n.s. 145

146 9. Experiment 3: Vergleich dreier LAS mit Prüfoption MMS-Kriterium: Kriterium 1,4 1,2 1,0 0,8 0,6 0,4 0,2 0,0 niedrig Arbeitsbelastung hoch 0.6-LAS 0.8-LAS 0.9-LAS Abbildung 35: Mittelwerte des MMS-Kriteriums Für die drei LAS unter niedriger und hoher Belastung Abbildung 35 zeigt deutliche Unterschiede der MMS-Kriterien, die aus der Nutzung der drei LAS resultieren. Das 0.6-LAS führte, gemäß den Erwartungen, zum liberalsten, das 0.9-LAS zum konservativsten. Der Haupteffekt für ALARMSYSTEM wurde signifikant, F(2,59)=5,93; p<0,01. Die Unterschiede zwischen den drei LAS bestanden jedoch, entgegen den Annahmen, unter beiden Belastungsniveaus gleichermaßen. Deswegen wurde weder der Haupteffekt für BELASTUNG, F(1,59)=3,00; n.s., noch der Interaktionseffekt (ALARMSYSTEM x BELASTUNG) signifikant, F(2,59)=0,82; n.s. 146

147 9. Experiment 3: Vergleich dreier LAS mit Prüfoption misses: Zwischen den drei LAS wurde kein Unterschied in der Zahl der misses erwartet, deswegen wurde das Signifikanzniveau auf p=0,20 angehoben. 20 Anteil Misses LAS 0.8-LAS 0.9-LAS 0 niedrig Arbeitsbelastung hoch Abbildung 36: Mittelwerte der Anzahl an misses Für die drei LAS unter niedriger und hoher Belastung Die in Abbildung 36 sichtbaren Unterschiede in der Anzahl der misses zwischen den drei LAS waren nicht erwartet worden, die Nullhypothese für den Haupteffekt ALARMSYSTEM bestätigte sich demnach nicht, F(2, 58)=3,09; p=0,053. Bei der 0.6- Gruppe kam es zu der geringsten Zahl an misses, das 0.9-LAS führte zur höchsten Zahl. Der Anstieg unter höherer Belastung entsprach den Hypothesen. Darüber hinaus zeigte sich zusätzlich ein stärkerer Anstieg der Zahl an misses in der 0.9-Bedingung als in den anderen beiden. Deswegen wurde neben dem Haupteffekt für BELASTUNG, F(1,59)=21,85; p<0,001, auch der Interaktionseffekt (ALARMSYSTEM x BELASTUNG), signifikant F(2,59)=4,01; p<0,

148 Prozent 9. Experiment 3: Vergleich dreier LAS mit Prüfoption FAs: 20 False Alarms LAS 0.8-LAS 0.9-LAS 0 niedrig Arbeitsbelastung hoch Abbildung 37: Mittelwerte der Anzahl an FAs Für die drei LAS unter niedriger und hoher Belastung Aus Abbildung 37 geht hervor, dass es bei der Nutzung des 0.6-LAS zur höchsten Anzahl an FAs kam und sich die drei LAS demnach, entsprechend den Erwartungen, unterschieden, F(2, 59)=4,62, p<0,05. Das war jedoch unter beiden Belastungsniveaus der Fall, weswegen der Haupteffekt für BELASTUNG, nicht signifikant wurde, F(1,59)=2,47; n.s. Die erwartete stärkere Steigerung der Anzahl an FAs unter höherer Belastung als bei den anderen beiden Systemen zeigte sich zwar, manifestierte sich jedoch nicht in einem statistisch bedeutsamen Interaktionseffekt (ALARMSYSTEM x BELASTUNG), F(2,59)=1,11; n.s Vertrauen Die Angaben für Vertrauen in das System allgemein sowie das Vertrauen in Alarme, Warnungen und Normal-Meldungen wurden mit 3(ALARMSYSTEM) x 3(BELASTUNG) Varianzanalyse mit Messwiederholung auf dem zweiten Faktor ausgewertet. Bezogen auf das Vertrauen in Normal-Meldungen wurde das Signifikanzniveau auf p=0,20 angehoben, da es sich um die Prüfung einer Nullhypothese handelte. Wie auch in Experiment 2 wurden sowohl Varianzanalysen gerechnet, bei denen die Höhe der Belastung als Messwiederholungsfaktor diente als auch solche mit dem Faktor Zeitpunkt der Messung. Äquivalent zu Experiment 2 wurden bei beiden Varianten keine signifikanten Effekte für die Messwiederholung gefunden, gleiches gilt für die Interaktionseffekte (mit einer 148

149 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Ausnahme, die weiter unten Erwähnung findet). Die Ergebnisse werden deswegen hier nicht berichtet. Sie sind in Anhang D dargestellt. Allgemeines Vertrauen: Die Analyse des Vertrauens allgemein führte, anders als in Experiment 2, zu signifikanten Unterschieden zwischen den LAS. F(2,58)=5,41; p<0,01. Die Probanden der 0.6-Bedingung vertrauten dem System mit einem (über die Messzeitpunkte gemittelten) Wert von 51 weniger als die Probanden der 0.8-Gruppe mit 65 und der 0.9- Gruppe mit 63. Vertrauen Alarme: Bezogen auf das Vertrauen Alarme ergab sich äquivalent zu Experiment 2 ein signifikanter Haupteffekt für ALARMSYSTEM, F(2,58)=17,54; p<0,001. Die Höhe des Vertrauens richtete sich dabei, wie erwartet, nach der Alarm-PPV der LAS. Die Probanden der 0.6-Gruppe vertrauten den Alarmen mit einem (gemittelt über die Messzeitpunkte) Wert von 46 am wenigsten. Das Vertrauen der Nutzer des 0.8-LAS mit 77 unterschied sich hingegen kaum von dem der 0.9-Gruppe mit 78. Vertrauen Warnungen: Anders als in Experiment 2 zeigte sich kein signifikanter Haupteffekt für ALARMSYSTEM, F(2,58)=0,9; n.s., bezogen auf das Vertrauen in Warnungen. Das Vertrauen in Warnungen unterschied sich, entgegen den Erwartungen, nicht zwischen den Gruppen. Die 0.6-Gruppe hatte einen (gemittelt über die Messzeitpunkte) Wert von 51, die 0.8-Gruppe einen Wert von 50 und die 0.9-Gruppe einen Wert von 45. Vertrauen in Normal-Meldungen: Für das Vertrauen in Normal-Meldungen wurde der Haupteffekt für ALARMSYSTEM, entsprechend den Erwartungen, nicht signifikant, F(2,58)=0,87; n.s.,. Genau wie in Experiment 2 unterschied sich das Vertrauen der drei Gruppen nicht. Die (über die Messzeitpunkte gemittelten) Werte betrugen 79 für die 0.6-Bedingung, 74 für die 0.8- Bedingung und 80 für die 0.9-Bedingung. Allerdings wurde der Interaktionseffekt (ALARMSYSTEM x MESSZEITPUNKT) signifikant, F(2,58)=3,76; p<0,01. Das Vertrauen der 0.8-Gruppe in Normal-Meldungen nahm nach der ersten Messung zu, während das der 0.6-Bedingung in ähnlichem Maße abnahm. 149

150 9. Experiment 3: Vergleich dreier LAS mit Prüfoption 9.5 Diskussion Experiment 3 Im dritten Experiment wurden, wie in Experiment 2, drei LAS mit unterschiedlicher Schwellensetzung unter zwei verschiedenen Belastungsniveaus verglichen. Im Unterschied zu Experiment 2 stand den Probanden eine Prüfoption zur Verfügung. Diese bot ihnen die Möglichkeit, ihre Unsicherheit in Bezug auf die Entscheidungen im Umgang mit dem Alarmsystem zu reduzieren, indem sie die Diagnosen mithilfe von Rohdaten validieren konnten. Um die Wirkung verschiedener LAS in einem Kontext mit Prüfoption zu untersuchen, wurde ihr Einfluss auf das Verhalten der Probanden betrachtet, auf ihre Leistung in der Alarm- und der Bestellaufgabe, auf die SDT- Parameter sowie auf das Vertrauen der Probanden in die jeweiligen Systeme. Die Hypothesen zum Verhalten der Probanden wurden aus Befunden zur Verhaltenswirksamkeit der PPV bei binären Alarmsystemen abgeleitet. Entsprechend den Ergebnissen mehrerer Experimente von Gérard (2012) war erwartet worden, dass sich die Probanden an der Höhe der Alarm- bzw. der Warn-PPV orientieren würden, indem sie ihr Verhalten danach ausrichteten. In der besagten Arbeit zeigte sich bei niedrigen PPVs das Prüfen als häufigste Reaktion der Probanden. Erst ab einer PPV von 0,85 wurde das Prüfen zugunsten eines direkten Bearbeitens reduziert, was bei allen höheren PPVs dann die häufigste Verhaltensweise darstellte. Unter höherer Belastung verlagerte sich die kritische PPV ab der das direkte Bearbeiten dominierte nach unten und lag zwischen 0,5 und 0,7. Es war erwartet worden, dass die LAS zu Verhaltensdifferenzierungen gegenüber den verschiedenen Meldungsarten führen würden, wie es sich auch in Experiment 1 und 2 gezeigt hatte. Es wurde angenommen, dass alle Probanden den Großteil der Warnungen überprüfen würden, während sie den Großteil der Alarme direkt bearbeiten sollten. Letzteres allerdings in Abhängigkeit der Höhe der Alarm-PPV. Unter niedriger Belastung wurde das direkte Bearbeiten aller Alarme demnach nur für das 0.8- und das 0.9-LAS erwartet. Die 0.6-Gruppe sollte hingegen auch den Großteil der Alarme überprüfen, da ihre Alarm-PPV unter dem kritischen Wert von 0,85 lag. Bei steigender Belastung sollten die Probanden der 0.6-Bedingung ihr Verhalten gegenüber Alarmen verändern und genau wie die beiden anderen Gruppen den Großteil der Alarme direkt bearbeiten. Diese Annahmen bestätigten sich nur zum Teil. Bezogen auf die Warnungen zeigte sich ein homogenes Muster. Die Probanden aller drei Gruppen überprüften den Großteil der Warnungen, sowohl bei niedriger als auch bei hoher Belastung. Allerdings reduzierten sich die Prüf-Raten bei allen drei LAS zugunsten eines vermehrten Ignorierens der 150

151 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Warnungen, wenn die Belastung sich erhöhte. Im Vergleich zu den Ignorieren-Raten bei Alarmen der binären Systeme ähnlicher PPV in der Untersuchung von Gérard (2012), kam es in diesem Experiment ungleich häufiger zum Ignorieren von Warnungen. Das Maximum von 40% zeigte sich in der 0.9-Bedingung, die über die höchste Warn-PPV von 0,35 verfügte. Die Ignorieren-Rate eines binären Systems vergleichbarer PPV von 0,3 lag in der Studie von Gérard (2012) hingegen unter 20%. Bezogen auf die Bearbeitungs-Raten war kein Unterschied zwischen den drei LAS erwartet worden. Diese Annahme konnte jedoch nicht bestätigt werden. Die Probanden der 0.6- Bedingung begannen bei hoher Belastung vermehrt auch Warnungen direkt zu bearbeiten. Insgesamt zeigten sie nur eine Bearbeitungs-Rate von 5%, da die Warn-PPV ihres LAS jedoch die niedrigste aller Systeme war, ist dieses Ergebnis dennoch überraschend. Die Erwartungen in Bezug auf das Verhalten gegenüber Alarmen bestätigten sich für das 0.8- und das 0.9-LAS. In beiden Gruppen stellte das direkte Bearbeiten mit 55% bzw. 72% die häufigste Reaktion auf Alarme dar. Die Bearbeitungs-Raten veränderten sich auch bei steigender Belastung nicht. Hingegen reduzierten die Probanden beider Gruppen unter hoher Belastung ihre Prüf-Raten bei Alarmen zugunsten eines häufigeren Ignorierens. Ein ähnliches Muster zeigte sich auch bei Gérard (2012) im Vergleich der zwei Untersuchungen mit hoher bzw. niedriger Belastung. Auch in der 0.6-Bedingung kam das direkte Bearbeiten bei Alarmen häufiger vor als bei Warnungen. Die häufigste Reaktion auf Alarme war dennoch das Prüfen mit 57%. Die Probanden der 0.6- Bedingung steigerten, entgegen den Erwartungen, ihre Bearbeitungs-Raten bei Alarmen auch unter hoher Belastung nicht. Bezogen auf die Meldungen insgesamt war angenommen worden, dass das 0.6-LAS bei niedriger Belastung zu den höchsten Prüf-Raten führen würde, während dieselben Probanden bei hoher Belastung die höchsten Bearbeitungs-Raten zeigen sollten. Letztere Annahme bestätigte sich. Allerdings sind die erhöhten Bearbeitungs-Raten der 0.6-Gruppe bei hoher Belastung nicht auf eine Steigerung der Bearbeitungs-Raten bei Alarmen zurück zu führen, sondern resultieren aus der beschriebenen unerwarteten Bearbeitung eines Teils der Warnungen. Bei niedriger Belastung unterschieden sich die Prüf- und die Bearbeitungs-Raten der drei Systeme hingegen nicht. Das gleiche gilt auch für die Ignorieren-Raten bei niedriger Belastung. Bei hoher Belastung kam es zum erwarteten Anstieg derselben. Dieser war jedoch nicht, wie angenommen, bei allen Gruppen gleich stark. Die höchsten Ignorieren-Raten zeigten sich in der 0.9-Bedingung, in der 34% der Meldungen ignoriert wurden, während die 0.6-Gruppe nur 15% und damit am wenigsten ignorierte. 151

152 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Die Normal-Meldungen wurden zum größten Teil ignoriert, Unterschiede zwischen den Gruppen oder in Abhängigkeit der Belastung zeigten sich erwartungsgemäß nicht. Bezogen auf die Leistung in der parallelen Bestellaufgabe war erwartet worden, dass diese sich in Abhängigkeit der gezeigten Prüf-Raten unterscheiden würden. Je weniger oft Meldungen insgesamt überprüft würden, desto mehr Zeit sollte für die Bearbeitung der Bestellaufgabe zur Verfügung stehen, was in einer besseren Leistung resultieren würde. Dementsprechend war erwartet worden, dass die Probanden der 0.6-Bedingung bei niedriger Belastung eine schlechtere und bei höherer Belastung eine bessere Leistung als die anderen beiden Gruppen erzielen würden. Dieser Effekt zeigte sich jedoch nicht. Da die drei Gruppen sich hinsichtlich ihrer Prüf-Raten bei Meldungen insgesamt nicht unterschieden, kam es entsprechend auch nicht zu Unterschieden in der Bestellaufgabe. Die Leistung aller drei Gruppen reduzierte sich jedoch erwartungsgemäß, was sich schon in Experiment 2 gezeigt hatte und früheren Befunden entspricht (Bliss & Dunn, 2000). Für die Alarmaufgabe waren Leistungsunterschiede zwischen den Systemen nur unter hoher Belastung erwartet worden, wobei das häufigere direkte Bearbeiten von Alarmen in der 0.6-Bedingung zu einer schlechteren Leistung derselben führen sollte. Dieser Zusammenhang ergibt sich aus der Steigerung an Fehlern in Form von FAs, die ein häufigeres direktes Bearbeiten mit sich bringen würde, da das 0.6-LAS selbst mehr FAs generierte als die beiden anderen Systeme. Wie auch bei der Bestellaufgabe zeigten sich die erwarteten Effekte nicht. Die Leistung in der Alarmaufgabe unterschied sich nicht zwischen den drei Gruppen. Sie reduzierte sich allerdings bei steigender Belastung. Dies entspricht Befunden von Bliss und Dunn (2000) zu binären Alarmsystemen. Erklärt wird dieser Effekt durch das häufigere Ignorieren von Meldungen insgesamt bei steigender Belastung, was eine Erhöhung der Fehler in Form von misses mit sich bringt. Die Reduzierung der Leistung in der Alarmaufgabe unter höherer Belastung steht nur scheinbar im Widerspruch zur Steigerung derselben in Experiment 2, in dem die Teilnehmer keine Prüfmöglichkeit zur Verfügung hatten. Auch wenn sich in Experiment 2 eine Verbesserung unter höherer Belastung zeigte, kam es insgesamt bei allen drei LAS aus Experiment 2 zu deutlich schlechteren Leistungen in der Alarmaufgabe als in der hier beschriebenen Untersuchung mit Prüfoption. Die schlechteste Leistung zeigte sich hier für die 0.6-Bedingung bei hoher Belastung und lag bei -28 (was einer Fehlerzahl von 14 entspricht). Im Vergleich dazu lag die beste Leistung in Experiment 2, die sich ebenfalls bei der 0.6-Gruppe unter hoher Belastung zeigte, bei -48 (24 Fehler) und damit fast doppelt so niedrig. 152

153 9. Experiment 3: Vergleich dreier LAS mit Prüfoption Bezogen auf die MMS-Sensitivität kam es zur erwarteten Reduktion derselben unter höherer Belastung, was auf eine Erhöhung der misses zurückgeführt werden kann. Unterschiede zwischen den Systemen zeigten sich jedoch, entgegen den Annahmen, nicht. Das 0.6-LAS führte, wie angenommen, zum liberalsten MMS-Kriterium. Das konservativste MMS-Kriterium zeigte sich für die 0.9-Bedingung. Die MMS-Kriterien der drei Gruppen blieben auch über die Variation der Belastung hinweg stabil. In dieser Untersuchung führten die unterschiedlichen MMS-Kriterien im Gegensatz zu Experiment 2 nicht zu Unterschieden in der MMS-Sensitivität. Dieser Effekt erklärt sich bei näherer Betrachtung der Häufigkeit des Vorkommens der beiden Fehlerarten. Das liberale MMS-Kriterium in der 0.6-Bedingung bewirkte, dass es bei dieser Gruppe zur höchsten Anzahl an FAs kam. Die 0.9-Gruppe machte hingegen aufgrund ihres konservativen MMS-Kriteriums die meisten misses. Die Verteilung der Fehlerart unterschied sich, nicht jedoch ihre Anzahl. Während die Anzahl an FAs über die zwei Belastungsniveaus hinweg annähernd stabil blieb, erhöhte sich die Anzahl an misses 4 bei allen Gruppen, jedoch am stärksten in der 0.9-Bedingung, was sich so bereits in Experiment 2 gezeigt hatte. Zusammenfassend lässt sich festhalten, dass LAS bei Vorhandensein einer Prüfoption zu einer Verhaltensdifferenzierung gegenüber den verschiedenen Meldungsarten führen. Während die Probanden den Großteil der Warnungen überprüfen, machen sie bei Alarmen auch von der Option des direkten Bearbeitens Gebrauch. Welche Verhaltensweise gegenüber Alarmen am häufigsten gezeigt wird, hängt von der Alarm- PPV des jeweiligen Systems ab. Während es bei den höheren Alarm-PPVs häufiger zum direkten Bearbeiten kommt, führt eine niedrigere Alarm-PPV dazu, dass mehr Alarme geprüft als direkt bearbeitet werden. Bezogen auf Meldungen insgesamt ergeben sich aufgrund der unterschiedlichen Größen der Alarm- und Warnbereiche dieselben Prüf- Raten für alle LAS. Dementsprechend kommt es nicht zu Unterschieden in der Leistung in der Bestellaufgabe. Die geringen Unterschiede in Bezug auf die Bearbeitungs-Raten bei Meldungen insgesamt reichen ihrerseits nicht aus, um Unterschiede in der Alarmaufgabe oder der MMS-Sensitivität zu bewirken. Allerdings haben die beschriebenen Verhaltensweisen in Kombination mit den unterschiedlich großen Alarmund Warnbereichen der verschiedenen LAS einen Einfluss auf die jeweils vermehrt vorkommende Fehlerart. LAS mit niedriger Alarm-PPV aufgrund einer liberalen 4 Dass sich die signifikante Erhöhung der misses bei Steigerung der Belastung nicht in einer Veränderung des MMS-Kriteriums widerspiegelte, erklärt sich in diesem speziellen Fall durch die unterschiedliche Veränderung der Anzahl an CRs in den drei Gruppen. 153

154 9. Experiment 3: Vergleich dreier LAS mit Prüfoption zweiten Schwelle führen zu mehr FAs des MMS, während eine hohe Alarm-PPV aufgrund einer konservativen zweiten Schwelle zu mehr misses führt. Anders als im zweiten Experiment zeigten sich in dieser Untersuchung Unterschiede im Gesamtvertrauen in die drei LAS, obwohl sich die Gesamtreliabilität, wie zuvor, nicht unterschied. Die 0.6-Gruppe vertraute ihrem LAS weniger als die Nutzer der anderen beiden Systeme. Diese Tatsache lässt sich durch die angenommene Integration der Einzelvertrauensurteile zu einem Gesamturteil erklären. In diesem Experiment kam es wie in Experiment zwei zu Unterschieden im Vertrauen gegenüber Alarmen in erwarteter Richtung. Je höher die Alarm-PPV, desto größer war das Vertrauen in Alarme. Anders als in Experiment 2 zeigten sich jedoch keine Unterschiede im Vertrauen in Warnungen zwischen den drei Systemen. Das niedrigere Vertrauen in Alarme bei gleichem Vertrauen in Warnungen führte daher zu einem insgesamt niedrigeren Vertrauen der 0.6-Gruppe in das LAS allgemein. Die Tatsache, dass es im zweiten Experiment zu differenzierten Vertrauensurteilen gegenüber Warnungen kam, im dritten jedoch nicht, deutet darauf hin, dass das Vorhandensein der Prüfoption einen Einfluss auf das Vertrauen der Probanden hatte, auch wenn sich dieser Effekt im ersten Experiment beim Vergleich des Vertrauens in ein und dasselbe LAS mit und ohne Prüfoption nicht zeigte. Eine mögliche Erklärung dafür ist die bereits beschriebene Rolle der Unsicherheit (Lee & See, 2004; Wiczorek & Onnasch, 2012). Die Möglichkeit zur Unsicherheitsreduktion im dritten Experiment könnte dazu geführt haben, dass die Vertrauensurteile der Probanden undifferenzierter ausfielen, da das Vertrauen eine geringere Relevanz für die Interaktion der Probanden mit dem Alarmsystem hatte. 154

155 10. Allgemeine Diskussion 10. Allgemeine Diskussion Die wissenschaftliche Forschung im Bereich Human Factors ist durch die Anwendung psychologischer Methoden in der Lage, wichtige Beiträge für die unterschiedlichen Praxisfelder der Mensch-Maschine-Interaktion zu generieren und Lösungsmöglichkeiten für Fragestellungen anzubieten, welche nicht ausschließlich durch technische Verbesserungen erreicht werden können. In einigen Anwendungsbereichen, wie z.b. der Luftfahrt, wird bereits viel zum Thema Human Factors geforscht. Die Ergebnisse helfen primär dabei, die Sicherheit zu erhöhen, liefern aber auch wichtige Hinweise zur Steigerung der Produktivität. Im Bereich der Prozessindustrie ist die Anwendung von Human Factors-Konzepten noch nicht so verbreitet, nimmt aber stetig zu. Die vorliegende Arbeit soll dabei helfen, Probleme im Umgang mit Alarmsystemen zu reduzieren, indem Lösungsansätze aufgezeigt werden, die die Interaktion von Operateuren mit Alarmsystemen verbessern können. Dies gilt im Speziellen für die Prozessindustrie, da die Mikrowelt, welche in dieser Arbeit zur Simulation genutzt wurde, wesentliche Grundanforderungen nachbildet, die an Operateure in Leitwarten gestellt werden. Die Ergebnisse sind jedoch auch auf andere Anwendungsfelder verallgemeinerbar, in denen Alarmsysteme zum Einsatz kommen. Einige hier untersuchte Bedingungen ergeben sich zudem eher selten in der Prozessindustrie und sind stattdessen häufiger in anderen Kontexten wie beispielsweise der Luftfahrt oder der automatisierten Qualitätskontrolle zu finden. In dieser Dissertation wurde die Verhaltenswirksamkeit von LAS in drei laborexperimentellen Studien untersucht. Das erste Experiment diente der Analyse grundsätzlicher Vorteile von LAS gegenüber binären Alarmsystemen. Die beiden folgenden Experimente widmeten sich dem Vergleich unterschiedlicher LAS unter verschiedenen situativen Voraussetzungen. Dabei standen die Auswirkungen der Schwellenkonfigurationen bei LAS auf das Operateursverhalten im Mittelpunkt. Anlass für diese Untersuchungen sind Probleme, welche in der Praxis häufig im Zusammenhang mit binären Alarmsystemen entstehen. Da binäre Alarmsysteme in der Regel sehr viele FAs generieren (Swets, 1992), kommt es aufseiten der Operateure zu Unsicherheiten bezüglich der richtigen Entscheidung bei gegebenem Alarm (Meyer, 2004). Die vielen Fehler des Alarmsystems führen dazu, dass Operateure ihr Vertrauen in das System verlieren (Madhavan et al., 2006). In Konsequenz passiert es, dass sie einen großen Anteil an Alarmen ignorieren (z.b. Bliss, Gilson et al., 1995) oder, wenn sie die Möglichkeit dazu haben, nahezu alle Alarme mithilfe von Rohdaten validieren (Gérard & Manzey, 2010). Das erstgenannte Verhalten führt zu Leistungseinbußen in der Überwachung und reduziert dadurch die Sicherheit, während das zweitgenannte 155

156 10. Allgemeine Diskussion Verhalten zu Einbußen in parallelen Arbeitsaufgaben führt und sich dadurch negativ auf die Produktivität auswirkt. Deswegen wurde der Frage nachgegangen, ob diese Probleme durch den Einsatz von LAS gelöst oder abgemildert werden können und welche Systemkonfiguration sich dafür in Abhängigkeit des Kontexts am besten eignet. Das Potential von LAS liegt in der Zusatzinformation über die Wahrscheinlichkeit des tatsächlichen Vorliegens eines kritischen Ereignisses, welche über die abgestuften Meldungen in Form von Alarmen und Warnungen vermittelt wird. Diese könnte dazu führen, dass die Funktionsweise des Systems für die Operateure transparenter wird und sie die falschen Warnungen nicht als Systemfehler wahrnehmen. Dadurch erscheint das System zuverlässiger und die Operateure können ihm stärker vertrauen. Die Unsicherheit im Umgang mit dem Alarmsystem würde reduziert und die Operateure können aufgrund der Mehrstufigkeit differenziertere Entscheidungen treffen. In der vorliegenden Arbeit wurde die Verhaltenswirksamkeit von LAS im Kontext eines Mehrfachaufgaben-Paradigmas untersucht, bei dem parallel zur Überwachung mithilfe des Alarmsystems noch eine bzw. zwei weitere Aufgaben bearbeitet werden mussten. In der ersten Untersuchung wurde ein LAS mit einem binären Alarmsystem gleicher Gesamtreliabilität verglichen. Es wurde erwartet, dass es bei LAS zu einer Verhaltensdifferenzierung gegenüber den verschiedenen Meldungsarten kommen würde, was sich sowohl auf die Leistung bei der Überwachung bzw. Alarmaufgabe als auch auf die Leistung in der Parallelaufgabe positiv auswirken sollte. Betrachtet wurde zusätzlich der Einfluss des Vorhandenseins bzw. der Abwesenheit einer Prüfoption, die es den Probanden gestattete, die Diagnosen des Alarmsystems mithilfe von Rohdaten zu validieren. Die Bewertung der beiden Systeme erfolgte in Hinblick auf das Verhalten der Probanden im Umgang mit Alarmen, Warnungen und Normal-Meldungen auf ihre Leistung in der Alarmaufgabe und der Parallelaufgabe sowie auf das Vertrauen, dass die Probanden gegenüber den jeweiligen Systemen berichteten. In den beiden anschließenden Studien wurden jeweils drei verschiedene LAS miteinander verglichen. Die drei Systeme verfügten über dieselbe Gesamtreliabilität und dieselbe erste Schwelle und unterschieden sich bezüglich der zweiten Schwelle. Die Variation der zweiten Schwelle führte zu unterschiedlichen Alarm- und Warn-PPVs der drei LAS. Es wurde erwartet, dass es in Abhängigkeit der unterschiedlichen Alarm- und Warn-PPVs zu Unterschieden im Verhalten kommen würde, die wiederum zu Leistungsunterschieden in der Alarm- und der Parallelaufgabe führen würden. Unter Variation der Belastung durch die Hinzunahme einer dritten Aufgabe wurde der Frage nachgegangen, ob sich das Verhalten der Probanden im Umgang mit den einzelnen Meldungen der LAS unterscheidet, ob sich Differenzen bezüglich der Leistung in der Alarm- und der 156

157 10. Allgemeine Diskussion Parallelaufgabe zeigen, wie stark die Probanden den einzelnen Meldungsarten des Systems vertrauen und ob die drei Systeme zu unterschiedlichen Sensitivitäten, Kriterien und Fehlerzahlen (bezogen auf misses und FAs) der MMS führen. Die zweite und dritte Studie unterschieden sich dabei hinsichtlich des Vorhandenseins einer Prüfoption. In der zweiten Studie konnten die Probanden die Diagnosen des Systems nicht validieren. Die möglichen Verhaltensweisen im Umgang mit den Alarmen und Warnungen waren direktes Reagieren (Bearbeiten) oder Ignorieren. In der dritten Studie stand aufgrund des Vorhandenseins einer Prüfoption eine dritte Verhaltensalternative zur Verfügung. Die Probanden konnten wählen, ob sie auf eine Warnung oder einen Alarm durch direktes Bearbeiten reagieren, die Meldung vorher überprüfen oder ignorieren wollten. Die Ergebnisse der drei Studien liefern neue Erkenntnisse in Bezug auf die Interaktion von Probanden mit LAS. Die Analysen des Verhaltens in Form von Bearbeitungs-, Prüfund Ignorier-Raten gegenüber den unterschiedlichen Meldungsarten (Alarme, Warnungen und Normal-Meldungen) lassen Aussagen über den tatsächlichen Umgang mit den verschiedenen Meldungen zu, welcher bisher nur theoretisch beschrieben wurde. Die zusätzlichen Mikroanalysen des Verhaltens der Probanden auf individueller Ebene helfen, die häufigsten Antwortheuristiken der Probanden zu identifizieren, um Verfälschungen durch die reine Betrachtung von Mittelwerten vorzubeugen. Die Verhaltensdaten erlauben dadurch Vorhersagen über die Steuerbarkeit von Probandenverhalten durch Variationen von LAS, die bei einer Planung derartiger Systeme prospektiv berücksichtigt werden können. Die Ergebnisse bezüglich der Leistung der Probanden in der Alarmaufgabe und der Parallelaufgabe lassen Aussagen über den Einfluss der verschiedenen Systeme und Systemkonfigurationen auf die Sicherheit und die Produktivität in komplexen Arbeitsumgebungen zu. Durch die Analysen der SDT-Parameter bezogen auf die Gesamtleistung von Mensch und Alarmsystem als MMS ist es außerdem möglich, Aussagen in Bezug auf die MMS- Sensitivität und die Häufigkeit der unterschiedlichen Fehlerarten zu treffen. Die Bedeutung der unterschiedlichen Fehlerarten, bzw. ihre Bewertung, ist abhängig vom jeweiligen Arbeitskontext. Die Ergebnisse dazu erlauben es, differenzierte Aussagen über die Eignung verschiedener LAS für unterschiedliche Kontexte abzuleiten. Die subjektiven Daten in Form von Vertrauensbewertungen geben erste interessante Hinweise auf die mentalen Repräsentationen der Nutzer von LAS. 157

158 10. Allgemeine Diskussion 10.1 Der Einfluss von LAS auf das Verhalten der Nutzer im Umgang mit dem System Während über die verhaltensleitende Wirkung von binären Alarmsystemen aufgrund von empirischen Studien relativ viel bekannt ist, fehlen Ergebnisse zum Verhalten im Umgang mit LAS bisher weitestgehend. Deswegen wurde in der vorliegenden Arbeit das Verhalten von Probanden im Umgang mit LAS auf mehreren Ebenen untersucht. Betrachtet wurden einerseits die Reaktions-Raten auf die verschiedenen Meldungsarten sowie die gewählten Antwortheuristiken, welche auf individueller Ebene für jeden Teilnehmer einzeln klassifiziert wurden. Die Ergebnisse der ersten Studie zeigen, dass es bei der Nutzung eines binären Alarmsystems im Mehrfachaufgaben-Paradigma zu Bearbeitungs-Raten von 67 % bei Alarmen kam, wenn die Probanden keine Prüfmöglichkeit zur Verfügung hatten. Das bedeutet, dass über 30% der generierten Alarme von den Nutzern des binären Systems ignoriert wurden. Dieser Effekt erklärt sich durch die niedrige PPV des Systems und entspricht früheren Untersuchungen, die dieses Verhalten als cry wolf Effekt klassifizieren (z.b. Bliss, Gilson et al., 1995; Dixon & Wickens, 2006; Wiczorek & Manzey, 2010). Für die Teilnehmer, die mit dem LAS arbeiteten, zeigten sich Bearbeitungs-Raten von 47% für Meldungen insgesamt (Alarme + Warnungen, die in ihrer Anzahl den Alarmen des binären Systems entsprechen). Dieser Wert macht deutlich, dass es bei der Interaktion mit dem LAS insgesamt zu häufigerem Ignorieren kam als das beim binären System der Fall war. Die Betrachtung der Bearbeitungs-Raten bei Alarmen und Warnungen separat zeigt jedoch, dass es bei den LAS-Nutzern zu einer Verhaltensdifferenzierung gegenüber den unterschiedlichen Meldungsarten kam. In Bezug auf die Alarme, die vom LAS generiert wurden, waren die Probanden hoch compliant, was sich in Bearbeitungs-Raten von 100 % zeigte. Gegenüber Warnungen kam es hingegen zu sehr niedrigen Bearbeitungs-Raten von 31 %, was einen cry wolf Effekt darstellt und damit dem Verhalten der Nutzer der binären Systeme bei Alarmen ähnelt. Diese Ergebnisse zeigen, dass sich der cry wolf Effekt durch die Nutzung von LAS in den Bereich der Warnungen verlagert. Zur besseren Interpretation der Unterschiede in den Bearbeitungs-Raten, bei denen es sich um Mittelwerte handelt, wurden die individuellen Antwortstrategien der Probanden ermittelt. Diese Mikroanalysen bestätigen die Verhaltensdifferenzierung gegenüber den beiden Meldungsarten auf individueller Ebene. 100 % der Probanden wählten gegenüber Alarmen eine positive extreme responding Strategie, während sie als Reaktion auf die Warnungen auch zum probability matching und zum negativen extreme 158

159 10. Allgemeine Diskussion responding neigten. Diese Strategiedifferenzierung erwies sich dem häufig gewählten probability matching der binären Gruppe (60%) als überlegen, da es dadurch bei LAS Nutzung zu weniger Fehlern kam. Alarme (deren Wahrscheinlichkeit korrekt zu sein bei über 80% lag) wurden bearbeitet, während die häufig falschen Warnungen zu einem großen Teil ignoriert wurden. Diese Ergebnisse entsprechen Befunden von Bustamante und Bliss (2005), die zeigten, dass LAS Operateure dabei unterstützen, besser zwischen korrekten und falschen Meldungen differenzieren zu können. Die Ergebnisse zeigen weiterhin, dass nicht die absolute Höhe der compliance entscheidend ist, sondern die Frage danach, wie viele korrekte Meldungen befolgt werden. Die LAS-Nutzer befolgen insgesamt weniger Meldungen, treffen aber aufgrund der Möglichkeit zur Differenzierung, die ihnen das LAS bietet, dennoch mehr korrekte Entscheidungen. Ein Verhalten, welches aufgrund von geringer (absoluter) compliance als cry wolf Effekt klassifiziert wird, muss demnach nicht generell zu einer schlechten Leistung führen. In der Bedingung mit Prüfoption zeigten sich beide Gruppen größtenteils informed compliant. Die Probanden machten häufigen Gebrauch von der Prüfoption, um Unsicherheit zu reduzieren. Die hohen Prüf-Raten bei Meldungen insgesamt von 79% beim LAS und 91% beim binären System führten bei beiden Systemen zu einer geringen Fehlerzahl. Es zeigte sich, dass eine Prüfoption, die es den Probanden gestattete, ihre Unsicherheit auf null zu reduzieren, von beiden Gruppen genutzt wurde und, anders als in der Studie von Bustamante (2008), auch den LAS-Nutzern zugutekam. Der cry wolf Effekt konnte, wie schon in früheren Untersuchungen (z.b. Gérard & Manzey, 2010), durch die Prüfoption fast vollständig eliminiert werden; das traf für das LAS gleichermaßen zu wie für das binäre System. Wie auch in der Bedingung ohne Prüfoption differenzierten die Probanden der LAS Gruppe ihr Verhalten gegenüber den beiden Meldungsarten. Sie überprüften 92% der Warnungen aber nur 37% der Alarme. Bei 63% der Alarme machten die Teilnehmer hingegen Gebrauch von der dritten Verhaltensoption, dem direkten Bearbeiten. Dieser Umgang mit hoch reliablen Alarmen entspricht Ergebnissen einer Studie von Gérard (2012), in der gezeigt wurde, dass das Prüfen ab einer PPV von über 0,85 zugunsten des direkten Bearbeitens abnimmt. Da die meisten der generierten Alarme korrekt waren, führte dieses Verhalten der Probanden zur selben niedrigen Fehlerzahl wie beim binären System. Gleichzeitig wurde jedoch seltener von der zeitintensiven Prüfprozedur Gebrauch gemacht. Durch den Einsatz von LAS verlagert sich das over-checking Verhalten in den Bereich der Warnungen und reduziert sich dadurch insgesamt gegenüber dem binärer Systeme. 159

160 10. Allgemeine Diskussion Die Probanden, die in der zweiten Studie mit drei unterschiedlichen LAS gearbeitet hatten, unterschieden sich nicht in Bezug auf ihre hohen Bearbeitungs-Raten bei Alarmen. Diese lagen in allen Fällen über 95%, was sich auch unter höherer Belastung durch eine zusätzliche Aufgabe nicht änderte. Gegenüber Alarmen kam es demnach nicht zu Verhaltensunterschieden in Abhängigkeit der Alarm-PPV, die zwischen 0,6 und 0,9 variierte. Wie auch im ersten Experiment wählten nahezu alle Teilnehmer die positive extreme responding Strategie im Umgang mit den Alarmen. Zu Unterschieden kam es jedoch zwischen den Systemen in Bezug auf die Warnungen. Während die 0.6- Gruppe, welche über die niedrigste Warn-PPV von 0,14 verfügte, unter niedriger Belastung 17% der Warnungen bearbeitete, waren es bei der 0.9-Gruppe (Warn- PPV=0,35) 36% und bei der 0.8-Gruppe (Warn-PPV=0,29) mehr als 57%. Die beiden letzten Gruppen reduzierten ihre Bearbeitungs-Raten unter höherer Belastung, die der 0.6-Gruppe blieben hingegen stabil. Dieser Unterschied im Verhalten zeigte sich auch auf der individuellen Ebene. In der 0.9-Bedingung wurde sowohl vom probability matching als auch vom positiven und negativen extreme responding Gebrauch gemacht, gleiches galt für die 0.8-Gruppe, wobei das probability matching die bevorzugte Strategie darstellte. Die bevorzugte Strategie der 0.6-Gruppe war hingen das negative extreme responding, das von 60% der Teilnehmer gegenüber Warnungen gezeigt wurde, die bei diesem System im Vergleich zu den anderen beiden Systemen die niedrigste Wahrscheinlichkeit hatten, korrekt zu sein. Diese größere Homogenität bezüglich der Wahl einer Antwortstrategie entspricht Ergebnissen einer Studie mit binären Alarmsystemen von Wiczorek (2012), in der sich zeigte, dass es bei hohen und niedrigen PPVs zu einer einheitlicheren Wahl von Heuristiken kommt, während im mittleren Bereich neben dem probability matching sowohl positives als auch negatives extreme responding gewählt wird. Bezogen auf Meldungen insgesamt zeigte die 0.9- Gruppe eine niedrigere Bearbeitungs-Rate als die beiden anderen, was jedoch nicht ausreichte, um einen Vorteil in Hinblick auf die Leistung zu erlangen. Insgesamt kann festgehalten werden, dass die Wahl der zweiten Schwelle bei LAS ohne Prüfoption einen Einfluss auf das Verhalten der Nutzer gegenüber Warnungen hat. Während die Wahl der geeigneten Antwortheuristik bei konservativen zweiten Schwellen uneinheitlich ist, führen liberale zweite Schwellen überwiegend zum negativen extreme responding. Die aus liberalen zweiten Schwellen resultierende niedrige Warn-PPV erleichtert den Nutzern die Wahl der geeigneten Heuristik. Unterschiede im Umgang mit den drei verschiedenen LAS zeigten sich auch in der dritten Untersuchung mit Prüfoption. Im Gegensatz zur zweiten Untersuchung traten diese aber nicht in Bezug auf die Warnungen auf. Alle drei Gruppen überprüften die Warnungen zu einem hohen Prozentsatz von über 70%. Bei steigender Belastung 160

161 10. Allgemeine Diskussion reduzierte sich das Prüfen bei allen Gruppen gleichermaßen zugunsten des Ignorierens. In Bezug auf die Alarme zeigte sich bei der 0.8- und der 0.9-Gruppe ein ähnliches Verhältnis der zwei Verhaltensoptionen Prüfen und direktes Bearbeiten wie im ersten Experiment, in dem mehr Alarme bearbeitet als geprüft wurden. Die Bearbeitungs-Rate der 0.6-Bedingung war mit 39% hingegen geringer als ihre Prüf-Rate von 57%. Dieses Ergebnis spezifiziert Befunde von Gérard (2012), wonach es unter hoher Belastung der Probanden bei PPVs von 0,7 und höher häufiger zum Bearbeiten als zum Prüfen kommt, während es bei PPVs von 0,5 oder niedriger andersrum ist. Die kritische PPV ab der das Bearbeiten das Prüfen in seiner Häufigkeit übersteigt liegt demnach zwischen 0,6 und 0,7, während bei PPVs von 0,6 und darunter häufiger geprüft als bearbeitet wird. Ein einheitliches Muster zeigte sich hingegen bei allen drei Gruppen unter steigender Belastung. Anstatt die Bearbeitungs-Raten zu steigern, begannen die Probanden Alarme häufiger zu ignorieren, um das zeitintensive Prüfen zu reduzieren. Diese Entscheidung erscheint wenig rational, da alle drei LAS über hohe Alarm-PPVs verfügten, weshalb ein direktes Bearbeiten in allen drei Bedingungen die Leistung konstant gehalten hätte, während sie sich durch Ignorieren reduzierte. Die Erklärung dafür liegt vermutlich in der hohen Beanspruchung der Probanden aufgrund der Belastung durch die zwei parallelen Aufgaben, die dazu geführt hat, dass es den Teilnehmern nicht gelang, auf alle Alarme adäquat zu reagieren, weder durch Prüfen noch durch Bearbeiten. Demnach wäre das verstärkte Vorkommen von Ignorieren keiner aktiven Entscheidung geschuldet, sondern lediglich einem Zeitmangel. Bei hoher Belastung wurden in allen Gruppen auch mehr Meldungen insgesamt ignoriert, um das zeitaufwendige Prüfen zu reduzieren. Die höchsten Bearbeitungs-Raten gegenüber Meldungen insgesamt zeigten sich bei der 0.6-Gruppe. Diese hatte zwar die geringsten Bearbeitungs-Raten bei Alarmen, allerdings generierte das 0.6-LAS auch mehr Alarme als die anderen beiden LAS, was zu den höheren Bearbeitungs-Raten bei Meldungen insgesamt führte. Die Unterschiede im Verhalten der Probanden gegenüber den verschiedenen LAS wirkten sich nicht auf die Leistung der Gruppen in der Alarm- und der Parallelaufgabe aus, führten aber zu unterschiedlicher Gewichtung bezogen auf die Verteilung der beiden Fehlerarten. Die Analysen des Verhaltens im Umgang mit LAS aus den drei Experimenten zeigen, dass sich die Reaktionen auf die verschiedenen Meldungsarten an der jeweiligen Alarmbzw. Warn-PPV des LAS orientieren. Steht den Nutzern keine Prüfoption zur Verfügung, reagieren sie auf Meldungen mit sehr hoher oder sehr niedriger Reliabilität mit einem positiven bzw. negativen extreme responding Verhalten, während sie bei 161

162 10. Allgemeine Diskussion mittleren Reliabilitäten von beiden Strategien sowie dem probability matching Gebrauch machen. Bei Vorhandensein einer Prüfoption machen sie oft von dieser Gebrauch, um ihre Unsicherheit zu reduzieren. Bei niedrigen PPVs werden mehr Meldungen geprüft als direkt bearbeitet. Dieses Verhältnis kehrt sich spätestens bei einer PPV von 0,88 zugunsten des direkten Bearbeitens um. Die gezeigten Reaktions- Häufigkeiten und die Wahl der Strategien entsprechen dem Verhalten, welches in früheren Studien für den Umgang mit binären Systemen gezeigt werden konnte, wobei sich ebenfalls die Höhe der PPV als verhaltensleitende Komponente erwies. Demnach legen die hier gefundenen Ergebnisse nahe, Befunde aus der Forschung zum Umgang mit binären Systemen auf den Umgang mit LAS zu übertragen und zur Vorhersage des Verhaltens von Operateuren zu nutzen. Die Ergebnisse zur Schwellensetzung bei binären Systemen, welche im Bereich von hohen PPVs eher hypothetischer Natur waren, könnten bei der Konfiguration von LAS praktische Relevanz erfahren. Der Vorteil von LAS gegenüber binären Systemen liegt in der Variabilität der zweiten Schwelle. Während das Bestreben zur Vermeidung von misses bei binären Systemen wenig Spielraum bei der Wahl des Schwellenwerts bietet, kann mit LAS eine gezielte Steuerung des Operateursverhaltens erfolgen. Mithilfe einer liberalen ersten Schwelle wird eine hohe NPV des LAS garantiert. Die zweite Schwelle kann hingegen gezielt danach gewählt werden, welches Verhalten der Operateure als angemessen erachtet wird. Die Verwendung von Heuristiken wie dem extreme responding, welche beim binären System unerwünscht sind, können so mithilfe des LAS gezielt eingesetzt werden und dadurch den Umgang von Operateuren mit Alarmsystemen verbessern Der Einfluss von LAS auf Sicherheit und Produktivität in Mehrfachaufgaben-Umgebungen In früheren Studien zur Wirkung von abgestuften Warnungen und LAS zeigte sich wiederholt ein Vorteil von LAS gegenüber binären Systemen in Bezug auf die Sicherheit, indem diese dazu beitrugen, die Leistung in der Alarm- bzw. Überwachungsaufgabe zu verbessern oder unnötig riskante Reaktionen zu unterlassen (z.b. Sorkin et al., 1988; Gupta et al., 2002; Lee et al., 2004). Die Ergebnisse der ersten Studie stehen im Einklang mit diesen Befunden. In der Bedingung ohne Prüfoption zeigte sich ein klarer Vorteil für das LAS in Bezug auf die Alarmaufgabe. Die Probanden machten dort signifikant weniger Fehler als die Nutzer des binären Alarmsystems. Die vielen Fehler der binären Gruppe sind auf die niedrige compliance im Umgang mit Alarmen in Form eines cry wolf Effekts zurückzuführen, der vielfach in 162

163 10. Allgemeine Diskussion der Literatur beschrieben ist (z.b. Bliss, Gilson et al., 1995; Dixon & Wickens, 2006; Getty et al., 1995). Allerdings konnten Gérard und Manzey (2010) zeigen, dass dieser cry wolf Effekt durch das Einführen einer Prüfoption fast vollkommen eliminiert werden kann und so die Leistung in der Alarmaufgabe und damit die Sicherheit gesteigert wird. Dasselbe Ergebnis zeigte sich auch in der ersten Studie, sowohl bei den Probanden, die mit dem binären System arbeiteten als auch bei den LAS-Nutzern, wenn ihnen eine Prüfoption zur Verfügung stand. In der Prüfbedingung konnte die Leistung der LAS-Nutzer die der binären Gruppe nicht übertreffen, da beide Gruppen ihre Unsicherheit mithilfe der Prüfoption reduzierten und dadurch sehr gute Ergebnisse in Bezug auf die Alarmaufgabe und somit auf die Sicherheit erzielten. Die Leistung mit Prüfoption war bei beiden Gruppen besser als die Leistung des LAS ohne Prüfoption. Die Ergebnisse der ersten Studie zeigen bezogen auf die Sicherheit, dass diese am meisten von einer Prüfoption profitiert, mit deren Hilfe die Probanden ihre Unsicherheit bezüglich der Validität der Meldungen auf null reduzieren können, unabhängig davon, ob sie mit einem binären Alarmsystem oder einem LAS arbeiten. Steht ihnen hingegen keine solche Prüfoption zur Verfügung, erbringt die Nutzung von LAS einen klaren Vorteil in Bezug auf die Sicherheit, indem es die Fehleranzahl in der Alarmaufgabe signifikant reduziert. In den meisten Arbeitsumgebungen steht die Sicherheit in Konkurrenz zur Produktivität. Sicherheit und Produktivität konkurrieren, wenn für die Ausführung der verschiedenen parallelen Arbeitsaufgaben auf die gleichen Ressourcen zugegriffen werden muss (Wickens, 2008). Überwachungs- bzw. Alarmaufgaben unterscheiden sich dadurch von anderen Parallelaufgaben, dass es sich bei ihnen um Nebentätigkeiten zu den eigentlichen Arbeitsaufgaben handelt, solange kein kritisches Ereignis vorliegt (Wickens & Horrey, 2008). Im Falle eines Alarms kommt es jedoch zu einem Prioritätenwechsel. Der Operateur soll seine aktuelle Tätigkeit unterbrechen und sich hauptsächlich der Handhabung des Alarms widmen (Kurz & Albert, 2004). Untersuchungen zeigen, dass im Falle hoher Belastung durch zwei oder mehr parallele Arbeitsaufgaben entweder die Leistung in der Alarmaufgabe abnimmt (z.b. Bliss & Dunn, 2000) oder die Leistung in der parallelen Arbeitsaufgabe (Gérard, 2012). Letzteres ist besonders dann der Fall, wenn den Probanden eine Prüfoption zur Verfügung steht, die dazu führt, dass sie die Alarmaufgabe unangemessen stark priorisieren und eine Verhaltensweise zeigen, die als over-checking bezeichnet wird (Gérard, 2012). Durch das zeitintensive Prüfen wird die Parallelaufgabe vernachlässigt, was zu einem Absinken der Leistung in dieser und somit zu Einbußen in der Produktivität führt. Bei der Nutzung von binären Alarmsystemen konnte bislang keine Möglichkeit gefunden werden, das Problem der gegenseitigen Beeinträchtigung von 163

164 10. Allgemeine Diskussion Sicherheit und Produktivität zu lösen. Sorkin et al. (1988) schlugen deshalb den Einsatz von LAS vor. Mit deren Hilfe soll die Aufmerksamkeits-Allokation zwischen den Aufgaben verbessert werden. Indem die Operateure weder die eine noch die andere Arbeitsaufgabe vernachlässigen, sollen starke Einbußen sowohl bei der Produktivität als auch bei der Sicherheit vermieden werden. In der ersten Studie der vorliegenden Arbeit konnte diese Annahme zum ersten Mal in einem Experiment bestätigt werden. In beiden Bedingungen mit und ohne Prüfoption führte der Einsatz von LAS zu besseren Leistungen in der Parallelaufgabe, verglichen mit dem binären System. Bei Abwesenheit der Prüfoption bedeutet das einen Vorteil des LAS in Bezug auf Sicherheit und Produktivität, da die Leistung in beiden Aufgaben von dem mehrstufigen System profitiert. Ist eine Prüfoption vorhanden, hilft das LAS, die Einbußen in der Parallelaufgabe zu reduzieren bei gleichbleibend guter Leistung in der Alarmaufgabe. Hier führt es also zu einer Steigerung der Produktivität unter Aufrechterhaltung der Sicherheit. Die erste Studie zeigt den Vorteil von LAS gegenüber binären Systemen in Bezug auf beides, Sicherheit und Produktivität. In früheren Studien zum Vergleich von LAS und binären Systemen variierte die Stärke des Vorteils, die das LAS für die Alarmaufgabe erbrachte in Abhängigkeit der Belastung durch Parallelaufgaben. Während sich in einer Studie von Bustamante (2008) die Überlegenheit des LAS bereits unter niedriger Belastung zeigte und sich unter höherer Belastung verstärkte, konnten Sorkin et al. (1988) einen positiven Effekt für die Alarmaufgabe ausschließlich unter hoher Belastung zeigen. Eine mögliche Erklärung für diesen Unterschied ist die Höhe der Alarm-PPV, die sich in den genannten Studien unterschied. Die Ergebnisse der zweiten und dritten Untersuchung der vorliegenden Arbeit zeigen jedoch, dass die Leistung in den beiden Aufgaben, Alarm- und Parallelaufgabe auch unter der Variation der Alarm-PPV durch Verschiebung des zweiten Schwellenwerts relativ stabil bleibt. In den deskriptiven Daten zeigt sich ein leichter Trend zum Zusammenhang zwischen der Wahl der zweiten Schwelle und der Leistung in den beiden Aufgaben. Während die Alarmaufgabe von einer liberalen zweiten Schwelle profitiert, steigt die Leistung in der Bestellaufgabe bei konservativerer Schwellensetzung leicht an. Diese Unterschiede sind nicht signifikant, aber insofern interessant, als dass sie in entgegengesetzter Richtung zu den Effekten der Schwellensetzung bei binären Alarmsystemen stehen. Eine liberale Schwellensetzung, die viele FAs provoziert, führt dort nicht selten zum cry wolf Effekt (z.b. Bliss, Gilson et al., 1995), der sich begünstigend auf die Parallelaufgabe auswirkt. Eine hohe PPV aufgrund einer konservativen Schwelle erhöht hingegen die compliance der Probanden mit dem System, worunter die Leistung in der Parallelaufgabe leidet, während die Leistung in der Alarmaufgabe davon profitiert (Gérard & Manzey, 2010). Auf Basis der 164

165 10. Allgemeine Diskussion Ergebnisse der vorliegenden Arbeit kann nicht ausgeschlossen werden, dass extremere zweite Schwellenwerte in liberaler Richtung zu einem Vorteil für die Leistung in der Alarmaufgabe führen, gleiches gilt für die Leistung in der Parallelaufgabe in Abhängigkeit einer konservativeren zweiten Schwelle. Allerdings bergen extremere Schwellensetzungen immer auch das Risiko eines Wechsels der mentalen Repräsentation. Sowohl zu wenige Alarme aufgrund einer sehr konservativen zweiten Schwelle als auch zu viele falsche Alarme aufgrund einer zu liberalen zweiten Schwelle könnten dazu führen, dass das System von den Nutzern auf ähnliche Weise wahrgenommen wird wie ein binäres Alarmsystem und die hohe Anzahl falscher Warnungen bei konservativer und falschen Alarmen bei liberaler Schwellensetzung einen cry wolf Effekt hervorruft. Es bedarf weiterer Untersuchungen, um herauszufinden, wo genau die Grenzen für Schwellensetzungen bei LAS liegen. Bezogen auf die Variation der Belastung zeigten sich in dieser Arbeit, anders als in anderen Studien (Bustamante, 2008; Sorkin et al., 1988), keine Interaktionseffekte. Allerdings führte die höhere Belastung in der zweiten Studie dazu, dass sich die Leistung in der Alarmaufgabe bei allen drei LAS verbesserte, während sie bei binären Alarmsystemen zu einer Verschlechterung führt (Bliss & Dunn, 2000). Die Leistungsverbesserung im zweiten Experiment erklärt sich durch die Reduzierung der Bearbeitungs-Raten bei Warnungen, die dazu führt, dass sich die Zahl der Fehler in Form von FAs verringert. Durch diesen Effekt kann die Intensivierung der Leistungsunterschiede in der Alarmaufgabe zwischen LAS und binärem System erklärt werden, die sich sowohl bei Sorkin et al. (1988) als auch bei Bustamante (2008) zeigte. Bezogen auf die Parallelaufgabe führte die Steigerung der Belastung hingegen zu einer Reduktion der Leistung bei allen drei LAS, was Befunden aus Studien zu binären Alarmsystemen entspricht (z.b. Bliss & Dunn, 2000). In der zweiten Studie führte die höhere Belastung dazu, dass sich sowohl die Leistung in der Alarm- als auch die in der Parallelaufgabe für alle LAS gleichermaßen reduziert. Insgesamt erzielten die Probanden in der Untersuchung mit Prüfoption deutlich bessere Leistungen als in der Untersuchung ohne Prüfoption. Zusammenfassend lässt sich deshalb festhalten, dass die Alarmaufgabe und dadurch die Sicherheit von der Anwesenheit einer Prüfoption sowohl bei niedriger als auch bei hoher Belastung profitiert, unabhängig von der Höhe der zweiten Schwelle des LAS. In einem Kontext, in dem keine Prüfoption zur Verfügung steht, zeichnen sich LAS besonders dadurch aus, dass es bei Steigerung der Belastung nicht, wie bei binären Systemen, zu Einbußen bei der Leistung in der Alarmaufgabe und dadurch bei der Sicherheit kommt, sondern sich diese im Gegenteil sogar steigert. Aufgrund der Ergebnisse der vorliegenden Arbeit kann außerdem davon ausgegangen werden, dass es innerhalb moderater Grenzen der Alarm-PPV zwischen 0,6 und 0,9 zu 165

166 10. Allgemeine Diskussion keiner Begünstigung einer der beiden Aufgaben kommt. Die Wahl der angemessenen Schwelle sollte demnach eher in Abhängigkeit der Ergebnisse bezüglich der SDT- Parameter erfolgen, die sich ausschließlich auf die Leistung des MMS in Hinblick auf die Alarmaufgabe beziehen und die Leistung in der Parallelaufgabe unberücksichtigt lassen Der Einfluss von LAS auf die SDT-Parameter des MMS Die Detektion von Signalen durch Alarmsysteme kann, ebenso wie deren Detektion durch den Menschen, mithilfe der SDT modelliert werden. Es ergibt sich ein doppeltes SDT-Paradigma (Sorkin & Woods, 1985). Beide Akteure verfügen über eine individuelle Sensitivität d, die ihre Detektionsgüte beschreibt sowie über ein Kriterium c (Schwellenwert), das Auskunft darüber gibt, ob sie in ihrer Antwortneigung FAs oder misses favorisieren. Während die Sensitivität beim Menschen durch seine (sensorischen) Fähigkeiten begrenzt ist, wird sie beim Alarmsystem durch technische und finanzielle Aspekte limitiert. Deswegen handelt es sich bei der Sensitivität um eine gegebene Größe, die in der Regel nicht verändert werden kann. Der Schwellenwert des Alarmsystems wird hingegen durch den Entwickler bzw. Designer des Systems festgelegt. Beim Menschen resultiert das Antwortkriterium aus Abwägungen hinsichtlich der Wahrscheinlichkeit und der Konsequenzen des Vorkommens kritischer Ereignisse (Meyer, 2004). In der Interaktion von Operateur und Alarmsystem beeinflusst auch die Schwellensetzung des Systems das Antwortkriterium des Menschen. In früheren Untersuchungen konnte gezeigt werden, dass ein liberales Kriterium des binären Alarmsystems zu einem konservativen Antwortkriterium des Operateurs führt, was sich in Form einer Abnahme der compliance zeigt (z.b. Bliss, Gilson et al., 1995). Ein konservativeres Kriterium des Alarmsystems ist hingegen in der Lage, die compliance zu erhöhen, was durch eine liberalere Kriteriumswahl des Operateurs erfolgt (Gérard & Manzey, 2010). Die jeweilige Anpassung des Operateurs an das Alarmsystem, mit welchem er interagiert, resultiert in unterschiedlichen Gesamtleistungen des MMS. Zur Analyse der Kombination aus Mensch und Alarmsystem werden die Häufigkeiten der vier Ausgangsgrößen misses, FAs, hits und CRs genutzt. Auf Basis dieser Werte kann sowohl die MMS-Sensitivität als auch das MMS-Kriterium bestimmt werden. Untersuchungen zum Vergleich von binären mit LAS zeigen, dass letztere in der Lage sind, die MMS-Sensitivität zu steigern (Bustamante, 2005) und zu einer Reduktion der FAs beizutragen (Bustamante & Bliss, 2005). Die zweite und dritte Studie der vorliegenden Arbeit adressierten die Frage nach 166

167 10. Allgemeine Diskussion dem Einfluss der Höhe der zweiten Schwelle auf die MMS-Sensitivität, das MMS- Kriterium und die Anzahl der beiden Fehlerarten, misses und FAs. Es konnte gezeigt werden, dass die Wahl der zweiten Schwelle einen Einfluss auf das MMS-Kriterium hatte, was sich dadurch begründet, dass die Probanden ihr Antwortkriterium an die unterschiedlichen Schwellen anpassten. In der zweiten Studie ohne Prüfoption zeigte sich zudem ein Einfluss der Schwellensetzung auf die MMS-Sensitivität. Eine liberale Schwelle erwies sich dabei als vorteilhaft. Das 0.6-LAS, welches über die liberalste Schwelle verfügte, führte zur höchsten MMS-Sensitivität im Vergleich mit den anderen beiden LAS. Während sich die drei Gruppen hinsichtlich der Menge an FAs nicht unterschieden, führte die Nutzung des 0.6-LAS zur geringsten Anzahl an misses. Es verfügte auch über das liberalste MMS-Kriterium, während der konservative zweite Schwellenwert des 0.9-LAS zum konservativsten MMS-Kriterium führte. Diese Wirkung unterscheidet sich in ihrer Richtung von der beschriebenen Wirkung, die binäre Schwellensetzungen auf die MMS-Kriterien haben. Dieses Ergebnis erklärt auch den vorher beschriebenen Trend der Bevorzugung einer der beiden Parallelaufgaben, der auch entgegen der Wirkung binärer Schwellen läuft. Mit steigender Belastung reduzierte sich die Anzahl an FAs bei allen drei Systemen. Dieser interessante Effekt der Fehlerreduktion bei höherer Anforderung durch eine zusätzliche Aufgabe könnte, wie bereits erwähnt, ursächlich für die Befunde von Sorkin et al., (1988) und Bustamante (2008) sein. In beiden Studien war der Vorteil von LAS gegenüber einem binären Alarmsystem unter höherer Belastung ausgeprägter. In der aktuellen Untersuchung führte diese Reduktion jedoch nicht zu Unterschieden zwischen den Systemen in Leistung oder MMS-Sensitivität, da sie bei allen drei LAS gleichermaßen auftrat. Die Ergebnisse der zweiten Studie sprechen dafür, dass einer liberalen zweiten Schwelle unbedingt der Vorzug zu geben ist, wenn es sich um eine Arbeitsumgebung oder -situation handelt, in der Operateure keine Möglichkeit oder keine Zeit haben, die Validität der Meldungen des LAS zu überprüfen. Verfügten die Probanden hingegen über eine Prüfoption, wie es in der dritten Untersuchung der Fall war, führten die verschiedenen zweiten Schwellen nicht zu Unterschieden in der MMS-Sensitivität. Die MMS-Kriterien variierten hingegen in der gleichen Weise wie in Experiment zwei. Die konservative zweite Schwellensetzung führte zu einem konservativen MMS-Kriterium und die liberale Schwellensetzung zu einem liberalen MMS-Kriterium. Anders als im zweiten Experiment kam es auch zu Unterschieden in der Anzahl der FAs. Das 0.6- LAS führte zur höchsten Anzahl, das 0.9- zur niedrigsten. Bei den misses war es umgekehrt. Das 0.6-LAS führte zur 167

168 10. Allgemeine Diskussion geringsten Anzahl an misses, die auch bei steigender Belastung konstant niedrig blieb. Diese wechselseitige Begünstigung der beiden unterschiedlichen Fehlerarten ist der Grund dafür, dass sich in dieser Studie im Unterschied zur vorangegangenen keine MMS-Sensitivitätsunterschiede einstellten. Dementsprechend kann für Situationen mit Prüfoption keine klare Aussage zur Präferenz der Schwellenwahl bei LAS gegeben werden. Diese sollte vielmehr in Abhängigkeit der jeweiligen Umgebungsfaktoren getroffen werden, da die Konsequenz und Gewichtung der beiden Fehlerarten in Abhängigkeit der jeweilig spezifischen Überwachungsaufgabe variieren. Wiegen misses schwerer, ist einer liberalen zweiten Schwelle unbedingt der Vorzug zu geben, während eine konservative zweite Schwelle gewählt werden sollte, um FAs zu reduzieren Die Rolle von Vertrauen bei der Interaktion von Mensch und LAS Vertrauen in Automationen gilt als ein wichtiger Faktor bei der Interaktion von Menschen und Technik (z.b. Madhavan et al., 2006). Es wird davon ausgegangen, dass es auf Basis von Systemcharakteristika entsteht, sich über die Zeit verändert und das Verhalten der Operateure im Umgang mit der Automation steuert (z.b. Lee & Moray, 1992). Demnach kann die Höhe des gemessenen Vertrauens als Prädiktor für die Interaktion mit dem jeweiligen System dienen (z.b. Lees & Lee, 2007). Im Kontext von Alarmsystemen mit abgestuften Warnungen wird davon ausgegangen, dass diese zu einem angemesseneren Vertrauen gegenüber dem System führen als es bei binären Alarmsystemen der Fall ist (Lee et al., 2004; McGuirl & Sarter, 2006). Aufgrund der besonderen Relevanz des Vertrauenskonzepts in der Forschung zur Mensch-Technik- Interaktion wurde in allen drei Studien das Vertrauen der Probanden in die verwendeten Alarmsysteme abgefragt. Zusätzlich zum Gesamtvertrauen in das System wurde auch das Einzelvertrauen in die verschiedenen Komponenten (Meldungsarten) erhoben. Diese Entscheidung ergab sich auf Basis von Überlegungen zum Konzept der reliance und compliance, die als unterschiedliche Verhaltenskomponenten gegenüber demselben System angesehen werden (Meyer, 2004) und auf unabhängigen Vertrauenswerten gegenüber den jeweils verhaltensrelevanten Komponenten des Systems basieren (Onnasch et al., 2011). Deswegen gaben die Probanden zusätzlich zum Gesamtvertrauen an, wie sehr sie den Alarmen, Warnungen und Normal-Meldungen des Systems vertrauten. In der ersten Untersuchung wurde das Vertrauen in ein binäres Alarmsystem mit dem in ein LAS verglichen. Das Vertrauen in die Normal-Meldungen unterschied sich nicht 168

169 10. Allgemeine Diskussion zwischen den Gruppen, während die Nutzer des LAS ein deutlich höheres Vertrauen in die Alarme zeigten als die Nutzer des binären Systems. Dieses letzte Ergebnis ist naheliegend, da das LAS über eine deutlich höhere Alarm-PPV verfügte als das binäre System. Interessant ist hingegen, dass auch das Gesamtvertrauen in das LAS höher war als ins binäre System, obwohl beide über dieselbe Gesamtreliabilität verfügten. Dieses Ergebnis bestätigt die aufgestellte Annahme, dass einer der Vorteile von LAS darin besteht, Vertrauensverlusten vorzubeugen. Mithilfe der Warnungen der mittleren Stufe wird der Unsicherheitsbereich für den Nutzer kenntlich gemacht. Die zusätzliche Meldungsstufe liefert Informationen über die eigene Sicherheit des Systems bezüglich der Korrektheit der generierten Diagnose. Die vom Operateur wahrgenommene Transparenz des Alarmsystems wird dadurch erhöht. Die Nutzer erleben weniger falsche Diagnosen des Alarmsystems, da sie eine falsche Warnung nicht als Systemfehler klassifizieren. Das führt zu einer höheren wahrgenommenen Zuverlässigkeit des Systems. Da sowohl die Höhe der wahrgenommenen Transparenz als auch die Höhe der wahrgenommenen Zuverlässigkeit Faktoren darstellen, die das Vertrauen beeinflussen (z.b. Lee & Moray, 1992; Wiczorek, 2011), führt das LAS zu einem höheren Vertrauen der Nutzer in das System. Die Ergebnisse der drei Studien weisen außerdem darauf hin, dass die Probanden die Einzelvertrauensurteile zu einem Gesamtwert integrieren. Dies geschieht jedoch anscheinend unbewusst. In den beschriebenen Untersuchungen wurde das Gesamtvertrauen jeweils vor den Einzelvertrauenswerten erfragt, um eine bewusste Gewichtung der Probanden zu verhindern. In der dritten Studie machten die Probanden ebenso wie in der ersten gleiche Angaben bezogen auf ihr Vertrauen in Normal- Meldungen. Dasselbe traf für die Höhe ihres Vertrauens gegenüber Warnungen zu. Sie unterschieden sich hingegen in Bezug auf ihr Vertrauen in Alarme und in entsprechender Richtung auch in ihrem Gesamtvertrauen. Die 0.9-Gruppe, die das höchste Vertrauen in Alarme hatte, vertraute dem LAS auch insgesamt am meisten. In der zweiten Studie zeigte sich hingegen kein Unterschied bezogen auf das Gesamtvertrauen, obwohl sich auch hier die Vertrauenswerte bezogen auf Alarme unterschieden. Dieses Ergebnis lässt sich durch die Betrachtung des Vertrauens in Warnungen erklären. Hier kam es auch zu Unterschieden zwischen den Systemen, jedoch in entgegengesetzter Richtung als bei den Alarmen. Die 0.6-Gruppe vertraute den Warnungen des Systems stärker als die beiden anderen Gruppen. Das niedrigere Vertrauen in Alarme kombiniert mit einem höheren Vertrauen in Warnungen wurde von den Probanden zu einem Gesamtvertrauenswert integriert, welcher sich nicht von dem der Probanden der anderen beiden Gruppen unterschied. Das Erheben der Einzelvertrauenswerte in die verschiedenen Komponenten ermöglichte es, das 169

170 10. Allgemeine Diskussion Vorkommen bzw. die Abwesenheit von Unterschieden im Gesamtvertrauen zwischen den drei Studien zu erklären. Onnasch et al. (2011) weisen darauf hin, dass es bei der Untersuchung von Vertrauen wichtig ist, zwischen den einzelnen Funktionen und Komponenten von Systemen zu unterscheiden, weil sich das Vertrauen in die jeweiligen Subsysteme stark unterscheiden kann. Die Vergleiche der Einzel- und Gesamtvertrauenswerte in den drei Studien dieser Arbeit bestätigen diese Aussage, da die Gesamturteile durch die Einzelurteile erklärt werden können, indem sie wertvolle Zusatzinformationen liefern. Besonders interessant sind die Angaben zum Vertrauen in Warnungen in der zweiten Untersuchung. Normalerweise wird davon ausgegangen, dass das Vertrauen mit steigender Zuverlässigkeit ansteigt (z.b. Lee & See, 2004). Hier zeigte sich hingegen das höchste Vertrauen bei dem System, welches die niedrigste Warn-PPV hatte. Dieses Ergebnis könnte bedeuten, dass nicht die PPV, sondern die NPV der Warnstufe für die Nutzer die relevante Größe darstellt. Demnach würde es sich bei Warnungen, welchen kein Signal zugrunde liegt, nicht um FAs, sondern um CRs handeln. Das Vertrauen in das LAS ist dann besonders hoch, wenn dieses im Bereich der Warnungen viele CRs generiert. Eine Alternativerklärung bezieht sich auf den mehrdimensionalen Charakter von Vertrauen. Die meisten Modelle gehen davon aus, dass es sich beim Vertrauen um ein mehrdimensionales Konzept handelt (z.b. Muir, 1994). Demnach wird von den Probanden nicht nur die Zuverlässigkeit des Systems in Betracht gezogen, sondern beispielsweise auch dessen Nützlichkeit oder seine Vorhersehbarkeit. Eine mögliche Erklärung für das unerwartet hohe Vertrauen in Warnungen besteht darin, dass die Probanden bei ihrer Einzelvertrauensangabe zu Warnungen nicht nur die Zuverlässigkeit derselben einbezogen, sondern auch bewerteten, inwieweit sich diese mit ihren Erwartungen deckte. Das war dann der Fall, wenn die Warn-PPV sich in einem eher niedrigen Bereich befand. Die Ergebnisse der zweiten Studie lassen keine eindeutige Entscheidung hinsichtlich der beiden möglichen Erklärungen der Befunde zu. Was sich jedoch klar sagen lässt ist, dass die Warnstufe des 0.6-LAS nicht nur zu einem höheren Vertrauen der Nutzer in Warnungen führte, sondern auch zu homogeneren und konsistenteren Strategien im Umgang mit Warnungen als es bei den anderen beiden Gruppen der Fall war. Um zu einer eindeutigen Aussage zu kommen sollte diesem Befund in nachfolgenden Studien nachgegangen werden. Es gibt bislang keine systematische Forschung darüber, welche mentalen Repräsentationen Operateure von Alarmsystemen haben. Das mag der Einfachheit binärer Alarmsysteme geschuldet sein. Bezogen auf LAS könnten weitere Erkenntnisse über die mentalen Repräsentationen der Nutzer helfen, künftige LAS auch in Hinblick darauf zu entwickeln, welche Erwartungen Operateure an diese Art von Alarmsystemen haben, um ihre Interaktion 170

171 10. Allgemeine Diskussion mit diesen zu verbessern. Analysen des Vertrauens in die einzelnen Komponenten der Systeme bieten eine mögliche Herangehensweise an dieses Thema. Die Interpretation der Ursachen von Abweichungen im Vertrauen kann jedoch nur vage bleiben, wenn das Vertrauen als absoluter Wert eindimensional erhoben wird. Solange die Erwartungen in das System nicht abgefragt werden, kann über ihren Einfluss bloß spekuliert werden. Ein Nachteil in dieser Arbeit, wie in vielen anderen Untersuchungen zum Vertrauen (z.b. Bustamante, 2009; Bustamante, 2008; Madhavan et al., 2006; Moray, Inagaki, & Itoh, 2000; Wiczorek & Manzey, 2010), besteht darin, dass nur ein absoluter Vertrauenswert erhoben wurde. Obwohl weithin darüber Einigkeit herrscht, dass es sich beim Vertrauen um ein mehrdimensionales Konzept handelt (vgl. Lee & See, 2004), erfolgt die Messung desselben oft mithilfe eines einzelnen Items, was unweigerlich zum Verlust von Informationen führt. Der Grund dafür ist einerseits theoretischer Natur und besteht darin, dass Uneinigkeit über die Anzahl und Art der Vertrauensdimensionen herrscht (vgl. Lee & See, 2004). Andererseits gibt es auch rein praktische Gründe, vor allem der Mangel an Tests, die Vertrauen mehrdimensional messen und über akzeptable Gütekriterien verfügen. Für die vorliegende Arbeit war ursprünglich geplant, das Vertrauen mithilfe eines Fragebogens mehrdimensional zu erheben. Das scheiterte jedoch daran, dass im deutschen Sprachraum kein solcher Test verfügbar war. Die Überlegung existierende englischsprachige Tests zu übersetzen und die deutsche Version zu validieren, wurden ebenfalls verworfen, da die verfügbaren Tests nicht den gewünschten Anforderungen entsprachen, was das Vorhandensein von Subskalen (Jian, Bisantz, & Drury, 2000) und Gütekriterien (Madsen & Gregor, 2000) betraf. Aus diesem Grund wurde im Zuge der Studien dieser Arbeit und zwei weiteren empirischen Erhebungen ein Fragebogen entwickelt, welcher Vertrauen in mehreren Dimensionen misst. Die vier Subskalen des Fragebogens zur mehrdimensionalen Erfassung von Vertrauen (FMV, Wiczorek, 2011) sind Zuverlässigkeit, Nutzen, Intention und Transparenz. Der Einsatz dieses differenzierten Messinstruments kann bei folgenden Untersuchungen zur Rolle des Vertrauens in LAS nützliche Ergebnisse liefern, die helfen, die Einstellung der Nutzer gegenüber dem System zu verstehen. Während kein Zweifel daran besteht, dass Operateure jedem System, mit dem sie interagieren, ein gewisses Maß an Vertrauen entgegenbringen, ist der Einfluss des Vertrauens auf das Verhalten der Operateure im Umgang mit dem entsprechenden System jedoch nicht so eindeutig. Die Mehrheit der Autoren geht davon aus, dass das Vertrauen eine handlungsleitende Wirkung hat und deshalb als Prädiktor für das Verhalten dienen kann (z.b. Lees & Lee, 2007; Madhavan et al., 2006). Andere Untersuchungen, die die Wirkung des Vertrauens auf das Verhalten untersuchten, 171

172 10. Allgemeine Diskussion konnten diese Prädiktorrolle jedoch nicht bestätigen (Bustamante, 2009; Wiczorek & Manzey, 2010). Auch die Ergebnisse der vorliegenden Arbeit lassen in Bezug auf die verhaltensleitende Funktion von Vertrauen keine eindeutigen Schlüsse zu. Die im zweiten Experiment gefundenen korrelativen Zusammenhänge zwischen den Einzelvertrauenswerten bei Alarmen und Warnungen und den Bearbeitungs-Raten bei diesen beiden unterschiedlichen Meldungsarten zeigen einen deutlichen Zusammenhang zwischen der Höhe des Vertrauens und der Häufigkeit des Bearbeitens. Die negativen Korrelationen bei den Warnungen bekräftigen darüber hinaus die Annahme, dass sich das Vertrauen hier auf Basis der NPV und nicht auf Basis der PPV bildete. Je mehr die Probanden den Warnungen vertrauten, desto seltener bearbeiteten sie diese. Diese Art von Zusammenhang würde man eher bei Normal-Meldungen als bei Alarmen erwarten, da er zeigt, dass sich die Probanden drauf verlassen, dass die Wahrscheinlichkeit des tatsächlichen Vorliegens eines kritischen Ereignisses bei gegebener Warnung gering ist. Auf Basis von Korrelationen allein kann jedoch keine Aussage über Kausalität getroffen werden. Es ist genauso möglich, dass sowohl das Vertrauen als auch das Verhalten von den wahrgenommenen Systemeigenschaften abhängt, ohne sich gegenseitig zu beeinflussen, wie es in den Untersuchungen von Bustamante (2009) und Wiczorek und Manzey (2010) der Fall war. Im dritten Experiment, in dem eine Prüfoption vorhanden war, ergaben sich weit weniger differenzierte Vertrauensurteile als im zweiten, was sich vor allem im Bereich der Warnungen zeigte. Ein möglicher Grund dafür könnte in der Reduktion der Unsicherheit mithilfe der Validierungsmöglichkeit liegen, da Unsicherheit eine relevante Voraussetzung für die Notwendigkeit von Vertrauen darstellt (Lee & See, 2004). Diese Annahme bezüglich der Abschwächung der Bedeutung des Vertrauens bei verfügbarer Prüfoption deckt sich mit der Theorie des Modells von Wiczorek und Onnasch (2012). Die Autorinnen gehen davon ausgehen, dass situative Faktoren wie die Interpretierbarkeit der Situation und das bestehende Risiko einen Einfluss auf die Nutzung von Entscheidungsunterstützungssystemen haben. Es wird angenommen, dass diese Faktoren sowohl direkt auf das Verhalten wirken als auch indirekt, indem sie die Beziehung zwischen Vertrauen und Verhalten moderieren. Diese Moderatorwirkung könnte widersprüchliche Ergebnisse aus oben zitierten Studien in Bezug auf die Prädiktorfunktion von Vertrauen erklären. Allerdings kann bezüglich des dritten Experiments keine Aussage über den Zusammenhang des berichteten Vertrauens und des gezeigten Verhaltes gemacht werden, da die Anzahl an unterschiedlichen Verhaltensoptionen keine sinnvollen Korrelationsberechnungen zuließen. Trotz der teilweise uneindeutigen Befunde der vorliegenden Arbeit, ist das Vertrauenskonzept als Heuristik zur Beschreibung und Erklärung des Verhaltens von Operateuren im Umgang 172

173 10. Allgemeine Diskussion mit LAS sowie zur Untersuchung der Einstellung von Operateuren gegenüber dieser Art von Systemen als durchaus nützlich anzusehen Anwendungsmöglichkeiten von LAS in der Praxis Grundsätzlich kann davon ausgegangen werden, dass Ergebnisse, die im Labor generiert wurden, nicht eins zu ein in die Praxis übertragen werden können. Wenn es jedoch gelingt, Probleme aus der Praxis im Labor zu reproduzieren, ist die Wahrscheinlichkeit hoch, dass im Labor gefundene Lösungen auch in der Praxis funktionieren. Natürlich bedarf es praxisnaher Evaluationen in Simulatoren oder Testläufen, bevor eine abschließende Implementierung erfolgen sollte. Das ist besonders deswegen wichtig, weil es in realen Arbeitsumgebungen eine Vielzahl von Einflüssen und Kontextfaktoren gibt, die im Labor nicht existieren. Eben darin besteht der Vorteil der Laborforschung, die es ermöglicht, Störvariablen zu eliminieren oder zu kontrollieren und so einzelne spezifische Probleme unabhängig vom Gesamtkontext zu untersuchen. Dadurch werden mögliche Lösungen schneller gefunden und ihre Untersuchung ist weniger aufwendig. Besonders diese Tatsache ermöglicht das Abwägen unterschiedlicher Lösungsmöglichkeiten und erhöht dadurch die Qualität der schlussendlich gewählten Alternative. Je nach Arbeitsumgebung ergeben sich unterschiedliche Probleme im Umgang mit Alarmsystemen. Die Einführung von LAS kann in Abhängigkeit der verschiedenen Anforderungen an Alarme auf mehrere unterschiedliche Arten einen Nutzen erbringen. In der Prozessindustrie handelt es sich bei der überwiegenden Menge überwachter Parameter um analoge Signale. Dabei kommt das Konzept der Voralarme zum Einsatz, bei denen es sich auch um abgestufte Warnungen handelt. Die Anwendung von LAS, in der hier beschriebenen Form, kommt hingegen nur für diskrete Signale in Frage. Diese kommen in der Prozessindustrie in Form von wert- und zeitdiskreten Messungen vor, sind jedoch sehr viel seltener. In der Prozessindustrie besteht das größte Problem in Bezug auf Alarme in ihrer übermäßigen Menge, die es den Operateuren erschwert, wichtige von unwichtigen Meldungen zu unterscheiden (Park et al., 1997). LAS können dazu beitragen, einige der Anforderungen (vgl. Kurz & Albert, 2004), die an sinnvolle Alarme gestellt werden, zu erfüllen. Durch die abgestuften Meldungen wird die Verständlichkeit derselben erhöht, indem das System mehr Informationen in Form von Wahrscheinlichkeitsangaben bereitstellt und dadurch die Transparenz für die Operateure erhöht. Darüber hinaus stellt die Unterteilung in Warnungen und Alarme eine zusätzliche Form der Priorisierung dar, indem die Wahrscheinlichkeit des Eintretens 173

174 10. Allgemeine Diskussion eines Schadens gewichtet wird. Der bestehenden Forderung nach Reduktion der Alarme zur Erhöhung ihrer Validität (Park et al., 1997) wird durch das LAS ebenfalls Folge geleistet. Durch die Einführung von Warnungen verringert sich die Menge an Alarmen und gleichzeitig wird deren Validität gesteigert, indem das LAS über eine höhere Alarm-PPV verfügt als es bei binären Alarmsystemen der Fall ist. Da jeder Alarm [ ] je nach Situation ein[en] Bedieneingriff, erhöhte Aufmerksamkeit, [oder] das Einleiten weiterer Untersuchungen [ ] (Kurz & Albert, 2004, S. 37) erfordert, liegt ein weiterer potentieller Nutzen von LAS in der Unterstützung der Operateure bei der Wahl der geeigneten Reaktion. Ob eine unverzügliche Handlung angemessen ist oder die verstärkte Beobachtung der relevanten Komponente, kann auf Basis der Wahrscheinlichkeit des tatsächlichen Vorliegens der angezeigten Fehlfunktion oder Abweichung besser beurteilt werden. Ein denkbarer Einsatz von LAS in der Prozessindustrie ist die Visualisierung und Alarmierung auf Basis von Mehr-Sensor- Messungen. Dabei wird derselbe Wert mithilfe mehrerer Sensoren gemessen. Stimmen die Messungen nicht überein, wird dies dem Operateur angezeigt. Damit sollen die Unterscheidung zwischen einer tatsächlichen Fehlfunktion und einer Sensorfehlfunktion verbessert und unnötige Reaktionen reduziert werden. Dieses Prinzip ist in Teilen äquivalent zur Logik des LAS und bietet demnach eine sinnvolle Anwendungsmöglichkeit für diese Art von Alarmsystem. In der Prozessindustrie besteht in den meisten Fällen die Möglichkeit, Zusatzinformationen einzuholen. Dies geschieht in der Leitwarte mithilfe der angezeigten Zustände und Messwerte oder direkt in der Anlage, wenn Informationen digital nicht zugänglich oder uneindeutig sind. Von völliger Abwesenheit einer Prüfoption kann demnach nicht ausgegangen werden. Dennoch besteht nicht immer die Möglichkeit, die Unsicherheit bezüglich einer zu treffenden Entscheidung auf null zu reduzieren. Gründe hierfür können Zeitdruck, schlecht zugängliche Informationen, zu hohe mentale Anforderungen, z.b. durch die Erfordernis der Integration und Analyse mehrerer Werte, sowie Informationsüberflutung, die zum Übersehen wichtiger Informationen führt, sein. In anderen Bereichen, wie z.b. der Luftfahrt kommen auch Alarmsysteme zum Einsatz, deren Meldungen nicht von den Piloten überprüft werden können. Beispiele hierfür sind das Vereisungswarnsystem, das GPWS oder das TCAS, die Alarme in Situationen generieren, in denen eine Überprüfung nicht möglich ist, sei es aufgrund der Nichtzugänglichkeit zu Rohdaten, wie vereisten Tragflächen oder aufgrund von Sichteinschränkungen bei Nacht oder schlechtem Wetter. In all diesen Fällen, in denen die Validierung von Meldungen nicht oder nur eingeschränkt möglich ist, kann die Nutzung von LAS dazu beitragen, das Entscheidungsverhalten der Operateure zu verbessern. Das häufige Ignorieren von Meldungen aufgrund einer hohen 174

175 10. Allgemeine Diskussion Anzahl falscher Alarme bei binären Systemen kann dazu führen, dass kritische Ereignisse übersehen werden. Die Häufigkeit dieses Ignorierens wird durch das LAS zwar nicht verringert, wohl aber gezielter gesteuert, indem es sich hauptsächlich auf die Meldungen niedriger Validität (Warnungen) beschränkt, während Meldungen höherer Validität (Alarme) häufiger befolgt werden. Diese Unterstützung bei der Wahl der geeigneten Verhaltensweise des Operateurs kann maßgeblich dazu beitragen, das Übersehen kritischer Zustände zu reduzieren. In Fällen, in denen keine Möglichkeit zur Überprüfung gegeben ist, reduziert sich der Handlungsraum von Operateuren auf zwei Reaktionen. Obwohl das LAS auch in diesen Fällen einen Vorteil gegenüber klassischen binären Systemen bietet, erbringt es den maximalen Nutzen in Situationen, in denen mehr als zwei Verhaltensweisen zur Verfügung stehen. Die Ergebnisse dieser Arbeit legen nahe, dass die angemessenste Entscheidungsunterstützung dann erfolgen kann, wenn jeder Stufe des LAS eine andere Reaktion des Operateurs zuzuordnen ist. In vielen Fällen besteht der Aktionsspielraum aus einem Bedieneingriff, Prüfen bzw. Aufmerksamkeit erhöhen und Nicht-Reagieren bzw. ausschließlichem Quittieren des Alarms. Operateure verfügen in solchen Fällen über mehrere Antwortkriterien, die die unterschiedlichen Verhaltensalternativen voneinander abgrenzen. Die Unsicherheit über die zu wählende Reaktion kann dadurch reduziert werden, dass die Operateure ihre Antwortkriterien an den Schwellen des LAS ausrichten. Beispiele für die Nutzung von LAS eröffnen sich dadurch nicht nur in komplexen Mehrfachaufgaben-Arbeitsumgebungen, sondern auch in Bereichen der privaten Nutzung von Alarmsystemen, wo sich eine umfangreichere Informiertheit der Nutzer bewährt. Beispiele dafür sind abgestufte Warnungen vor Unwettern wie Hurrikans, differenzierte Angaben zur Gefährlichkeit von Streckenabschnitten von Autobahnen unter wechselnden Wetterbedingungen oder Rauchmelder, die in Abhängigkeit der detektierten Menge an Rauchpartikeln unterschiedliche Meldungen generieren (vgl. Papastavrou & Lehto, 1996). Ein weiterer vielversprechender Anwendungsfall für LAS wurde von Heesen et al. (2011) untersucht. Dabei handelt es sich um ein Alarmsystem, das das Funktionieren eines Assistenzsystems zur Regelung des Abstands durch Geschwindigkeitsregulierung (adaptive cruise control, ACC) im Kraftfahrzeug überwacht. Aufgrund sensorischer Probleme, die z.b. witterungsbedingt sein können, kann es zu einem Fehlverhalten des Assistenzsystems kommen. Ist das System nicht mehr in der Lage, seine Aufgabe fehlerfrei auszuführen, muss die Kontrolle der Abstandsregelung an den Fahrer zurückgegeben werden, der darüber durch eine Alarmierung in Kenntnis gesetzt wird. Bei leichter Beeinträchtigung der Sensorleistung ist jedoch eine verstärkte Beobachtung des Systems durch den Fahrer ausreichend, da die Wahrscheinlichkeit eines tatsächlichen Fehlers sehr gering ist. Zur 175

176 10. Allgemeine Diskussion Information des Fahrers über die Notwendigkeit verstärkter Beobachtung oder die manuelle Ausführung der Aufgabe wurde eine LAS-Strategie genutzt. Das System, das dem Fahrer Rückmeldung über die eigene Unsicherheit gab, führte zu einem angemesseneren Fahrverhalten und einem höheren Vertrauen in das System. Wie dieses und die vorherigen Beispiele zeigen, kann LAS in sehr unterschiedlichen Anwendungsfeldern zum Einsatz kommen. Die Frage nach der angemessenen Wahl der zweiten Schwelle sollte dabei in Abhängigkeit der Anforderungen des jeweiligen Kontexts erfolgen. In sicherheitsrelevanten Arbeitsumgebungen, in denen die Konsequenzen eines misses ungleich schwerer wiegen als die eines FAs, sollte eine liberale zweite Schwelle gewählt werden, da diese die Anzahl an misses am stärksten reduziert. Handelt es sich jedoch um Aufgaben, wie z.b. Qualitätskontrolle, bei denen die zeitlichen Einbußen durch ein unnötiges Reagieren von hoher Relevanz sein können, ist einer konservativen zweiten Schwelle der Vorzug zu geben. Gleiches gilt für den beschriebenen Anwendungsfall der Überwachung des ACC. Hier ist es wichtig, einem Vertrauensverlust des Fahrers in das ACC vorzubeugen, indem eine tatsächliche Übergabe der Kontrolle so selten wie möglich erfolgt Kritische Reflexion der Befunde In der vorliegenden Arbeit wurde versucht, Schwächen, welche in früheren Forschungsarbeiten identifiziert wurden, zu vermeiden (vgl. Kapitel 4.4). Obwohl das in weiten Teilen gelungen ist, bestehen dennoch in einigen Punkten Einschränkungen. Positiv hervorzuheben ist, dass darauf geachtet wurde, eine vergleichbare Dringlichkeit in Bezug auf die Alarme des LAS und des binären Systems herzustellen. In anderen Studien (z.b. Bustamante, 2008; Sorkin et al., 1988) unterschied sich jeweils die Meldungsstufe mit der höchsten PPV sowohl in Bezug auf die Farbe als auch die verbale Benennung zwischen den beiden Systemarten. Da bereits gezeigt werden konnte, dass die wahrgenommene Dringlichkeit von Meldungen einen Einfluss auf das Verhalten haben kann (Bliss, Dunn et al., 1995), konnte nicht ausgeschlossen werden, dass die Unterschiede zwischen LAS und binärem Alarmsystem der Differenz in Bezug auf die wahrgenommene Dringlichkeit geschuldet waren. In der vorliegenden Arbeit, wurde darauf geachtet, die Dringlichkeit der höchsten Stufe des binären Systems und des LAS gleich zu halten; sie wurde in beiden Fällen durch die Farbe Rot und die Benennung Alarm dargestellt. Die gefundenen Verhaltensunterschiede sprechen demnach dafür, dass Unterschiede in der wahrgenommenen Dringlichkeit der jeweils höchsten Stufe des Systems in den anderen Untersuchungen nicht die Ursache für die 176

177 10. Allgemeine Diskussion gefundenen Unterschiede in der Leistung zwischen binärem und LAS war. Weiterhin wurde für alle drei Studien ein Zwischensubjektdesign gewählt, welches verhindern sollte, dass es zu falschen Wahrnehmungen der Reliabilitätsparameter der Systeme durch die Probanden käme. Zum Beleg der unterschiedlichen Wahrnehmungen wurde zusätzlich ein Manipulationscheck in Form einer Abfrage der wahrgenommenen Reliabilitäten durchgeführt. Dabei zeigte sich, dass sich die Gruppen in der Wahrnehmung der Alarm-PPV unterschieden, was die Voraussetzung für die Analysen der Unterschiede zwischen den Bedingungen bezogen auf die Leistung, das Vertrauen und das Verhalten gegenüber den Alarmsystemen darstellte. Analyse des Verhaltens der Probanden im Umgang mit den unterschiedlichen Meldungsarten der LAS unterscheidet die drei Experimente zusätzlich von anderen Studien. Erstmalig konnten bestehende Annahmen (z.b. Bustamante, 2008) zur verhaltensleitenden Wirkung von LAS experimentell bestätigt werden. Darüber hinaus konnte gezeigt werden, dass die primär verhaltensleitende Komponente bei dieser Art von Systemen, ebenso wie bei binären, die PPV (bzw. NPV) ist. Dieser Befund deutet darauf hin, dass Ergebnisse von Studien zu binären Systemen zur Vorhersage der Interaktion mit LAS herangezogen werden können. Ferner konnte gezeigt werden, dass auch die Nutzung von LAS von einer Prüfoption profitieren kann, was auf Basis früherer Befunde bezweifelt wurde (Bustamante, 2008). Dieser Effekt ergab sich durch die Entscheidung für eine Prüfoption, welche die Unsicherheit auf null reduzierte. Ein weiterer Unterschied zu anderen berichteten Untersuchungen lag in der Variation der Belastung durch die Einführung einer zusätzlichen Aufgabe, im Gegensatz zur Steigerung der Anforderung innerhalb derselben Aufgabe. Dadurch konnte ausgeschlossen werden, dass etwaige Leistungseinbußen oder Vorteile in der Parallelaufgabe mit dem Belastungsniveau derselben konfundiert wären. Um eine bessere Übertragbarkeit auf die Praxis zu gewährleisten, wurde versucht, die Fehlerbasisrate so gering wie möglich zu halten, da es in den meisten Anwendungsdomänen sehr selten zu kritischen Ereignissen kommt. Die hier verwendete Fehlerbasisrate von 0,3 ist nicht repräsentativ für sicherheitsrelevante Überwachungsaufgaben, in der Qualitätskontrolle aber durchaus möglich. Andere Aspekte dieser Arbeit sollten allerdings als mögliche Einschränkungen der Übertragung in die Praxis berücksichtigt werden. Bei den Teilnehmern aller drei Studien handelte es sich primär um Studenten, Operateure wurden aufgrund ökonomischer Gesichtspunkte nicht untersucht. Es handelt sich dabei um ein häufiges Vorgehen im Bereich der Human Factors Forschung, sollte aber bei anwendungsorientierten Überlegungen nicht außer Acht gelassen werden, da Unterschiede der Gruppen in Bezug auf Merkmale und Fähigkeiten nicht ausgeschlossen werden können. Dies 177

178 10. Allgemeine Diskussion könnte besonders in Bezug auf die Generalisierbarkeit der gewählten Antwortstrategien der Fall sein. Im zweiten Experiment waren die Probanden der 0.6-Bedingung einheitlicher in Bezug auf ihre Wahl der geeigneten Strategie gegenüber Warnungen, während es in den anderen beiden Gruppen keine klar präferierte Heuristik gab. Es ist jedoch denkbar, dass Operateure sich in Bezug auf diese Entscheidung auch bei Systemen mit konservativeren zweiten Schwellen einheitlicher verhalten, da sie als Gruppe insgesamt homogener sind als Studenten. Ein häufiges Problem von Laborstudien, welche Arbeitsanforderungen simulieren, liegt auch in der Gewichtung der unterschiedlichen Aufgaben mithilfe eines Punktesystems. Das Auszahlungssystem in dieser Studie diente primär dem Zweck, eine Konkurrenz zwischen der Alarm- und den Parallelaufgaben zu schaffen und dadurch deren Verhältnis in der Praxis nachzubilden. Hierbei kann immer kritisch hinterfragt werden, ob dies gelungen ist und inwieweit die gefundenen Ergebnisse demnach auf die Praxis zu übertragen sind. Weitere Einschränkungen ergeben sich aufgrund der Simplizität der Versuchsumgebung, welche in vielen Punkten stark von realen Bedingungen in Leitwarten abweicht. Das betrifft vor allem die Reaktionsmöglichkeit des direkten Bearbeitens, welche sich im Kontext komplexer Systeme nicht findet. Das Hauptaugenmerk von Operateuren richtet sich vor allem auf die Fehler- und die Ursachensuche, wenn sie einen Alarm erhalten. Wäre eine so einfache und immer gleiche Reaktion auf einen Alarm möglich, würde dieser Ablauf in der Praxis automatisiert werden (vgl. Kurz & Albert, 2004). Allerdings kommt es in anderen Bereichen, wie der Luftfahrt durchaus vor, dass mit einem Alarm eine klare Handlungsanweisung verknüpft ist, welche vom Piloten unmittelbar befolgt werden soll, wie z.b. im Falle des GPWS des TCAS. Auch die vergleichsweise einfache Prüfprozedur, welche in jedem Fall zum Erfolg führte, entspricht nicht unbedingt den Gegebenheiten von realen Arbeitsumgebungen, da Operateure in der Praxis häufig mit einer Vielzahl von teilweise ambiguen oder schwer zugänglichen Informationen konfrontiert sind. Es ist möglich, dass die Ergebnisse bei komplexeren und mental stärker beanspruchenden Prüfprozeduren anders ausgefallen wären. Allerdings zeigte sich in der Arbeit von Gérard (2012) auch bei einer zeitintensiveren Prüfaufgabe keine Änderung in der Häufigkeit der Nutzung dieser Option. Im Zusammenhang mit der Prüfoption muss auch auf Probleme im Design der ersten Studie hingewiesen werden. Bei der Analyse zeigte sich, dass die Wahl der Prüfoption als unabhängige Variable den Nachteil der Beeinflussung der Anzahl an abhängigen Variablen mit sich bringt, weswegen nicht alle Verhaltensweisen bei jeder Gruppe inferenzstatistisch verglichen 178

179 10. Allgemeine Diskussion werden konnten. Das führte dazu, dass die nachfolgende Untersuchung des Einflusses von Schwellenwert und Belastung getrennt für die Optionen mit und ohne Prüfmöglichkeit erfolgte. Der Nachteil in Bezug auf die erfolgte Wahl der verwendeten zweiten Schwellen der Systeme kann darin gesehen werden, dass es mit diesen nicht möglich war, zu ermitteln, wo sich die etwaigen Grenzwerte befinden, bei deren Überschreitung die Wirkung von LAS aufgehoben wird. Hierzu hätte die Schwellenwahl sich stärker an Ergebnissen zu Verhaltensänderungen in Abhängigkeit der Schwellen bzw. PPVs bei binären Systemen orientieren können. Allerdings konnte auf Basis der bestehenden Erkenntnisse zu LAS nicht unbedingt davon ausgegangen werden, dass sich Probanden gegenüber den PPVs von LAS ebenso verhalten wie gegenüber denen binärer Systeme. Kritisch anzumerken ist weiterhin, dass sich bei den Schätzungen der Warn-PPVs durch die Probanden keine Unterschiede zwischen den Gruppen zeigten. Diese Tatsache könnte durch die allgemeine Tendenz zur Mitte erklärt werden, die Probanden bei der Schätzung von Reliabilitäten zeigen. Dabei werden niedrige Werte, wie es bei den Warn-PPVs von 0,14 und 0,29 der Fall war, von den Probanden überschätzt. In diesem Fall könnte das dazu geführt haben, dass sich die Schätzungen nicht von denen der Warn-PPV von 0,35 unterschieden, die im mittleren Bereich lag, welcher in der Regel von Probanden annähernd korrekt geschätzt wird. Eine weitere Erklärung, warum die Schätzungen bezogen auf die Zuverlässigkeit der Warnungen so undifferenziert ausfielen, könnten mögliche Schwächen des verwendeten Messinstruments sein. Es hatte sich auch insgesamt gezeigt, dass einige Probanden Probleme hatten, die Matrix korrekt zu interpretieren. Abschließend sollte darauf hingewiesen werden, dass es sich bei allen drei Studien lediglich um eine relativ kurze Bearbeitungszeit handelte und deshalb keine Aussagen über eine mögliche Veränderung des Umgangs mit Alarmen über die Zeit getroffen werden können. Zur Klärung dieser und anderer offener Fragen bedarf es weiterer Untersuchungen Ausblick Die Ergebnisse der vorliegenden Arbeit wurden im Labor generiert. Aus ihnen lassen sich Empfehlungen für die Anwendung von LAS in der Praxis ableiten, welche jedoch dort unter dem Einfluss realistischer Bedingungen abschließend evaluiert werden müssen. Insgesamt handelt es sich bei dem Konzept der LAS um eine vielversprechende Alternative zu binären Alarmsystemen, welche in unterschiedlichen Branchen und Domänen einsetzbar ist. Die Forschung zu LAS steht jedoch erst am Anfang. In der vorliegenden Arbeit konnte ihr Vorteil gegenüber binären Systemen in Bezug auf 179

180 10. Allgemeine Diskussion Sicherheit und Produktivität gezeigt werden, welcher sich durch das unterschiedliche Verhalten im Umgang mit den verschiedenen Systemarten erklären lässt. Ferner erlauben die Befunde erste Aussagen zur Wirkung unterschiedlicher Schwellenwerte bei LAS. Bezogen auf die Grenzen für diese Schwellen sowohl in liberaler als auch in konservativer Richtung können auf Basis der durchgeführten Studien jedoch keine Ableitungen gemacht werden. Hierzu bedarf es künftiger Untersuchungen, die Aufschluss darüber geben, wo sich sinnvolle Grenzen für die zweite Schwelle beim LAS befinden. Diese Information ermöglicht es, den Spielraum der Schwellenwahl auszuschöpfen ohne Gefahr zu laufen, dass die Verhaltensdifferenzierung aufgehoben wird. Solche Untersuchungen können durch den Vergleich von Gruppen erfolgen, welche mit verschiedenen LAS arbeiten, die über Schwellen verfügen, welche sich im Randbereich bewegen. Dieses Vorgehen entspräche der Untersuchung von Gérard (2012) zur Feinanalyse der Höhe der PPV, bei der sich das Verhältnis von direktem Bearbeiten zu Prüfen umkehrt. Ein alternatives Vorgehen bestünde in der Modellierung von Nutzerverhalten mithilfe einer kognitiven Architektur wie z.b. ACT-R (adaptive control of thought-rational, Anderson & Lebiere, 1998). Der Vorteil eines solchen Vorgehens liegt im Einsparen von zeitlichen und monetären Ressourcen, da keine Versuchspersonen mehr benötigt werden. Allerdings kann die Modellierung selbst oft sehr zeitintensiv sein, was den Vorteil dieser Methode mitunter relativiert (Reitter & Lebiere, 2010). Eine weitere interessante Frage im Zusammenhang mit der Schwellenwahl ist ihr Einfluss auf die Leistung in den unterschiedlichen Aufgaben. In dieser Arbeit zeigte sich, dass die Angemessenheit der Schwelle davon abhängig gemacht werden sollte, welche Art von Fehlern (misses oder FAs) in dem betreffenden Anwendungskontext eher tolerierbar ist. Bezogen auf die Leistung in den beiden parallelen Arbeitsaufgaben konnten keine Unterschiede gefunden werden, jedoch deutete sich ein Trend in Abhängigkeit der Schwellensetzung dahin gehend an, dass liberale Schwellen förderlicher auf die Leistung bei der Überwachung wirken, während konservative Schwellen tendenziell der Leistung in parallelen Arbeitsaufgaben zugutekommen. Weiterführende Forschung wird zeigen, ob es sich bei diesen deskriptiven Unterschieden um zufällige Vorkommnisse handelt oder ob durch geeignete Schwellensetzung tatsächlich ein Vorteil für einen der beiden Aufgabentypen erwirkt werden kann. Weiterhin ist es denkbar, eine optimale Schwellensetzung zu ermitteln, die es ermöglicht, in beiden Arten von Aufgaben das mögliche Maximum an Leistung zu erzielen. In diesem Zusammenhang könnte es darüber hinaus hilfreich sein, genauere Kenntnis der mentalen Repräsentation der Nutzer vom LAS zu erlangen. Dafür wären Studien erforderlich, die darauf abzielen, das bestehende mentale Modell abzubilden, das Nutzer vor und nach der Interaktion mit LAS vom System haben. 180

181 10. Allgemeine Diskussion Allerdings sind Untersuchungen zu mentalen Modellen mitunter sehr kompliziert, da die Art der Erfragung z.b. verbal oder bildlich, den Antwortraum vorgibt und dadurch bereits einschränkt (vgl. Klimoski & Mohammed, 1994). Alternative oder ergänzende Befragungen bezüglich des Vertrauens in die LAS und die Akzeptanz derselben könnten dabei helfen, die mentale Repräsentation zu erschließen. In diesem Zusammenhang kann auch der Frage nachgegangen werden, über wie viele Stufen ein LAS verfügen sollte und ob die Anzahl der angemessenen Stufen kontextabhängig ist. Auf Basis theoretischer Überlegungen erscheint es plausibel, die Anzahl der Stufen des LAS von der Anzahl möglicher Verhaltensalternativen abhängig zu machen. Dadurch können Operateure ihre Schwellenwerte denen des LAS anpassen. In der vorliegenden Arbeit wurden dreistufige LAS in einem Kontext untersucht, in dem den Probanden drei Verhaltensoptionen zur Verfügung standen. Für jede der drei Stufen des Systems wählten die Teilnehmer eine dominante Reaktion, die sie dann am häufigsten ausführten. Die häufigste Reaktion auf Normal-Meldungen war Ignorieren, bei Warnungen wurde am häufigsten geprüft und bei Alarmen primär bearbeitet. Diese Ergebnisse unterstützen die Theorie zur Stufenwahl in Abhängigkeit der Verhaltensalternativen. Andererseits erbrachte das dreistufige LAS einen noch größeren Vorteil gegenüber dem binären System, wenn nur zwei Verhaltensoptionen zur Verfügung standen, da es dann neben der Leistung in der Parallelaufgabe auch die Leistung in der Alarmaufgabe steigerte. Auf Basis der Ergebnisse der vorliegenden Studien kann demnach keine abschließende Aussage über die optimale Anzahl von Stufen bei LAS abgeleitet werden. Möglicherweise bieten mehr als drei Stufen zusätzliche Vorteile, indem sie das Verhalten der Probanden feiner differenzieren und die Lenkung desselben dadurch noch präziser machen. Andererseits kann davon ausgegangen werden, dass die Fähigkeit zur unterschiedlichen Wahrnehmung verschiedener Stufen begrenzt ist und sich dadurch eine natürliche Limitierung ergibt. Ebenso ist es denkbar, dass ab einer gewissen Anzahl an Stufen eine zusätzliche Belastung durch die Interaktion mit dem vielstufigen System auftritt. Diese Möglichkeit wurde von Sorkin et al. (1988) thematisiert, für vierstufige LAS jedoch nicht nachgewiesen. Die Frage nach einer angemessenen und möglicherweise optimalen Anzahl an Schwellen und deren Abhängigkeit vom Antwortraum sollte mit zukünftiger experimenteller Forschung untersucht werden. 181

182 10. Allgemeine Diskussion 10.8 Fazit Die Ergebnisse der vorliegenden Dissertation legen die Verwendung von LAS als Alternative zu binären Alarmsystemen nahe. LAS verbessern, das Vertrauen der Operateure in das System und unterstützen sie bei der Entscheidungsfindung. Im Umgang mit LAS beginnen die Operateure ihr Verhalten gegenüber den verschiedenen Meldungen zu differenzieren. Es werden weniger kritische Ereignisse durch die Operateure übersehen, denen dennoch mehr Zeit für die Erledigung paralleler Arbeitsaufgaben bleibt. Demnach kann durch den Einsatz von LAS sowohl die Leistung in der Überwachung als auch die Leistung in parallelen Arbeitsaufgaben gesteigert werden. Ersteres besonders effektiv bei gleichzeitigem Vorhandensein einer Prüfoption. Ist hingegen keine Prüfoption vorhanden, sollte für ein dreistufiges LAS eine liberale zweite Schwelle gewählt werden, da hierdurch die Sensitivität des MMS gesteigert wird und sich die misses reduzieren. Eine liberale Schwelle führt im Gegensatz zu einer konservativen zu seltenerem Übersehen kritischer Ereignisse. Wenn eine Prüfoption zur Verfügung steht, sollte die Wahl der zweiten Schwelle hingegen in Abhängigkeit der Anforderungen des jeweiligen Arbeitskontextes erfolgen. Konservative Schwellen führen auch hier zu mehr misses. Liberale Schwellen steigern hingegen eher die Häufigkeit von unnötigen Korrekturhandlungen, begünstigen also FAs des Mensch- Maschine-Systems. Insgesamt zeigen die Ergebnisse, dass das Operateursverhalten durch den Einsatz von LAS gezielter gesteuert werden kann. Daraus ergibt sich ein Nutzen sowohl für die Sicherheit als auch für die Produktivität in komplexen Arbeitsumgebungen. 182

183 Literaturverzeichnis Literaturverzeichnis Allendoerfer, K., Pai, S., & Friedman-Berg, F. J. (2008). The complexity of signal detection in air traffic control alert situations. Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 52, S ). Santa Monica, CA: HFES. Anderson, J. R., & Lebiere, C. (1998). The atomic components of thought. Mahwah, NJ: Lawrence Erlbaum Associates. Badke-Schaub, P., Hofinger, G., & Lauche, K. (2008). Human Factors. In P. Badke- Schaub, G. Hofinger, & K. Lauche (Hrsg.), Human Factors: Psychologie sicheren Handelns in Risikobranchen. Heidelberg: Springer. Bamberg, A., Dünnebier, G., Jaeckle, C., Krämer, S., Lammers, J., & Piechottka, U. (2007). Six Sigma in der Prozessindustrie. Automatisierungstechnische Praxis, 49(1), Bliss, J. P. (1997). Alarm reaction patterns by pilots as a function of reaction modality. The International Journal of Aviation Psychology, 7(1), Bliss, J. P. (2003a). Investigation of alarm-related accidents and incidents in aviation. The International Journal of Aviation Psychology, 13(3), Bliss, J. P. (2003b). An investigation of extreme alarm response patterns in laboratory experiments. Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 47, S ). Santa Monica, CA: HFES. Bliss, J. P., & Dunn, M. C. (2000). Behavioural implications of alarm mistrust as a function of task workload. Ergonomics, 43(9), Bliss, J. P., Dunn, M. C., & Fuller, B. S. (1995). Reversal of the cry-wolf effect: An investigation of two methods to increase alarm response rates. Perceptual and Motor Skills, 80(3c), Bliss, J. P., & Fallon, C. K. (2006). Active warnings II: False alarms. In M. Wogalter (Hrsg.), Handbook of Warnings (S ). Mahwah, NJ: Lawrence Erlbaum. Bliss, J. P., Gilson, R. D., & Deaton, J. E. (1995). Human probability matching behaviour in response to alarms of varying reliability. Ergonomics, 38(11), Bransby, M. L., & Jenkinson, J. (1998). The management of alarm systems: A review of best practice in the procurement, design and management of alarm systems in the chemical and power industries (Research Report No. CRR 166). HSE Books. Breznitz, S. (1984). Cry wolf: the psychology of false alarms. Hillsdale N.J.: Lawrence Erlbaum Associates. 183

184 Literaturverzeichnis Bustamante, E. A. (2005). A signal detection analysis of the effects of workload, taskcritical and likelihood information on human alarm response. Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 49, S ). Santa Monica, CA: HFES. Bustamante, E. A. (2008). Implementing likelihood alarm technology in integrated aviation displays for enhancing decision-making: A two-stage signal detection modeling approach. International Journal of Applied Aviation Studies, 8(2), Bustamante, E. A. (2009). A reexamination of the mediating effect of trust among alarm systems characteristics and human compliance and reliance. Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 53, S ). Santa Monica, CA: HFES. Bustamante, E. A., & Bliss, J. P. (2005). Effects of workload and likelihood information on human response to alarm signals. Proceedings of the 13th International Symposium on Aviation Psychology (S ). Oklahoma City, OK: Wright State University. Bustamante, E. A., Bliss, J. P., & Anderson, B. L. (2007). Effects of varying the threshold of alarm systems and workload on human performance. Ergonomics, 50(7), Cheon, S. W., Chang, S. H., & Chung, H. Y. (1993). Development strategies of an expert system for multiple alarm processing and diagnosis in nuclear power plants. IEEE Transactions on Nuclear Science, 40(1), Clark, R. M., Peyton, G. G., & Bustamante, E. A. (2009). Differential effects of likelihood alarm technology and false-alarm vs. miss prone automation on decision making. Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 53, S ). Santa Monica, CA: h. Comstock, J. R., & Arnegard, R. J. (1992). The multi-attribute task battery for human operator workload and strategic behaviour research (Tech. Memorandum No ). Hampton, VA: NASA Langley Research Center. Cosmides, L., & Tooby, J. (1996). Are humans good intuitive statisticians after all? Rethinking some conclusions from the literature on judgment under uncertainty. Cognition, 58(1), Dixon, S. R., & Wickens, C. D. (2006). Automation reliability in unmanned aerial vehicle control: A reliance-compliance model of automation dependence in high workload. Human Factors: The Journal of the Human Factors and Ergonomics Society, 48(3),

185 Literaturverzeichnis Dixon, S. R., Wickens, C. D., & McCarley, J. S. (2007). On the independence of compliance and reliance: Are automation false alarms worse than misses? Human Factors: The Journal of the Human Factors and Ergonomics Society, 49(4), Egan, J. P. (1975). Signal detection theory and ROC analysis. New York: Academic Press. Fallon, C. K., Bustamante, E. A., & Bliss, J. P. (2005). Enhancing perceived situation awareness and reducing perceived workload with a likelihood alarm display. Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 49, S ). Santa Monica, CA: HFES. Gérard, N. (2012). Verhaltenseffektivität von Alarmen: Experimentelle Untersuchungen zum Einfluss von Reliabilität und Prüfmöglichkeit auf die Anwendung von Heuristiken (Dissertation). Technische Universität Berlin, Berlin. Abgerufen von Gérard, N., Huber, S., Nachtwei, J., Schubert, U., & Satriadarma, B. (2011). A framework for designers to support prospective design of human computer interaction. International Journal on Human-Computer Interaction, 2, Gérard, N., & Manzey, D. (2010). Are false alarms not as bad as supposed after all? A study investigating operators responses to imperfect alarms. In D. de Waard, A. Axelsson, M. Berglund, B. Peters, & C. Weikert (Hrsg.), Human factors. A system view of human, technology and organisation (S ). Maastricht: Shaker. Getty, D., Swets, J. A., Pickett, R. M., & Gonthier, D. (1995). System operator response to warnings of danger: A laboratory investigation of the effects of the predictive value of a warning on human response time. Journal of Experimental Psychology: Applied, 1(1), Gupta, N., Bisantz, A. M., & Singh, T. (2002). The effects of adverse condition warning system characteristics on driver performance: an investigation of alarm signal type and threshold level. Behaviour & Information Technology, 21(4), Hameed, S., Ferris, T., Jayaraman, S., & Sarter, N. B. (2009). Using informative peripheral visual and tactile cues to support task and interruption management. Human Factors: The Journal of the Human Factors and Ergonomics Society, 51(2), Harmon, D. L., & Starr, T. M. (1992). Alarm and status processing and display in the Nuplex 80+ Advanced Control Complex. Conference Record for 1992 IEEE Fifth Conference on Human Factors and Power Plants (S ). 185

186 Literaturverzeichnis Hauß, Y., & Timpe, K.-P. (2002). Automatisierung und Unterstützung im Mensch- Maschine-System. In K.-P. Timpe, T. Jürgensohn, & H. Kolrep (Hrsg.), Mensch- Maschine-Systemtechnik: Konzepte, Modellierung, Gestaltung, Evaluation (2. Aufl.). Düsseldorf: Symposion. Heesen, M., Beller, J., & Flemisch, F. (2011). Making automation surprises less surprising: Rückmeldung von Automationsunsicherheit als Vertrauensinformation bei assistiertem und hochautomatisertem Fahren. In S. Schmid, M. Elepfandt, J. Adenauer, & A. Lichtenstein (Hrsg.), Reflexionen und Visionen der Mensch-Maschine-Interaktion Aus der Vergangenheit lernen, Zukunft gestalten, 9.Berliner Werkstatt Mensch-Maschine-Systeme (Bd. 33, S ). Berlin: VDI. Herrnstein, R. J. (1961). Relative and absolute strength of response as a function of frequency of reinforcement. Journal of the Experimental Analysis of Behavior, 4(3), Ho, C.-Y., Nikolic, M. I., Waters, M. J., & Sarter, N. B. (2004). Not now! Supporting interruption management by indicating the modality and urgency of pending tasks. Human Factors: The Journal of the Human Factors and Ergonomics Society, 46(3), Ho, C.-Y., Reed, N., & Spence, C. (2007). Multisensory in-car warning signals for collision avoidance. Human Factors: The Journal of the Human Factors and Ergonomics Society, 49(6), Jian, J.-Y., Bisantz, A. M., & Drury, C. G. (2000). Foundations for an empirically determined scale of trust in automated systems. International Journal of Cognitive Ergonomics, 4(1), Kahneman, D., Slovic, P., & Tversky, A. (1982). Judgment under uncertainty: Heuristics and biases. Cambridge, UK: Cambridge University Press. Klimoski, R., & Mohammed, S. (1994). Team mental model: Construct or metaphor? Journal of Management, 20(2), Kohl, N., Stanley, K., Miikkulainen, R., Samples, M., & Sherony, R. (2006). Evolving a real-world vehicle warning system. Proceedings of the 8th Annual Conference on Genetic and Evolutionary Computation (S ). New York: ACM. Kurz, H., & Albert, W. (2004). Alarmmanagement als wesentliche Unterstützung der Prozessführung. Automatisierungstechnische Praxis, 46(1), Lee, J. D., Hoffman, J. D., & Hayes, E. (2004). Collision warning design to mitigate driver distraction. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (S ). New York: ACM. 186

187 Literaturverzeichnis Lee, J. D., & Moray, N. (1992). Trust, control strategies and allocation of function in human-machine systems. Ergonomics, 35(10), Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors: The Journal of the Human Factors and Ergonomics Society, 46(1), Lees, M. N., & Lee, J. D. (2007). The influence of distraction and driving context on driver response to imperfect collision warning systems. Ergonomics, 50(8), Madhavan, P., & Wiegmann, D. A. (2004). A new look at the dynamics of humanautomation trust: Is trust in humans comparable to trust in machines? Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 48, S ). Santa Monica, CA: HFES. Madhavan, P., Wiegmann, D. A., & Lacson, F. C. (2006). Automation failures on tasks easily performed by operators undermine trust in automated aids. Human Factors: The Journal of the Human Factors and Ergonomics Society, 48(2), Madsen, M., & Gregor, S. (2000). Measuring human-computer trust. In G. Gable & M. Viatle (Hrsg.), Proceedings of the 11th Australasian Conference on Information Systems (S ). Brisbane. Maltz, M., & Meyer, J. (2001). Use of warnings in an attentionally demanding detection task. Human Factors: The Journal of the Human Factors and Ergonomics Society, 43(2), Marshall, D. C., Lee, J. D., & Austria, P. A. (2007). Alerts for in-vehicle information systems: Annoyance, urgency, and appropriateness. Human Factors: The Journal of the Human Factors and Ergonomics Society, 49(1), McGuirl, J. M., & Sarter, N. B. (2006). Supporting trust calibration and the effective use of decision aids by presenting dynamic system confidence information. Human Factors: The Journal of the Human Factors and Ergonomics Society, 48(4), Meyer, J. (2001). Effects of warning validity and proximity on responses to warnings. Human Factors: The Journal of the Human Factors and Ergonomics Society, 43(4), Meyer, J. (2004). Conceptual issues in the study of dynamic hazard warnings. Human Factors: The Journal of the Human Factors and Ergonomics Society, 46(2),

188 Literaturverzeichnis Meyer, J., & Bitan, Y. (2002). Why better operators receive worse warnings. Human Factors: The Journal of the Human Factors and Ergonomics Society, 44(3), Moray, N., Inagaki, T., & Itoh, M. (2000). Adaptive automation, trust, and selfconfidence in fault management of time-critical tasks. Journal of Experimental Psychology: Applied, 6(1), Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Hrsg.), Automation and human performance: Theory and applications (S ). Mahwah, NJ: Lawrence Erlbaum Associates. Muir, B. M. (1994). Trust in automation: Part I. Theoretical issues in the study of trust and human intervention in automated systems. Ergonomics, 37(11), NTSB. (2006). National transportation safety board safety recommendation A through A Washington, DC: NTSB. Onnasch, L., Wiczorek, R., & Manzey, D. (2011). Ist Wenig-Vertrauen gleich Misstrauen? Zur (UN-)Abhängigkeit von Vertrauen und Misstrauen in Alarmsysteme. In S. Schmid, M. Elepfandt, J. Adenauer, & A. Lichtenstein (Hrsg.), Reflexionen und Visionen der Mensch-Maschine-Interaktion Aus der Vergangenheit lernen, Zukunft gestalten, 9. Berliner Werkstatt Mensch- Maschine-Systeme (Bd. 33, S ). Berlin: VDI. Papastavrou, J. D., & Lehto, M. R. (1996). Improving the effectiveness of warnings by increasing the appropriateness of their information content: Some hypotheses about human compliance. Safety Science, 21(3), Parasuraman, R., Hancock, P. A., & Olofinboba, O. (1997). Alarm effectiveness in driver-centred collision-warning systems. Ergonomics, 40(3), Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors: The Journal of the Human Factors and Ergonomics Society, 39(2), Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE transactions on systems, man, and cybernetics. Part A, systems and humans, 30(3), Park, J. K., Choi, S. S., Hong, J. H., & Chang, S. H. (1997). Development of the effectiveness measure for an advanced alarm system using signal detection theory. IEEE Transactions on Nuclear Science, 44(2), Perrow, C. (1984). Normal accidents: Living with high-risk technologies. New York: Basic Books. 188

189 Literaturverzeichnis Pritchett, A. R. (2001). Reviewing the role of cockpit alerting systems. Human Factors and Aerospace Safety, 1(1), Reinartz, S. J., & Reinartz, G. (1989). Analysis of team behaviour during simulated nuclear power plant incidents. In E. D. Megaw (Hrsg.), Contemporary Ergonomics (S ). London: Taylor & Fancis. Reitter, D., & Lebiere, C. (2010). Accountable modeling in ACT-UP, a scalable, rapidprototyping ACT-R implementation. Proceedings of the 10th International Conference on Cognitive Modeling (S ). Philadelphia: ICCM. Rice, S. D. (2009). Examining single- and multiple-process theories of trust in automation. The Journal of General Psychology, 136(3), Rice, S., & McCarley, J. S. (2011). Effects of response bias and judgment framing on operator use of an automated aid in a target detection task. Journal of Experimental Psychology: Applied, 17(4), Rogers, R. D., & Monsell, S. (1995). Costs of a predictible switch between simple cognitive tasks. Journal of Experimental Psychology: General, 124(2), Sarter, N. B., & Schroeder, B. (2001). Supporting decision making and action selection under time pressure and uncertainty: The case of in-flight icing. Human Factors: The Journal of the Human Factors and Ergonomics Society, 43(4), Sarter, N., Woods, D., & Billings, C. (1997). Automation surprise. In G. Salvendy (Hrsg.), Handbook of human factors and ergonomics (S. 1 25). New York: Wiley. Sheridan, T. (1992). Telerobotics, automation and human supervisory control. Cambridge, MA: MIT Press. Sheridan, T., & Verplank, W. (1978). Human and computer control of undersea teleoperators. Cambridge, MA: MIT Man-Machine Systems Laboratory. Sorkin, R. D. (1988). Why are people turning off our alarms? The Journal of the Acoustical Society of America, 84(3), Sorkin, R. D., Kantowitz, B. H., & Kantowitz, S. C. (1988). Likelihood alarm displays. Human Factors: The Journal of the Human Factors and Ergonomics Society, 30(4), Sorkin, R. D., & Woods, D. D. (1985). Systems with human monitors: A signal detection analysis. Human-Computer Interaction, 1(1), Stanton, N. (1995). Modelling human alarm initiated activities: Implications for alarm system design. IEE Colloquium on Man-Machine Interfaces for Instrumentation (S. 8/1 8/4). London, UK: IEE. Su, H. T. (2004). Operation-oriented advanced process control. IEEE International Symposium on Intelligent Control (S ). 189

190 Literaturverzeichnis Swets, J. A. (1964). Signal detection and recognition by human observers. New York: Wiley. Swets, J. A. (1992). The science of choosing the right decision threshold in high-stakes diagnostics. American Psychologist, 47(4), Wallack, P. M., & Adams, S. K. (1969). The utility of signal-detection theory in the analysis of industrial inspector accuracy. A I I E Transactions, 1(1), Wickens, C. D. (1984). Processing resources in attention. In R. Parasuraman & R. Davies (Hrsg.), Varieties of attention (S ). New York: Academic Press. Wickens, C. D. (2008). Multiple resources and mental workload. Human Factors: The Journal of the Human Factors and Ergonomics Society, 50(3), Wickens, C. D., & Colcombe, A. (2007). Dual-task performance consequences of imperfect alerting associated with a cockpit display of traffic information. Human Factors: The Journal of the Human Factors and Ergonomics Society, 49(5), Wickens, C. D., & Dixon, S. R. (2005). Is there a magic number 7 (to the minus 1)? The benefits of imperfect diagnostic automation: A synthesis of the literature (Technical Report No. AHFD-05-01/MAAD-05-1). Savoy, IL: University of Illinois. Wickens, C. D., Dixon, S. R., Goh, J., & Hammer, B. (2005). Pilot dependence on imperfect diagnostic automation in simulated UAV flights: An attentional visual scanning analysis (Technical Report No. AHFD-05-02/MAAD-05-02). Savoy, IL: University of Illinois. Wickens, C. D., & Horrey, W. J. (2008). Models of attention, distraction, and highway hazard avoidance. In M. A. Regan, J. D. Lee, & K. L. Young (Hrsg.), Driver distraction: Theory, effects, and mitigation. Boca Raton, FL: CRC Press Taylor & Francis Group,. Wiczorek, R. (2011). Entwicklung und Evaluation eines mehrdimensionalen Fragebogens zur Messung von Vertrauen in technische Systeme. In S. Schmid, M. Elepfandt, J. Adenauer, & A. Lichtenstein (Hrsg.), Reflexionen und Visionen der Mensch-Maschine-Interaktion Aus der Vergangenheit lernen, Zukunft gestalten, 9. Berliner Werkstatt Mensch-Maschine-Systeme (Bd. 33, S ). Berlin: VDI. Wiczorek, R. (2012). Verhaltenswirksamkeit von Alarmsystemen. In J. Stubbe & M. Töppel (Hrsg.), Muster und Verläufe der Mensch-Technik-Interaktivität, TUTS (S ). Berlin: Institut für Soziologie. Wiczorek, R., & Manzey, D. (2010). Is operators compliance with alarm systems a product of rational consideration? Proceedings of the Human Factors and 190

191 Literaturverzeichnis Ergonomics Society Annual Meeting (Bd. 54, S ). Santa Monica, CA: HFES. Wiczorek, R., & Manzey, D. (2011). Evaluating likelihood alarm systems as an alternative to binary alarm systems. In D. Waard, N. Gérard, L. Onnasch, R. Wiczorek, & D. Manzey (Hrsg.), Human centred automation (S ). Maastricht, NL: Shaker Publishing. Wiczorek, R., Meyer, J., & Guenzler, T. (2012). On the relation between reliance and compliance in an aided visual scanning task. Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Bd. 56, S ). Santa Monica, CA: HFES. Wiczorek, R., & Onnasch, L. (2012). Development of a model predicting the use of automated decision aids. In D. Waard, N. Merat, A. Jamson, Y. Barnard, & O. Carsten (Hrsg.), Human Factors of Systems and Technology (S ). Maastricht, NL: Shaker Publishing. Wiegmann, D. A. (2002). Agreeing with automated diagnostic aids: A study of users concurrence strategies. Human Factors: The Journal of the Human Factors and Ergonomics Society, 44(1), Woods, D. D. (1985). Cognitive technologies: The design of joint human-machine cognitive systems. AI Magazine, 6(4), 86. Zuboff, S. (1988). In the age of smart machines: The future of work technology and power. New York: Basic Books. 191

192 Anhang A Deskriptive Statistiken zu Experiment 1 Anhang A Deskriptive Statistiken zu Experiment 1 Manipulationscheck Reliabilität Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 0,326 M = 0,305 SD = 0,117 SD = 0,183 M = 0,355 M = 0,289 SD = 0,144 SD = 0,104 Alarm-PPV Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 0,472 M = 0,445 SD = 0,141 SD = 0,167 M = 0,708 M = 0,613 SD = 0,337 SD = 0,311 Warn-PPV Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M - M - SD - SD - M = 0,377 M = 0,168 SD = 0,221 SD = 0,168 NPV Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 0,9 M = 0,837 SD = 0,124 SD = 0,244 M = 0,825 M = 0,898 SD = 0,263 SD = 0,

193 Anhang A Deskriptive Statistiken zu Experiment 1 Verhalten Reaktions-Raten bei Meldungen insgesamt Direktes Bearbeiten Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 67,35% M = 1,08% SD = 31,06% SD = 2,69% M = 47,06% M = 15,59% SD = 28,05% SD = 11,67% Ignorieren Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 32,65% M = 7,35% SD = 31,06% SD = 8,37% M = 52,94% M = 5,20% SD = 28,05% SD = 6,14% Prüfen Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M - M = 91,57% SD - SD = 9,34% M - M = 79,22% SD - SD = 13,96% Reaktions-Raten bei Alarmen Direktes Bearbeiten Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 67,35% M = 1,08% SD = 31,06% SD = 2,69% M = 99,58% M = 63,33% SD = 1,61% SD = 46,22% Ignorieren Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 32,65% M = 7,35% SD = 31,06% SD = 8,37% M = 0,42% M = 0,00% SD = 1,61% SD = 0,00% Prüfen Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M - M = 91,57% SD - SD = 9,34% M - M = 36,67% SD - SD = 46,22% 193

194 Anhang A Deskriptive Statistiken zu Experiment 1 Reaktions-Raten bei Warnungen Direktes Bearbeiten Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M - M - SD - SD - M = 30,90% M = 0,90% SD = 36,81% SD = 2,99% Ignorieren Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M - M - SD - SD - M = 69,10% M = 6,79% SD = 36,81% SD = 8,02% Prüfen Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M - M - SD - SD - M - M = 92,31% SD - SD = 8,72% Reaktions-Raten bei Normal-Meldungen Direktes Bearbeiten Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 5,42% M = 0,00% SD = 9,56% SD = 0,00% M = 0,21% M = 0,42% SD = 0,81% SD = 1,61% Ignorieren Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 94,58% M = 74,79% SD = 9,56% SD = 33,85% M = 99,79% M = 67,71% SD = 0,81% SD = 38,59% Prüfen Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M - M = 25,21% SD - SD = 33,85% M - M = 31,88% SD - SD = 37,98% 194

195 Anhang A Deskriptive Statistiken zu Experiment 1 Leistung Alarmaufgabe Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = -75,867 M = -12,800 SD = 10,211 SD = 12,463 M = -52,133 M = -12,400 SD = 19,294 SD = 5,4616 Bestellaufgabe Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 209,800 M = 188,767 SD = 69,190 SD = 40,061 M = 257,400 M = 218,700 SD = 65,159 SD = 47,

196 Anhang A Deskriptive Statistiken zu Experiment 1 Vertrauen Vertrauen allgemein t1 Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 36,770 M = 52,400 SD = 12,670 SD = 18,941 M = 51,250 M = 69,790 SD = 23,716 SD = 14,289 Vertrauen allgemein t2 Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 43,760 M = 60,790 SD = 19,891 SD = 18,771 M = 52,820 M = 60,930 SD = 22,939 SD = 18,013 Vertrauen in Alarme t1 Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 23,730 M = 38,500 SD = 12,752 SD = 19,744 M = 81,570 M = 60,870 SD = 13,300 SD = 22,475 Vertrauen in Alarme t2 Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 51,660 M = 49,680 SD = 32,071 SD = 23,694 M = 74,640 M = 68,070 SD = 22,919 SD = 26,022 Vertrauen in Warnungen t1 LAS Ohne Prüfoption Mit Prüfoption M = 34,750 M = 50,170 SD = 27,221 SD = 24,649 Vertrauen bei Warnung t2 LAS Ohne Prüfoption Mit Prüfoption M = 35,640 M = 46,330 SD = 24,083 SD = 21,754 Vertrauen in Normal-Meldungen t1 Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 79,530 M = 69,700 SD = 19,247 SD = 20,608 M = 76,250 M = 78,130 SD = 16,173 SD = 17,

197 Anhang A Deskriptive Statistiken zu Experiment 1 Vertrauen in Normal-Meldung t2 Binäres Alarmsystem LAS Ohne Prüfoption Mit Prüfoption M = 77,950 M = 73,920 SD = 17,591 SD = 19,318 M = 71,390 M = 70,430 SD = 22,056 SD = 28,

198 Anhang B Deskriptive Statistiken zu Experiment 2 Anhang B Deskriptive Statistiken zu Experiment 2 Manipulationscheck Reliabilität LAS M = 0,610 SD = 0,113 M = 0,665 SD = 0,111 M = 0,679 SD = 0,135 Alarm-PPV LAS M = 0,600 SD = 0,207 M = 0,835 SD = 0,160 M = 0,900 SD = 0,073 Warn-PPV LAS M = 0,417 SD = 0,199 M = 0,455 SD = 0,183 M = 0,451 SD = 0,189 NPV LAS M = 0,807 SD = 0,165 M = 0,873 SD = 0,084 M = 0,845 SD = 0,

199 Anhang B Deskriptive Statistiken zu Experiment 2 Verhalten Bearbeitungs-Raten bei Meldungen insgesamt LAS niedrige Belastung hohe Belastung M = 62,78% M = 63,01% SD = 11,66% SD = 8,94% M = 66,73% M = 53,58% SD = 27,57% SD = 31,93% M = 44,49% M = 38,60% SD = 32,05% SD = 28,70% Bearbeitungs-Raten bei Alarmen LAS niedrige Belastung hohe Belastung M = 95,00% M = 95,77% SD = 12,16% SD = 7,17% M = 100,00% M = 95,70% SD = 0,00% SD = 7,81% M = 100,00% M = 97,92% SD = 0,00% SD = 4,48% Bearbeitungs-Raten bei Warnung LAS niedrige Belastung hohe Belastung M = 16,76% M = 16,21% SD = 24,15% SD = 22,57% M = 56,49% M = 40,63% SD = 36,05% SD = 41,57% M = 36,02% M = 29,56% SD = 36,94% SD = 32,88% Bearbeitungs-Raten bei Normal-Meldung LAS niedrige Belastung hohe Belastung M = 2,16% M = 0,96% SD = 3,22% SD = 1,97% M = 0,98% M = 0,59% SD = 1,50% SD = 1,70% M = 0,98% M = 0,20% SD = 2,20% SD = 0,78% 199

200 Anhang B Deskriptive Statistiken zu Experiment 2 Leistung Tankfüllaufgabe LAS niedrige Belastung hohe Belastung M - M = 128,65 SD - SD = 17,28 M - M = 128,91 SD - SD = 23,11 M - M = 141,10 SD - SD = 21,43 Alarmaufgabe LAS niedrige Belastung hohe Belastung.6 M = -52,000 M = -48,667 SD = 13,935 SD = 11,452.8 M = -57,750 M = -53,500 SD = 19,696 SD = 22,110.9 M = -57,500 M = -56,167 SD = 14,476 SD = 12,401 Bestellaufgabe LAS niedrige Belastung hohe Belastung.6 M = 219,875 M = 156,875 SD = 78,412 SD = 67,757.8 M = 234,563 M = 173,625 SD = 73,986 SD = 83,342.9 M = 254,750 M = 196,000 SD = 69,460 SD = 65,

201 Anhang B Deskriptive Statistiken zu Experiment 2 SDT-Parameter MMS-Sensitivität LAS niedrige Belastung hohe Belastung M = 1,477 M = 1,582 SD = 0,390 SD = 0,294 M = 1,366 M = 1,384 SD = 0,310 SD = 0,369 M = 1,252 M = 1,155 SD = 0,361 SD = 0,422 MMS-Kriterium LAS niedrige Belastung hohe Belastung M = -0,131 M = -0,147 SD = 0,253 SD = 0,176 M = -0,125 M = 0,231 SD = 0,676 SD = 0,780 M = 0,474 M = 0,660 SD = 0,864 SD = 0,765 misses LAS niedrige Belastung hohe Belastung M = 6,077 M = 5,385 SD = 3,685 SD = 1,805 M = 7,625 M = 10,938 SD = 5,488 SD = 6,475 M = 14,313 M = 16,313 SD = 7,778 SD = 7,021 FAs LAS niedrige Belastung hohe Belastung M = 19,462 M = 18,539 SD = 6,679 SD = 5,622 M = 23,313 M = 17,563 SD = 13,563 SD = 15,616 M = 14,875 M = 12,625 SD = 14,569 SD = 12,

202 Anhang B Deskriptive Statistiken zu Experiment 2 Vertrauen in Abhängigkeit der Belastung Vertrauen allgemein LAS niedrige Belastung hohe Belastung.6 M = 56,115 M = 63,308 SD = 20,892 SD = 22,606.8 M = 52,094 M = 50,031 SD = 20,825 SD = 23,158.9 M = 53,969 M = 53,844 SD = 24,400 SD = 27,084 Vertrauen in Alarme LAS niedrige Belastung hohe Belastung.6 M = 64,615 M = 63,269 SD = 23,527 SD = 22,684.8 M = 77,563 M = 72,156 SD = 14,749 SD = 25,838.9 M = 83,844 M = 83,500 SD = 16,627 SD = 16,552 Vertrauen in Warnungen LAS niedrige Belastung hohe Belastung.6 M = 52,154 M = 52,039 SD = 23,181 SD = 21,149.8 M = 37,969 M = 34,438 SD = 22,871 SD = 23,200.9 M = 27,344 M = 30,656 SD = 16,333 SD = 19,936 Vertrauen in Normal-Meldungen LAS niedrige Belastung hohe Belastung.6 M = 73,231 M = 77,846 SD = 20,297 SD = 15,257.8 M = 75,500 M = 69,531 SD = 16,792 SD = 24,146.9 M = 84,219 M = 82,156 SD = 16,065 SD = 18,

203 Anhang B Deskriptive Statistiken zu Experiment 2 Vertrauen in zeitlicher Reihenfolge Vertrauen allgemein LAS t1 t2 t3.6 M = 52,540 M = 57,920 M = 61,500 SD = 19,592 SD = 22,348 SD = 21,659.8 M = 44,970 M = 49,630 M = 52,500 SD = 14,064 SD = 18,740 SD = 24,832.9 M = 52,440 M = 54,750 M = 53,060 SD = 20,562 SD = 24,409 SD = 27,048 Vertrauen in Alarme LAS t1 t2 t3.6 M = 59,040 M = 66,420 M = 61,460 SD = 15,348 SD = 23,511 SD = 22,426.8 M = 78,380 M = 78,190 M = 71,530 SD = 12,206 SD = 13,063 SD = 26,580.9 M = 88,750 M = 84,160 M = 83,190 SD = 10,475 SD = 16,881 SD = 16,280 Vertrauen in Warnungen LAS t1 t2 t3.6 M = 45,690 M = 53,730 M = 50,460 SD = 23,500 SD = 22,385 SD = 21,858.8 M = 29,840 M = 36,310 M = 36,090 SD = 20,392 SD = 20,750 SD = 25,246.9 M = 26,810 M = 30,780 M = 27,220 SD = 13,235 SD = 16,917 SD = 19,419 Vertrauen in Normal-Meldung LAS t1 t2 t3.6 M = 77,690 M = 74,120 M = 76,960 SD = 16,705 SD = 17,799 SD = 18,306.8 M = 76,780 M = 74,310 M = 70,720 SD = 18,191 SD = 17,840 SD = 23,640.9 M = 85,660 M = 84,840 M = 81,530 SD = 11,190 SD = 15,562 SD = 18,

204 Anhang C Deskriptive Statistiken zu Experiment 3 Anhang C Deskriptive Statistiken zu Experiment 3 Reliabilität LAS Manipulationscheck.6 M = 0,713 SD = 0,078.8 M = 0,653 SD = 0,140.9 M = 0,673 SD = 0,162 Alarm-PPV LAS.6 M = 0,616 SD = 0,191.8 M = 0,848 SD = 0,118.9 M = 0,860 SD = 0,148 Warn-PPV LAS.6 M = 0,426 SD = 0,137.8 M = 0,426 SD = 0,109.9 M = 0,437 SD = 0,172 NPV LAS.6 M = 0,898 SD = 0,098.8 M = 0,813 SD = 0,242.9 M = 0,824 SD = 0,

205 Anhang C Deskriptive Statistiken zu Experiment 3 Verhalten Reaktions-Raten bei Meldungen insgesamt Direktes Bearbeiten LAS niedrige Belastung hohe Belastung.6 M = 18,24% M = 17,75% SD = 22,47% SD = 21,34%.8 M = 19,22% M = 21,01% SD = 10,07% SD = 11,51%.9 M = 9,52% M = 10,64% SD = 8,98% SD = 8,77% Ignorieren LAS niedrige Belastung hohe Belastung.6 M = 10,88% M = 15,49% SD = 13,60% SD = 15,33%.8 M = 17,12% M = 27,63% SD = 21,43% SD = 26,04%.9 M = 16,26% M = 33,82% SD = 15,31% SD = 28,62% Prüfen LAS niedrige Belastung hohe Belastung.6 M = 70,88% M = 66,76% SD = 29,07% SD = 31,57%.8 M = 63,66% M = 51,37% SD = 25,70% SD = 31,01%.9 M = 74,22% M = 55,54% SD = 19,94% SD = 29,90% Reaktions-Raten bei Alarm Direktes Bearbeiten LAS niedrige Belastung hohe Belastung.6 M = 38,67% M = 36,59% SD = 43,51% SD = 39,73%.8 M = 71,88% M = 73,66% SD = 38,20% SD = 35,20%.9 M = 55,19% M = 60,25% SD = 44,08% SD = 37,88% 205

206 Anhang C Deskriptive Statistiken zu Experiment 3 Ignorieren LAS niedrige Belastung hohe Belastung.6 M = 4,67% M = 8,74% SD = 7,78% SD = 8,19%.8 M = 3,39% M = 9,73% SD = 5,22% SD = 12,27%.9 M = 5,31% M = 9,46% SD = 8,04% SD = 9,68% Prüfen LAS niedrige Belastung hohe Belastung.6 M = 56,67% M = 54,67% SD = 44,68% SD = 39,18%.8 M = 24,73% M = 16,61% SD = 37,51% SD = 33,10%.9 M = 39,50% M = 30,29% SD = 41,53% SD = 37,56% Reaktions-Raten bei Warnungen Direktes Bearbeiten LAS niedrige Belastung hohe Belastung.6 M = 3,56% M = 4,51% SD = 8,07% SD = 10,06%.8 M = 1,37% M = 2,75% SD = 2,44% SD = 6,43%.9 M = 0,54% M = 1,32% SD = 1,10% SD = 3,75% Ignorieren LAS niedrige Belastung hohe Belastung.6 M = 18,76% M = 24,45% SD = 27,33% SD = 32,17%.8 M = 24,49% M = 34,67% SD = 33,06% SD = 35,58%.9 M = 18,51% M = 39,57% SD = 18,88% SD = 33,52% Prüfen LAS niedrige Belastung hohe Belastung.6 M = 77,68% M = 71,04% SD = 31,73% SD = 35,83%.8 M = 74,14% M = 62,58% SD = 32,73% SD = 36,47%.9 M = 80,95% M = 59,11% SD = 18,95% SD = 32,78% 206

207 Anhang C Deskriptive Statistiken zu Experiment 3 Reaktions-Raten bei Normal-Meldungen Direktes Bearbeiten LAS niedrige Belastung hohe Belastung.6 M = 0,21% M = 0,21% SD = 0,81% SD = 0,81%.8 M = 0,00% M = 0,00% SD = 0,00% SD = 0,00%.9 M = 0,00% M = 0,00% SD = 0,00% SD = 0,00% Ignorieren LAS niedrige Belastung hohe Belastung.6 M = 78,54% M = 84,17% SD = 34,31% SD = 29,59%.8 M = 86,61% M = 94,64% SD = 30,23% SD = 14,16%.9 M = 81,07% M = 86,95% SD = 27,59% SD = 25,35% Prüfen LAS niedrige Belastung hohe Belastung.6 M = 21,25% M = 15,62% SD = 34,36% SD = 29,41%.8 M = 13,39% M = 5,36% SD = 30,23% SD = 14,16%.9 M = 18,93% M = 13,05% SD = 27,59% SD = 25,35% 207

208 Anhang C Deskriptive Statistiken zu Experiment 3 Leistung Tankfüllaufgabe LAS niedrige Belastung hohe Belastung.6 M - M = 128,57 SD - SD = 21,90.8 M - M = 134,56 SD - SD = 19,65.9 M - M = 134,60 SD - SD = 18,25 Alarmaufgabe LAS niedrige Belastung hohe Belastung.6 M = -21,050 M = -28,000 SD = 14,692 SD = 20,308.8 M = -20,000 M = -24,670 SD = 16,087 SD = 17,645.9 M = -19,700 M = -27,500 SD = 13,584 SD = 16,064 Bestellaufgabe LAS niedrige Belastung hohe Belastung.6 M = 216,786 M = 151,714 SD = 79,790 SD = 71,763.8 M = 217,571 M = 150,357 SD = 69,864 SD = 56,994.9 M = 220,350 M = 159,075 SD = 75,707 SD = 56,

209 Anhang C Deskriptive Statistiken zu Experiment 3 SDT-Parameter MMS-Sensitivität LAS niedrige Belastung hohe Belastung M = 2,403 M = 2,099 SD = 0,946 SD = 0,90 M = 2,322 M = 2,322 SD = 1,112 SD = 0,881 M = 2,5518 M = 1,970 SD = 1,089 SD = 0,733 MMS-Kriterium LAS niedrige Belastung hohe Belastung misses M = 0,085 M = 0,048 SD = 0,149 SD = 0,523 M = 0,473 M = 0,363 SD = 0,449 SD = 0,450 M = 0,441 M = 0,589 SD = 0,413 SD = 0,717 LAS niedrige Belastung hohe Belastung M = 4,952 M = 5,857 SD = 3,626 SD = 4,704 M = 5,952 M = 7,714 SD = 4,955 SD = 5,711 M = 7,400 M = 11,600 SD = 5,977 SD = 8,217 FAs LAS niedrige Belastung hohe Belastung M = 5,905 M = 8,524 SD = 6,587 SD = 9,943 M = 4,143 M = 4,905 SD = 5,756 SD = 5,403 M = 2,200 M = 2,250 SD = 1,936 SD = 1,

210 Anhang C Deskriptive Statistiken zu Experiment 3 Vertrauen in Abhängigkeit der Belastung Vertrauen allgemein LAS niedrige Belastung hohe Belastung.6 M = 48,286 M = 53,857 SD = 15,528 SD = 15,467.8 M = 69,000 M = 67,000 SD = 17,547 SD = 16,059.9 M = 67,650 M = 61,300 SD = 16,567 SD = 20,414 Vertrauen in Alarme LAS niedrige Belastung hohe Belastung.6 M = 45,905 M = 48,000 SD = 30,264 SD = 25,312.8 M = 80,000 M = 76,850 SD = 24,717 SD = 24,188.9 M = 82,800 M = 75,450 SD = 20,603 SD = 25,330 Vertrauen in Warnungen LAS niedrige Belastung hohe Belastung.6 M = 44,571 M = 51,810 SD = 20,388 SD = 17,711.8 M = 48,800 M = 50,600 SD = 25,145 SD = 23,350.9 M = 45,500 M = 44,550 SD = 15,422 SD = 17,304 Vertrauen in Normal-Meldung LAS niedrige Belastung hohe Belastung.6 M = 76,619 M = 75,333 SD = 20,687 SD = 24,109.8 M = 79,000 M = 76,050 SD = 16,562 SD = 21,451.9 M = 81,800 M = 80,950 SD = 16,760 SD = 18,

211 Anhang C Deskriptive Statistiken zu Experiment 3 Vertrauen in zeitlicher Reihenfolge Vertrauen allgemein LAS t1 t2 t3.6 M = 53,930 M = 49,760 M = 52,000 SD = 16,188 SD = 17,544 SD = 13,737.8 M = 59,000 M = 65,500 M = 70,100 SD = 25,712 SD = 14,270 SD = 18,735.9 M = 60,600 M = 65,970 M = 62,550 SD = 16,167 SD = 18,227 SD = 19,458 Vertrauen in Alarme LAS t1 t2 t3.6 M = 43,140 M = 49,070 M = 44,260 SD = 20,897 SD = 29,252 SD = 26,254.8 M = 73,320 M = 77,520 M = 78,820 SD = 25,493 SD = 24,475 SD = 24,404.9 M = 76,520 M = 77,230 M = 80,600 SD = 16,278 SD = 25,381 SD = 21,106 Vertrauen in Warnungen LAS t1 t2 t3.6 M = 58,120 M = 48,360 M = 47,620 SD = 21,181 SD = 19,166 SD = 19,812.8 M = 51,780 M = 48,430 M = 50,550 SD = 25,997 SD = 24,113 SD = 24,255.9 M = 44,600 M = 46,020 M = 43,580 SD = 23,260 SD = 16,023 SD = 16,703 Vertrauen in Normal-Meldungen LAS t1 t2 t3.6 M = 85,190 M = 77,020 M = 74,570 SD = 13,780 SD = 20,142 SD = 24,553.8 M = 66,550 M = 77,850 M = 76,720 SD = 23,076 SD = 17,390 SD = 20,878.9 M = 77,200 M = 81,020 M = 81,180 SD = 18,116 SD = 16,261 SD = 18,

212 Anhang D Inferenzstatistische Ergänzungen zu Experiment 1-3 Anhang D Inferenzstatistische Ergänzungen zu Experiment 1-3 Experiment 1 Ergänzungen zur inferenzstatistischen Auswertung zum Vertrauen: Interaktionseffekte Dreifaktorielle ANOVA: Vertrauen allgemein Interaktion Alarmsystem x Prüfoption F ( 1, 54 ) = 0,520 ; p = 0,474 Alarmsystem x Messzeitpunkt F ( 1, 54 ) = 1,217 ; p = 0,275 Prüfoption x Messzeitpunkt F ( 1, 54 ) = 0,093 ; p = 0,762 Alarmsystem x Prüfoption x Messzeitpunkt F ( 1, 54 ) = 4,220 ; p = 0,045 Dreifaktorielle ANOVA: Vertrauen in Alarme Interaktion Alarmsystem x Prüfoption F( 1, 55 )= 10,588 ; p= 0,002 Alarmsystem x Messzeitpunkt F( 1, 55 )= 0,615 ; p= 0,436 Prüfoption x Messzeitpunkt F( 1, 55 )= 1,621 ; p= 0,208 Alarmsystem x Prüfoption x Messzeitpunkt F( 1, 55 )= 1,731 ; p= 0,194 Zweifaktorielle ANOVA: Vertrauen in Warnungen Interaktion Prüfoption x Messzeitpunkt F( 1, 27 )= 0,581 ; p= 0,452 Dreifaktorielle ANOVA: Vertrauen in Normal-Meldungen Interaktion Alarmsystem x Prüfoption F( 1, 55 )= 0,069 ; p= 0,793 Alarmsystem x Messzeitpunkt F( 1, 55 )= 0,039 ; p= 0,845 Prüfoption x Messzeitpunkt F( 1, 55 )= 1,800 ; p= 0,185 Alarmsystem x Prüfoption x Messzeitpunkt F( 1, 55 )= 3,739 ; p= 0,

213 Anhang D Inferenzstatistische Ergänzungen zu Experiment 1-3 Experiment 2 Ergänzungen zur inferenzstatistischen Auswertung zum Vertrauen: Haupteffekte für Belastung und Messwiederholung sowie Interaktionseffekte Vertrauen allgemein Innersubjekt- und Interaktionseffekte Messwiederholung F ( 2, 84 ) = 2,792 ; p = 0,067 Messwiederholung x Alarmsystem F ( 4, 84 ) = 0,559 ; p = 0,693 Belastung F ( 2, 84 ) = 2,862 ; p = 0,063 Belastung x Alarmsystem F ( 4, 84 ) = 0,950 ; p = 0,439 Vertrauen in Alarme Innersubjekt- und Interaktionseffekte Messwiederholung* F ( 1,76, 73,929 ) = 1,964 ; p = 0,153 Messwiederholung x Alarmsystem* F ( 3,52, 73,929 ) = 1,506 ; p = 0,215 Belastung F ( 2, 84 ) = 0,740 ; p = 0,48 Belastung x Alarmsystem F ( 4, 84 ) = 1,414 ; p = 0,236 *Greenhouse-Geisser-Korrektur Vertrauen in Warnungen Innersubjekt- und Interaktionseffekte Messwiederholung* F ( 1,62, 67,932 ) = 2,881 ; p = 0,074 Messwiederholung x Alarmsystem* F ( 3,24, 67,932 ) = 0,292 ; p = 0,845 Belastung* F ( 1,67, 69,935 ) = 2,473 ; p = 0,101 Belastung x Alarmsystem* F ( 3,33, 69,935 ) = 0,516 ; p = 0,691 *Greenhouse-Geisser-Korrektur Vertrauen Normal-Meldungen Innersubjekt- und Interaktionseffekte Messwiederholung F ( 2, 84 ) = 1,122 ; p = 0,331 Messwiederholung x Alarmsystem F ( 4, 84 ) = 0,391 ; p = 0,815 Belastung F ( 2, 84 ) = 1,098 ; p = 0,338 Belastung x Alarmsystem F ( 4, 84 ) = 0,818 ; p = 0,

214 Anhang D Inferenzstatistische Ergänzungen zu Experiment 1-3 Experiment 3 Ergänzungen zur inferenzstatistischen Auswertung zum Vertrauen: Haupteffekte für Belastung und Messwiederholung sowie Interaktionseffekte Vertrauen allgemein Innersubjekt- und Interaktionseffekte Messwiederholung F ( 2, 116 ) = 1,062 ; p = 0,349 Messwiederholung x Alarmsystem F ( 4, 116 ) = 1,579 ; p = 0,185 Belastung F ( 2, 116 ) = 1,182 ; p = 0,31 Belastung x Alarmsystem F ( 4, 116 ) = 2,116 ; p = 0,083 Vertrauen in Alarme Innersubjekt- und Interaktionseffekte Messwiederholung F ( 2, 116 ) = 0,978 ; p = 0,379 Messwiederholung x Alarmsystem F ( 4, 116 ) = 0,387 ; p = 0,818 Belastung F ( 2, 116 ) = 1,580 ; p = 0,21 Belastung x Alarmsystem F ( 4, 116 ) = 0,473 ; p = 0,756 Vertrauen in Warnungen Innersubjekt- und Interaktionseffekte Messwiederholung F ( 2, 116 ) = 1,294 ; p = 0,278 Messwiederholung x Alarmsystem F ( 4, 116 ) = 0,865 ; p = 0,487 Belastung* F ( 1,768, 102,558 ) = 1,608 ; p = 0,208 Belastung x Alarmsystem* F ( 3,536, 102,558 ) = 1,127 ; p = 0,345 *Greenhouse-Geisser-Korrektur Vertrauen in Normal-Meldungen Innersubjekt- und Interaktionseffekte Messwiederholung* F ( 1,782, 103,383 ) = 0,424 ; p = 0,632 Messwiederholung x Alarmsystem* F ( 3,565, 103,383 ) = 3,760 ; p = 0,009 Belastung F ( 2, 116 ) = 0,639 ; p = 0,53 Belastung x Alarmsystem F ( 4, 116 ) = 3,781 ; p = 0,006 *Greenhouse-Geisser-Korrektur 214

215 Anhang E Instruktionen Anhang E Instruktionen (Beispielhaft für das LAS in der Bedingung mit Prüfoption unter Variation der Belastung Experiment 3) Hintergrund HERZLICH WILLKOMMEN! In vielen Industrien, wie zum Beispiel der Chemie- und Energiebranche, werden Produktionsanlagen von Leitwarten (Kontrollräumen) aus gesteuert und überwacht. In diesen Leitwarten fallen verschiedene Arbeitsaufgaben an. Diese bilden den Ausgangspunkt für diese Untersuchung. Hierbei ist interessant, wie Menschen mit mehreren verschiedenen Aufgaben und den daraus entstehenden Belastungen in Leitwarten umgehen. WEITER VOR Vielen Dank, dass Du an dieser Untersuchung teilnimmst! Im Folgenden werden Dir Deine Aufgaben genau beschrieben und Du wirst die Möglichkeit haben, die Aufgaben in Probedurchläufen zu üben. Anschließend gibt es zwei Versuchsdurchgänge, in denen Du die Aufgaben bearbeiten wirst. Zwischendurch sollst Du ein paar kurze Fragebögen ausfüllen. Bitte lies Dir die Instruktionen sorgfältig durch! In den Instruktionen wird alles erklärt, was Du wissen musst. Es wird nicht möglich sein, während der Versuchsdurchgänge Fragen zu stellen. Falls Du nach dem Versuch noch Fragen hast, werde ich diese gerne beantworten. Du kannst in den Instruktionen mit den Schaltflächen VOR und ZURÜCK vor- und zurückblättern. Im Rahmen der heutigen Untersuchung arbeitest Du als Schichtmitarbeiter in der Leitwarte einer chemischen Anlage. Deine Aufgabe ist die Steuerung der chemischen Anlage. VOR ZURÜCK VOR Bei der Steuerung einer so komplexen Anlage gibt es viele verschiedene Aufgaben. Du bist für drei Aufgaben zuständig: Instruktion Überwachung der Reaktionscontainer Bereitstellung der Katalysatoren Aufbereitung des Kühlwassers ZURÜCK VOR ZURÜCK VOR 215

216 Anhang E Instruktionen Katalysatorenbereitstellung Überwachung der Reaktionscontainer + Anlagensteuerung Alle drei Aufgaben sind gleich wichtig für die Steuerung der Anlage. = Die Aufgaben werden Dir jetzt genau erklärt: Aufbereitung des Kühlwassers + Bereitstellung der Katalysatoren CHEMIKALIE VORRAT AKTUELL BEDARF BESTELLUNG [Menge] R Abschicken 5 Die benötigte Menge wird über die Tastatur in das untere Feld eingetragen. 4 Die Bestellung wird durch klicken auf den Abschicken -Button ausgeführt. 5 Anschließend muss oben auf die Pfeiltaste 6 geklickt werden, nach 3 Sekunden erscheint die nächste Chemikalie zur Bearbeitung. Wird eine Bestellung nicht innerhalb von 15 Sekunden abgeschickt, gilt sie als nicht bearbeitet. Die nächste Chemikalie erscheint automatisch. ZURÜCK VOR ZURÜCK VOR Katalysatorenbereitstellung Katalysatorenbereitstellung Bei dieser Aufgabe geht es darum, dafür zu sorgen, dass immer genügend Katalysatoren vorhanden sind. Es handelt sich dabei um Chemikalien, die für die Reaktion benötigt werden. Für jede einzelne korrekte Bestellung bekommst Du in den späteren Versuchsdurchgängen 1,5 Punkte auf Dein Lohn-Konto. Es wird Dir die aktuelle Menge angezeigt, sowie der Bedarf. Deine Aufgabe ist es, die fehlende Differenz zu ermitteln und die benötigte Menge zu bestellen. ZURÜCK VOR ZURÜCK VOR Katalysatorenbereitstellung Katalysatorenbereitstellung CHEMIKALIE 1 VORRAT AKTUELL BEDARF R Diese Aufgabe wird sich auf Deinem Bildschirm in der linken oberen Ecke befinden: Im obersten Feld ist der Name der Chemikalie angezeigt. 1 Darunter der aktuelle Vorrat und der Bedarf. 3 2 Jetzt kannst Du die Aufgabe 2 Minuten lang üben. Klicke bitte auf ÜBEN und bearbeite die Aufgabe bis die Übung von selbst endet. ÜBEN BESTELLUNG [Menge] Abschicken Für die Bestellung muss die Differenz zwischen Vorrat und Bedarf gebildet werden. Wenn Du die Übung beendet hast, kannst Du mit der Instruktion weiter machen. ZURÜCK VOR ZURÜCK VOR 216

217 Anhang E Instruktionen Kühlwasseraufbereitung Kühlwasseraufbereitung Die Reaktionsbehälter der Anlage müssen gekühlt werden. Damit immer eine optimale Kühlung gewährleistet werden kann, muss das Kühlwasser in den Behältern regelmäßig ausgetauscht werden. So wird vermieden, dass sich das Kühlwasser zu stark erhitzt und die Kühlfunktion nicht mehr erfüllen kann. Überhitzte Anlagen stellen eine Gefahr für die Sicherheit der Produktion dar. Die Aufgabe besteht darin, dass Kühlwasser in den Behältern verschiedener Bereiche innerhalb der Anlage auszutauschen. Dieser Austausch sollte so schnell wie möglich erfolgen. ZURÜCK VOR Ist der Behälter mit frischem Wasser befüllt, erscheint er blau. 8 Dann kann für diesen Behälter das Zulaufventil geschlossen werden. Sobald der andere Behälter leer (grau) ist, kann sein Ablaufventil geschlossen und sein Zulaufventil geöffnet werden. Ist dieser Behälter gefüllt (blau) kann das Zulaufventil geschlossen werden. Wenn beide Behälter mit frischem Wasser gefüllt sind, kann der Bereich wieder in Betrieb genommen werden. Dazu muss die Pfeiltaste 9 rechts unten geklickt werden. Daraufhin wird ein neuer Bereich, zum Kühlwasseraustausch angezeigt. 8 ZURÜCK 9 VOR Kühlwasseraufbereitung Kühlwasseraufbereitung Diese Aufgabe wird sich auf Deinem Bildschirm in der rechten oberen Ecke befinden: Ein Bereich besteht aus zwei Behältern 1, zwei Zulaufventilen 2 und zwei Ablaufventilen. 3 Die Ventile können über Anklicken mit der Maus geöffnet und geschlossen werden. Die grüne Farbe der Behälter zeigt an, dass das Kühlwasser verbraucht ist und ein Austausch stattfinden muss. Dazu muss das verbrauchte Wasser zunächst abgelassen werden. Dies geschieht über das Öffnen der Ablaufventile. Es kann jeweils nur ein Ablaufventil geöffnet sein ZURÜCK VOR Du erhältst in den späteren Versuchsdurchgängen für ein Paar frisch befüllte Kühlwasserbehälter 7,5 Punkte auf Dein Lohnkonto. ZURÜCK VOR Kühlwasseraufbereitung Kühlwasseraufbereitung Ist das verbrauchte Wasser abgelaufen, erscheint der Behälter grau 4. Dies kann einen Moment dauern. Dann kann für diesen Behälter das Ablaufventil 5 geschlossen und das Zulaufventil 6 geöffnet werden. Anschließend kann das Ablaufventil 7 des anderen Behälters geöffnet werden. So kann aus dem einen Behälter das alte Wasser ablaufen, während der andere gleichzeitig mit frischen Wasser befüllt wird. Es können nie gleichzeitig beide Zulaufventile oder beide Ablaufventile geöffnet sein! Jetzt kannst Du die Aufgabe 2 Minuten lang üben. Klicke bitte auf ÜBEN und bearbeite die Aufgabe bis die Übung von selbst endet. ÜBEN Wenn Du die Übung beendet hast, kannst Du mit der Instruktion weiter machen. ZURÜCK VOR ZURÜCK VOR 217

218 Anhang E Instruktionen Überwachung der Reaktionscontainer Automatisches Prüfsystem Das chemische Endprodukt wird in Reaktionscontainer abgefüllt. Bevor diese Container an den Kunden ausgeliefert werden, muss überprüft werden, ob das Produkt fehlerfrei ist. Eine zu hohe Temperatur im Container führt zu einem zu hohen Molekulargewicht. Wenn das Molekulargewicht im Behälter zu hoch ist, kann das Produkt beschädigt werden. Deine Aufgabe ist es, bei Bedarf die Temperatur zu senken, indem Du den Behälter bearbeitest. Alarm Keine Molekulargewicht in Container 1 ist zu hoch Systemstörung Systemstörung Alarm Keine Molekulargewicht in Container 1 ist zu hoch Warnung Systemstörung Molekulargewicht in Warnung Container 2 ist eventuell zu hoch Ein Zustandsmonitor zeigt zusätzlich an, ob es sich um einen Alarm oder um eine Warnung handelt bzw. dass keine Störung vorliegt. ZURÜCK VOR Alarm Molekulargewicht in Container Keine 1 ist zu hoch Warnung Molekulargewicht Systemstörung in Container 2 ist eventuell zu hoch Keine Molekulargewicht Systemstörung in Container 3 ist ok ZURÜCK VOR Überwachung der Reaktionscontainer Überwachung der Reaktionscontainer Da zur Steuerung der chemischen Anlage mehrere Aufgaben gleichzeitig bearbeitet werden müssen, steht Dir zur Unterstützung ein automatisches Du hast folgende Möglichkeiten Prüfsystem für die Kontrolle der Reaktionscontainer zur Verfügung. Das automatische Prüfsystem zeigt Dir an, wenn das Molekulargewicht in einem Container zu hoch ist. Das System arbeitet mit 3 Alarmstufen: Rot Alarm, das Molekulargewicht im Container ist zu hoch. der Überwachung und Kontrolle: Du kannst direkt auf den Bearbeiten -Button 2 klicken, wenn das Molekulargewicht zu hoch ist. Wenn Du die Diagnose des Alarm Keine Systemstörung Molekulargewicht in Container Systemstörung 1 ist zu hoch Orange Warnung, das Molekulargewicht im Container ist eventuell zu hoch. Prüfsystems vorher kontrollieren Grün Das Molekulargewicht im Container ist ok. möchtest, kannst Du den Prüfen -Button 3 klicken. Es öffnet sich eine farbige Ansicht ZURÜCK VOR des Containers. 4 ZURÜCK VOR Überwachung der Reaktionscontainer Überwachung der Reaktionscontainer Diese Aufgabe wird sich auf Prüfen: Deinem Bildschirm in der rechten unteren Ecke befinden: Die Container 1 wandern nacheinander über den Monitor. Das automatische Prüfsystem analysiert den Containerinhalt und zeigt seine Diagnose über ein entsprechendes Farbsignal unterhalb des Containers an. 1 Keine Systemstörung Systemstörung Durch Anklicken des Prüfen -Buttons 5 wird der Container geöffnet. Ist das Molekulargewicht in dem Container korrekt, so sind 15 Stellen in der Ansicht 6 grün markiert. Falls das Molekulargewicht in dem Container zu hoch ist, dann sind 5 6 Alarm Keine Systemstörung Molekulargewicht in Container Systemstörung 1 ist zu hoch ZURÜCK VOR 16 Stellen der Ansicht 6 grün gefärbt. ZURÜCK VOR 218

219 Anhang E Instruktionen Überwachung der Reaktionscontainer Automatisches Prüfsystem Bearbeiten: Das automatische Prüfsystem arbeitet sehr gut. Allerdings kann es vorkommen, Ist das Molekulargewicht in dem dass es Fehler macht, also einen Alarm gibt, wenn das Molekulargewicht ok ist Container zu hoch, sollst du oder keinen Alarm gibt, obwohl das Molekulargewicht zu hoch ist. diesen bearbeiten. Hierzu klickst Jetzt wirst Du einen Kennenlerndurchgang absolvieren, um Dein Prüfsystem Du den Bearbeiten -Button 7 an. Der Container läuft 8 7 Alarm Keine Systemstörung Molekulargewicht in Container Systemstörung 1 ist zu hoch kennen zu lernen. Mit demselben System wirst Du auch in den anschließenden Versuchsdurchgängen arbeiten. Über Kopfhörer bekommst Du eine anschließend weiter. Rückmeldung, ob Dein Verhalten richtig oder falsch war. Wenn Du Dich falsch Ist das Molekulargewicht in dem verhalten hast, hörst Du einen Hup-Ton. Falsches Verhalten bedeutet, dass Du Container nicht zu hoch, musst einen Container bearbeitet hast, dessen Molekulargewicht ok war oder dass Du Du auf den Weiter -Button 8 einen Container nicht bearbeitet hast, dessen Molekulargewicht zu hoch war. klicken und der Container läuft anschließend weiter. ZURÜCK VOR ZURÜCK VOR Automatisches Prüfsystem Automatisches Prüfsystem Du hast immer die Möglichkeit einen Container direkt zu bearbeiten, ohne ihn zu überprüfen. Du musst einen Container nur dann überprüfen, wenn Du das für nötig hältst. Wenn der Container weder überprüft noch bearbeitet werden soll, musst Du nichts tun. Du erhältst in den späteren Versuchsdurchgängen -2 Punkte für falsches Verhalten bei der Überwachung. Bitte setze nun die Kopfhörer auf. ZURÜCK VOR ZURÜCK VOR Automatisches Prüfsystem Automatisches Prüfsystem Jetzt kannst Du die Aufgabe 2 Minuten lang üben. Jetzt wirst Du die Aufgabe ca. 8 Minuten lang üben. Klicke bitte auf ÜBEN und bearbeite die Aufgabe bis die Übung von selbst endet. ÜBEN Klicke bitte auf Kennenlernen und bearbeite die Aufgabe bis der Kennenlerndurchgang von selbst endet. Der Durchgang endet, wenn 50 Container über deinen Bildschirm gelaufen sind. Kennenlernen Wenn Du die Übung beendet hast, kannst Du mit der Instruktion weiter machen. Wenn der Kennenlerndurchgang beendet ist, kannst Du mit der Instruktion weiter machen. ZURÜCK VOR ZURÜCK VOR 219