Konsequenzen von Automation. Dr. Heiko Tietze. DGLR-Workshop Führungsaspekte unbemannter Luftfahrzeuge, , Neubiberg

Transkript

1 Konsequenzen von Automation Dr. Heiko Tietze DGLR-Workshop Führungsaspekte unbemannter Luftfahrzeuge, , Neubiberg

2 Theoretische Aspekte 2/15 Out-of-the-loop A central short-coming associated with the advent of automated systems has been dubbed the out-of-loop performance problem. When acting as monitor of an automated system, people are frequently slow in detecting and a problem has occurred necessitating their intervention. Once detected, additional time is also needed to determine the state of the system and sufficiently understand what is happening in order to be able to act in an appropriate manner (Endsley, 1996). Reliability / Overtrust (Übervertrauen) The more infrequent automation failures occur the harder they will be detected. (Wickens & Hollands, 1999) Constant/variable failures (Parasumaran, 1993) Complacency (Gleichgültigkeit) psychological state characterized by a low index of suspicion (Wiener, 1981) self-satisfaction which may result in non-vigilant based on an unjustified assumption of satisfactory system state (Billings et. al, 1976) Vigilanz, Sättigung, Ermüdung ability to sustain concentration and to inhibit inaccurate responses during a repetitive task (Warm & Hancock, 1996) Fähigkeitsverlust..mediated of a lack of underlying conceptual model of automation behaviour (Kraiss & Hamacher, 2001)

3 Theoretische Aspekte 3/15 Level of automation (Sheridan & Verplanck, 1978) 1. human does the whole job up to the point of turning it over to the computer to implement; 2. computer helps by determining the options; 3. computer helps to determine options and suggests one, which human need not follow; 4. computer selects action and human may or may not do it; 5. computer selects action and implements it if human approves; 6. computer selects action, informs human in plenty of time to stop it; 7. computer does whole job and necessarily tells human what it did; 8. computer does whole job and tells human what it did only if human explicitly asks; 9. computer does whole job and decides what the human should be told; 10.computer does the whole job if it decides it should be done, and if so, tells human, if it decides that the human should be told. Level of automation (Endsley, 1987) 1. manual control, with no assistance from the system; 2. decision support, by the operator with input in the form of recommendations provided by the system; 3. consensual artificial intelligence (AI) by the system with the consent of the operator required to carry out actions; 4. monitored AI by the system to be automatically implemented unless vetoed by the operator; and 5. full automation with no operator interaction

4 Theoretische Aspekte 4/15 Reliability/ Overtrust time-on-task LOA Complacency Qualität und Quantität des Feedbacks Out-of-the-loop Art der Aufgabe Fähigkeitsverlust Expertise Vigilanz Begriffe nicht eindeutig, Überschneidungen Untersuchung von reliability of automation (ROA) vs. time-on-task (TOT)

5 ROA vs. TOT: Ballomat 5/15 Konfundierung Versuchsdesign Ballomat. Aus dem oberen Kasten fällt der Ball durch die senkrechte Röhre (gekennzeichnet mit F) in den Reaktionsbereich (RB) und bewegt sich dort in eine Richtung. Der Proband wird instruiert, beim Versagen des Automaten die linke bzw. rechte Cursortaste zu drücken. Der Aufsetzpunkt eines neuen Durchganges ist in der Abbildung mit einem X in einem Kreis gekennzeichnet.

6 ROA vs. TOT: Ballomat 6/15 Konfundierung Aufgabe: Lenke die farbige Kugel in den entsprechenden Kasten Versuchsvariation: Baseline: manuell (jede Kugel ist zu bearbeiten) Automation: 50, 60, 70, 80, 90% korrekte Bewegungen (nur falsche Kugeln sind zu korrigieren) Durchführung: 10 VPn Anzahl kritischer Ereignisse je Automationsstufe konstant, Dauer variabel Stufeneinteilung doppeltes Lateinisches Quadrat Effekt (time on task vs. Automation) Reliabilität [%] Gesamtanzahl [n] Kritische Trials [n] Blockdauer [min]

7 ROA vs. TOT: Ballomat 7/15 Konfundierung [ms] r e a c t i o n t i m e ( L ) a l p h a p o w e r ( R ) [%] [ms] [%] R e l i a b i l i t ä t [ % ] t i m e o n t a s k * RT: F (4, 36)= 21.97, p<.001 AP: F (4, 36) =2.03; p=.111 RT: F (4, 36) =.505, p=.732 AP: F (4, 36) =.801; p=.533

8 ROA vs. TOT: Ballomat 8/15 Automationseffekt Theoretischer Zeiteffekt 6 5 Konfundierung Ermüdung Ermüdung Sequenz der Meßzeitpunkte Sequenz der Meßzeitpunkte Konfundierung Konfundierung Ermüdung % 60% 70% 80% 90% Ermüdung % 60% 70% 80% 90% Sequenz der Meßzeitpunkte Sequenz der Meßzeitpunkte Ziel: Zusammenhang zwischen time-on-task und Automation auflösen Über alle Stufen z-standardisierte Werte werden pro Zeitpunkt und Automationsstufe dargestellt.

9 ROA vs. TOT: Ballomat 9/15 Konfundierung m e a n r e a c ti o n ti m e r e l a t i v e a l p h a p o w e r Zusammen t 1 t 2 t 3 t 4 t % 6 0 % 7 0 % 8 0 % 9 0 % S 1 S 2 S 3 S 4 S 5 fassung Effekt durch ROA Effekt durch TOT Reliabilität entscheidend für Auswirkung von Automation (unabhängig, ob konstant oder variabel) Complacency keine Ursache, da Aufgabe sehr einfach und Effekt unabhängig von TOT Vigilanz =TOT Auswirkung auf situation awareness?

10 : ETU 10/15

11 : ETU 11/15 TPD - Threat TSD Toolbox TPD - Event OSI

12 : ETU 12/15 GAT Freezing alle ~2min, 3 Fragen zum aktuellen Zeitpunkt Freie Abfrage Detailfrage zu Objekt Auswahl eines Objektes

13 : ETU 13/15 Aufgabe: Identifiziere Objekte (Vergabe der IDs) Versuchsvariation: Komplexität des Szenarios: niedrig (19 NEU oder AF/FF und 9 SU/HH) hoch (17 NEU oder AF/FF und 21 SU/HH) Regelbasierte Entscheidungsunterstützung: mit RBI ohne RBI Durchführung: 16 Marinesoldaten mit OPZ-Erfahrung bzw. -Ausbildung Ausbalancierte Reihenfolge Versuchsdauer á 15 min

14 : ETU 14/ m i t t l e r e R e a k t i o n s z e i t A n z a h l R i c h t i g e o h n e R B I m i t R B I [s] * l e i c h t s c h w e r 4 0 % 3 0 % 2 0 % 1 0 % l e i c h t s c h w e r * RT erhöht bei leichten Szenarien infolge Vigilanzverlust verschlechtert unter RBI-Bedingung wegen Automation

15 : ETU 15/ Ü b e r e i n s t i m m u n g I D V e r g a b e F ( 2, 3 0 ) = , p = b l u e f o r c e s n e u t r a l r e d f o r c e s [%] l e i c h t s c h w e r o h n e R B I l e i c h t s c h w e r m i t R B I objektive Leistung unter RBI-Bedingung nicht wie reduziert und stabiler über Art der Tracks

16 16/15 Automation führt zu reduzierter durch hohe Automation kommt es zu einer Verlängerung der Reaktionszeit Haupteinflussfaktor ist Reliabilität der Automation, d.h. Zeitpunkt des letzten manuellen Eingriffs der Effekt ist schon sehr zeitig zu beobachten (Vigilanz / Complacency noch nicht vorhanden) Aufgabe ändert sich von Bearbeiten zu Monitorieren Neue Aufgabe kann durch Unterstützung des Automaten ohne Leistungsverlust absolviert werden Ergonomie: neue Aufgabe optimieren