Angewandte Neuropsychologie in Mensch-Maschine-Systemen

Transkript

1 Angewandte Neuropsychologie in Mensch-Maschine-Systemen

2 Methodenvielfalt EEG electrical potentials, EEG, ERP MEG magnetic fields fmri BOLD signal NIRS changes of (de)oxyhemoglobin

3

4 Grundlagen und Methoden NIRS Nahinfrarot Spektroskopie EEG Elektroenzephalographie Eye-Tracking VR Virtual Reality

5 NIRS Nahinfrarot Spektroskopie Nicht-invasives, optisches Verfahren zur Messung des Gehirnstoffwechsels Neuronale Aktivierung führt zu Veränderungen der Hämoglobinkonzentration (Oxygeniertes-, Deoxygeniertes- und Gesamt-Hämoglobin) Beruht auf dem Prinzip der Absorption und Streuung im Nahinfrarotbereich

6 NIRS Nahinfrarot Spektroskopie Hitachi ETG 4000 Optodenhaube Lichtquellen (Sender) Detektoren (Empfänger)

7 NIRS Nahinfrarot Spektroskopie Lichtquelle/Emitter (Laser Diode oder LED) Detektoren Zufällige Wege eines Photons Eindringtiefe abhängig von Optodenabständen (bei 3 cm ~ 2,5 cm)

8 NIRS Nahinfrarot Spektroskopie Typisches NIRS-Signal mmol*mm t 0 : Start Aktivierung t 1 : Ende Aktivierung initial dip Kurzfristige Hypoxygenierung ( initial dip ) Längerdauernde Hyperoxygenierung: deoxy-hb und oxy-hb Maximum der Antwort nach ca. 5 9 s Dauer der gesamten Antwort: ca s

9 NIRS Nahinfrarot Spektroskopie NIRS und Neuroergonomie Erfassung des Gehirnstoffwechsels bei der Arbeit Kompatibel mit anderen Methoden (EEG, fmri) Neurofeedback

10 Vigilanz Daueraufmerksamkeit Effizienz und Sicherheit komplexer Mensch-Maschine Systeme abhängig von mentalem Workload und Vigilanz Vigilanzabnahme reflektiert Erschöpfung der Informationsverarbeitungsressourcen bzw. Energieressourcen Vigilanzabnahme Abnahme in Signaldetektion

11 Vigilanz Veränderungen im zerebralen Blutfluss und Glukosemetabolismus stehen im Zusammenhang mit Vigilanz Zerebraler Blutfluss reflektiert metabolischen Index für Informationsverarbeitungsressourcen bei Langzeitaufmerksamkeit

12 Vigilanz Vigilanz Dominanz der rechten Hemisphäre

13 NIRS Feedback Steuerung eines Computerspiels durch Vorstellung einer Handbewegung

14 NIRS Feedback NIRS Feedback-System

15 NIRS Feedback Hb Diff = Hb Oxy (Linke Hemisphäre) Hb Oxy (Rechte Hemisphäre)

16 NIRS Feedback Vorstellung linke Handbewegung C3 Cz C4 Vorstellung rechte Handbewegung C3 Cz C4

17 EEG Elektroenzephalographie Nicht-invasives Verfahren zur Messung der elektrischen Spannungsschwankungen des Gehirns an der Schädeloberfläche Diese Spannungsschwankungen sind sehr klein (µv- Bereich), so dass besonders empfindliche Verstärker zur Aufnahme verwendet werden müssen

18 EEG Elektroenzephalographie

19

20 EEG Elektroenzephalographie Das an der Kopfhaut messbare EEG beruht hauptsächlich auf Exzitatorischen Postsynaptischen Potentialen (EPSPs) an den apikalen Dendriten

21 EEG Elektroenzephalographie Bioelektrische Hirnaktiviät besteht aus rhythmischen Komponenten zwischen 1-40 Hz mit Amplituden < 50µV 10 µv 1 s Millionen von Neurone verhalten sich: synchronisiert kooperativ / synchron Ruhe desynchronisiert unabhängig Aktivierung / Verarbeitung von Information

22 EEG Elektroenzephalographie große Amplitude kleine Amplitude sec 30µV sec Elektrode Skalp Schädel viele Neurone synchron wenig Neurone synchron Cortex

23 EEG Elektroenzephalographie Frequenzbänder im EEG

24 EEG Elektroenzephalographie Rhythmische Aktivität Evozierte Aktivität

25 EEG Elektroenzephalographie EEG-Analysen Spontan- EEG Ereigniskorrelierte Potentiale (EKP) Frequenzbezogene Analysen Ereignisbezogene (De-)Synchronisation ERD, ERS Zeit-Frequenz- Analysen EKP- Analysen

26 EEG Elektroenzephalographie EEG und Neuroergonomie Erfassung von Variationen in kognitiver Arbeitsbelastung (cognitive workload) Aufgabenschwierigkeit Erfassung von Änderungen in mentaler Anstrengung (mental effort) Erfassung von mentaler Ermüdung & Arousal Aufmerksamkeitsallokation Fehlerdetektion Brain-Computer Interfaces (BCI)

27 Workload Monitoring EEG Elektroenzephalographie Hohe Aufgabenschwierigkeit bzw. Anforderungen an Arbeitsgedächtnis Reduzierte Alpha-Power Erhöhte Theta-Power

28 Workload Monitoring EEG Elektroenzephalographie Beispiel: Multi-Attribute Task Battery (MATB) Computerbasierende, multitasking Umgebung Simulation von Aktivitäten von Flugpiloten EEG-Aufzeichnung während komplexer Mensch-Computer Interaktion

29 Workload Monitoring EEG Elektroenzephalographie Beispiel: Multi-Attribute Task Battery (MATB)

30 Workload Monitoring EEG Elektroenzephalographie EEG-basierender kognitiver Workload-Index

31 Workload Monitoring EEG Elektroenzephalographie Topographische Unterschiede Manipulation der Aufgabenanforderungen beeinflusst regionale kortikale Aktivität V.a. frontale Aktivität beeinflusst: Geringe kortikale Aktivität in frontalen Bereichen reflektiert Reduktion in mentalem Workload erhöhte mentale Ermüdung erhöhtes Stressempfinden

32 Workload Monitoring EEG Elektroenzephalographie Topographische Unterschiede

33 Workload Monitoring EKP Ereigniskorrelierte Potentiale

34 Workload Monitoring P300

35 Workload Monitoring P300 Reliabler und valider Index für mentale Arbeitsbelastung Erhöhte Aufgabenschwierigkeit Reduzierte P300 Amplitude Geringe Auftretenswahrscheinlichkeit von Stimuli Erhöhte P300 Amplitude Geteilte Aufmerksamkeit Reduzierte P300 Amplitude Gedächtnis-Overload Reduzierte P300 Amplitude P300 Latenz: Benötigte Zeit für Stimulusidentifikation und Kategorisierungsprozesse

36 Human-Computer-Interaction EYE-to-IT: Development of Human-Computer Monitoring and Feedback Systems for the Purposes of Studying Cognition and Translation cf. Grabner et al., 2007

37

38 Eye-Tracking Tobii 1750

39 Eye-Tracking Detektion und Aufzeichnung von Augenbewegungen Am Eye-Tracker befinden sich über und unter dem Bildschirm Infrarot-Leuchtdioden. Diese senden Licht aus, das an verschiedenen Stellen im Auge, in verschiedenen Winkeln reflektiert wird Eine Spezialsoftware detektiert die Augen des Nutzers/der Nutzerin in einem von einer Kamera aufgenommenen Videobild, sucht die Pupille und berechnet den Pupillenmittelpunkt Zudem erfasst die Software die Reflexionen der Infrarotlampen in den Augen Durch die Berechnung der Differenz zwischen Pupillenmittelpunkt und Reflexionen bei unterschiedlichen Augenstellungen lässt sich die dreidimensionale Blickposition berechnen

40 Eye-Tracking

41 Eye-Tracking

42 Eye-Tracking

43 VR Virtual Reality Computergenerierte, interaktive, drei-dimensionale Umgebung, in die eine Person eintaucht Anwendungsgebiete: Medizin, Technik, Architektur, Training, Rehabilitation etc. Experimentalpsychologie: Realitätsnähe, Stimuluskontrolle hoch, exakte Protokollierung des Verhaltens, Wiederholbarkeit, ökologische Validität Präsenz Erlebte Anwesenheit in VR Immersion Eintauchen in VR

44 Virtual Reality Präsenz Erlebte Anwesenheit in einer virtuellen Realität Entstehung Modell von Steuer: Lebendigkeit Präsenz Interaktivität Menschl. Erfahrung Technologie Sensorische Breite Sensorische Tiefe Geschwindigkeit Repertoire Abbildungsfunktion

45 VR Virtual Reality VR und Neuroergonomie Beobachtung/Erfassung von Verhalten und neurophysiologischen Parametern bei der Arbeit Training von schwierigen, gefährlichen Aufgaben (z.b. Flug-, Fahrsimulator) Augmented Reality Kombination realer und künstlicher Stimuli

46 VR Virtual Reality Typen von VR-Systemen Head-mounted Display (HMD) Desktop-VR CAVE/DAVE Single-Wall (VR-Projektor, Frontprojektionsleinwand, Shutter- Brille)

47 Virtual Reality Immersion Beispiel: Virtuelles Schwimmen durch den Pazifik Kein Wasser/Feuchtigkeit Keine/geringe Ermüdung Head-mounted Display & Geschirr/Gurte Reduzierte Immersion

48 Virtual Reality Physiologische Parameter im VR Virtueller Fahrsimulator: Virtueller Hund rennt über Fahrbahn Vollbremsung Fahrerin bei Vollbremsung EMG EKG Virtueller Hund Atmung EDA

49 Virtual Reality Virtuelle vs. reale Welt Trotz der Unterschiede/Nachteile in virtuellen und realen Umgebungen erworbene kognitive Karten vergleichbar Verhalten und neuronale Aktivierungsmuster vergleichbar vergleichbare physiologische Reaktionen (z.b. Stressreaktion Herzrate beim Anblick eines virtuellen und eines realen Abgrundes)

50 Virtual Reality Augmented Reality Kombination künstlicher und realer Reize/Stimuli Ziel: Leistungs- und Kreativitätssteigerung Überlagerung von computergenerierten Grafiken und Videos von realen Umgebungen Bsp: Training von Flugpiloten

51 VR Virtual Reality Cube 3D 2 Digital Image 3D Video Projektionssystem inklusive Tracking durch zwei Infrarotkameras

52 VR Virtual Reality Projektion auf Frontprojektionsleinwand Stereoskopische Ansicht Shutter-Brille

53 VR Raumorientierung in 3D-Labyrinth Virtuelles 3D Labyrinth

54 VR Raumorientierung in 3D-Labyrinth Virtuelles 3D Labyrinth Orientierung anhand von Landmarken Realistisch Abstrakt