Angewandte Neuropsychologie in Mensch-Maschine-Systemen

Methodenvielfalt EEG electrical potentials, EEG, ERP MEG magnetic fields fmri BOLD signal NIRS changes of (de)oxyhemoglobin

Grundlagen und Methoden NIRS Nahinfrarot Spektroskopie EEG Elektroenzephalographie Eye-Tracking VR Virtual Reality

NIRS Nahinfrarot Spektroskopie Nicht-invasives, optisches Verfahren zur Messung des Gehirnstoffwechsels Neuronale Aktivierung führt zu Veränderungen der Hämoglobinkonzentration (Oxygeniertes-, Deoxygeniertes- und Gesamt-Hämoglobin) Beruht auf dem Prinzip der Absorption und Streuung im Nahinfrarotbereich

NIRS Nahinfrarot Spektroskopie Hitachi ETG 4000 Optodenhaube Lichtquellen (Sender) Detektoren (Empfänger)

NIRS Nahinfrarot Spektroskopie Lichtquelle/Emitter (Laser Diode oder LED) Detektoren Zufällige Wege eines Photons Eindringtiefe abhängig von Optodenabständen (bei 3 cm ~ 2,5 cm)

NIRS Nahinfrarot Spektroskopie Typisches NIRS-Signal mmol*mm 0 3 6 9 12 t 0 : Start Aktivierung t 1 : Ende Aktivierung initial dip Kurzfristige Hypoxygenierung ( initial dip ) Längerdauernde Hyperoxygenierung: deoxy-hb und oxy-hb Maximum der Antwort nach ca. 5 9 s Dauer der gesamten Antwort: ca. 12-15 s

NIRS Nahinfrarot Spektroskopie NIRS und Neuroergonomie Erfassung des Gehirnstoffwechsels bei der Arbeit Kompatibel mit anderen Methoden (EEG, fmri) Neurofeedback

Vigilanz Daueraufmerksamkeit Effizienz und Sicherheit komplexer Mensch-Maschine Systeme abhängig von mentalem Workload und Vigilanz Vigilanzabnahme reflektiert Erschöpfung der Informationsverarbeitungsressourcen bzw. Energieressourcen Vigilanzabnahme Abnahme in Signaldetektion

Vigilanz Veränderungen im zerebralen Blutfluss und Glukosemetabolismus stehen im Zusammenhang mit Vigilanz Zerebraler Blutfluss reflektiert metabolischen Index für Informationsverarbeitungsressourcen bei Langzeitaufmerksamkeit

Vigilanz Vigilanz Dominanz der rechten Hemisphäre

NIRS Feedback Steuerung eines Computerspiels durch Vorstellung einer Handbewegung

NIRS Feedback NIRS Feedback-System

NIRS Feedback Hb Diff = Hb Oxy (Linke Hemisphäre) Hb Oxy (Rechte Hemisphäre)

NIRS Feedback Vorstellung linke Handbewegung C3 Cz C4 Vorstellung rechte Handbewegung C3 Cz C4

EEG Elektroenzephalographie Nicht-invasives Verfahren zur Messung der elektrischen Spannungsschwankungen des Gehirns an der Schädeloberfläche Diese Spannungsschwankungen sind sehr klein (µv- Bereich), so dass besonders empfindliche Verstärker zur Aufnahme verwendet werden müssen

EEG Elektroenzephalographie

EEG Elektroenzephalographie Das an der Kopfhaut messbare EEG beruht hauptsächlich auf Exzitatorischen Postsynaptischen Potentialen (EPSPs) an den apikalen Dendriten

EEG Elektroenzephalographie Bioelektrische Hirnaktiviät besteht aus rhythmischen Komponenten zwischen 1-40 Hz mit Amplituden < 50µV 10 µv 1 s Millionen von Neurone verhalten sich: synchronisiert kooperativ / synchron Ruhe desynchronisiert unabhängig Aktivierung / Verarbeitung von Information

EEG Elektroenzephalographie große Amplitude kleine Amplitude sec 30µV sec Elektrode Skalp Schädel viele Neurone synchron wenig Neurone synchron Cortex

EEG Elektroenzephalographie Frequenzbänder im EEG

EEG Elektroenzephalographie Rhythmische Aktivität Evozierte Aktivität

EEG Elektroenzephalographie EEG-Analysen Spontan- EEG Ereigniskorrelierte Potentiale (EKP) Frequenzbezogene Analysen Ereignisbezogene (De-)Synchronisation ERD, ERS Zeit-Frequenz- Analysen EKP- Analysen

EEG Elektroenzephalographie EEG und Neuroergonomie Erfassung von Variationen in kognitiver Arbeitsbelastung (cognitive workload) Aufgabenschwierigkeit Erfassung von Änderungen in mentaler Anstrengung (mental effort) Erfassung von mentaler Ermüdung & Arousal Aufmerksamkeitsallokation Fehlerdetektion Brain-Computer Interfaces (BCI)

Workload Monitoring EEG Elektroenzephalographie Hohe Aufgabenschwierigkeit bzw. Anforderungen an Arbeitsgedächtnis Reduzierte Alpha-Power Erhöhte Theta-Power

Workload Monitoring EEG Elektroenzephalographie Beispiel: Multi-Attribute Task Battery (MATB) Computerbasierende, multitasking Umgebung Simulation von Aktivitäten von Flugpiloten EEG-Aufzeichnung während komplexer Mensch-Computer Interaktion

Workload Monitoring EEG Elektroenzephalographie Beispiel: Multi-Attribute Task Battery (MATB)

Workload Monitoring EEG Elektroenzephalographie EEG-basierender kognitiver Workload-Index

Workload Monitoring EEG Elektroenzephalographie Topographische Unterschiede Manipulation der Aufgabenanforderungen beeinflusst regionale kortikale Aktivität V.a. frontale Aktivität beeinflusst: Geringe kortikale Aktivität in frontalen Bereichen reflektiert Reduktion in mentalem Workload erhöhte mentale Ermüdung erhöhtes Stressempfinden

Workload Monitoring EEG Elektroenzephalographie Topographische Unterschiede

Workload Monitoring EKP Ereigniskorrelierte Potentiale

Workload Monitoring P300

Workload Monitoring P300 Reliabler und valider Index für mentale Arbeitsbelastung Erhöhte Aufgabenschwierigkeit Reduzierte P300 Amplitude Geringe Auftretenswahrscheinlichkeit von Stimuli Erhöhte P300 Amplitude Geteilte Aufmerksamkeit Reduzierte P300 Amplitude Gedächtnis-Overload Reduzierte P300 Amplitude P300 Latenz: Benötigte Zeit für Stimulusidentifikation und Kategorisierungsprozesse

Human-Computer-Interaction EYE-to-IT: Development of Human-Computer Monitoring and Feedback Systems for the Purposes of Studying Cognition and Translation cf. Grabner et al., 2007

Eye-Tracking Tobii 1750

Eye-Tracking Detektion und Aufzeichnung von Augenbewegungen Am Eye-Tracker befinden sich über und unter dem Bildschirm Infrarot-Leuchtdioden. Diese senden Licht aus, das an verschiedenen Stellen im Auge, in verschiedenen Winkeln reflektiert wird Eine Spezialsoftware detektiert die Augen des Nutzers/der Nutzerin in einem von einer Kamera aufgenommenen Videobild, sucht die Pupille und berechnet den Pupillenmittelpunkt Zudem erfasst die Software die Reflexionen der Infrarotlampen in den Augen Durch die Berechnung der Differenz zwischen Pupillenmittelpunkt und Reflexionen bei unterschiedlichen Augenstellungen lässt sich die dreidimensionale Blickposition berechnen

Eye-Tracking

VR Virtual Reality Computergenerierte, interaktive, drei-dimensionale Umgebung, in die eine Person eintaucht Anwendungsgebiete: Medizin, Technik, Architektur, Training, Rehabilitation etc. Experimentalpsychologie: Realitätsnähe, Stimuluskontrolle hoch, exakte Protokollierung des Verhaltens, Wiederholbarkeit, ökologische Validität Präsenz Erlebte Anwesenheit in VR Immersion Eintauchen in VR

Virtual Reality Präsenz Erlebte Anwesenheit in einer virtuellen Realität Entstehung Modell von Steuer: Lebendigkeit Präsenz Interaktivität Menschl. Erfahrung Technologie Sensorische Breite Sensorische Tiefe Geschwindigkeit Repertoire Abbildungsfunktion

VR Virtual Reality VR und Neuroergonomie Beobachtung/Erfassung von Verhalten und neurophysiologischen Parametern bei der Arbeit Training von schwierigen, gefährlichen Aufgaben (z.b. Flug-, Fahrsimulator) Augmented Reality Kombination realer und künstlicher Stimuli

VR Virtual Reality Typen von VR-Systemen Head-mounted Display (HMD) Desktop-VR CAVE/DAVE Single-Wall (VR-Projektor, Frontprojektionsleinwand, Shutter- Brille)

Virtual Reality Immersion Beispiel: Virtuelles Schwimmen durch den Pazifik Kein Wasser/Feuchtigkeit Keine/geringe Ermüdung Head-mounted Display & Geschirr/Gurte Reduzierte Immersion

Virtual Reality Physiologische Parameter im VR Virtueller Fahrsimulator: Virtueller Hund rennt über Fahrbahn Vollbremsung Fahrerin bei Vollbremsung EMG EKG Virtueller Hund Atmung EDA

Virtual Reality Virtuelle vs. reale Welt Trotz der Unterschiede/Nachteile in virtuellen und realen Umgebungen erworbene kognitive Karten vergleichbar Verhalten und neuronale Aktivierungsmuster vergleichbar vergleichbare physiologische Reaktionen (z.b. Stressreaktion Herzrate beim Anblick eines virtuellen und eines realen Abgrundes)

Virtual Reality Augmented Reality Kombination künstlicher und realer Reize/Stimuli Ziel: Leistungs- und Kreativitätssteigerung Überlagerung von computergenerierten Grafiken und Videos von realen Umgebungen Bsp: Training von Flugpiloten

VR Virtual Reality Cube 3D 2 Digital Image 3D Video Projektionssystem inklusive Tracking durch zwei Infrarotkameras

VR Virtual Reality Projektion auf Frontprojektionsleinwand Stereoskopische Ansicht Shutter-Brille

VR Raumorientierung in 3D-Labyrinth Virtuelles 3D Labyrinth

VR Raumorientierung in 3D-Labyrinth Virtuelles 3D Labyrinth Orientierung anhand von Landmarken Realistisch Abstrakt