Das Berliner Brain-Computer Interface Projekt

Transkript

1 Das Berliner Brain-Computer Interface Projekt Thorsten Dickhaus Fachbereich Maschinelles Lernen Technische Universität Berlin (für die ganze BBCI-Gruppe) Maiseminar der CJD-Studentenschaft, Geldern-Walbeck

2 Übersicht Allgemeines: BCI und BBCI Maschinelles Lernen für BCI Aktuelle BBCI-Projekte Anwendungen

3 Was ist ein Brain-Computer Interface (BCI)?

4 Gehirnareale P motor sensory F O T Gehirnlappen: Frontal, Parietal, Temporal, Okzipital.

5 Allgemeines Maschinelles Lernen fu r BCI BBCI-Projekte Anwendungen Topographische Zuordnung right T7 C5 C3 left C1 hand left hemisphere Cz C2 C4 C6 T8 hand right hemisphere

6 Elektroenzephalogramm (EEG)

7 Evozierte Potentiale Visuelle Stimuli von konstanter Blinkfrequenz erzeugen Steady-State Visual Evoked Potentials (SSVEP) im visuellen Kortex falls fokussiert: 16 Hz Oz 16 Hz Oz Ein außergewöhnlicher Stimulus in einer Folge von Standard- Stimuli erzeugt eine P300-Komponente in zentraler Skalp- Position falls darauf konzentriert wird: Cz

8 Evozierte Potentiale Visuelle Stimuli von konstanter Blinkfrequenz erzeugen Steady-State Visual Evoked Potentials (SSVEP) im visuellen Kortex falls fokussiert: 16 Hz Oz 16 Hz Oz Ein außergewöhnlicher Stimulus in einer Folge von Standard- Stimuli erzeugt eine P300-Komponente in zentraler Skalp- Position falls darauf konzentriert wird: Cz

9 Evozierte Potentiale (P300) für BCI Ein erwarteter, außergewöhnlicher Stimulus (Deviant) in einer Folge von Standard-Stimuli bewirkt eine P300-Komponente in zentraler Skalp-Position. Donchin: VP konzentriert sich auf einen Buchstaben in der 6 6-Matrix. Zeilen und Spalten blinken in zufälliger Reihenfolge. P300-Komponenten werden im EEG sichtbar, falls Zeile bzw. Spalte des gewählten Buchstabens blinken.

10 Evozierte Potentiale (P300) für BCI Ein erwarteter, außergewöhnlicher Stimulus (Deviant) in einer Folge von Standard-Stimuli bewirkt eine P300-Komponente in zentraler Skalp-Position. Donchin: VP konzentriert sich auf einen Buchstaben in der 6 6-Matrix. Zeilen und Spalten blinken in zufälliger Reihenfolge. P300-Komponenten werden im EEG sichtbar, falls Zeile bzw. Spalte des gewählten Buchstabens blinken.

11 Rhythmen im EEG θ α Spectral Power [db] ~ 1/f β γ Frequency [Hz] Abbildung zeigt ein idealisiertes Spektrum. Einige Gehirnrhythmen sind nach ihrem Ursprung benannt, z.b. µ, σ, τ.

12 Ereignis-korrelierte (De-)Synchronisation Bewegungsvorstellung einer Extremität bewirkt eine lokale Blockade sensori-motorischer Rhythmen (SMR). SMR oder µ-rhythmus ( 10 Hz) in Motor- und sensor. Kortex: arm at rest arm moves C4

13 Ereignis-korrelierte (De-)Synchronisation Bewegungsvorstellung einer Extremität bewirkt eine lokale Blockade sensori-motorischer Rhythmen (SMR). SMR oder µ-rhythmus ( 10 Hz) in Motor- und sensor. Kortex: arm at rest arm moves C4 15 C3 lap left right C4 lap 15 [db] [db] [Hz] [db] [Hz]

14 Das Berliner BCI-Team TU Berlin Klaus-Robert Müller Benjamin Blankertz Carmen Vidaurre Michael Tangermann Siamac Fazli Claudia Sannelli Stefan Haufe Bastian Venthur Martijn Schreuder Marton Donaczy Charité Gabriel Curio Vadim Nikulin Jan Conradi Florian Losch Volker Kunzmann Friederike Hohlefeld Fraunhofer FIRST Motoaki Kanawabe Andreas Ziehe Florin Popescu Alumni Guido Dornhege Matthias Krauledat Kooperationspartner: Uni Tübingen, Uni Glasgow, TU Graz, EPFL Lausanne, BCCN-Berlin, Siemens, Daimler, Picoimaging Drittmittel: EU, BMBF und DFG

15 Variabilität zwischen Versuchspersonen Die Neurophysiologie der für BCI verwendeten mentalen Zustände ist bekannt - wofür Maschinelles Lernen? Exp.: 6 VPen, linke vs. rechte Hand Fingertippen Obschon die Aufgabe eine sehr gut erlernte Motorkompetenz darstellt, zeigen die gemittelten Gehirnmuster starke Unterschiede zwischen den VPen right left Ein optimales System adaptiert sich an jeden Benutzer!

16 Variabilität zwischen Versuchspersonen Die Neurophysiologie der für BCI verwendeten mentalen Zustände ist bekannt - wofür Maschinelles Lernen? Exp.: 6 VPen, linke vs. rechte Hand Fingertippen Obschon die Aufgabe eine sehr gut erlernte Motorkompetenz darstellt, zeigen die gemittelten Gehirnmuster starke Unterschiede zwischen den VPen right left Ein optimales System adaptiert sich an jeden Benutzer!

17 Variabilität zwischen Sitzungen Experiment: Eine VP imaginierte Bewegungen von linker vs. rechter Hand an verschiedenen Tagen. Jede ERD-Graphik stellt Durchschnitt über 140 Versuche dar; dennoch zeigen sie offensichtliche Unterschiede. right left Ein optimales System adaptiert sich neu für jede Sitzung!

18 Variabilität zwischen einzelnen Versuchen Experiment: Eine VP imaginierte Bewegungen von linker vs. rechter Hand. Topographien zeigen Energie im α-band während Durchgängen von 3.5 s Länge. Es offenbaren sich extreme Unterschiede, obschon die Daten von einer VP an einem Tag stammen. linke Hand rechte Hand

19 Viele simultan aktive Areale

20 Maschinelles Lernen Maschinelles Lernen befasst sich damit, eine Funktion f : D W f (x) = y automatisch anhand von Trainingsbeispielen (x 1, y 1 ),..., (x n, y n ) zu erlernen. Dabei ist typischerweise D R p, p N. W R : Regressionsaufgabe W N : Klassifikationsaufgabe Genauer wird diejenige Funktion f M gesucht, die ein vorgegebenes Fehlermaß (z.b. die Missklassifikationsrate) minimiert.

21 Maschinelles Lernen für BCI Klassische Ansätze brauchen extens. Nutzertraining BBCI-Ziel: Transfer des Lernaufwands auf die Maschinen! Benutzung von definierten mentalen Aufgaben Erkennung von zugehörigen Mustern in den Gehirnsignalen (Klassifikation) imagine left hand movements A... K L... Z Fz Cz Pz imagine right hand movements Oz A... K L... Z

22 Maschinelles Lernen für BCI Klassische Ansätze brauchen extens. Nutzertraining BBCI-Ziel: Transfer des Lernaufwands auf die Maschinen! Benutzung von definierten mentalen Aufgaben Erkennung von zugehörigen Mustern in den Gehirnsignalen (Klassifikation) imagine left hand movements A... K L... Z Fz Cz Pz imagine right hand movements Oz A... K L... Z

23 Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ 1, Σ 2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w R C w (Σ 1 Σ 2 ) w w (Σ 1 + Σ 2 ) w diskriminative Aktivität gemeinsame Aktivität

24 Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ 1, Σ 2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w R C w (Σ 1 Σ 2 ) w w (Σ 1 + Σ 2 ) w diskriminative Aktivität gemeinsame Aktivität right left right csp:r csp:l [s]

25 Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ 1, Σ 2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w R C w (Σ 1 Σ 2 ) w w (Σ 1 + Σ 2 ) w diskriminative Aktivität gemeinsame Aktivität Rein Daten-basierter Ansatz, kein statistisches Modell!

26 Common Spatial Pattern (CSP) Analyse Wichtiger Schritt für SMR-basierte BCIs: Räumliche Filter zur opt. Erkennung der SMR-Modulation Seien dazu Σ 1, Σ 2 die Kovarianzmatrizen der Bandpassgefilterten Signale unter den Bedingungen 1 und 2. Ein CSP-Filter w ist die Lösung der Optimierungsaufgabe arg max w R C w (Σ 1 Σ 2 ) w w (Σ 1 + Σ 2 ) w diskriminative Aktivität gemeinsame Aktivität CSP filter left CSP filter right

27 Invariantes CSP Daten-basierte Ansätze lassen sich verfeinern durch Verwendung von a-priori Wissen. Beispielsweise können Robustheitseigenschaften in CSP gefordert werden: arg max w R C w (Σ 1 Σ 2 ) w w (Σ 1 + Σ 2 + Ξ) w, Ξ: Cov. von Störsignalen Diese Optimierung kann in zwei verallgemeinerte Eigenwertprobleme zerlegt werden: und V 1 Σ 1V 1 = D 1 V 1 (Σ 1 + Σ 2 + Ξ)V 1 = I V 2 Σ 2V 2 = D 2 V 2 (Σ 1 + Σ 2 + Ξ)V 2 = I Effektivität in Störanalysen gezeigt (Blankertz et al., 2008).

28 Übersicht über aktuelle BBCI-Projekte Tools for Brain-Computer Interaction (TOBI, EU-gefördert) FaSor - Fahrer als Sensor (Kooperation mit Daimler, BMBF-gefördert) BFNT - Bernstein Fokus Neurotechnologie brain@work (Mensch-Maschine Interaktion für Industrieanwendungen) Verbesserung interaktiven Lernens für BCI (Vital-BCI)

29 Teil C Teil C befasst sich mit Verbesserungen der BCI-Technologie Stichwörter sind Methoden der biomedizinischen Datenanalyse Neurophysiologie von Gehirn-Computer Interaktion Sensortechnologie Das BCI-Analphabetismus -Problem

30 Das BCI-Analphabetismus -Problem (Vital-BCI) BCI-Analphabetismus Für einen geschätzten Anteil von 15% bis 30% an Benutzern ist die erreichte BCI-Performanz nicht gut genug, um Endanwendungen zu kontrollieren. In unserer großen Screening-Studie (N = 80) ergaben sich die folgenden Leistungskategorien: Kat. I: Gute Kalibrationsdaten, gute Feedbackleistung Kat. II: Gute Kalibration, aber Feedbackrate < 70% Kat. III: Vorstellungsklassen in der Kalibrationsphase nicht trennbar

31 Ko-adaptives Lernen gegen BCI-Analphabetismus Runs Klassifikation ➊ ➋ ➌ ➍ ➎ ➏ ➐ ➑ gener. Filter CSP + ausg. Laps reines CSP Klassifikator auf großer Datenbank vortrainiert Laplace-gefilterte Kanäle C3, Cz, C4 log. Bandenergie in (8-15) Hz und (16-32) Hz überwachte Parameter-Adaptation auf Daten der Runs 1-3: trainiere CSP, wähle sechs Laplace-Kanäle Benutzer-spezifisches Frequenzband überwachte Adaptation: neue Kanalwahl und neues Klassifikatortraining auf Daten der Runs 4-6 trainiertes CSP Benutzer-spezifisches Frequenzband unüberwachte Parameter-Adaptation

32 Ko-adaptives Lernen gegen BCI-Analphabetismus Runs Klassifikation ➊ ➋ ➌ ➍ ➎ ➏ ➐ ➑ gener. Filter CSP + ausg. Laps reines CSP Klassifikator auf großer Datenbank vortrainiert Laplace-gefilterte Kanäle C3, Cz, C4 log. Bandenergie in (8-15) Hz und (16-32) Hz überwachte Parameter-Adaptation auf Daten der Runs 1-3: trainiere CSP, wähle sechs Laplace-Kanäle Benutzer-spezifisches Frequenzband überwachte Adaptation: neue Kanalwahl und neues Klassifikatortraining auf Daten der Runs 4-6 trainiertes CSP Benutzer-spezifisches Frequenzband unüberwachte Parameter-Adaptation

33 Ko-adaptives Lernen gegen BCI-Analphabetismus Runs Klassifikation ➊ ➋ ➌ ➍ ➎ ➏ ➐ ➑ gener. Filter CSP + ausg. Laps reines CSP Klassifikator auf großer Datenbank vortrainiert Laplace-gefilterte Kanäle C3, Cz, C4 log. Bandenergie in (8-15) Hz und (16-32) Hz überwachte Parameter-Adaptation auf Daten der Runs 1-3: trainiere CSP, wähle sechs Laplace-Kanäle Benutzer-spezifisches Frequenzband überwachte Adaptation: neue Kanalwahl und neues Klassifikatortraining auf Daten der Runs 4-6 trainiertes CSP Benutzer-spezifisches Frequenzband unüberwachte Parameter-Adaptation

34 BCI feedback accuracy [%] Ergebnisse der ko-adaptiven Kalibration Gemittelte Werte von Versuchspersonen nach Kategorie Cat. I 50 1 fixed 2 3 Lap 40 (N=6) Cat. II (N=2) Cat. III (N=3) Kat.I: Gute Kontrolle schon nach 20 bis 40 Versuchen Keine Kontrolle in Runs 1-3 für Kat. II und III Kat. II: Plötzlicher Sprung von Run 3 zu Run 4 Kat. III: Stetige Verbesserung in Runs 4 und 5

35 BCI feedback accuracy [%] Ergebnisse der ko-adaptiven Kalibration Gemittelte Werte von Versuchspersonen nach Kategorie Cat. I (N=6) Cat. II (N=2) Cat. III (N=3) fixed CSP+ CSP Lap sel Lap Kat.I: Gute Kontrolle schon nach 20 bis 40 Versuchen Keine Kontrolle in Runs 1-3 für Kat. II und III Kat. II: Plötzlicher Sprung von Run 3 zu Run 4 Kat. III: Stetige Verbesserung in Runs 4 und 5

36 Effekt der Ko-Adaptation bei einer Versuchsperson aus Kat. III runs 1+2 runs [Hz] [Hz] [ r ] aus Vidaurre und Blankertz, 2009

37 Effekt der Ko-Adaptation bei einer Versuchsperson aus Kat. III runs 1+2 runs 7+8 idle SMR developed within one session [Hz] [Hz] [ r ] aus Vidaurre und Blankertz, 2009

38 BCI-Anwendungen Exemplarische BCI-Anwendungen: Cursor-Kontrolle (Datenübertragungsrate) Brain-Pong Virtuelle Schreibmaschine Hex-o-Spell Flippern mit BCI Torhüter-Applikation (schnelle Reaktion) Kommunikation für körperlich beeinträchtigte Patienten

39 Virtuelle Schreibmaschine Hex-o-Spell

40 Hex-o-Spell: Kontrolle Zwei mentale Zustände (z.b. rechte Hand- und Fuß- Vorstellung) werden zur Kontrolle von Hex-o-Spell gebraucht: foot right hand

41 Hex-o-Spell: Kontrolle Zwei mentale Zustände (z.b. rechte Hand- und Fuß- Vorstellung) werden zur Kontrolle von Hex-o-Spell gebraucht: right hand imagery: turn arrow BERLI < Z _ A? W V. U X Y P B C E S T D H J G I F L O K R Q M N right hand foot

42 Hex-o-Spell: Kontrolle Zwei mentale Zustände (z.b. rechte Hand- und Fuß- Vorstellung) werden zur Kontrolle von Hex-o-Spell gebraucht: right hand imagery: turn arrow < Z _ A? W V. U X Y P BERLI B C E S T D H J G I F L O K R Q M N right hand foot imagery: extend arrow < Z _ A? W V. U X Y P BERLI B C E S T D H J G I F L O K R Q M N foot