Brain-Computer Interface Eine Schnittstelle zwischen Gehirn und Computer

Transkript

1 Kapitel 1 Einleitung Brain-Computer Interface Eine Schnittstelle zwischen Gehirn und Computer Jahresarbeit von Alexander Fecke Freie Waldorfschule Kleinmachnow, Klasse 12 Seite 1

2 Kapitel 1 Einleitung Für die besondere Unterstützung meiner Arbeit danke ich Sebastian Welke, Thorsten Zander und Christian Kothe von der TU Berlin sowie meiner Mentorin an der FWS Kleinmachnow, Ulrike Böttger Seite 2

3 Kapitel 1 Inhaltsverzeichnis Einleitung Inhaltsverzeichnis 1. Brain-Computer Interface - Jahresarbeit von Alexander Fecke Einleitung Gliederung der Arbeit Das Gehirn Grundlagen Das Gehirn Die Evolution des Gehirns Ein Lageplan des Gehirns Nervenzellen Dendriten Axone Neuronale Vernetzung Synapsen Neurotransmitter Zuständigkeiten im menschlichen Gehirn Die Problematik Motorik Monitoring Magnetresonanztomographie Funktionelle Magnetresonanztomographie Positronen-Emissions-Tomographie Elektroenzephalografie Zusammenfassung Das Brain-Computer Interface...16 Grundlagen Brain-Computer Interface Wer braucht ein Brain-Computer Interface? Anwendungsbereiche von BCIs in der Zukunft Gedankenlesen Mentales vs. motorisches BCI Online/Offline Synchron und asynchrones BCI Training Elektrische Impulse im menschlichen Körper Elektromyografie Elektroocculogramm Elektroencephalografie...20 Die Ableitung Das EEG Frequenzen Ereigniskorrelierte Potentiale Ereignisbezogene De-/Synchronisation Error related Potentials...25 Die Klassifikation Vorverarbeitung Der räumlich/zeitliche Filter Der FFT-Filter Der Laplace-Filter Merkmalsextraktion Common Spatial Patterns - CSP...27 Seite 3

4 Kapitel 1 Einleitung 3.6 Klassifikation Lineare Diskriminanz Analyse Quadratische Diskriminanz Analyse Probleme der Klassifikation Übertragbarkeit Maximale Anzahl von Klassen Aktuelle Forschung im Bereich des Brain-Computer Interface...32 MAIA Roboter FRIEND II Rollstühle Rollstühle steuern Rollstuhlassistenten Prothesen Neuroprothesen DOF - Degree of Freedom BCI-nutzbare Potentiale für die Prothesensteuerung BCI-gesteuerte Programme Speller Hex-o-Spell P Allgemeines Feedback Visuelles Feedback Auditives Feedback Taktiles Feedback Kombinationen Error related Potentials Fazit Training Trainingsablauf Potentiale die kein Training benötigen Klassen Brain-Computer Interfaces mit Bewegungsvorstellung? Bewegungsvorstellung Steuerung ohne MI - mentales Brain-Computer Interface Ein BCI für den Alltag Die Anforderungen an ein Alltags-BCI Meine praktische Arbeit : Ein BCI-Versuch Vorbereitungen EEG Training Klassifikation - Erstellen eines Klassifikators Der Versuch Basket Paradigm Der Versuchsablauf Fazit Auswertung Das Gehirn Die Brain-Computer Interaktion Die Jahresarbeit Literaturverzeichnis...56 Seite 4

5 1. Brain-Computer Interface - Jahresarbeit von Alexander Fecke Überblick und Einleitung zur Jahresarbeit "Brain-Computer Interfaces - Schnittstellen zwischen Gehirn und Computer" 1.1 Einleitung Die vorliegende Arbeit "Brain-Computer Interfaces - Schnittstellen zwischen Gehirn und Computer" ist meine Jahresarbeit in der 12. Klasse an der Freien Waldorfschule Kleinmachnow. Ich habe mir für diese Jahresarbeit das Thema Brain-Computer Interface gesucht, weil es sich hierbei um eine recht neue und äußerst spannende Wissenschaft handelt, die wissenschaftliche Erkenntnisse aus Biologie, Mathematik und Informatik verbindet, um weiter das Gehirn zu erforschen und den Einsatz bzw. die Analyse der Fähigkeiten des Gehirns zum Ziel hat. Innerhalb der Forschung stellen sich immer wieder spannende Fragen, die nicht immer nur auf das Brain-Computer Interface beschränkt sind, sondern durchaus auch philosophisch und ethisch von großem Interesse sind. Grob gesagt ist ein Brain-Computer Interface eben das, was der Name bereits illustriert: Eine Schnittstelle zwischen Computer und Gehirn, die in gewissermaßen revolutionärer Methode die Steuerung eines Computers ohne den Umweg über Muskeln etc. ermöglicht. Dies ist momentan besonders im medizinischen Bereich von großer Bedeutung und könnte in den nächsten Jahren in einige weitere Bereiche integriert werden, nicht zuletzt in den Markt des Home-Entertainments. Schließlich war auch die Maus eine bahnbrechende Erfindung, die die Computernutzung maßgeblich revolutionierte. Die Maus ist sicher nicht zur Gänze mit einem BCI (Brain-Computer Interface) vergleichbar, dennoch besitzt diese junge Forschung ein Potential, die Computernutzung, bzw. die Interaktion zwischen Mensch und Maschine, erheblich zu verbessern. Dieser Aspekt interessierte mich an dem Thema sehr, gleichwohl ich aber auch an der Funktionsweise des menschlichen Gehirns und seinen Möglichkeiten zur Interaktion interessiert war. Schließlich ist Gedankenübertragung eine Idee, die schon lange die Fantasie der Menschheit beschäftigt und ebenso schöne wie auch beängstigende Ausblicke ermöglicht. Aus diesen und weiteren Gründen wählte ich das Brain-Computer Interface als Thema und konnte es in der mir zur Verfügung stehenden Zeit wenigstens teilweise kennenlernen. Helfend zur Seite standen mir bei der Durchführung meiner Arbeit Thorsten Zander, Sebastian Welke und Christian Kothe von der TU Berlin, sowie meine Mentorin an der Schule, Frau Ulrike Böttger. So war es mir möglich, an mehreren Versuchen zum BCI in der TU teilzunehmen, und einen Versuch als meine praktische Arbeit zu verwirklichen, indem ich eben jenes umsetzte, was das Thema meiner Arbeit war. Ich hoffe, die folgende Lektüre ist sowohl für die in der Materie Erfahreneren, als auch für Laien eine interessante, und wünsche Ihnen viel Spaß beim Erkunden meiner Arbeit! Seite 5

6 Kapitel 1 Einleitung 1.2 Gliederung der Arbeit Diese Arbeit ist in 4 Hauptkapitel gegliedert, welche durch einige weitere Kapitel ergänzt werden. In Kapitel 2 möchte ich auf das Gehirn eingehen und die Grundlagen für meine Arbeit erläutern. In Kapitel 3 lege ich die Grundlagen eines Brain-Computer Interfaces dar, erläutere die Funktionsweise und gebe in Kapitel 4 einen Überblick über die aktuelle Forschung. Im Kapitel 5 beschreibe ich meine praktische Arbeit, einen Versuch an der TU, an welchem ich teilgenommen habe, die Kapitel (01, 06, 07) beinhalten die Einleitung, die Auswertung und das Literaturverzeichnis. Es ist also empfehlenswert ab und zu auch mal "quer" zu lesen, da ich die Kapitel durch einige Verweise miteinander verknüpft habe. Seite 6

7 2. Das Gehirn Wie funktioniert das Gehirn genau und was ist besonders für das Brain-Computer Interface relevant? Das Gehirn ist das komplexeste Organ des Menschen und für den Informationsverarbeitungsprozess des Menschen zuständig. Das heißt, das Gehirn vermag die Reize der Sinne aufzunehmen und darauf zu reagieren. Selbstverständlich handelt es sich dabei um eine recht einfache Umschreibung dessen, was das menschliche Gehirn jeden Tag leistet. Diese Leistung ist jedoch äußerst komplex, und lässt sich weder komplett beschreiben, noch (bisher) komplett erfassen. Hier möchte ich daher nur einen kurzen Überblick über die wichtigsten Fakten und die Funktionsweise des Gehirns geben, um die Funktionsweise von Brain-Computer Interfaces darzustellen, und vielleicht auch, um zu zeigen, weshalb ein Gehirn mehr als ein Computer ist, und wieso wir mit einem Brain-Computer Interface zwar bestimmte Handlungsabsichten und Vorstellungen aufnehmen können, höchstwahrscheinlich aber nie technisch in der Lage sein werden, Gedanken zu lesen. Wie ich in der Einleitung des Kapitels bereits angeführt habe, ist es mir hier nicht möglich, die gesamte Funktionsweise des Gehirns ausführlich darzustellen. Ich möchte aber die Grundsätze erläutern, die als Vorwissen bestehen sollten, um auch die folgenden Kapitel zu durchdringen. 2.1 Grundlagen Hier möchte ich kurz erklären, wie das Gehirn strukturiert ist, und wie es bei anderen Tieren aussieht Das Gehirn Grob gesagt handelt es sich bei dem Gehirn um eine Ansammlung von miteinander vernetzten Nervenzellen (Neuronen), die verschiedene Funktionen erfüllen. Die Gesamtheit dieser Nervenzellen und sogenannten Gliazellen (Gliazellen beanspruchen den größten Teil der Zellen im menschlichen Gehirn, und übernehmen in erster Linie stützende und ernährende Funktionen) stellt das Gehirn dar, eine insgesamt weißgräuliche Masse, welche in Gehirnflüssigkeit sicher eingebettet in unserem Schädel verwahrt ist. Der Kontakt zur Außenwelt wird durch die Sinnesorgane hergestellt, über die afferenten (zum Gehirn hinführende) Nerven werden die Reize an unser Gehirn weitergeleitet und dort verarbeitet. Wir verarbeiten diese Reize und handeln nach komplexen Gedankenvorgängen oder manchmal auch rein instinktiv, indem unser Gehirn über die efferenten (vom Gehirn wegführenden) Nerven Befehle an unseren Körper erteilt, und uns die Bewegung ermöglicht. Seite 7

8 Kapitel 2 Das Gehirn Die Evolution des Gehirns Das Gehirn ist ein Nervensystem, welches im Laufe der Evolution immer zentraler geworden ist. Es handelt sich hier also um ein zentrales Nervensystem, im Gegensatz zu den dezentralen Nervensystemen, beispielsweise den Nervennetzen von Nesseltieren, die kein herausgebildetes Organ für die Verarbeitung der Reize haben, sondern wo dies an Ort und Stelle in den einzelnen Nervenzellen bzw. -verbunden passiert. Andere Nervensysteme, das sogenannte Strickleiternervensystem der Gliederfüßer beispielsweise, hat bereits zentral ausgebildete Zentren, sogenannte Ganglien, die durch Nervenstränge verbunden sind. Ganglien, oder auch Nervenknoten können durchaus als Vorläufer des Gehirns betrachtet werden, sie vereinen und spezialisieren bereits Nervenzellen. Das menschliche Gehirn ist das leistungsfähigste im Vergleich zu den Gehirnen der weiteren Säugetiere. Dennoch ist ist es ein gutes Stück kleiner als beispielsweise das Gehirn des Elefanten, woraus wir ableiten können, dass für die Leistung eines Gehirns nicht dessen Größe verantwortlich ist, genausowenig wie sein Gewicht Ein Lageplan des Gehirns Was liegt im Gehirn wo? ist eine Frage, die ich nicht nur in diesem Abschnitt, sondern immer wieder in diesem Kapitel behandeln werde. Ist eine komplette Kartographierung der Funktionen des Gehirns so gut wie unmöglich (vgl ), sind natürlich dennoch alle Bereiche des Gehirns bereits benannt, und auch grob nach Funktionen einteilbar. Den meisten Platz nimmt das sogenannte Großhirn (auch: Endhirn, oder Telencephalon) ein, welches in zwei Hälften geteilt ist, die rechte und linke Hemisphäre. Verbunden sind diese durch den sogenannten Balken, einen dicken Nervenstrang. Der obere Teil des Großhirns wird als Cortex, bzw. Hirnrinde bezeichnet. Sie ist auf dem Großhirn stark gefurcht. Das Kleinhirn befindet sich dorsal unterhalb des Großhirns und ist der zweitgrößte eigene Bereich des Gehirns. Als Zwischenhirn beschreibt man mehrere Teile, die zwischen Groß- und Kleinhirn gelagert sind. Es handelt sich dabei um Thalamus, Hypothalamus, Subthalamus und Ephitalamus. Der Querschnitt des menschlichen Gehirns. Bild: Thalamus stellt dabei den größten Teil des Zwischenhirns dar, und ist stark mit dem Großhirn verknüpft. Neben weiteren Funktionen stellt er die Verbindung zwischen Großhirn und vegetativem System her, welches insbesondere vom Hypothalamus gesteuert wird. Eine starke Bindung an das vegetative Nervensystem des Menschen (Das vegetative Nervensystem steuert unbewusste Vorgänge, wie den Stoffwechsel im Körper, die das Gehirn nicht bewusst registrieren kann und nur bei auftretenden Störungen wahrnimmt) hat auch der Hirnstamm. Seite 8

9 Kapitel 2 Das Gehirn Er ist der "stammesgeschichtlich älteste Teil" 1 des Gehirns, welcher aus der Pons (Brücke), dem Mittel- und Nachhirn besteht. Diese Teile des Gehirns steuern einzelne Bereiche des menschlichen Körpers, die Medulla oblongata (Nachhirn) ist beispielsweise maßgeblich für die Atmung und Kontrolle des Blutkreislaufs verantwortlich Nervenzellen Im Gehirn existieren ungefähr 100 Milliarden (10 11 ) Neuronen die miteinander vernetzt sind, und das menschliche Denken ermöglichen. Diese Nervenzellen sind über die sogenannten Synapsen miteinander verknüpft (man kann von ca. 100 Billionen (10 14 ) Vernetzungen im Gehirn ausgehen, pro Neuron also ca Vernetzungen). An ihnen werden die Reize der Nervenzellen übertragen und gewissermaßen Neuronen verschaltet. Eine Nervenzelle besteht aus einem Zellkörper, auch Soma oder Perikaryon genannt, sowie zwei verschiedenen Fortsätzen, dem Dendrit und dem Axon. Es gibt verschiedene Arten von Nervenzellen, welche an verschiedenen Orten im menschlichen Gehirn zum Einsatz kommen, sie unterscheiden sich meist an Zahl und Beschaffenheit der Fortsätze. So handelt es sich beispielsweise bei multipolaren Nervenzellen um Nervenzellen mit einer Vielzahl von Dendriten und Axonen, während die bipolaren Nervenzellen nur ein Dendrit und ein Axon aufzuweisen haben. Bipolare Nervenzellen sind insbesondere in der Netzhaut und im Hörorgan aufzufinden. Soll eine Übermittlung von Informationen stattfinden, geschieht das anhand einer elektrischen Aktion. Die Dendriten, Empfänger der Nervenzellen, nehmen einen Reiz auf und leiten ihn an den Soma, Zellkörper weiter, wo, so der eintreffende Reiz stark genug ist, ein Aktionspotential ausgelöst wird. Das Aktionspotential ruft eine Polarisation des Axons, des als Sender fungierenden Teils der Nervenzellen, hervor. Durch die Polarisation verändert sich die elektrische Ladung und durch den entstehenden Impuls wird der Reiz an die Synapse weitergegeben. An der Synapse wird der Impuls dann mit Hilfe der sogenannten Neurotransmitter in einem biochemischen Prozess an die Dendriten übergeben, welcher ihn an eine weitere Nervenzelle weiterleitet. Die Aktivität der Neuronen in diesem Prozess wird in der Fachsprache "feuern" genannt. Im Folgenden möchte ich den Prozess noch etwas genauer in die teilnehmenden Akteure aufschlüsseln Dendriten Dendriten sind die Empfänger der Neuronen und, oftmals baumartig von der Nervenzelle ausgehend, weit verzweigt. Sie nehmen die Signale an der postsynaptischen Membran der Synapse auf, und geben Sie an den Zellkörper weiter. Dieser ist insbesondere für die Versorgung des Neurons zuständig, löst aber auch über den sogenannten Axonenhügel das Aktionspotential für eine Reizübermittlung aus, wenn der eintreffende Reiz eine Reizschwelle in ausreichendem Maße überschreitet Axone Die Axonen sind, wie die Dendriten, eine Verlängerung der Nervenzelle. Von den Dendriten unterscheidet sie nur, dass sie nicht empfangen, sondern "senden". Das heißt, 1 zitiert von: Seite 9

10 Kapitel 2 Das Gehirn Eine Nervenzelle Bild: Nicolas Rougier Dendriten Zellkern Soma Schwannsche Zelle Myelinscheide Axon Endknöpfchen Seite 10

11 Kapitel 2 Das Gehirn durch Veränderung ihres Potentials, bzw. ihrer Ladung, stoßen die ankommenden Ionen in der Synapse die Übertragung der Neurotransmitter an. Axone sind durch eine Myelinschicht geschützt, diese verbessert die Leitfähigkeit und isoliert die Axonen. Zum weiteren Schutz wird ein Axon von Schwannschen Zellen, speziellen Gliazellen, umhüllt. Die Übertragungsrate in einem Axon erreicht eine Geschwindikeit von 120 Meter/Sekunde, das entspricht ungefähr 400 km/h, eine ganz ordentliche Geschwindigkeit für Informationen, die einen so kurzen Weg zurück zu legen haben Neuronale Vernetzung Wie viele andere Prozesse im menschlichen Gehirn ist auch der Lernprozess noch lange nicht zur Gänze erforscht. Man kann jedoch davon ausgehen, dass dieser dadurch zustande kommt, dass bestimmte Neuronen sich öfter verknüpfen, und auf diese Art schnellere Verbindungen bestehen. Durch oftmaliges Üben wird dieser "Schaltkreis" in der Theorie gestärkt und kann besser genutzt werden. Dennoch ist gerade dieser Prozess für die Wissenschaft noch sehr schwer erklärbar, da sich die Neuronen ständig neu verknüpfen und jeder Vorhersagbarkeit trotzen. Das ist auch einer der wichtigsten Faktoren, die einen Durchbruch auf dem Feld "Gedankenlesen" dauerhaft verhindern können. Warum ein Brain-Computer Interface dennoch funktionieren kann, möchte ich in Kapitel 3 und Abschnitt 2.2 noch zeigen. Ein, wie ich finde, sehr interessanter Begriff, der sich durch Forschung an dauerhaften Zuständigkeiten und der Vernetzung der Neuronen ergeben hat, ist der Begriff des "neuronalen Darwinismus". Wie der Wortlaut bereits eindrucksvoll erläutert geht es dabei um eine Evolutionstheorie zum Gehirn, nachdem unnütze, unbenutzte Bereiche im Gehirn bei einer solchen Unternutzung zurückgebildet werden, und entweder an andere Aufgaben übergeben werden, oder in ihrer neuronalen Struktur stark verkümmern Synapsen Synapsen sind die wichtigen Übermittlerstellen zwischen Dendriten und Axonen und damit für die Informationsverarbeitung eminent wichtig. Ohne die Funktionalität der Synapsen wäre das Gehirn nicht arbeitsfähig. Die Synapse kann in den prä- und postsynaptischen Teil aufgeteilt werden, der präsynaptische Teil ist die Membran, welche an das Axon anschließt und die Botenstoffe, Neurotransmitter, an den postsynaptischen Teil, den Dendriten, weitergibt. Diese Neurotransmitter werden in sogenannten Vesikel, kleinen Bläschen, verpackt, und wandern durch den synaptischen Spalt zum postsynaptischen Teil, wo sie an Rezeptoren gebunden werden und damit eine Änderung des elektrischen Potentials des Empfängers bewirken, was wiederum als ein Signal für die Dendriten, bzw. Nervenzellen interpretiert wird Neurotransmitter Neurotransmitter sind biochemische Stoffe, die für die Übertragung der Informationen in dem Synapsenspalt zuständig sind, indem sie von dem präsynaptischen Teil abgestoßen werden, und den postsynaptischen Teil stimulieren. Sie erfüllen damit eine äußerst wichtige Funktion für das menschliche Gehirn. Diese Wichtigkeit wird beispielsweise bei der Parkinson-Krankheit sehr schön verdeutlicht. Bei Parkinson Patienten liegt nämlich ein Zellensterben in der Substantia Nigra (Kernkomplex im Mittelhirn) vor, jenem Bereich, der für die Produktion von Dopamin, ei- Seite 11

12 Kapitel 2 Das Gehirn nem der wichtigsten Neurotransmitter, zuständig ist. Dieser Dopaminmangel führt letztendlich zu einer Verlangsamung in vielen Bereichen des Gehirns, bzw. einer allgemeinen Bewegungsarmut, Zittern durch Gegenwirkungen von Muskelanspannungen und einer allgemeinen Verlangsamung der geistigen Prozesse. Hier werden also einige Symptome deutlich, die durch Dopaminmangel auftreten können. Behandelt werden kann diese Krankheit nur mit sogenannten L-Dopa (Vorstufe des Dopamins, welches in der Lage ist, die Blut-Hirn-Schranke zu durchqueren), also durch Ersatz-Dopamine, oder durch den Ersatz der abgestorbenen Zellen der Substantia Nigra durch nicht festgelegte Stammzellen, beispielsweise von abgestorbenen menschlichen Föten, was bisher nach dem Stand der Wissenschaft zwar nicht gänzlich unmöglich, aber dennoch teuer und in einigen Ländern (Deutschland) zivilrechtlich nicht möglich ist. Ein weiteres sehr interessantes Krankheitsbild, welches mit hoher Wahrscheinlichkeit auf eine "falsche Dosierung" von Neurotransmittern, insbesondere Dopamin, zurückzuführen ist, ist die sogenannte "Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung. Bei AD/ HS-Patienten liegt oftmals eine zu hohe Dopamin-Ausschüttung im Bereich des Striatums (wichtiger Teil der Basalgangilen (Teil des Großhirns), das "einen elementaren funktionellen Stellenwert für den frontalen (exekutiven) Teil des Gehirns hat, und die das Zusammenwirken von Motivation, Emotion, Kognition und dem Bewegungsverhalten auf neuronaler Ebene realisieren 2 ") vor. Dies bewirkt eine partielle Unterfunktion in diesem Bereich. Der/die Betroffene hat Schwierigkeiten, Situationen und Emotionen richtig einzuschätzen, und reagiert oftmals "unangebracht". Amerikanische Neuropsyochologen bezeichnen AD/HS neuerdings auch als "Belohnungsdefizitsyndrom", die erhöhte Dopaminmenge auch im Nucleus accumbens ("Belohnungszentrum" des Gehirns) bewirkt ein Belohnungsdefizit. Der Betroffene "braucht" die sofortige Belohnung (dieser Vorgang ist mit Sucht zu vergleichen, der Nucleus Accumbens gilt als verantwortlich für Süchte), und handelt dementsprechend schneller, bzw. für die schnelle Belohnung. Es ist ihm/ihr nicht möglich, sich auf ein, auf lange Frist nutzbringenderes Verhalten einzulassen, da die sofortige Belohnung durch das Gehirn "gefordert" wird. "Sucht" ist ein gutes Stichwort für Neurotransmitter. Viele Suchtstoffe, bzw. Halluzinogene, aber auch einfache Genussmittel wie Koffein wirken nämlich genau an dieser Stelle, indem sie die Informationsübertragung verändern. Zum Beispiel erhöht Koffein die Aktivität der Neurotransmitter, weitere Halluzinogene verändern die Wahrnehmung durch Eingreifen in den biochemischen Prozess in der Synapse. Curare, ein Pfeilgift der südamerikanischen Indianer wirkt auch auf die Neurotransmitter, bzw. den Prozess der Informationsübermittlung in der Synapse, indem es die sogenannten Acetylcholinrezeptoren besetzt, und es so wirkungsvoll verhindert, dass das dafür bestimmte Acetylcholin die Rezeptoren erreicht. Die Folgen sind Muskellähmungen und daraus resultierend dann die Lähmung der Atemmuskulatur und der Tod durch Atemstillstand. 2.2 Zuständigkeiten im menschlichen Gehirn Eine äußerst wichtige Frage für das Brain-Computer Interface ist die Zuständigkeit von Teilen des menschlichen Gehirns für bestimmte Aufgaben. Ich möchte kurz vorstellen, wo die Problematik liegt, und welche Bereiche des Gehirns für ein BCI von besonders hohem Interesse sind. 2 zitiert von: Seite 12

13 Kapitel 2 Das Gehirn Die Problematik In bin ich bereits ansatzweise darauf eingegangen, wo die Probleme der Hirnforschung liegen, wenn es daran geht, eine Karte der neuronalen Aktivität zu erstellen. Ständig neue neuronale Vernetzung sowie die sogenannte "Plastizität" des Gehirns stellt Forscher vor Schwierigkeiten (vgl ). So konnte beispielsweise festgestellt werden, dass Geigenspieler, oder Menschen, die besonders viele Tätigkeiten mit den Fingern verrichten, einen größeren Bereich im Gehirn für die Finger reserviert haben, bzw. dass dieser Bereich mehr Neuronen benasrprucht als "gewöhnlicher" Weise. Auch war es möglich nachzuweisen, dass Tiere oder Menschen mit geschädigten Hirnfunktionen weiterhin einfachere Handlungen ausführen konnten, beispielsweise war es einer Maus mit einem fehlenden motorischen Kortex möglich, Bewegungen auszuführen, wenn auch wenig elegant oder gar fehlerfrei. Das Gehirn scheint also in der Lage zu sein, Netzwerke neu zu bilden. Auch werden Aufgaben, die nicht mehr mit einem bestimmten Bereich ausgeführt werden können, scheinbar an andere Bereiche weitergegeben. Jahrelang ist es versucht worden, nun kann wohl mit einiger Sicherheit festgestellt werden, dass eine exakte Kartographierung des Gehirns nie möglich sein wird. Dennoch können bestimmte Abläufe und Bereiche definiert werden, wie es bereits in diesem Kapitel durchklang. Ich möchte daher zeigen, was bereits bekannt ist, und besonders, was für das Brain-Computer Interface von Bedeutung ist Motorik Die Planung von Bewegungen ist für das Brain-Computer Interface von großer Bedeutung, da dieses "Potential" in vielen Brain-Computer Interfaces zur Steuerung genutzt wird (vgl ). Wir planen unsere abstrakten Bewegungen, wie viele kognitive Prozesse, im vorderen Bereich der Hirnrinde. Sie werden dann an den Motorischen Kortex "übergeben". Dieser besteht aus drei verschiedenen Hauptgebieten, der Supplementär-motorischen Rinde (SMA), der Prämotorischen Rinde (PMA) sowie der Primär-motorischen Rinde (M1). Dabei dient insbesondere die SMA und die PMA der Bewegungsvorbereitung, Der Homunculus auf der Hirnrinde Bild: Seite 13

14 Kapitel 2 Das Gehirn bzw. dem Zusammenstellen eines bestimmten Ablaufs einer Bewegung und der komplexen Planung. Die Primär-motorische Rinde hingegen ist wesentlich für die Ausführung der Bewegung zuständig. Auf ihm findet sich ein sogenannter "Homunculus" (künstlicher Mensch, diese Bezeichnung rührt von der sehr alten Vorstellung her, im Hirn des Menschen sitze ein noch kleinerer Mensch, ein Homunculus, der den Menschen steuere), ein recht interessantes Phänomen. Es ist nämlich möglich, auf dem Primär-motorischen Kortex nachzuweisen, welche Bereiche für welche Körperteile zuständig sind. Und so ergibt es sich dann, dass sich diese in der gleichen Reihenfolge wie in unserem Körper wiederfinden. Die Proportionen sind zwar ungleich, beispielsweise ist der Bereich des Daumens größer oder fast genauso groß wie der des Rumpfes, eines ungleich größeren Körperteils. Dies lässt sich vermutlich durch die neuronale Plastizität (vgl ) erklären, da der Daumen eine genauere Feinabstimmung benötigt als der Rumpf, wird hier ein größerer Bereich für ihn gebraucht. Befindet sich auf der rechten Seite der Hemisphäre der motorische Kortex, ist auf der linken Seite der sensorische zu finden. 2.3 Monitoring Um zu Ergebnissen wie den obenstehenden zu gelangen, ist es natürlich von Nöten, das Gehirn nicht nur im sezierten, sondern auch im aktiven Zustand bei der Arbeit zu betrachten. Dabei ist es besonders wichtig zu erkennen, wo und zu welchem Zeitpunkt Aktivität nachzuweisen ist. Damit lassen sich dann nämlich Rückschlüsse auf Zuständigkeiten ziehen und im speziellen Falle auch ein BCI steuern. Ich möchte die wichtigsten Methoden dafür hier darstellen Magnetresonanztomographie Bei der Magnetresonanztomographie (abekürzt MRI, auch Kernspintomographie) handelt es sich um ein Verfahren, weches mit Hilfe eines starken Magnetfeldes menschliches Gewebe (auch Hirngewebe) mit einer hohen Auflösung darstellbar macht. Dabei können unterschiedliche Gewebetypen erkannt werden funktionelle Magnetresonanztomographie Wichtiger als die MRI ist für das Brain-Computer Interface die fmri, die funktionelle Magnetresonanztomographie. Mit dieser ist es nämlich möglich, die Stoffwechselvorgänge im Gehirn aufzuzeichnen, also darstellbar zu machen, wo das Gehirn aktiv ist. Dabei wird die sogenannte BOLD-Technik (BOLD steht für Blood Oxygen Level Dependency) genutzt. Mit ihr ist es möglich, die Sauerstoffkonzentration im Blut nachzuweisen, und zu vergleichen. Ist ein Bereich im Gehirn aktiv, benötigt dieser eine höhere Blutkonzentration mit einem höheren Sauerstoffgehalt. Diese Veränderung kann durch das Magnetfeld erfasst werden, und bietet ein recht hoch auflösendes und damit genaues Bild der Gehirnaktivität. Diese Methode bietet den großen Vorteil, dass die Aktivität bis in einen recht kleinen Bereich gut nachgewiesen werden kann, sie ist also für die Forschung von höchstem Interesse. Doch leider ist ein solcher Scan nicht online ausführbar (vgl ), das heißt die Daten sind nur in der Auswertung nutzbar, und für ein anwendbares BCI leider kaum von Interesse. Seite 14

15 Kapitel 2 Das Gehirn Die Methode fmri ist aber weiterhin von höchstem Interesse, da sie die Methode ist, die dem "Gedankenlesen" am Nähesten kommt. Dass diese Utopie dennoch wahrscheinlich nie wirklich möglich sein wird, verhindern schon die technischen Möglichkeiten. Für eine Online-Erkennung würde eine ungeheure Rechenleistung benötigt, auch ist die Größe der Voxel, Cluster in denen das Gehirn bei der fmri gescannt wird, nicht unendlich verringerbar Positronen-Emissions-Tomographie Bei der Positronen-Emissions-Tomographie, kurz PET wird der Testperson eine leicht radionuklid markierte Substanz verabreicht (meist per Injektion). Die Radionuklide geben Positronen ab, die bei Zusammentreffen mit den Elektronen des Körpers Photonen in entgegengesetzte Richtungen verschicken, welche vom PET-Gerät registriert werden können. Das Gerät kann damit die Position der Positronen feststellen, und ein Schnittbild des Gehirns erstellen. Die Auflösung ist jedoch relativ gering, und die Methode wird vorrangig in der Medizin verwendet Elektroenzephalografie Mit der Elektroenzephalografie kommen wir in einen Bereich, der für das Brain-Computer Interface von größtem Interesse ist. Die genaue Funktionsweise beschreibe ich im Kapitel 3, in welchem ich mich dem Brain-Computer Interface allgemein widmen möchte. Um einen kurzen Abriss zu geben: Das Elektroenzephalogramm (EEG - encephalon: Gehirn, gráphein: schreiben) ist ein Verfahren, welches ein Bild der Aktivität des Gehirns mit Hilfe der Elektrizität ermöglicht. Ein EEG-Signal mit einer Dauer von einer Sekunde Wie ich in bis bereits beschrieben habe, funktioniert die Übermittlung der Informationen im Gehirn mit Hilfe von elektrischen Entladungen in den Axonen. Nun können diese Entladungen registriert werden und aus den Daten kann ein Bild, bzw eine Kurve erstellt werden, die über die Aktivität des Gehirns in verschiedenen Bereichen etwas aussagt. Um ein EEG abzunehmen wird der Testperson ein Kappe mit mehreren Elektroden aufgesetzt, welche die kortikale elektrische Aktivität registrieren. 2.4 Zusammenfassung Bild: Ich habe in diesem Kapitel versucht, einen Überblick über das komplexeste Organ des Menschen zu geben. Dieser Überblick ist eine wichtige Grundlage für das Verständnis der nachfolgenden Kapitel, in denen ich erklären möchte, was ein Brain-Computer Interface genau ist, wie es funktioniert und was für Anwendungen denkbar und bereits evaluiert worden sind. Seite 15

16 3. Das Brain-Computer Interface Wie funktioniert ein Brain-Computer Interface? Ein Kapitel zu den Grundlagen der Technik im Bereich der Interaktion zwischen Gehirn und Computer. Ich möchte in diesem Kapitel anreißen wie Brain-Computer Interfaces rein technisch funktionieren. Selbstverständlich kann ich dieses Thema hier nicht vollständig bearbeiten, möchte aber einen Überblick über die Grundlagen, Anwendbarkeit und einen Ausblick in die Zukunft geben, bevor ich im nächsten Kapitel die akutelle BCI-Forschung beschreibe. Grundlagen 3.1 Brain-Computer Interface Ein Brain-Computer Interface ist, wie der Name bereits sagt, eine Schnittstelle zwischen Gehirn und Computer, die es uns ermöglicht einen Computer zu steuern, ohne dabei unsere Extremitäten einsetzen zu müssen. Da mittlerweile der Großteil aller technischer Geräte mit einem Computer gesteuert wird, oder gesteuert werden kann, stellt das System BCI eine wichtige neue Interaktionsmöglichkeit mit dem Computer dar. Das Forschungsgebiet BCI ist noch recht jung, daher handelt es sich auch bei bisher realisierten Brain-Computer Interfaces um eher fehlerhafte Systeme. Wo da die Probleme liegen wird sich in diesem Kapitel noch herausstellen Wer braucht ein Brain-Computer Interface? BCIs sind nicht nur als Forschungsobjekt, um über unser Gehirn immer mehr zu erfahren, von großem Interesse für die Wissenschaft, sondern sie können auch konkreten Nutzen in der Medizin bringen. Unterschiedliche Krankheitsbilder erfordern geradezu eine weitere Kommunikationsmethode, beispielsweise das sogenannte "Locked-In-Syndrom". Es handelt sich dabei um eine Krankheit, bei der durch eine Verletzung, bzw. Läsion des Pons, die Fähigkeit die Muskeln zu bewegen komplett verloren gegangen ist. Die Patienten haben dadurch keinerlei Möglichkeit zur Kommunikation mit ihrer Umwelt, gleichwohl sie bei vollem Bewusstsein sind. Durch sogenannte Speller (vgl ) können Locked-In-Patienten kommunizieren, indem sie den Bildschirm als Ausgabe für gewünschten Text nutzen können. Körperbehinderten Menschen oder Menschen mit fehlenden Extremitäten stehen hier sogar ganz neue Möglichkeiten offen. Eine besondere Form der Querschnittslähmung, die sogenannte Tetraplegie, bewirkt eine komplette Lähmung der vier Gliedmaßen. Patienten mit dieser Krankheit sind dementsprechend absolut auf die Hilfe Anderer angewiesen. Abhilfe schaffen könnten hier Rollstühle und Hilfsroboter, die durch ein Brain- Computer Interface gesteuert werden können (vgl. Kapitel 4). Seite 16

17 Kapitel 3 Das Brain-Computer Interface Bei Rollstuhl und Hilfsroboter handelt es sich dann um eine einfache Navigationssoftware, oder einer Software, die verschiedene Möglichkeiten offeriert, und mit einem Gehirn-gesteuerten Cursor bedient wird. Im Falle der Prothesen wird es allerdings noch spannender. Denn hier könnte der, mehr oder weniger, bewusste Teil des Gehirns praktisch umgangen werden und eine Prothese anhand der Bewegungsanweisungen des Gehirns gesteuert werden. Bisher sind Prothesen (vgl. 4.3) noch recht rudimentär zu steuern, die Befehle für die Bewegung werden den verbliebenen Nerven entnommen. Das ist weder einfach noch chirurgisch einfach und erfordert einen hohen Aufwand. Eine BCI-Prothese könnte aber am Ursprung der Bewegung ansetzen und eine intuitive Steuerung eines unechten Arms erlauben, die beinahe an die Steuerung eines echten Arms heranreicht. Diese verschiedenen Anwendungen spiegeln das große mögliche Einsatzgebiet des BCIs nur unzulänglich dar, im Kapitel 4 habe ich mich mit der aktuellen Forschung in diesem Bereich beschäftigt, dort finden sich noch weitere Möglichkeiten zum Einsatz eines Brain-Computer Interfaces Anwendungsbereiche von BCIs in der Zukunft Was sich mit BCIs in der Zukunft noch realisieren lassen wird, ist bisher reine Spekulation. Auf jeden Fall werden die bisherigen Einsatzgebiete (vgl. Kapitel 4) weiter erforscht und auf ein höheres Niveau gebracht werden, sodass es in einiger Zeit möglich sein dürfte, Prothesen in annähernd gleicher Weise wie natürliche Extremitäten zu benutzen. Außerdem ist das Brain-Computer Interface natürlich eine interessante Alternative zu Mulitmedia-Applikationen und Eingabegeräten allgemein. Mit der Wii (der Spielekonsole von Nintendo, die durch eine Art Fernbedienung Bewegungen des Nutzers erfordert) wurde bereits gezeigt, dass alternative Eingabegeräte große Chancen auf dem Markt für sich entdecken können, ein einfaches BCI könnte vielleicht auch für die Gaming- Szene eine lohnende Ergänzung sein. Selbstverständlich besteht für den Massenmarkt weder eine ausreichend hohe Robustheit der Software, noch dürfte es finanziell lohnend sein, da der EEG-Verstärker recht viel kostet. Die Hirnforschung ist aber auf jeden Fall nicht nur aus Sicht der Wissenschaft, sondern auch aus Sicht der Werbung (Stichwort Neuromarketing!) ein interessantes Gebiet, in welchem in den nächsten Jahrzehnten große Fortschritte erzielt werden dürften. Mit einigen Funktionen des menschlichen Gehirns lassen sich die Beziehungen in Mensch-Maschine-Systemen wesentlich verbessern. Beispielsweise ist die Nutzung von Error related Potentials eine Möglichkeit, die Fehlerrate in einem solchen Mensch- Maschine-System zu verringern, BCIs werden uns in der Zukunft also sicher nicht unwesentlich begleiten Gedankenlesen Für ein Brain-Computer Interface ist diese Utopie eigentlich kaum von Interesse, dennoch mischt in der Forschung ständig ein ethischer Faktor mit, da wir hier in kaum erforschtes Gebiet eindringen, und versuchen unser Gehirn zu verstehen, von dem jeder Mensch möchte, dass das Seine sein Eigen bleibt. Das Gehirn ist definitiv (wie übrigens schon im vorigen Kapitel festgestellt) das wichtigste Organ des Menschen und könnte es jemals möglich sein, die Gedanken eines Menschen zu lesen, würde sich dies mit einiger Sicherheit fatal auf unser Selbstverständnis auswirken. Diese Utopie ist allerdings, wie schon in Kapitel 2 festgestellt, aufgrund technischer Hürden, die nicht überwindbar scheinen, bereits auszuschließen. Die unendlich geringe Seite 17

18 Kapitel 3 Das Brain-Computer Interface Größe der Neuronen erfordert eine sehr hohe Auflösung, die physikalisch nicht möglich ist. Die ständig neuen Verknüpfungen machen es uns unmöglich, Rückschlüsse auf komplexe Gedankengänge etc. zu ziehen. Denn unser Gehirn ist keine Maschine, die man mit einem "Code" knacken könnte, sondern ein Organismus, der lebt und sich verändert Mentales vs. motorisches BCI In der Forschung zum Brain-Computer Interface unterscheidet man zwischen mentalem und motorischem BCI, also praktisch zwei verschiedenen Arten des BCIs. Ich habe mich in dieser Arbeit vorrangig mit dem motorischen BCI beschäftigt, bin aber in einigen Gebieten auch in den Bereich des mentalen Brain-Computer Interfaces vorgestoßen. Ein motorisches Brain-Computer Interface zeichnet sich durch die bewusste Steuerung des BCIs aus, beispielsweise durch Bewegungsvorstellung. Ein mentales Brain-Computer Interface hingegen sollte nach Möglichkeit auf den Bewusstseinszustand des Nutzers reagieren, also praktisch mehr oder weniger mental unbewusst gesteuert werden. In diesem Gebiet sind die evozierten Potentiale (vgl ) von größerer Bedeutung, die beispielsweise genutzt werden, um das reflexhafte Erkennen eines Fehlers in einem Mensch-Maschine-Verhältnis zu nutzen und zum Vorteil anzuwenden. Auch der P300 Speller basiert auf einem mentalen Brain-Computer Interface Online/Offline Das BCI bietet eine Möglichkeit zur Interaktion, die nur richtig ausgenutzt werden kann, wenn die Daten in Echtzeit gerechnet und Klassen zugeordnet werden können. Das ideale BCI sollte also online sein und damit auf die "Eingaben" des Nutzers möglichst in Echtzeit reagieren, da Gegenteiliges (vgl , 4.8.1) die Motivation des Nutzers wesentlich sinken lässt und überhaupt sinnvolle Interaktion ausschließt. Offline wäre ein BCI also gar kein echtes BCI mehr, dennoch ist es natürlich möglich, die EEG-Daten nur zur Analyse aufzunehmen und im Nachhinein dann auszuwerten Synchron und asynchrones BCI Es lässt sich zwischen synchronem und asynchronem Brain-Computer Interface unterscheiden. Hier handelt es sich bei dem Ideal, dem asynchronem BCI, um ein Brain- Computer Interface, welches unter Alltagsbedingungen eingesetzt werden kann, also nur bei Bedarf durch den Nutzer bedient wird und ansonsten inaktiv ist. Dies ist bei einem synchronem Brain-Computer Interface nicht der Fall, es ist dort die ganze Zeit in Aktion, eine Tatsache, die bildlich gesprochen einen Rollstuhlfahrer beim Überqueren der Straße ins Schwitzen kommen lassen könnte Training Für das BCI ist es weiterhin von hohem Interesse, auch wenn es einen längeren Prozess darstellt, der für die Versuchsperson nicht gerade angenehm ist: Das Training. Die Trainingsphase im Ablauf einer BCI-Nutzung ist aus zwei Gründen besonders wichtig. Der erste ist, dass der Nutzer des BCIs lernen muss, die Bandpower seines EEGs zu verändern, indem er sich beispielsweise eine Bewegung seiner rechten oder linken Hand vorstellt, wie ich es in Kapitel 5 beschreibe. Seite 18

19 Kapitel 3 Das Brain-Computer Interface Der zweite Grund ist, dass der Computer lernen muss, diese Bewegungen zu erkennen und eine Aktion dazu auszuführen, bzw. es muss ein personenspezifischer Klassifikator gebildet werden, der möglichst robust und mit einer möglichst geringen Fehlerquote arbeitet. Dieser Klassifikator wird aus den Trainingsdaten gewonnen, bei denen der Versuchsperson in sogenannten Trials eine Aktion vorgegeben wird, die er sich dann vorzustellen hat, und die im Prozess der Klassifikation dann aus den Daten zeitlich herausgefiltert und für die Klassifikation genutzt werden kann. Ein Trial ist ein "getriggertes" Zeitintervall der EEG-Daten. Es wird dann aus den EEG-Daten herausgefiltert und als Trial bezeichnet. Das Training ist also sehr wichtig für das Brain-Computer Interface, auch wenn sich verschiedene Probleme gezeigt haben, die im Kapitel 5 am praktischen Beispiel auch noch deutlicher werden. Eine vorgestellte Bewegung der Hand (beispielsweise der Faustschluss oder sogenanntes "Finger-tapping", wiederholtes Tippen des Daumens gegen den kleinen Finger) ruft eine recht hohe mentale Belastung hervor und ist nicht nur ermüdend, sondern gar nicht so einfach vorstellbar. Die Tatsache, dass dies noch vollkommen ohne Feedback passieren muss, verkompliziert diesen Prozess noch zusätzlich, da der Person die Richtigkeit der vorgestellten Bewegung nicht präsentiert werden kann. Auch ist es nicht möglich, von Mustern der ausgeführten Bewegungen auf Muster der vorgestellten Bewegungen zu schließen, diese sind unterschiedlich und dementsprechend nicht mit dem gleichen Klassifikator erfassbar. Ein Training für den Computer "allein" ist also nicht möglich, die Trainingsphase wird immer einige Zeit erfordern. Bedauerlicherweise musste festgestellt werden, dass Patienten mit einer Bewegungsbehinderung (die potentiell interessantesten Patienten für das BCI!) größere Schwierigkeiten in der Trainingsphase hatten, da die Bewegungsvorstellung durch die fehlende Möglichkeit, die Bewegung tatsächlich auszuführen, erschwert wurde [Vanhooydonck et.al.]. Das Training dauert so länger und ist wesentlich aufwändiger. Dieses Problem lässt sich möglicherweise auf den "neuronalen Darwininsmus" zurückführen, wie im Kapitel 2 beschrieben. Nach den Regeln Darwins "verlernen" Neuronen durch Inaktivität ihre Bestimmung und werden unter Umständen für andere Aktionen benutzt. Die Vorstellung würde jedenfalls zumindest wesentlich erschwert. Ein Bild, welches sich nicht nur bei bewegungsbehinderten Menschen auftat, sondern generell bei Menschen, die von außerhalb des Labors kamen. Diese waren nämlich nicht auf die Gegebenheiten eingestimmt. Die Aufgabe war wesentlich schwieriger zu erfassen, da die Hintergründe nicht bekannt waren, und die Daten waren wesentlich schlechter als bei den Forschern. Bisher konnte dies noch nicht ausreichend in einer größeren Feldstudie mit vielen "Neulingen" evaluiert werden. Es sieht jedoch so aus, als müssten die aktuellen Annahmen hinsichtlich der Übertragbarkeit und Ähnlichkeit der Daten verschiedener Personen korrigiert werden. 3.2 Elektrische Impulse im menschlichen Körper Der menschliche Körper wird durch unsere Nerven gesteuert, die, wie wir bereits im Kapitel 2 gesehen haben, Informationen über elektrische Impulse übertragen. Diese elektrischen Impulse lassen sich messen und bilden die Grundlage für ein Brain-Computer Interface. Hier schildere ich die verschiedenen Methoden zur Messung der elektromuskulären und -kortikalen Aktivität. Seite 19

20 Kapitel 3 Das Brain-Computer Interface Elektromyografie Die Elektromyografie (EMG) ist eine Technik, die es erlaubt die elektrische Aktivität der Muskeln zu messen. Dies geschieht mit Hilfe von Elektroden, die auf der Oberfläche der Haut, bzw. der Muskeln aufgelegt werden und das elektrische Potential der Muskeln ermitteln (In der Medizin werden Nadelelektroden benutzt, da für die medizinische Analyse oftmals eine höhere Auflösung vonnöten ist). Die Elektromyografie ist für das Brain-Computer Interface eher von indirekter Bedeutung, da es oftmals genutzt wird, um Vorstellungen zu trainieren oder Programme zu evaluieren. Ein Programm für ein Brain-Computer Interface könnte zum Beispiel zuerst anhand eines EMGs getestet werden, da hier eine richtige Klassifikationsrate von ca. 98 % vorliegt und Fehler des Probanden fürs Erste ausgeschlossen werden können. Außerdem kann mit dem EMG festgestellt werden, ob die Versuchsperson auch nicht "geschummelt" hat, bzw. sich sonstwie bewegt hat. In meinem praktischen Versuch habe ich versucht, meine Trainingseinheiten mit Hilfe des EMGs zu verbessern (vgl ) Elektroocculogramm Die Daten der EEG-Trials werden leider recht oft durch Artefakte von Muskelbewegungen gestört, das heißt verändert. Um dennoch akzeptable Ergebnisse zu erhalten und der Versuchsperson nicht allzu strenge Auflagen hinsichtlich der Bewegungen der Muskeln machen zu müssen, wird bei vielen Versuchen zusätzlich zum EEG und ggf. dem EMG auch das EOG abgenommen, welches die Bewegung der Augenmuskeln aufzeichnet. Wird für ein Trial eine Muskelbewegung durch das EMG oder EOG festgestellt, kann diese entweder aus den Daten herausgerechnet werden oder die entsprechenden Daten werden nicht in den Klassifikationsprozess einbezogen, um einen möglichst robusten sauberen Klassifikator programmieren zu können Elektroencephalografie Im Kapitel 2 habe ich es bereits angeschnitten, das EEG, bzw. Elektroencephalogramm ist eine Monitoring-Technik für die Gehirnaktivität, welches auf Elektroden basiert, die das elektrische Potential auf dem Kortex ermitteln. Dieses ist messbar, da sich die elektrischen postsynaptischen Potentiale der Dendriten der Neuronen knapp unter der Oberfläche des Kortex summieren. Bei der Abnahme des EEG handelt es sich um ein System von bis zu 100 Elektroden, die auf dem Kortex mit Hilfe einer Elektrodenkappe befestigt werden. Diese wird zwischen Nasion und Inion (also Nasenbein und hinterstem Vorsprung des Hinterhauptbeins) befestigt, sodass die Elektroden an einer jeweils in Relation zur Größe des jeweiligen Kopfes gleichen Stelle ansitzen. Diese Einteilung beruht auf einem international gültigen System, dem sogenannten System. Es schreibt auch die Namen der Elektrodenpositionen vor, die den gesamten Kortex abdecken. Besonders relevant sind diese jedoch auf dem Scheitelpunkt des Kopfes, sowie im okzipitalen und frontalen Bereich der Hirnrinde. Hier wird bereits deutlich, was "Gedankenlesen" so unmöglich macht. Diese verhältnismäßig plumpen Elektroden können nur ein ungenaues Durcheinander von Millionen feuernder Neuronen aufnehmen, und sind nur in geringem Maße zu einer Differenzierung fähig. Seite 20

21 Kapitel 3 Das Brain-Computer Interface Abbildung 3.2.1: Elektroden zur Abnahme des EEGs am Kortex Um dieses Problem wenigstens teilweise zu umgehen und um mehr als nur den Kortex aufnehmen zu können, gibt es auch invasive Elektroden, die also im Gehirn eingepflanzt werden. Das ist aber natürlich ein recht heikles Feld und auch nur sinnvoll, wenn es sich bei den Patienten beispielsweise um Menschen mit dem Locked-In-Syndrom handelt, für die in dem BCI die einzige Möglichkeit zur Kommunikation liegt. Implantierte Elektroden können also natürlich bessere Ergebnisse liefern, sind aber ansonsten eine denkbar wenig praktikable Lösung. Abbildung 3.2.2: Elektrodenkappe in der Vorbereitung Seite 21

22 Kapitel 3 Das Brain-Computer Interface Die Elektrodenkappe ist also für die Befestigung der Elektroden zuständig. Um den Kontakt zu verbessern, wird ein Gel an die Elektrode gespritzt und die Leitfähigkeit damit verbessert. Die Signale des EEGs gehen an den Verstärker (manche spezielle Elektrodenkappen besitzen bereits winzige Verstärker in den Befestigungen für die Elektroden und können damit dann anzeigen, ob die Impedanz einer Elektrode niedrig genug ist), der der teuerste Teil der Ausrüstung für ein Brain-Computer Interface ist. Dieser verstärkt die Signale und gibt sie an den Computer weiter, der für die Analyse zuständig ist. Eine weitere Elektrode wird als Referenz (vgl. Abb ) auf der Nase befestigt. Die Ableitung Im Brain-Computer Interface ist die Ableitung des EEGs, welches ich im vorigen Absatz bereits angeschnitten habe, von ausschlaggebender Bedeutung. Ich möchte hier einige technische Details sowie die Grundlagen für die Klassifikation erläutern. 3.3 Das EEG Für das Brain-Computer Interface ist das EEG als Monitoring-Methode das Mittel der Wahl, da es recht einfach abzunehmen ist und relativ gut interpretierbare Ergebnisse in Echtzeit bietet. Wie das aber genau funktioniert, möchte ich hier darstellen Frequenzen EEG-Rohdaten werden in einem aufwändigen Verfahren klassifiziert (vgl. 3.4), die davor durch verschiedene Merkmale bereits geteilt werden. Dabei sind zwei wichtige Faktoren, die überhaupt erst die Unterscheidbarkeit verschiedener Muster ausmachen, die Frequenz und die Amplitude der Wellen. Das heißt, die Zahl der Schwingungen (Hertz, abgekürzt hz steht für die Anzahl der Schwingungen pro Sekunde) und die maximale Amplitude der Wellen (gemessen in µv, Mikrovolt) sind von ausschlaggebender Bedeutung, denn schließlich definieren sie erst die EEG-Wellen. Dabei können verschiedene Frequenzen herausgefiltert werden (vgl ), die gemeinhin unterschiedlichen Bewusstseinszuständen zugeordnet werden und die sogenannte Hauptfrequenzbänder des EEG darstellen. Frequenz- Frequenz- Amplituden- Region des Bewusstseinszustand band bereich bereich in µv stärksten Auftretens Delta Theta Alpha Beta variabel frontal, temporal okzipital, parietal präzentral, frontal Abbildung 3.3.1: Hauptfrequenzbänder des EEGs nach Schandry, 1998 tiefer Schlaf Übergang zum Schlaf wach, entspannt, Augen geschlossen wach, Aktiviertheit Für ein Brain-Computer Interface, welches durch Bewegungsvorstellung gesteuert wird, ist besonders das Alpha-Band von Bedeutung sowie die my-rythmen, welche Teile der Alpha-Wellen sind und sich zwischen My 1 und My 2 unterscheiden lassen. My 1 tritt im unteren Alpha-Bereich auf (8-10 Hz), My 2 im oberen Alpha-Band (10-13 Hz). Die verschiedenen Frequenzbänder weisen unterschiedliche, charakteristische Merkmale auf. Delta-Wellen beispielsweise, welche im Schlaf auftreten, haben eine sehr Seite 22

23 Kapitel 3 Das Brain-Computer Interface Abbildung 3.3.2: Delta (oben) und Beta-Wellen mit einer Aufnahmedauer von einer Sekunde im Vergleich Bild: hohe und gleichmäßige Amplitude. Die Frequenzbänder lassen sich allerdings noch nicht zu 100 Prozent einem Bewusstseinszustand zuordnen, auch wenn sie grob gültig sein dürften. Neben den Delta, Theta, Alpha und Beta-Wellen existieren noch die Gamma-Wellen (im Gesamtbereich von hz) sowie die SCPs. Gamma-Wellen treten bei starker Konzentration auf, ihre Funktion ist aber noch nicht erschöpfend erforscht. Frequenzbänder über dem Bereich der Gamma-Wellen sind bisher noch nicht in größerem Maße erforscht, bzw. bekannt. SCP ist die Abkürzung für "Slow Cortical Potentials", Potentiale, die normalerweise nicht im EEG gemessen, bzw. aus den Daten herausgefiltert werden. Sie finden in einem Bereich von µv statt, sind also sehr groß, und haben eine sehr lange Dauer (teilweise mehrere Sekunden). Sie treten in unterschiedlicher Form (Beispielsweise als "Schlafspindel" in der NREM-Schlafphase) auf, sind aber für ein Brain-Computer Interface von untergeordneter Bedeutung Ereigniskorrelierte Potentiale Ereigniskorrelierte Potentiale (abgekürzt EKP oder auch ERP im Englischen) sind gemittelte Muster in den EEG-Wellen, die entweder evoziert sind (also hervorgerufen Abbildung 3.3.3: EKP der Elektrode Cz über einen Zeitraum von 3 Sekunden Abbildung 3.3.4: Kurve eines einzelnen Trials über 3 Sekunden Seite 23

24 Kapitel 3 Das Brain-Computer Interface Abbildung 3.3.5: Schematische Zeichnung der EKP Bild: durch Wahrnehmungen der Sinne, etc.), oder während der Informationsverarbeitung auftreten. Bei der Verarbeitung von Reizen, bzw. bei kognitiven Prozessen treten im Verlauf der EEG-Wellen typische Muster auf, die in Abb schematisch dargestellt sind. N100 tritt ca. 100ms nach der Präsentation des Stimulus auf (also beispielsweise einer Handlungsanweisung), und findet seinen Ursprung in der Enkodierung des Stimulus, während die Potentiale P200, N200 und P300 für die Speicherung und Verarbeitung der Informationen zuständig sind. Besonders die Bedeutung des Potentials P300 darf nicht unterschätzt werden. Mit dem sogenannten "P300-Speller" konnte eine recht annehmbare Schreibgeschwindigkeit erreicht werden (Bis zu 5 Buchstaben/Minute), indem der Nutzer sich in einer Matrix mit zufälligen Buchstaben auf den gewünschten Buchstaben konzentriert und dessen Vorkommen zählt. Es wird davon ausgegangen, dass diese Potentiale festgelegten neuronalen Strukturen entsprechen, die für die Prozesse (Enkodierung, Speicherung, etc.) aufgerufen werden und dementsprechend immer einen ähnlichen Verlauf der EEG-Wellen erzeugen. Das entspräche im Groben der These, dass der Lernprozess des menschlichen Gehirns auf neuronalen "Verschaltungen" basiert (vgl ). Weitere interessante Potentiale stellen die VEPs (Visual Evoked Potentials) dar. Es ist beispielsweise möglich, anhand der Blinkfrequenz ein Symbol/Buchstabe aus einer Matrix auszuwählen, da die Frequenz spezielle räumlich-zeitliche Muster im EEG hervorruft. Das ist aber nur bei nicht-sehbehinderten Menschen, bzw. Menschen mit voller Kontrolle über die Augenmuskulatur möglich Ereignisbezogene De-/Synchronisation Die Ereignisbezogene Desynchronisation (ERD) ist eine kurz dauernde Abnahme der Amplitude und der Bandpower der EEG-Wellen. Die Neuronen im entsprechenden Areal beginnen weniger synchron zu arbeiten. Seite 24

25 Kapitel 3 Das Brain-Computer Interface Sie tritt sowohl bei visuellen Reizen auf, als auch kurz vor der Bewegungsausführung und während der Planung der Bewegung über dem entsprechenden Gebiet im Motorcortex. Sie kann als eine erhöhte neuronale Aktivität, bzw. Informationsverarbeitung gedeutet werden und ist somit für die Detektion von Bewegungsvorstellung in einem BCI von größerer Bedeutung. Die ERS, Ereignisbezogene Synchronisation ist entsprechend das Gegenteil, eine kurzdauernde Zunahme der Amplituden und Bandpower, und deutet auf eine verringerte Erregbarkeit der entsprechenden Neuronen hin. Dass diese Synchronisation auch problematisch sein kann, wenn die Synchronisation nicht aus der Klassifikation herausgefiltert werden kann, habe ich in Kapitel 5 beschrieben, Abb : ERD für die Elektroden C4 bis CP4 Um die ERD/ERS berechnen zu können, werden die Trials, die durch sog. Trigger (oder auch Auslöser) markiert sind, gefenstert, bzw. zeitlich gewählt für die entsprechende Frequenz gefiltert (hier kommt ein sogenannter Bandpass-Filter zum Einsatz), quadriert und über die erhobene, bzw. eine beliebige (selbstverständlich je mehr, desto besser) Menge der Trials gemittelt. Daraus ergibt sich dann eine ERD-Kurve, die in einer Zeit-Frequenzdarstellung noch besser visualisiert werden kann (vgl. Abb ) Error related Potentials Bei Error related Potentials, also Fehler bezogenen Potentialen, handelt es sich um Potentiale, die im ACC (Anterior Cingulate Cortex) auftreten. Dieser Bereich des Kortex ist eine Art Frühwarnsystem, welches bei Sinnesreizen, die Gefährdung oder Fehlerpotential beinhalten könnten, sofort reagiert und der Person so die Möglichkeit gibt, schnell auf eine falsche Entscheidung und/oder eine Gefährdung zu reagieren. Diese Entscheidung wird durch die Verhaltensänderung bewusst, und das Potential also nicht immer optimal ausgenutzt. Um in einem Ablauf in einem Mensch-Maschine- System Fehlerpotentiale zu reduzieren, wäre es also eine durchaus interessante Möglichkeit, das Frühwarnsystem des menschlichen Gehirns über das EEG zu nutzen und z.b. Notfallmaßnahmen einzuleiten. Seite 25

26 Kapitel 3 Das Brain-Computer Interface Es gibt zwei verschiedene Arten von error related potentials, das sogenannte "response Error Potential", welches bei Fehlern auftritt, die der Nutzer durchführt und sich bei der Durchführung ihrer bewusst wird, und das sogenannte "feedback Error Potential", welches bei der Präsentation eines fehlerhaften Stimulus auftritt. Die Klassifikation In der Klassifikation der Roh-Daten des EEG kann von dem Vorwissen ausgegangen werden, welche jedem Trial eine spezifische Bedeutung, bzw. Aktion zuordnet. Wurde also, wie in meinem Versuch, das EEG für eine Bewegungsvorstellung aufgenommen, und wurde im Training der Versuchsperson jeweils eine Vorstellungsanweisung gegeben, so kann dementsprechend jedes Trial einer Klasse zugeordnet werden. Durch die Merkmalsextraktion geschieht eine Selektion der relevanten Merkmale, die für die Klasse bestimmend sind und in einer Verteilung über mehrere Elektroden abgebildet werden. Dies ist ein Prozess, in dem die Rohdaten durch Vorwissen, beispielsweise anhand des existenten Wissens über die Ereignsbezogene Desynchronisation, von äußerlichen Merkmalen (Schließen der linken Faust, Schließen der rechten Faust), auf EEG-Muster angewendet werden können. Im letzten Schritt des Prozesses wird die Klassifikation, bzw. die Unterscheidung vorgenommen, in der die Verteilungen den Klassen zugeordnet werden. Daraus wird dann ein Klassifikator programmiert, der auch online die EEG-Daten möglichst robust, d.h. fehlerfrei klassifizieren soll. 3.4 Vorverarbeitung Zum Ablauf der Klassifkation gehören drei wesentliche Hauptkomponenten, die Vorverarbeitung, die Merkmalsextraktion und die Klassifikation. In der Vorverarbeitung werden die Roh-Daten der Trials für die folgende Merkmalsextraktion optimiert, bzw. entsprechend gefiltert. Dafür gibt es verschiedene Filter, die ich hier vorstellen möchte Der räumlich/zeitliche Filter Bei Trials handelt es sich um getriggerte zeitliche Teilbereiche (vgl ) der EEG-Daten, grundsätzlich ist also der relevante Zeitraum bereits markiert. Nun muss dieser auf den Zeitraum des entsprechenden ERD/ERS reduziert werden, welches ja bereits vor der Bewegungsausführung und somit während der Bewegungsvorstellung auftritt. Um nicht nur den richtigen Zeitraum, sondern auch die für die motorische Vorstellung zuständigen Areale herauszufiltern, ist außerdem noch ein räumlicher Filter zu nutzen, der die Klassifkation durch die Gewichtung der entsprechenden Elektroden spezifiziert Der FFT-Filter Der FFT-Filter, bzw. die Fast Fourier Transformation dient zur Bestimmung der hauptsächlichen Anteile einer Frequenz und/oder Amplitude in einem Signal, welches die Überlagerung einer Grundschwingung darstellt. Die Fast Fourier Transformation ist eine Spezialform der Diskreten Fourier Transformation. Seite 26

27 Kapitel 3 Das Brain-Computer Interface Durch einen FFT-Filter können also die relevanten Frequenzen gewählt werden, bzw. können die EEG-Signale von einer Zeitomäne in eine Frequenzdomäne transformiert werden Der Laplace-Filter Ein Problem der EEG-Ableitung besteht darin, dass sowohl elektrische Signale von Muskelbewegungen mit aufgenommen werden können, aber auch durch die Leitfähigkeit der Kopfhaut Signale von anderen Orten als dem installierten aufgenommen werden können. Außerdem gibt es Muster, bzw. ein gewisses elektrisches Bereitschaftspotential, welches global auf dem Kortex vorhanden ist. Um diese Faktoren aus den EEG-Daten herauszurechnen, werden für den Laplace-Filter die Werte von vier (schwacher Filter) oder acht (starker Filter) benachbarten Elektroden summiert, durch vier geteilt und von der jeweiligen Elektrode abgezogen. Die entsprechende Formel, beispielsweise für die Elektrode C4 lautet: C4Lap = C 4 1/4 * (FC4 + C2 + CP4 + C6) 1 Es wurden also die vier umgebenden Elektroden gewählt und von der Elektrode subtrahiert. Dadurch ergeben sich für die Elektrode C4 (im Beispiel beschrieben) bessere lokale Werte, da die globalen Signale durch eine entsprechende Mittelung der Werte der umgebenden bestmöglich herausgefiltert wurden. Dieser Laplacian Filter wird entsprechend für jede Elektrode verwandt. 3.5 Merkmalsextraktion In der Merkmalsextraktion werden, wie der Name schon erklärt, die Merkmale der einzelnen Klassen extrahiert. Jede Merkmalsextraktion erfordert verschiedene Charakteristika, die so gewählt werden sollten, dass sie der gewünschten Klassifikation entsprechen. Bei einer EEG-Abnahme von 30 Elektroden mit einer Auflösung von 2 Hz in dem Frequenzband von 8-30 Hz ergeben sich Merkmals(bzw. Feature-)vektoren mit 660 Dimensionen, da dies die Anzahl der Elektroden mal des Frequenzbandes geteilt durch die Auflösung ist. Um nun aus diesem multidimensionalen Raum die relevanten Merkmale herauszufiltern, wird die Merkmalsextraktion eingesetzt. Die Merkmalsextraktion ist also ein Verfahren, welches aus einer Vielzahl von Daten, bzw. Dimensionen der Daten, bzw. Merkmalen, wiederum Merkmale extrahiert. Es handelt sich also praktisch um eine Art Unterkategorie von Merkmalen, die extrahiert werden. Gleichzeitig können aber auch neue erstellt werden, beispielsweise durch eine Mittelung der einzelnen Kanäle. Für die Merkmalsextraktion gibt es verschiedene Verfahren, ich möchte jedoch nur auf das Wichtigste von ihnen eingehen: Common Spatial Patterns Common Spatial Patterns - CSP Common Spatial Patterns reduzieren, vereinfacht gesagt, die Dimensionen der Daten. Sie werden insbesondere auf die Ereignisbezogene Desynchronisation angewendet, da hier die Verursacher der Muster recht klar erforscht sind. Dabei ist das Ziel, für eine Klasse eine möglichst hohe Varianz und für die andere Klasse eine möglichst niedrige Varianz zu erreichen, während die Varianz der beiden Klas- 1 aus "Definition und Realisierung einer 3-Klassen-Steuerung in der Brain-Computer Interaction, Diplomarbeit von Sebastian Welke, 2007 Seite 27

28 Kapitel 3 Das Brain-Computer Interface sen gemeinsam gleich bleibt. Also beispielsweise als Varianz der Klasse 1 (+1), für Klasse 2 (-1) und für beide Klassen (0). Varianz bezeichnet das gemittelte Maß der Differenz der einzelnen Werte vom Mittelwert der Wertemenge. Diese Zielsetzung lässt sich auch als lineares Optimierungsproblem bezeichnen. Um es zu lösen, wird vorerst ein Bandpass-Filter auf die Roh-Daten angewendet, der die relevanten Frequenzen für die erwünschte Aufgabe herausfiltert. Handelt es sich dabei um die Bewegungsvorstellung, ist dies die Alpha- bzw. my-frequenz. Dannach wird die folgende Formel angewendet, die das oben beschriebene lineare Optimierungsproblem lösen soll: Abbildung 3.5.1: var() bezeichnet die Varianz, während w der Filter ist, welcher das lineare Optimierungsproblem lösen, und für Klasse 1 eine möglichst hohe Varianz ergeben soll. Der entsprechende Vektor für die zweite Klasse unterschiede sich darin, dass für w nicht die maximale, sondern die geringste Größe gesucht werden sollte. Abbildung 3.5.2: Merkmalsverteilungen die durch zwei CSP-Patterns gebildet wurden. Bild: Definition und Realisierung einer 3-Klassen-Steuerung in der Brain-Computer Interaction, Diplomarbeit von Sebastian Welke, 2007 Es wird in diesem Verfahren nach einem Vektor w gesucht, der für jede Elektrode ein Gewicht erhält. Die Gewichtung wird mit der entsprechenden Elektrode multipliziert, um einen neuen Kanal zu projizieren, der wiederum mit der Kovarianzmatrix der Kanäle multipliziert wird, sodass das Ergebnis die Varianz entlang w ergibt. Seite 28

29 Kapitel 3 Das Brain-Computer Interface Eine Kovarianzmatrix ist in diesem Falle die Matrix, die die Zusammenhänge der Elektroden zueinander wiedergibt und beispielsweise (in Bezug auf oben genannte Ausgangsposition) aus der Größe von [30x30] bestünde. Das Ergebnis dieser mathematischen Transformationen wären dann Muster, die wie folgt aussehen: Abbildung 3.6.1: Beispielbild mit 6 CSP Patterns 3.6 Klassifikation In der Klassifkation wird, und das ist die hauptsächliche Bedeutung in diesem Teil der gesamten Klassifkation, eine Hyperebene errechnet, welche die beiden Klassen möglichst diskriminativ unterscheidet. (Eigentlich ist dies ein pleonasmós, bedeutet diskriminativ doch unterscheidbar) Ich möchte hier insbesondere auf die Lineare Diskriminanz Analyse eingehen, weil sie mit den Common Spatial Patterns gemeinsam genutzt werden kann Lineare Diskriminanz Analyse Die Lineare Diskriminanz Analyse, abgekürzt LDA, trennt die durch die Merkmalsextraktion extrahierten Klassen durch eine Hyperebene unter der Annahme, dass sie einen gleichsinnigen linearen Zusammenhang besitzen. Als Beispiel für eine Klassifzierung anhand der Linearen Diskriminanz Analyse: Seite 29

30 Kapitel 3 Das Brain-Computer Interface Abbildung 3.6.1: Hyperebene w trennt in diesem Plot Klasse 1 und Klasse 2. Bild: s Quadratische Diskriminanz Analyse Bei der Anwendung der Quadratischen Diskriminanz Analyse wird nicht wie in der Linearen Diskrimanz Analyse angenommen, dass die beiden Klassen einen linear gleichsinnigen Zusammenhang aufweisen, sondern es werden auch mögliche weitere Verteilungen in die Klassifizierung einbezogen. Das verdeutlicht Abbildung 3.6.2, in welcher die Quadratische Diskriminanz Analyse im Vergleich zur Linearen dargestellt wird. Abbildung 3.6.2: LDA und QDA im Vergleich Bild: s Probleme der Klassifikation Bisher sind Brain-Computer Interfaces zwar schon einsatzfähig, wie mein Versuch (vgl. Kapitel 5) beweist, allerdings liegen noch einige große Probleme vor, die größtenteils entweder durch Fehler oder durch mathematische Schwierigkeiten in der Klassifikation verursacht werden Übertragbarkeit Ein großes Problem des Brain-Computer Interface ist, dass EEG-Muster beispielsweise für eine gleiche Bewegungsvorstellung bei verschiedenen Menschen differenziert auftreten. Daher ist ein Brain-Computer Interface niemals einfach übertragbar, es ist im- 1 aus "Definition und Realisierung einer 3-Klassen-Steuerung in der Brain-Computer Interaction, Diplomarbeit von Sebastian Welke, 2007 Seite 30

31 Kapitel 3 Das Brain-Computer Interface mer ein maschinelles Lernen erforderlich, welches dem Computer angewöhnt, spezifische Muster zu erkennen und auszudrücken. Dabei tritt die Schwierigkeit auf, dass echte Bewegungen nicht mit vorgestellten Bewegungen in den EEG-Mustern, bzw. der ERD/ERS, verglichen werden können. Dass erfordert die Bewegungsvorstellung als Vorlage für das Training des Brain-Computer Interfaces, ein Prozedere, das alles andere als angenehm ist und für komplexe BCIs auch entsprechend länger als in meinem Versuch beschrieben, dauert. Ein weiteres Problem in der Übertragbarkeit der BCI-Systeme liegt darin, dass die Systeme meist für körperbehinderte Personen gemacht sind - deren EEG-Muster für Bewegungsvorstellungen aber von denen der Menschen ohne Körperbehinderung signifikant abweichen. In den zu den entsprechenden behinderten Körperteilen analogen Arealen im Gehirn bilden sich nämlich die Neuronenverbände für diese spezifische Funktion zurück, die Bewegungsvorstellung für einen Menschen, der seit 15 Jahren ohne Arme lebt ist wesentlich schwieriger, als für einen Menschen, dem beide Arme noch erhalten sind. Ein recht ähnliches Problem kann übrigens betrachtet werden, schaut man sich die Evaluation von ähnlichen wie in Kapitel 5 beschriebenen BCI-Versuchen in größerer Menge an, wird man recht schnell zu dem Ergebnis kommen, dass die meisten Daten kaum vergleichbar sind, denn sie wurden erhoben bei Menschen, die mit der Thematik und den Anforderungen bestens vertraut waren. In einem entsprechenden Versuch in der TU, in welchen relativ zufällig verschiedene Menschen einbezogen wurden, konnte aufgezeigt werden, dass eine große Wahrscheinlichkeit besteht, dass geringe Klassfikationsfehler nur in bestimmten Gruppen von Menschen vorkommen könnten. Die Übertragbarkeit von BCI-Systemen ist also eine große Frage, für die es bisher im Wesentlichen zwei verschiedene Lösungsansätze gibt. Einerseits ist es nämlich möglich, Potentiale des EEGs bzw. des Gehirns für die Steuerung von BCI-Systemen zu nutzen, die sozusagen eingebaut und in jedem EEG auftauchen (beispielsweise P300 oder VEPs), andererseits ist es natürlich möglich, eine Klassifikationsmethode aufzubauen, die universell ist (wie die vorgestellte) und somit alle Eventualitäten abdecken kann. Meiner Ansicht nach wird die Forschung eher in die zweite Richtung gehen, P300 beispielsweise bietet nicht genug Potential, um in einem BCI für alle mögliche Formen von Behinderungen universell eingesetzt zu werden, auch sind die Möglichkeiten eines P300-BCIs eher beschränkt Maximale Anzahl von Klassen Bei der Definition des idealen Brain-Computer Interfaces sollte die Frage gestellt werden, wie viele Klassen maximal anzuwenden sinnvoll wäre. Denn ist die Anzahl der Klassen zu gering, können nur rudimentäre, oder Handlungsabläufe die eine mehrfache Selektion erforden (vgl. Hex-o-spell) ausgeführt werden. Dies ist bei zwei Klassen eigentlich bereits der Fall, auch wenn sich durch eine intelligente Kombination von möglichen Selektionen eine durchaus komplexere Anwendung erstellen ließe. Auf der anderen Seite ist eine zu hohe Anzahl von Klassen aus zwei wesentlichen Gründen nicht unbedingt zu wählen. Der erste ist die rein mathematische Schwierigkeit, mehr als drei Klassen zu klassifizieren [Welke et.al.], der zweite ist der sogenannte "mental overload", also die Problematik, die sich dem Nutzer stellt, soll er sich mehr als zwei, drei, oder vielleicht sogar vier verschiedene Bewegungen zu dem jeweils angebrachten Zeitpunkt und in der richtigen Art und Weise vorstellen. Ich kann durch den in Kapitel 5 beschriebenen Versuch berichten, dass bereits zwei verschiedene Bewe- Seite 31

32 Kapitel 3 Das Brain-Computer Interface gungsvorstellungen ein hohes Maß an Konzentration erfordern, vier würden uns mental so stark belasten, dass der Vorteil gegenüber einem Selektionsverfahren mit zwei verschiedenen Klassen wesentlich sinken würde. Ich gehe also eher davon aus, dass in Zukunft, um die genannten Probleme zu reduzieren, noch mehr im Bereich Feedback getan wird, und maximal 3-4 Klassen für die Klassifikation genutzt werden. Seite 32

33 4. Aktuelle Forschung im Bereich des Brain-Computer Interface Ein Überblick über die aktuelle Forschung im Bereich Brain-Computer Interfaces, verdeutlicht am europäischen Projekt MAIA MAIA MAIA ist ein europaweiter Zusammenschluss von Forschern zum Brain Computer Interface. Ziel dieser Forschergruppe ist es, einen Roboter, bzw. eine Maschine durch ein nicht-invasives Brain Computer Interface in Echtzeit zu steuern. Ich möchte hier einen kleinen Überblick über die Forschung in diesem Bereich, speziell anhand des MAIA-Projektes, darstellen und erläutern. 4.1 Roboter Roboter können für Menschen, die verletzungs- oder krankheitsbedingt Gliedmaßen oder den gesamten Körper nicht bewegen können, einen Ersatz darstellen. Sie können einfache, aber auch komplexere Aufgaben für den Nutzer übernehmen, und ihr/ihm das Leben erleichtern. Ich möchte hier das Forschungsprojekt "FRIEND II" vorstellen, um einen Einblick in diesen Bereich zu gewährleisten FRIEND II Der Roboter FRIEND II ist ein Rehabilitations-Roboter [Lüth et. al.]. Er ist mit einem Roboterarm ausgestattet, welcher durch Distanzsensoren sowie einer Kamera mit der Umwelt interagieren kann. Diese Interaktion kann auf zwei verschiedenen Leveln aufbauen, sowohl einem sehr abstrakten, oder auch auf einer exakten Handlungsanweisung. Will die Person beispielsweise aus einem Becher etwas Wasser trinken, dass in einer Flasche daneben bereitsteht, ist der Arm für diese exakte Aufgabe zuständig. Um eine Interaktion mit dem System möglich zu machen, und bei inkorrekt ablaufenden Handlungen des Roboters eingreifen zu können, wurde in das System ein Brain-Computer Interface integriert. Damit ist es dem Nutzer dann möglich, im Bedarfsfalle, wenn das Glas beispielsweise umkippt, oder der Standpunkt des Glases nicht richtig erkannt wurde, korrigierend einzugreifen. 4.2 Rollstühle Rollstühle sind ein wichtiges Anwendungsgebiet für das Brain Computer Interface, da sie für viele Menschen, beispielsweise mit dem sogenannten Locked-In Syndrom (vgl ), eine gewisse Unabhängigkeit von ihrer Außenwelt garantieren können. Dabei stellen sich unterschiedliche Probleme. So ist zum Beispiel ein nur vom Menschen gesteuerter Rollstuhl unter Umständen nicht sehr sicher. Um eine sichere Führung durch Seite 33

34 Kapitel 4 Aktuelle BCI-Forschung den Raum zu ermöglichen, ist es unerlässlich ein robustes BCI mit einer gleichfalls robusten Klassifikationsmethode aufzubauen Rollstühle steuern Für die Rollstuhlsteuerung braucht es mindestens drei verschiedene Inputs, um eine sinnvolle Steuerung im Raum zu ermöglichen. Mit den Eingabemodi Fahren/Stoppen, Rechts und Links ließe sich ein Rollstuhl bereits ausreichend steuern, und auch komplexere Aufgaben wie das Umfahren eines Gegenstandes werden möglich. Es empfielt sich für die Ausführung dieser Aufgabe also ein 3-Klassen Brain Computer Interface, basierend auf Motor Imagery (vgl ), also vorgestellten Bewegungen der Extremitäten. Eine solche 3-Klassen Steuerung hat eine Forschergruppe aus Großbritannien [Geng et.al.] im Jahr 2007 realisiert. Es handelt sich dabei um ein System, welches primär zwischen zwei Modi entscheidet, dem NC (No Control) und IC (In Control) Mode. Mit diesem Controller soll Fehlerpotential eliminiert werden, indem eine Unterscheidung zwischen AN und AUS geschieht. Mit Hilfe dieser drei Klassen kann der Rollstuhl dann, etwas schwerfällig zwar, aber trotzdem recht flexibel gesteuert werden. Die Klassifikation erfolgt dabei durch drei "one-vs-rest"- LDA (vgl ) - Klassifikatoren Rollstuhlassistenten Um das Fahren mit einem BCI-gesteuerten Rollstuhl so sicher und einfach als möglich zu gestalten, wurden verschiedene Assistenten entwickelt, die, gemeinsam mit Sensoren wie z.b. Distanzmessern, die Fahrt sicher geleiten. Wie solche Systeme aussehen können zeigt beispielsweise der Rollstuhl Sharioto der Katholischen Universität Leuven, Belgien [Vanhooydonek et.al.], welcher mit verschiedenen Sensoren zur Messung von Distanzen ausgerüstet ist, wie beispielsweise Infrarot und Ultraschall. Diese Sensoren interagieren mit einem Assistenten, der dem BCI-Nutzer helfend zur Seite steht. Dabei handelt es sich um eine sogenannte geteillte Kontrolle. Der Assistent zur Steuerung des Rollstuhls kombiniert die Informationen der Sensoren mit den Eingaben des Nutzers, um den sichersten Weg für den Rollstuhl mit seinem Fahrer zu finden und Hindernisse zu vermeiden [Vanhooydonck et.al. 2 ]. Dabei können allerdings verschiedene Probleme auftreten, so ist es bei dieser Methode oftmals nötig, einen Modus operandi festzulegen, beispielsweise "Flur", "Tisch", etc. was mit den beschränkten Fähigkeiten der Nutzer auf verschiedenen Bereichen kollidiert. Weiterhin ist dieses System kaum übertragbar und wenig auf den individuellen Benutzer eingestellt. Um dieses Problem zu umgehen, wurde eine Software zur "adaptable user intention estimation" entwickelt, für die persönliche Profile festgelegt werden. Mit dieser Software wäre es also möglich, den Assistenten an persönliche Fähigkeiten und Fahrerfahrung des Nutzers anzupassen und zu individualisieren. Die teilweise beschränkten Fähigkeiten des Benutzers können sich auch dahingehend zeigen, dass ihm bestimmte Bewegungen des Rollstuhls nicht möglich wären. Diese Unfähigkeit zu beheben, hat sich eine weitere belgische Forschergruppe [Hüntemann et.al.] zur Aufgabe gemacht. Basierend auf dem Bayesschen Wahrscheinlichkeitsbegriff (dieser unterscheidet sich von gängigen Wahrscheinlichkeitstheorien in erster Linie dadurch, dass er es möglich macht, auch unzufällige Konstanten zu berechnen) werden hier während des Fahrens die machbaren Pläne des Nutzers zu allen Absichten des Nutzers berechnet. Um eine bestimmte Position in einer gewissen Geschwindigkeit zu erreichen, konstruiert der Be- Seite 34

35 Kapitel 4 Aktuelle BCI-Forschung nutzer einen Fahrtweg. Dieser wird mit dem Bayesschen Wahrscheinlichkeitsbegriff ständig neu auf Wahrscheinlichkeit berechnet. Derjenige Plan mit der höchsten Wahrscheinlichkeit (MAP) wird für die sicherste Navigation gehalten, berücksichtigend der spezifischen Unfähigkeiten des Fahrers und dann in Fahrverhalten umgesetzt. Bei möglicherweise auftretenden Unvereinbarkeiten zwischen den Eingaben des Fahreres und der MAP wird in Echtzeit der Kontrollgrad berechnet, der dem Nutzer verliehen werden kann, und in einem Abwägungsprozess aufgelöst wird. Durch diese Studie konnte gezeigt werden, dass es möglich ist, mit neuen Techniken auch Bereiche zu erkunden, die eingeschränkten Benutzern verschlossen waren, und es möglich ist, durch intelligente Controller und geteilte Kontrolle eine sichere Fahrweise zu gewährleisten. Auch im Bereich des Feedbacks konnten Fortschritte erzielt werden, es handelt sich hier um eine Problematik, die im gesamten Bereich des Brain Computer Interfaces auftritt (vgl. 4.5). Bei Rollstühlen stellt sich die Problematik, dass der Nutzer nur durch indirektes und zeitlich verzögertes Feedback über die Gewohnheiten und Entscheidungen des assistierenden Systems informiert wird. Das heißt, bei der Steuerung eines Rollstuhls kann der Fahrer nur durch die Bewegung folgern, welche Entscheidungen der Controller zusätzlich getroffen hat, und auch diese treffen oftmals verzögert ein, da die Geschwindigkeit eines solchen Rollstuhls generell äußerst gering ist. Um diese Problematik zu lösen, entwickelte eine belgische Gruppe um G. Vanacker 2007 ein Force-Feedback Joystick (als Force Feedback wird eine Technik verwendet, die insbesondere bei Eingabegeräten für Computerspiele zur Anwendung kommt, die Rückmeldung wird bei einem solchen Gerät haptisch, also z.b. durch Vibrieren erbracht), welcher zusätzlich zum visuellen Feedback haptische Rückmeldungen über eine gemeinsame virtuelle Umgebung sowohl für Nutzer als auch Computer ermöglicht. Die Resultate dieser Studie bewiesen, dass ein solches Feedback-Gerät das Fahrerleben verbessern kann. 4.3 Prothesen Herkömmliche Prothesen, die nicht nur kosmetische Funktionen erfüllen sollen, sind ein unkomfortabler und mit einer recht hohen Fehlerrate arbeitender Ersatz. Um Armbewegungen und auch Greifen zu ermöglichen, sind diese Prothesen an den Armstumpf oder an die Schulter angepasst, und bewegen sich zu Bewegungen der Schulter/Armstumpf entsprechend. Der sogenannte Sauerbruch-Arm ist eine vom Chirurgen Sauerbruch entwickelte Prothese, die einen Kanal erfordert, der in den verbliebenen Armstumpf die Einführung eines Bolzens ermöglicht, welcher wiederum die Bewegungen der Muskulatur auf die Prothese überträgt, bzw. an verbliebenen Nervenenden ansetzt. Diese Lösungen sind alles andere als ideal, sie sehen weder besonders gut aus, noch funktionieren sie perfekt, und lassen sich nicht gut kontrollieren. Sie bieten also einen äußerst geringen Ersatz für einen echten Arm oder eine echte Hand. Auch bei SCI (Spinal Cord Injury - Rückenmarkverletzung) kann zu einem Verlust der motorischen Fähigkeiten führen. Eine Lösung ist auch hier nur zu erzielen, wenn noch eine Funktion des Ellbogens oder der Schulter erhalten geblieben ist. Diesen Misstand kann die Forschung im Bereich des Brain Computer Interfaces zwar noch nicht völlig beheben, aber schon weit voranbringen, indem die Befehle für die Bewegung der Prothese daher genommen werden, wo sie herkommen: aus dem Gehirn. Seite 35

36 Kapitel 4 Aktuelle BCI-Forschung Neuroprothesen Eine italienische Forschergruppe [P. Dario, et.al.] beschäftigte sich seit einigen Jahren intensiv mit Prothesen in Verbindung mit dem Brain Computer Interface. In die Entwicklung dieser Prothesen spielt die Bionik herein, der Versuch, eine möglichst realitätstreue, menschenähnliche Hand zu konstruieren. Bei der Hand der Gruppe um Dario handelt es sich beispielsweise um eine dreifingrige Hand, die durch 4 Motoren bedient wird. Für jeden Finger, bzw. das Krümmen der Finger ist ein Motor zuständig, ein vierter für das Abspreizen des Daumens, um präzisere Griffe zu ermöglichen. Um die natürliche Steuerung der Hand zu ermöglichen, wurde die elektrische Aktivität der efferenten (vom Gehirn wegführend) Nerven in Befehle für den ausführenden Controller der Motoren zur Bewegung der Hand umgesetzt. Die Steuerung ist also vollkommen frei von Anstrengungen oder Vorstellungen von bestimmten Bewegungen, wie es im BCI des Öfteren der Fall ist, und ähnelt der Bewegungsausführung einer echten Hand. Um dies zu erreichen, wurden weitere Sensoren installiert, die die afferenten (zum Gehirn führende) Nerven stimulieren, und so das Erleben einer echten, nicht künstlichen Hand simulieren DOF - Degree of Freedom Als DOF - Freiheitsgrad wird ein Mitglied einer Gruppe von Parametern, die ein System beschreiben bzw. bestimmen, bezeichnet. Ein Problem bei der Steuerung von Neuroprothesen liegt darin, dass bei einer komplizierten Prothese, welche über verschiedene Parameter gesteuert wird, diese Parameter über das BCI spezifiziert werden müssen. Es liegt also ein Bedarf an einer Vielzahl von Informationen vor, die noch nicht vollständig klassifizierbar sind. Bisher konnten mit einem BCI nur 2-3 DOFs erreicht werden. [Tsoli et.al.] beschäftigten sich mit diesem Problem und entwarfen einen "Teilraum", welcher zweidimensional die möglichen Handposen aufzeigen soll. Über verschiedene Trainingsphasen werden Handbewegungen und -posen in hoher Qualität aufgezeichnet, auf 2D reduziert, und in eine Grafik umgewandelt. Auf dieser kann der Nutzer einen Punkt anklicken, und damit eine bestimmte Pose der Hand bewirken. Durch unmittelbares visuelles Feedback lässt sich damit eine Hand relativ intuitiv und mit einem hohen DOF steuern. Um dieses System mit dem BCI zu verknüpfen, wäre nur eine Cursor-Implementierung nötig, und so ließe sich mit dem Minimum an Inputs (2) ein Maximum an DOF erreichen. Um das System sinnvoll nutzen zu können, wäre dann allerdings immer ein Bildschirm für das visuelle Feedback vonnöten, und die Hand somit relativ schwierig zu bedienen BCI-nutzbare Potentiale für die Prothesensteuerung Für die motorische Steuerung unseres Körpers ist im Gehirn die Primär-motorische Rinde zuständig, in der Abkürzung auch M1 genannt. Auf ihr lässt sich der menschliche Körper in den Funktionen wiedererkennen. Unterschiedliche Steuerungsbereiche sind dort nämlich wie auch auf dem Körper in einem sogenannten Homunculus (vgl ) angeordnet, unterscheiden sich jedoch innerhalb dieses Homunculus in der Größe, da einige Bereiche des Körpers (beispielsweise die Hand) größere motorische Feinabstimmungen erfordern, als andere (beispielsweise der Rumpf). Auch das Areal F5, vorderer Bereich der Prämotorischen Rinde, ist für die Erkennung von geplanten Handbewegungen im BCI sehr nützlich. Dieser Bereich spezifiziert nämlich weniger die einzelnen Bewegungen der Finger zur Erreichung einer Endpose, als dass er diese Endpose definiert. Seite 36

37 Kapitel 4 Aktuelle BCI-Forschung Dieser Bereich könnte ein hohes Potential für ein Brain Computer Interface bieten [Carpaneto et.al.], genau wie ein Areal auf dem Parietallappen (AIP - Anterior Intraparietal Area), welcher in der Bewegungsabstimmung mit F5 interagiert. Nach Versuchen an Makaken (Unterfamilie der Backentaschenaffen, z.b. Rhesusaffen, gerne für Experimente als Pendanten zum Menschen genutzt) konnte festgestellt werden, dass diese beiden Bereiche (F5 und der AIP) zur Implantation von Elektroden zur Steuerung von BMIs (Brain-Machine Interface), geeignet wären [H. Scherberger]. 4.4 BCI-gesteuerte Programme Jede Anwendung des BCI stellt praktisch eine Applikation dar, egal ob damit dann ein Rollstuhl oder ein Roboter gesteuert wird. Dennoch gibt es natürlich auch Programme für den Computer, die verschiedene Zwecke erfüllen, und den Nutzern einen intuitiveren Zugang zum Computer ermöglichen sollen. Einige Anwendungsmöglichkeiten möchte ich hier vorstellen Speller Als Speller bezeichnet man Programme, die über ein Brain-Computer Interface das Schreiben von Text ermöglichen. Solche Programme sind von hohem Interesse für Patienten mit dem sogeannten Locked-In-Syndrom, ein Syndrom welches sich durch den völligen Verlust sämtlicher Kommunikationsmöglichkeiten auszeichnet. Es ist den Betroffenen weder möglich, sich mit Bewegungen oder mit Sprache auszudrücken, die letzte manchmal verbleibende Möglichkeit stellen Augenbewegungen dar, und wenn auch die wegfallen, bleibt das Brain Computer Interface die einzige Möglichkeit. Der Patient bleibt bei dieser Krankheit jedoch bei völligem Bewusstsein, es ist ihm möglich, seine Außenwelt zu verstehen, kann sich aber rein gar nicht äußern. Das führt oftmals zu starken Depressionen und psychischen Problemen, insbesondere in der Vergangenheit, wo dieses Syndrom noch nicht medizinisch bekannt war, hatten Patienten mit dem Locked-In-Syndrom keine Hoffnungen auf Besserung oder Veränderung der Lage. Heute stellt das Brain Computer Interface eine Möglichkeit dar, diesen Patienten wieder Zugang zur Außenwelt zu bieten. Ein Speller kann hier von großem Wert sein, da hiermit eine Verständigung ermöglicht wird Hex-o-Spell Hex-o-Spell ist ein Speller, der von einer Forschergruppe aus Berlin und Glasgow entwickelt wurde, und im Vergleich zu bisher gängigen Spellern eine erstaunlich hohe Geschwindigkeit erreichen kann. Der Speller beruht auf einem 3-Klassen BCI und Bewegungsvorstellung. Gängige Speller beruhen oftmals auf einem System, das in etwa zwei Spalten darstellt, die mit einem Befehl durchgescrollt werden können, bis der Nutzer den gewünschten Buchstaben erreicht. Mit rechts/links kann der Nutzer dann auswählen, welchen Buchstaben er eintippen möchte. Dieser Weg ist recht umständlich, da unter Umständen mehr als 13 Eingaben getätigt werden müssten, um zum gewünschten Buchstaben zu kommen. Träte dann ein Fehler auf, vertippte sich z.b der Nutzer, müsste er die gesamte Liste ein zweites Mal durchscrollen. Um dies zu vermeiden wurde Hex-o-Spell[Blankertz et.al.] kreiert. Dieses beruht, wie der Name schon sagt, auf sechs kreisförmig angeordneten Sechsecken. Seite 37

38 Kapitel 4 Aktuelle BCI-Forschung In jedem einzelnen dieser Sechsecke stehen fünf Buchstaben und eine Rückschritt- Taste, welche es ermöglicht, bei einem auftretenden Fehler wieder zurück ins "Hauptmenü" zu kommen. Möchte der Nutzer nun einen Buchstaben eintippen, wählt er aus dem Hauptmenü mit einer vorgestellten rechten Handbewegung das Sechseck aus, indem der Buchstabe enthalten ist, und bestätigt mit einer vorgestellten Fußbewegung. Im Sechseck wiederholt sich dieser Vorgang, bis der Buchstabe erreicht und bestätigt ist. Wurde ein Buchstabe falsch eingegeben, ist es möglich, diesen mit der Taste "<" zu löschen. Um die mögliche Geschwindigkeit der Eingabe zu erhöhen, wurde Hex-o-Spell um eine intelligente Funktion erweitert, die aus den eingegebenen Buchstaben errechnet, welche Buchstaben mit der höchsten Wahrscheinlichkeit als nächstes gebraucht werden. Daraufhin ordnet Hex-o-Spell in einem Rechteck, welches durch den Nutzer ausgewählt wurde, die Buchstaben nach Wahrscheinlichkeit an, so dass oftmals kein langes Suchen vonnöten ist, sondern der Buchstabe gleich als erstes ausgewählt werden kann. Mit diesem System war es in einem Online-Test unter "Extrem"-Bedingungen (CeBIT: Ablenkungen durch Geräusche, Stresssituation durch eine TV-Aufzeichnung und Besuch von Würdenträgern, geringe Luftfeuchtigkeit) möglich, dass eine Geschwindigkeit von durchschnittlich über 5 Buchstaben/Minute erreicht werden konnte. (Die höchste Geschwindigkeit mit Hex-o-Spell liegt bis jetzt bei 7,6 Buchstaben/Minute, andere Speller schaffen 2-3 Buchstaben/Minute) Bei dieser Zahl ist zu beachten, dass sie ohne Fehler erreicht wurde, bei falsch getippten Buchstaben mussten die Testpersonen den Fehler mit der Löschtaste rückgängig machen und den Vorgang wiederholen. Das Projekt Hex-o-Spell ist mit diesem Ergebnis eines der besten System zum Eingeben von Text über ein Brain-Computer Interface P300 Die Eingabeoberfläche von Hex-o-spell Bild: [Blankertz et.al.] P300 ist ein Potential, welches des öfteren für Speller genutzt wird, aber auch andere Funktionen in einem Brain-Computer-Interface erfüllen kann. Es gehört zu den sogenannten evozierten Potentialen, es handelt sich dabei um eine elektrische positive Welle, die in einem EEG ca. 300 ms nach dem Auftreten eines abweichenden Stimuli klassifiziert werden kann. Dieses Potential habe ich bereits in vorgestellt, mit ihm konnten bereits Applikationen umgesetzt werden, wie den P300-Speller. Bei diesem handelt es sich um eine Tabelle von 6 Spalten und 6 Reihen, in welchem zufällig Buchstaben aufleuchten. Erkennt der Nutzer den gewünschten Buchstaben, wird P300 evoziert und der Buchstabe ausgewählt. Mit diesem System war bisher jedoch auch nur eine Geschwindigkeit von 6 Buchstaben/Minute zu erreichen, es ist jedoch ohne Trainingsphase nutzbar. Seite 38

39 Kapitel 4 Aktuelle BCI-Forschung Allgemeines Jedes Brain-Computer-Interface, sei es für einen Roboter, einen Rollstuhl oder einen Computer entwickelt, muss gewisse Probleme bewältigen, die immer wieder auftreten. Welche Lösungen und Ergebnisse Forscher im Projekt MAIA aufzeigen konnten, möchte ich hier beschreiben. 4.5 Feedback Ein solides und schnelles Feedback-System für ein Brain-Computer-Interface bringt verschiedene Schwierigkeiten mit sich. Beispielsweise ist (vgl ) ein visuelles Feedback beim Steuern eines Rollstuhls oftmals recht langsam und nicht sehr präzise, da es nur indirekt erfolgt. Doch gibt es in der Forschung auch andere Gestaltungsmöglichkeiten eines Feedbacksystems, einige habe ich bereits vorgestellt, andere möchte ich nun vorstellen Visuelles Feedback Alternativen zu einem rein visuellen Feedback stellen das auditive, das haptische, sowie Kombinationen dieser Feedback-Arten dar. Tatsächlich scheint das visuelle Feedback aber bisher noch das Erprobteste mit den besten Resultaten zu sein. So konnte in einem Test mit auditivem, visuellen und haptischen Feedback [Perrin et.al.] nachgewiesen werden, dass visuelles Feedback in der Kombination Quantität - Qualität klar vorne liegt. Auditives Feedback war zwar geringfügig akkurater, dafür konnte jedoch visuelles Feedback auf dem zeitlichen Sektor stark punkten. Beispiele für ein viuselles Feedback sind einmal real eintretende Aktionen (Rollstuhlsteuerung, Buchstabeneingabe), als auch beispielsweise ein Balken auf einem Bildschirm, der sich in eine Richtung bewegt. So könnte beispielsweise ein solcher Balken für einen Rollstuhl entwickelt werden, der mit einem größeren Drehwinkel eine Bewegung schneller sichtbar macht, und bei Bestätigung der angezeigten Bewegung diese durchführt Auditives Feedback Besonders für Kranke, die zusätzlich noch blind sind, ist ein auditives Feedback der einzige Weg. Ein solches kann beispielsweise Töne verschiedener Höhen wiedergeben, die sich per BCI verändern lassen, und so eine Steuerung ermöglichen. Genauso könnte natürlich ein Sprachassistent die Bedienung erleichtern, ein Speller wäre für diesen Zweck äußerst geeignet. Ein Auditives Feedback erfordert zwar eine längere Antwortszeit, kann aber durch Training auf ein annährend gleiches Niveau wie das des Visuellen Feedbacks gebracht werden [Nijboer et.al.] Taktiles Feedback Mit der taktilen Wahrnehmung können wir Druck, Berührungen und Vibrationen auf der Haut wahrnehmen, eine Tatsache, die sich für ein Feedback sehr gut ausbeuten lässt. Zu diesem Zwecke wurden haptische Feedbacksyteme (vibrotactile feedback devices) entwickelt [Aloise, et.al.], vergleichbar mit Lautsprechern. Ein sogenannter "contactor" wird gegen die Haut und zurück gestoßen und macht damit Vibrationen spürbar. Mit ei- Seite 39

40 Kapitel 4 Aktuelle BCI-Forschung nem einzigen dieser Geräte lassen sich bereits verschiedene Stimuli wiederspiegeln, wie z.b. durch Intensität, Dauer, Frequenz und räumliche Orientierung. Versuchspersonen wurden acht dieser Taktoren, zu einem Halbkreis angeordnet auf die Schulter gesetzt und können so den Nutzern Feedback geben. Nachteilig auswirken können sich unter Umständen die Tatsachen, dass taktiles Feedback z.t. möglicher Weise mit vorgestellten Bewegungen kollidiert und an falschen Stellen Unbehagen auslösen kann. Verglichen mit visuellem Feedback ließ sich zwar feststellen, dass taktiles Feedback weniger schnell zu erlernen ist, in der Antwortszeit etwas mehr benötigt und eine gewisse Trainingszeit erfordert [Kauhanen et.al.]. Gleichzeitig war jedoch die korrekte Anzahl der auf taktiles Feedback gegebenen Antworten im Vergleich zum Visuellen Feedback geringfügig höher und die Anzahl der falschen Antworten geringer [Aloise et.al.2]. Das taktile Feedback stellt also eine Alternative zu dem visuellen dar, insbesondere für sehbehinderte Patienten. Im Gegensatz zu einem auditiven bietet das taktile Feedback nämlich wesentlich mehr Ausdrucksmöglichkeiten Kombinationen Kombinationen von Feedback-Arten können sehr nützlich sein, wie wir bereits (vgl ) sehen konnten. Dennoch sind nicht alle Kombinationen sinnvoll. Mehrere Feedback-Arten können zu einer Reizüberlastung führen, und dem Nutzer damit mehr schaden als dienen [Lehembre et.al.]. Eine Kombination aus visuellem und auditivem Feedback wird damit wohl kaum eine Chance haben Error related Potentials Error related Potentials (vgl ) sind eine interessante Möglichkeit, die Fehler in einem Mensch-Maschine-System zu minimieren. In einer betreffenden Studie traten sowohl bei Versuchen mit visuellem, als auch mit taktilem Feedback bei allen Teilnehmern auf. Ausgenommen bei einer Person konnte kein ErrrP erkannt werden. Die ErrrP bei taktilem Feedback zeichneten sich durch niedrigere Amplituden und variablere Potentiale der Komponenten aus [Tocci et.al.] Fazit Visuelles Feedback ist im Bereich der BCI-Forschung immer noch "state of the art". Dennoch erfüllt es nicht alle erforderlichen Eigenschaften, insbesondere da es oftmals die Konzentration des Nutzers auf dem visuellen Kanal erfordert, was bei der Steuerung eines Rollstuhls oftmals mit einem Laptop verbunden und daher hinderlich ist. Die beschriebene Alternative taktiles Feedback scheint da gerade richtig zu kommen, allerdings ist dieses Feedback bisher noch nicht ausreichend getestet worden, um als stabil gelten zu können. Dennoch deutet vieles auf eine verstärkte Nutzung des taktilen Feedbacks in den nächsten Jahren hin. Seite 40

41 Kapitel 4 Aktuelle BCI-Forschung 4.6 Training Nur wenige Brain-Computer Interfaces lassen sich ohne Training durch den Anwender benutzen. Um ein BCI-System sicher bedienen zu können, ist es notwendig, dass Erfahrungen gemacht und die Fähigkeit zur Bedienung eines Brain-Computer Interfaces trainiert wird Trainingsablauf Ein direkter Einstieg in eine BCI-Steuerung, beispielsweise eines Rollstuhls mit Hilfe von vorgestellten Bewegungen, ist oftmals weniger sinnvoll, als ein gut aufgebauter Trainingsablauf. In einem Versuch zu diesem Thema wurde ein Beispiel-Trainingsablauf entworfen [Bufalari et.al.], der dem Nutzer beibringt, seine Beta oder my- Wellen (vgl ) seines EEGs durch Vorstellung von Bewegungen zu beeinflussen. Schritt 1 (3-10 Trainingseinheiten): Den Teilnehmern wurde (davon vier Tetraplegie-Patienten, s. Seite x.) ein Mauszeiger auf einem Bildschirm gezeigt, der sich, je nach ihren vorgestellten einfachen Hand- oder Fußbewegungen, eindimensional bewegte. Versuchspersonen, die gut abschnitten, hatten daraufhin Aufgaben mit zweidimensionaler Cursorbewegung zu bewältigen. Schritt 2 (2-3 Trainingseinheiten): Im zweiten Schritt wurde zu dem visuellen Feedback das taktile hinzugefügt, sodass die Versuchspersonen den Zusammenhang zwischen diesen Feedback-Arten kennenlernen konnten. Dann wurde das Feedback auf das taktile reduziert, und die Versuchspersonen aufgefordert, anhand des taktilen Feedbacks den Cursor zu steuern. Schritt 3: Im dritten Schritt konnten die Personen dann den virtuellen Rollstuhl in einer simulierten Welt steuern, indem sie eine der vier Richtungen mit dem Cursor markierten. Ob dieser Trainingsablauf der beste ist, bleibe dahingestellt. Es scheint jedoch auf jeden Fall notwendig, einen standardisierten Trainingsablauf zu finden, welcher die Nutzer auf die Anforderungen im täglichen Gebrauch einstellt und ihn "Modulation" seines EEG-Musters lehrt Potentiale die kein Training benötigen Manche BCI-Muster brauchen kaum oder kein Training, da sie sozusagen mit den "built-in"-funktionen des Gehirns arbeiten. Eines dieser Potentiale ist P300 (vgl ), eine positive Welle, die nach einem Reiz auftritt Klassen Brain-Computer Interfaces mit Bewegungsvorstellung? Viele Brain-Computer Interfaces werden heutzutage anhand von Bewegungsvortellungen gesteuert. Diese lassen sich recht simpel aus den EEG-Daten extrahieren, und somit für eine Steuerung nutzen. Eine ultimative Lösung ist das aber noch nicht. Schließlich mündet das bei der Bedienung in ein ständiges "mentales Gefuchtel", was den Benutzer ermüden kann, da es oftmals sehr viel Konzentration erfordert. Seite 41

42 Kapitel 4 Aktuelle BCI-Forschung Bewegungsvorstellung Für die Steuerung eines BCIs waren bisher insbesondere drei verschiedene Bewegungen zuständig, rechte Hand / linke Hand / Fuß. Um diese Bandbreite intuitiver zu gestalten und etwas einzuschränken, konnte eine weitere Bewegung mit den Händen gefunden werden, deren Merkmalsextraktion recht einfach ist [Welke et.al.]. Es handelt sich dabei um eine vorgestelllte Bewegung der Hände umeinander. Die Extraktion dieser Bewegung ist robust, zudem wäre sie auch relativ intuitiv einsetzbar, beispielsweise für Scrolling Steuerung ohne Bewegungsvorstellung - mentales Brain-Computer Interface Um ein ideales Brain-Computer Interface zu kreieren, wäre jedoch eine passive Steuerung wünschenswert, die ohne vorgestellte Bewegungen auskommt. In diesem Bereich ist die Forschung bisher allerdings noch nicht sehr weit, man geht jedoch davon aus, dies in Zukunft umsetzen zu können. In einem Versuch [Dashuber et. al.] wurden bereits verschiedene mentale Zustände getestet, und es wurde versucht, Rückschlüsse auf Bewegungsabsichten des Nutzers zu ziehen. Ein solches passives BCI wäre besonders in der Steuerung von Rollstühlen äußerst hilfreich, da in einem solchen Fall der Nutzer nicht durch lästige Vorstellungen von Bewegungen gebunden wäre. 4.8 Ein BCI für den Alltag Viele der hier vorgestellten Forschungsergebnisse beziehen sich nur auf Laborbedingungen, das heißt, sie sind unter Umständen kaum auf den Alltag übertragbar Die Anforderungen an ein Alltags-BCI Um ein Brain-Computer Interface im Alltag nutzen zu können, muss dieses eine eigene Prioritätensetzung haben, also die schnelle vor der optimalen Lösung vorziehen [van Langhenhove et.al.]. Außerdem sollte es unbedingt online (vgl ) funktionieren und tragbar, autonom und durch Batterien angetrieben sein, um die Portabilität des Systems zu gewährleisten. Ein weiteres Hindernis stellt die Kontaktfähigkeit einer herkömmlichen Elektrode (vgl ) dar, welche nur durch Gel, welches zwischen die Elektrode und die Kopfhaut gespritzt wird, genug Kontakt herstellen kann, um brauchbare EEG-Signale zu empfangen. Das Projekt Penso [Calvo et.al.] konnte nachweisen, dass es möglich ist, ein EEG mit "trockenen" Elektroden abzuleiten, und dennoch anständige Klassifikationsraten zu erzielen. Ein solches System kann zwar etwas teurer sein, als Systeme mit herkömmlichen Elektroden, ist aber natürlich wesentlich angenehmer zu tragen. Seite 42

43 5. Meine praktische Arbeit : Ein BCI-Versuch Um den Umfang eines BCI-Versuches, bzw. der Nutzung des Brain-Computer Interfaces deutlich zu machen, möchte ich hier einen Versuch beschreiben, an dem ich in der TU Berlin teilnehmen konnte. In dem Versuch, den ich als praktische Ergänzung meiner Arbeit an der TU Berlin durchführte, wollte ich einen Computer mit dem Gehirn steuern, also ein Brain-Computer Interface in voller Aktion sehen, bzw. selbst einsetzen. Das brachte verschiedene Schwierigkeiten und interessante Erfahrungen mit sich, die ich hier gerne schildern würde. Auch möchte ich zeigen, wo noch Verbesserungen möglich wären, und wie diese aussehen könnten. Diese habe ich zur Unterscheidung mit einem grauen Kasten hinterlegt. Eigentlich hatte ich, wie in der Einleitung zu lesen ist, geplant, diese Verbesserungen in meiner Praxis-Woche zu evaluieren und evtl. umzusetzen, leider war das dann jedoch zeitlich nicht mehr umsetzbar. Das Ziel des Versuches war die Steuerung eines "Spieles", des Basket-Paradigmas (Steuerung eines Balles in einen Korb), mit Hilfe von Bewegungsvorstellungen, die zwischen links und rechts differenziert waren. 5.1 Vorbereitungen Um den Versuch durchführen zu können, waren verschiedene Vorbereitungen nötig, die ich im Kapitel 3 bereits erwähnt habe, denen ich hier aber nochmals Platz einräumen möchte EEG Abbildung 5.1.1: Autor mit Elektrodenkappe Seite 43

44 Kapitel 5 Meine praktische Arbeit Um mein EEG aufzeichnen zu können, wurde mir eine Kappe aufgesetzt (vgl. Abbildung 5.1.1), in welcher die Elektroden befestigt waren. In meinem Fall handelte es sich da um ca. 30 Elektroden, die auf Abbildung zu sehen sind. Sie deckten die, für die Bewegungsvorstellung relevanten Bereiche, ab (F-Reihe, FC-Reihe, P-Reihe und für einen weiteren Versuch den okzipitalen Bereich). Abbildung 5.1.2: Impedanzcheck der Elektroden Da diese Elektroden äußerst empfindlich, und die elektrischen Signale am Cortex äußerst gering sind, muss ein möglichst guter Kontakt der Elektroden zur Kopfhaut bestehen. Um dies zu gewährleisten, wird in die Elektroden (vgl. Abbildung 5.1.3) ein Gel gespritzt, welches die Leitfähigkeit der Kopfhaut gewissermaßen erhöht (vgl. Kapitel 3). Während die Versuchsperson eingegelt wird, zeigt ein Bildschirm die Impedanzen, also praktisch die Widerstände auf den einzelnen Elektroden an. Damit die Daten für den Versuch auswertbar sind, müssen die Widerstände möglichst gering sein. Abbildung 5.1.3: Elektroden, in der Elekrodenkappe befestigt und eingegelt. Seite 44

45 Kapitel 5 Meine praktische Arbeit Verbesserungen im Bereich der Vorbereitung: Für einen Versuch wie den beschriebenen muss immer viel Zeit eingeräumt werden. Relativ zur Anforderung eines Laborversuchs ist das kaum ein Problem. Handelt es sich bei dem zu bedienenden BCI aber um ein lebensnotwendiges Hilfsmittel, beispielsweise zur Kommunikation eines Locked-In-Patienten, ist ein solches BCI recht aufwändig. Das Eingelen dauert seine Zeit, die Elektroden sind empfindlich, die Kappe ist alles andere als ein schickes Accessoire und das Gel trocknet mit der Zeit ein. Außerdem kann ein Verrutschen die Signale vollkommen verändern. Für die Steuerung eines Rollstuhls fatal. Diesen Umstand zu verbessern haben sich bereits verschiedene Forschungsgruppen zum Ziel gemacht. Trockene Elektroden: Die Elektroden und Verstärker werden weiterentwickelt, um eine höhere Sensibilität zu erreichen (vgl ) Portabilität erhöhen!: Eine weitere Möglichkeit, mit der ich mich nicht weiter beschäftigt habe, die aber den Einsatzbereich des BCIs um Einiges erweitert, ist die Methode, Elektroden in eine Art Stirnband einzusetzen. Der Tragekomfort und der modische Aspekt könnten dadurch wesentlich erhöht werden, für die Fehlerquote gilt aber wahrscheinlich das Gleiche. Abbildung 5.1.3: Die installierten Elektroden zur Abnahme des EEGS für meinen Versuch Seite 45

46 Kapitel 5 Meine praktische Arbeit Als die Elektrodenkappe auf meinem Kopf saß, und die Elektroden alle den gewünschten Kontakt aufwiesen, konnte es mit dem Training losgehen Training Das Spiel sollte mit Bewegungsvorstellungen gesteuert werden, was das System vor zwei wichtige Fragen, bzw. Probleme stellt. Erstens: Der Nutzer muss sich die ausgewählte Bewegung richtig vorstellen, damit ein robuster Klassifikator erstellt werden kann. Zweitens: Für den Computer muss ein robuster Klassifkator erstellt werden, der auf die persönlichen EEG-Muster des Nutzers abgestimmt ist. Um diese beiden Probleme zu lösen, wird ein Trainingsdurchlauf benötigt, in dem der Nutzer lernt, sich eine ganz bestimmte Bewegung vorzustellen, und Daten aufgenommen werden, aus welchen später ein robuster Klassifkator erstellt werden kann. Für meinen Versuch wählte ich als Bewegung den Faustschluss der rechten und der linken Hand. Diese beiden Aktionen sollten dann später differenzieren zwischen rechter und linker Bewegung des Balles im Basket Paradigma. Für diese spezielle Aktion wäre der Faustschluss aber nicht die einzige vorstellbare Bewegung gewesen, auch mit einem Beugen des Armes hätte man das BCI bedienen können. Ich entschied mich jedoch für den Faustschluss, da ich das Gefühl hatte, diese Bewegung würde mir in der (vorgestellten) Ausführung am wenigsten Schwierigkeiten bereiten. Nun begann die Trainingsphase, in der mir auf einem Bildschirm angezeigt wurde, ob ich mir einen rechten oder linken Faustschluss vorstellen sollte. Wurde ein "L" etwa drei Sekunden auf dem Bildschirm angezeigt, stellte ich mir also den Faustschluss der linken Hand vor. Dies ist nicht so einfach, wie es sich anhört, denn diese Vorstellung darf nicht "visuell", sondern sollte "taktil" sein, das heißt die Vorstellung hat im Grunde dem Befehl zur Ausführung eines Faustschlusses zu gleichen, mit dem geringen Unterschied, dass die Hand nicht wirklich geschlossen wird. Abbildung 5.1.4: Aufzeichnung meines EEGs, an der linken Seite sind die Elektroden eingetragen, im unteren Bereich sind die Signale der 2 EMG-Elektroden zu erkennen, deren hohe Amplitude bei der Ausführung der Bewegung zu erkennen ist. Ich musste feststellen, dass die Trainingsphase die anstrengendste Phase der Nutzung des Brain-Computer Interfaces war, da eine konstant hohe Konzentration gefordert ist, Seite 46

47 Kapitel 5 Meine praktische Arbeit verbunden mit der Anforderung, möglichst nicht zu schlucken, zu blinzeln oder sich sonstwie zu bewegen, um die EEG-Daten möglichst unverfälscht aufnehmen zu können. Verbesserungen des Trainings Wie ich bereits beschrieben habe, ist das Training keineswegs der angenehmste Teil des Prozederes für die Steuerung eines BCIs, es ist vielmehr recht anstrengend. Den Trainingsweg zu optimieren ist daher eine wichtige Aufgabe im Bereich des Brain-Computer Interfaces, hier ein paar Vorschläge von mir, wie sich solch ein Trainingsablauf verbessern ließe. Feedback in den Trainingsablauf einbauen: Eine Schwierigkeit des Trainings ist das fehlende Feedback. Der Nutzer kann nicht erkennen, ob die Handbewegung die er mental ausgeführt hat, auch den Anforderungen entsprach. Hier ein Feedback zu ermöglichen, könnte das Training wesentlich verbessern. Anweisungen verbessern: Eine große Schwierigkeit meinerseits beim Training war auch, dass die Anweisung, welche Handbewegung auszuführen sei, auf dem Bildschirm angezeigt wurden, auf den man, die meiste Zeit möglichst ohne Blinzeln starren musste. Dies ist für die Konzentration nicht gerade förderlich, es wäre also denkbar, die Anweisungen auditiv zu geben. Dabei könnten allerdings Irritationen mit dem visuellen Input entstehen. Bewegung vorstellbar machen: Problematisch beim Training ist neben dem fehlenden Feedback auch, dass die Vorstellung einer Handbewegung gar nicht so einfach ist, wie man sich das vorstellt (haha). Um den Prozess der Vorstellung zu vereinfachen, setzten wir bereits ein Prozedere ein, welches im Kapitel beschrieben ist, es wäre aber von großem Nutzen, weitere zu finden. So wäre es beispielsweise zu prüfen, ob das Zeigen der Handbewegung (beispielsweise animiert auf einem Bildschirm), die vorgestellt werden soll, die Vorstellung vereinfacht und die Trainingsdaten verbessert. Die Trainingsphase bestand aus 4 x 40 Trials (Trial bezeichnet in diesem Fall die Anzeige von R oder L über einen Zeitraum von jeweils 3 Sekunden). Nach diesem ersten Training testeten wir, inwieweit sich die Trainingsphase durch einen Lernprozess verbessern lässt, den ein Forscher an der Charité aufzeigen konnte. Da die technischen Mittel nicht im ausreichenden Maße vorhanden waren, bekam ich nur jeweils zwei Elektroden an den Unterarm geklebt, die dort die elektromuskuläre Aktivität aufspürten. Nun führte ich den Faustschluss real aus, und reduzierte die Muskelspannung immer weiter, bis sie am Computer nicht mehr erkennbar war, ich mir aber weiterhin die Bewegung vorstellen konnte. Dies sollte den Prozess der Vorstellung vereinfachen, und die Vorstellung sozusagen erfahrbar machen. In der Auswertung stellte es sich dann jedoch leider heraus, dass die Daten des Trainingsprozesses nach dieser Vorstellungshilfe (5 x 30 Trials) weniger gute Ergebnisse zeigten. Dies könnte aber auch daran gelegen haben, dass ich während dieses Traingingsdurchlaufes zwei Bälle in der Hand hielt, mit denen ich davor trainiert hatte, und der Faustschluss dadurch vorgestellt weniger umfassend war. Meine Erfahrung war es jedenfalls, dass konkretes Fühlen in der entsprechenden Hand den Prozess der Vorstellung vereinfacht und besser möglich macht. Die EEG-Daten des Trainings wurden in der Trainingszeit aufgenommen und konnten in der nächsten Phase bearbeitet werden. Seite 47

48 Kapitel 5 Meine praktische Arbeit Klassifikation - Erstellen eines Klassifikators In der Klassifikationsphase wurde aus den gewonnenen Daten des Trainings ein Klassifikator bestimmt, die Muster also in einem dreidimensionalen Feld visualisiert und zwischen links und rechts unterschieden. Wie dieser Prozess genau aussieht, habe ich ja bereits in Kapitel 3 beschrieben, hier habe ich lediglich ein paar Beispielbilder aus meinen Daten eingefügt, um einen Einblick in die Klassifikation zu bieten. In dieser Phase wurde dann also ein möglichst robuster Klassifikator programmiert. Meine Daten schienen für diese Programmierung recht gut geeignet zu sein, es ergab sich eine Fehlerquote von 13 % und mit dem oben beschriebenen Zusatztraining mit Hilfe des EMG eine Fehlerquote von %. Aus beiden Trainingseinheiten wurde dann ein Klassifikator gebildet, mit welchem ich später dann das Programm steuern sollte, indem ich mir entweder einen rechten oder einen linken Faustschluss vorstellte, um den Ball nach rechts oder links zu steuern. 5.2 Der Versuch Als nun die Vorbereitungen abgeschlossen waren, konnte es daran gehen, das Ziel der Arbeit umzusetzen, bzw. konnte ich versuchen, endlich ein Programm mit der Kraft meiner Gedanken zu steuern Basket Paradigm Das Programm, welches ich steuern sollte, heißt "Basket Paradigm" und ist wie folgt aufgebaut: Seite 48