Individualisierte Kalibrierung in einem SSVEP-basierten Brain-Computer Interface Thorsten Lüth Universität Bremen 2016
Publication Series of the Institute of Automation University of Bremen Series 7-Nr.4 Thorsten Lüth Individualisierte Kalibrierung in einem SSVEP-basierten Brain-Computer Interface D 46 (Diss. Universität Bremen) Shaker Verlag Aachen 2016
Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. Zugl.: Bremen, Univ., Diss., 2015 Publication Series of the INSTITUTE OF AUTOMATION, UNIVERSITY OF BREMEN: 1 Colloquium of Automation 2 Automation 3 Robotics 4 Control Theory 5 Image Processing 6 Virtual and Augmented Reality 7 Brain Computer Interface Copyright Shaker Verlag 2016 Alle Rechte, auch das des auszugsweisen Nachdruckes, der auszugsweisen oder vollständigen Wiedergabe, der Speicherung in Datenverarbeitungsanlagen und der Übersetzung, vorbehalten. Printed in Germany. ISBN 978-3-8440-4364-8 ISSN 1861-5457 Shaker Verlag GmbH Postfach 101818 52018 Aachen Telefon: 02407 / 95 96-0 Telefax: 02407 / 95 96-9 Internet: www.shaker.de E-Mail: info@shaker.de
Vorwort Diese Dissertation präsentiert Ergebnisse von Arbeiten, die ich während meiner Tätigkeit als wissenschaftlicher Mitarbeiter am Institut für Automatisierungstechnik (IAT) der Universität Bremen durchgeführt habe. Während dieser Zeit war ich in den von der Europäischen Union geförderten Projekten BRAINROBOT und BRAIN beschäftigt. Ich möchte meinem Doktorvater Herrn Prof. Axel Gräser für die jahrelange Unterstützung meiner Arbeit danken. Er hat es mir ermöglicht, zusammen mit netten Kollegen in zwei sehr interessanten Projekten zu forschen und meine Ergebnisse auf unterschiedlichen Konferenzen einem Fachpublikum vorzustellen. Weiterhin bedanke ich mich bei Frau Prof. Canan Basar-Eroglu für die Übernahme des Zweitgutachtens und die Zusammenarbeit innerhalb der Forschung des IAT und des Instituts für Psychologie und Kognitionsforschung (IPK) der Universität Bremen, sowie Herrn Prof. Armin Dekorsy und Herrn Prof. Udo Frese für ihre Tätigkeit als Prüfer in meinem Kolloquium. Ich möchte mich ganz herzlich bei meinem früheren Kollegen Ola Friman bedanken. Er hat bereits meine Diplomarbeit zu dem Thema Tools zur Verbesserung der Leistung von Brain-Computer Interfaces betreut und mir das interessante Forschungsgebiet der Brain-Computer Interfaces näher gebracht. Sein Algorithmus der Minimum Energy Combination findet als räumlicher Filter Einzug in sämtliche durchgeführten Experimente dieser Dissertation. Ebenfalls herzlich bedanke ich mich bei Jan Ehlers, durch dessen toller Unterstützungichdie Re-TestUntersuchungin Kapitel7durchführen konnte, und meinen beiden Bürokolleginnen Diana Valbuena und Tatsiana Malechka, sowie Brendan Allison für die jahrelange freundschaftliche Zusammenarbeit. Ich bedanke mich bei Karsten Stenzel, dessen Studienarbeit und Diplomarbeit ich betreut habe. Die dort gewonnenen Erkenntnisse sind ein wichtiger Bestandteil für die Kalibrierung der autoregressiven Störsignalabschätzung in Kapitel 4. Des Weiteren bedanke ich mich bei allen Kollegen, mit denen ich projektübergreifende Kooperationen durchführen konnte und erfolgreich die Steuerung von Robotik- Anwendungen mit Hilfe eines Brain-Computer Interfaces demonstrieren konnte. Hervorheben möchte ich hier unter anderem Marco Cyriacks und Sorin Grigorescu, mit denen der Rehabilitationsroboter FRIEND-II des IAT durch ein BCI gesteuert werden konnte. Während dieser Zusammenarbeit hat das gesamte Team auf der IEEE International Conference on Rehabilitation Robotics (ICORR) 2007 den Preis für die beste interaktive Präsentation bekommen. In gemeinsamer Arbeit mit Christian Mandel konnte der Rollstuhl Rolland des DFKI mit Hilfe eines BCIs gesteuert werden. Abschließend möchte ich einen ganz besonderen Dank an alle Probanden aussprechen, denn nur durch ihre freiwillige Teilnahme an den Experimenten konnte diese Dissertation ermöglicht werden. In diesem Zuge sind auch alle Kollegen und studentischen Hilfskräfte zu erwähnen, die insbesondere bei den Feldstudien in Kapitel 6 mitgewirkt 5
haben, sowie die Partner im Projekt BRAIN, die die Experimente innerhalb der Cedar Foundation durchgeführt haben, die zu Ergebnissen im Kapitel 7 geführt haben. Mein Dank gilt auch ihnen. Thorsten Lüth Bremen, Deutschland, 2016 6
Inhaltsverzeichnis 1. Einleitung 9 2. Brain-Computer Interfaces 13 2.1. Messung von Gehirnaktivität... 14 2.1.1. Elektroenzephalographie (EEG)... 15 2.2. FrequenzbänderimGehirn... 17 2.3. NutzbareGehirnsignale... 18 2.3.1. Steady-StateVisualEvokedPotentials... 18 2.3.2. P300... 19 2.3.3. Bewegungsvorstellung... 20 2.4. Signalverarbeitung... 21 2.4.1. Vorverarbeitung... 22 2.4.2. Merkmalsextraktion... 22 2.4.3. Klassifikation... 22 2.5. BewertungvonBCIs... 23 2.5.1. Klassifikationsgenauigkeit... 23 2.5.2. Informationstransferrate... 25 3. Steady-State Visual Evoked Potentials 27 3.1. Stimulus... 27 3.1.1. LEDVariationen... 27 3.1.2. On-Screen... 30 3.2. Signalaufnahme... 31 3.3. Signalverarbeitung... 33 3.3.1. Minimum Energy Combination... 34 3.3.2. Merkmalsextraktion... 35 3.3.3. Klassifikation... 36 3.4. Anwendungen... 36 3.4.1. Schreibprogramm... 37 3.4.2. Rollstuhlanwendungen... 44 4. Kalibrierung der autoregressiven Störsignalabschätzung 55 4.1. Parametrische Schätzverfahren... 56 4.2. ModellanpassungandieEingangssignale... 57 4.3. WahlderModellordnung... 59 4.4. Modellordnung bei Brain-Computer Interfaces... 60 4.4.1. Datenaufnahme... 60 4.4.2. Versuchsprotokoll... 61 4.4.3. Datenanalyse... 61 7
Inhaltsverzeichnis 4.4.4. Kalibrierungsmethoden... 69 4.4.5. Online-Experiment... 76 5. BCI-Wizard Softwareimplementierung 81 5.1. Spezifikation... 81 5.2. Architektur/Design... 82 5.2.1. Schnittstellen... 83 5.2.2. Dialoge... 84 5.2.3. Datenaustausch... 88 5.3. SSVEP-basierte Kalibrierung... 88 5.3.1. SSVEP-basierte Konfigurationseinstellungen... 88 5.3.2. Kalibrierung mit der Minimum Energy Combination... 90 5.3.3. Kalibrierung weiterer SSVEP Algorithmen... 95 6. Feldstudien 97 6.1. Robotersteuerung... 98 6.1.1. Online Auswertung...101 6.2. Feldstudie 1 - Hannover Messe 2010... 102 6.2.1. Signalaufnahme...103 6.2.2. Ergebnisse...103 6.3. Feldstudie 2 - CeBIT 2011... 105 6.3.1. Ergebnisse...105 6.4. Diskussion der Ergebnisse der beiden Feldstudien...106 7. Re-Test Stabilität der Frequenzkalibrierung 111 7.1. Datenaufnahme...112 7.2. Versuchsprotokoll...112 7.3. Ergebnisse...113 7.4. Zusatzexperiment...118 7.5. Diskussion...119 8. Zusammenfassung und Ausblick 123 Anhang 127 A. Hannover Messe 2010 - Daten... 127 B. CeBIT2011-Daten...132 Literaturverzeichnis 137 8