BIO- und Neuro-Feedback und deren Anwendung in der Kunst

Transkript

1 BIO- und Neuro-Feedback und deren Anwendung in der Kunst

2 Christoph Veigl HTL f. EDV und Betriebsorganisation in Linz-Leonding Studium Soziologie, Information Engineering und Medizin-Informatik in Wien seit 1996 Mitglied von SHIFZ, der Syntharturalistischen Kunstvereinigung

3 einige Modalitäten interaktiver Kunst : Bewegung Gestik Sprache / Stimme Geschriebener Text Aktivitäten lebender Systeme

4 elektrisch meßbare Biosignale zb: GSR Galvanic Skin Response, Hautwiderstand EKG Elektro-Kardiogramm, Herz EMG Elektro-Myogramm, Muskel EOG Elektro-Okulogramm, Auge EEG Elektro-Encephalogramm Atmung, Temperatur Biofeedback: unterbewußte Vorgänge bzw. Zustände im Organismus wahrnehmbar machen

5 EKG-Messung:

6 Messung v. Atmung, Muskelspannung, Temperatur

7 Messung v. Puls, Hautleitwert, Muskelaktivität

8 Biofeedback in der Medizin: Aufmerksamkeitsstörungen / Lernschwierigkeiten (ADD) Chronische Spannungszustände Migränekopfschmerz Rehabilitation / Muskelaufbau Schädel / Hirn Traumata Suchtbehandlung Kommunikationshilfen für schwerstbehinderte Menschen: BCI (Brain Computer Interfaces)

9 Spiele und Bewußtseinstools: Alpha-Feedback, GSR Computerspiele, Entspannungstrainer

10

11 physiologische Grundlagen Entstehung und Fluß elektrischer Potentiale

12 Nerven und Signalleitung: Entstehung und Fluß elektrischer Potentiale im Körper

13 Nerven und Signalleitung: Aufbau von Nervenzellen

14 Signalleitung: Aktionspotentiale

15 Signalleitung: Aktionspotentiale

16 Übertragung an der Synapse

17 Signalleitung Bahnen im ZNS motorische und sensorische Nervenbahnen

18 Signalleitung Bahnen im ZNS Auditory Evoked Potentials (AEP) meßbar mittels EEG-Mittelung

19 EEG: Messung an der Kopfoberfläche Elektroden messen den Fluß der Ladungsträger uv-bereich, monopolare und bipolare Ableitungen

20 EEG Dominante Frequenzen im EEG

21 EEG: Hirnareale und System

22 Messung & Digitalisierung bioelektrischer Signale

23 A/D-Wandlung: Samplingfrequenz und Aliasing Nyquist Frequenz, Sampling Theorem: fabtast > 2 * fsignal

24 A/D-Wandlung: Auflösung in Quantisierungsstufen

25 EEG: Artefakte bei der Messung

26 EEG: Frequenz-Analyse und Filterung Darstellung eines Signals durch seine Frequenzkomponenten

27 EEG: Fourier Analyse und Filterung Signal im Zeitbereich Signal im Frequenzbreich FFT: Darstellung eines Signals durch seine Frequenzkomponenten

28 EEG: weitere Verarbeitung / Parameter mathematische Methoden zur Gewinnung relevanter Eigenschaften des Signals: Cohärenz od. Korrelation mehrerer Signale Schwellenwerte festlegen (Threshold) Mittelung mehrerer Trials -> EP Neuronale Netze, Klassifikatoren

29 EEG: Neuro-Mapping und Q-EEG 3d - Darstellung von EPs einer quantitativen EEG-Messung

30 Brain-Computer Interfaces (BCI) Steuerung von Computern per Mind Voraussetzungen: stabile EEG-Daten Algorithmen, die relevante Muster in Echtzeit finden my-rhythmus (Bewegungsvorstellung) P300-Komponente Geduld und viel Training Berlin-BCI, (Motor-Imagery)

31 und wie bekommt man daraus Feedback? AUDIO Software, um dynamisch Ton und Bild zu generieren SuperCollider: PD/Max: Audacity: AudioMulch: Reaktor: MidiYoke: Granny: VIDEO Gem: freej: LiVES: veejay: effectv:

32 Anwendungsbeispiele aus der Kunst

33 Alvin Lucier (us) Alvin Lucier: Music for Solo Performer, for enormously amplified brain waves and percussion, 1965

34 David Rosenboom (us) Biofeedback and the arts, 1976 On being Invisible I & II, Extended Musical Interface with the Nervous System,

35 David Rosenboom David Rosenboom: Bell Solaris, 2000

36 Interactive Institute (se) Interactive Institute: Brainball

37 Interactive Institute Interactive Institute: Brain-Bar II

38 Lizard Acres (fr) Lizard arces: Pas de Deux, 2000

39 Lizard Acre Lizard arces: Pas de Deux, 2000

40 Diane Gromala (us), Biomedia Studio Diane Gromala: Biomorphic Typography, 2004 Meditation Chamber, 2001

41 alien production (a) Norberth Math, Martin Breindl, Andrea Sodomka: Wortstaub Partikelwelt, 1999

42 alien production Norbert Math: theta_phase, 1993

43 Ulrike Gabriel (de) Ulrike Gabriel: Terrain_01, brainwave - controlled Artificial Live, 1993

44 Ulrike Gabriel Ulrike Gabriel: Terrain_01, 1993

45 Mariko Mori (jp) Mariko Mori: Wave UFO, 2002

46 Mariko Mori Mariko Mori: Wave UFO, 2002

47 Sensorband (nl/jp/pl) Zbigniew Karkowski, Atau Tanaka, Edvin van der Heide, 1997

48 Troika Ranch (us) Troika Ranch: Midi Dancer, 1993

49 Troika Ranch Midi Dancer + Instrumentation, 1993

50 Troika Ranch Troika Ranch: Performance with Bio-Triggers, 1994

51 Suguru Goto (jp) Suguru Goto: Datasuit

52 Suguru Goto Suguru Goto: Datasuit

53 Stelarc (au) Stelarc: 3rd Hand, 1990

54 Stelarc Stelarc: Ping Body-Interface

55 Time's Up (a) Time's Up: bodyspin incorporating virtual environment with biofeedback

56 Time's Up (a) Time's Up: bodyspin pulse and breath feedback loops

57 eigene Arbeiten / SHIFZ BrainWashing, BrainRacing and the OpenEEG-Project

58 SHIFZ - the Syntharturalists: Magnus Wurzer Tina Sezen Valie Göschl Christoph Veigl

59

60 SHIFZ-Gehirnwaschmaschine BrainWashing,

61

62 TBS- Teleroboted Brainwashing System TBS - Berlin, 2001

63 TBS- Teleroboted Brainwashing System TBS - Wien, 2002

64 TBS- Teleroboted Brainwashing System TBS - Berlin, 2001

65 Brain-Racing

66 Brain-Racing Brain-Racing, Wien, 1999

67 Brain-Racing Brain-Racing, Wien, 1999

68 neuronale Wien-Führung Fremdes Führung, Zagreb 2000

69 The Open EEG Project EEG for the rest of us

70 The Open EEG Project Resources: Mailing Liste SourceForge Project Page Ziele: low-cost high qualitiy EEG-Hardware freie Software für die EEG community Modular EEG by Jörg Hansmann: 6 Kanäle, 10 bit Auflösung, 256Hz - 4kHz sampling Software verfügbar: NeuroServer, BioEra, BWView, ABI-BCI, BrainBay

71 The Open EEG Project openeeg: ModularEEG Analog- und Digital Boards

72 The Open EEG Project openeeg: DIY-Electrodes

73 BrainBay openeeg Software brainbay, screenshot design und session-windows

74 BrainBay openeeg Software brainbay, screenshot 3d-FFT-Darstellung

75 Links / Quellen (Extended Musical Interface with the Nervous System) Artists EEG-Hard- und Software