Verkörperte Kognition

Transkript

1 Verkörperte Kognition Die Verankerung von Begriffen in Wahrnehmung und Handlung Markus Kiefer Universität Ulm Sektion für Kognitive Elektrophysiologe Klinik für Psychiatrie und Psychotherapie III Universität Düsseldorf,

2 Das Verhältnis von Sprache zu den Dingen: Semiotisches Dreieck Begriff länglich, Metall, blasen, tiefe Töne Tuba Wort Richards & Ogden (1923) Objekt

3 Das semantische Gedächtnis (Tulving, 1972) Endel Tulving (1927- )

4 Semantisches Gedächtnis (Tulving, 1972) Teil des menschlichen Langzeitgedächtnisses begriffliches Wissen über Gegenstände und Handlungen Wortbedeutung z.b. Begriff HUND: vier Beine, Fell, Schwanz, bellt, kann gestreichelt werden involviert in Objekterkennung und -kategorisierung Sprachproduktion und Sprachrezeption

5 5./6. Jahrhundert v. Chr. Bedeutung von Begriffen für Handlungen Wenn die Begriffe nicht richtig sind, so stimmen die Worte nicht; stimmen die Worte nicht, so kommen die Werke nicht zustande Konfuzius (Chinesischer Philosoph v. Chr.)

6 18. Jahrhundert: Britischer Empirismus David Hume ( )

7 Das Primat der Sinneseindrücke Alle Gedanken bzw. Vorstellungen gehen auf Sinneseindrücke (impressions) sowie auf deren blassere Abbilder (ideas) zurück David Hume (1748). An enquiry concerning human understanding.

8 18. Jahrhundert: Apriorische Bedingungen der Erkenntnis Immanuel Kant ( )

9 Kategorien stehen vor der Wahrnehmung Raum, Zeit, Kausalität sowie Kategorien stellen die apriorischen Bedingungen der Erfahrung dar. Sie strukturieren die Sinneseindrücke. Immanuel Kant (1781). Kritik der reinen Vernunft

10 19. Jahrhundert: Psychische Funktionen und Gehirn Franz Josef Gall ( )

11 Hirnkartierung in der Phrenologie Phrenologie Franz Josef Galls um 1800

12 EEG Aufzeichnung/ Ereigniskorrelierte Potentiale (EKP) S 22 Hohe zeitliche Auflösung im Bereich von Millisekunden

13 Funktionelle Magnetresonanz-Tomographie Hohe räumliche Auflösung im Bereich von Millimetern

14 21. Jahrhundert: Hirnforscher lesen erste Gedanken

15 Wo im Gehirn ist begriffliches Wissen gespeichert?

16 Klassische Sicht: Einheitliches semantisches System Amodales Repräsentationssystem getrennt von den sensorischen und motorischen Repräsentationen Semant. Gedächtnis Motor. repräsentationen (Collins & Loftus, 1975; Humphreys et al., 1988; Tyler & Moss, 2001) Visuelle Objektrepräsentationen Audit. Objektrepräsentationen Visueller Input Akustischer Input

17 Klassische Sicht: Einheitliches semantisches System livin g being is_a has me tabolism trunk is_a has plant is_a animal chlorophyll has can has move roots is_a is_a is_a is_a leaf tree oak is_a fir stem branches has is_a rose flower has is_a scales tulip has has has has has resin bulb needles thorn smell blossoms has is_a silver salmon is has fins fish has feathers is_a is_a eatable tro ut is has heron is long_beak bird grey fly can is_a small sparrow is Collins & Loftus (1975)

18 Multiple semantische Systeme: Modalitätsspezifische Repräsentationen Begriff=verteiltes Aktivationsmuster über multiple modalitätsspezifische Systeme motor representations mot. semant. subsystem vis. semant. Subsystem Visuelle Objektrepräsentationen aud. semant. subsystem Audit. Objektrepräsentationen (Barsalou et al., 2003; Humphreys & Forde, 2001; Kiefer & Barsalou 2012; Kiefer & Pulvermüller, 2012; Kiefer & Spitzer, 2001; Pulvermüller, 1999) Visueller Input Auditiver Input

19 Modalitätsspezifische Repräsentationen: Funktionale Neuroanatomie handl. taktil audit. handl. visuell

20 Modalitätsspezifische semantische Systeme Handlungswissen visuelles Wissen HAMMER KATZE Kiefer, M. & Spitzer, M. (2001). Trends in Cognitive Sciences, 5,

21 Begriffe verankert in Wahnehmung und Handlung: Vier grundlegende Vorhersagen Handlung Handlung Klang visuell Aktivität bei begrifflichen Aufgaben überlappt mit Aktivität bei Wahrnehmung und Handlung Sensorische und motorische Aktivität erfolgt früh während begrifflicher Aufgaben Sensorische und motorische Systeme sind notwendig und werden automatisch aktiviert Begriffliche Verarbeitung hängt von der früheren sensu-motorischen Erfahrung ab. Kiefer, M. & Barsalou, L.W. (2012)

22 Beruhen Begriffe auf flexiblen sensorischen und motorischen Aktivierungen?

23 Dynamical recruitment of modality-specific semantic features Flexible conceptual representations (Barsalou, 1982) dynamical dependent on contextual constraints comprised of differentially activated modality-specific features Task-dependent category-related activation in sensory and motor regions

24 Flexible modality-specific conceptual representations action action acoustic visual binding

25 Flexible modality-specific conceptual representations action action acoustic visual binding

26 Flexible modality-specific conceptual representations action action acoustic visual binding

27 Task-dependent category-related activity: Design of the combined fmri and ERP study Hoenig, K., Sim, E.-J., Bochev, V.. Herrnberger, B., & Kiefer, M. (2008). Journal of Cognitive Neuroscience

28 fmri results: Interaction between task and category Hoenig, K., Sim, E.-J., Bochev, V.. Herrnberger, B., & Kiefer, M. (2008). Journal of Cognitive Neuroscience

29 ERP results: Time course of the interaction between task and category: Hoenig, K., Sim, E.-J., Bochev, V.. Herrnberger, B., & Kiefer, M. (2008). Journal of Cognitive Neuroscience

30 Spiegeln Begriffe unsere sensu-motorischen Erfahrungen mit der Umwelt wider?

31 Nobject training study: Categories and training groups Action pantomime training group Pointing training group Kiefer, Sim, Liebig, Hauk & Tanaka (2007). Journal of Cognitive Neuroscience

32 Nobject training study: Main experiment after training Category verification task Does the category name matches with the nobject picture or not palo kurn Kiefer, Sim, Liebig, Hauk & Tanaka (2007). Journal of Cognitive Neuroscience

33 ERP source analysis of training effects: Minimum-norm difference maps pant>point point> pant A 117 ms Pointing Pantomime Pointing Pantomime Pantomime - Pointing B 160 ms C 312 ms Left Right Top na/cm 2 Kiefer, Sim, Liebig, Hauk & Tanaka (2007). Journal of Cognitive Neuroscience

34 Funktionale Relevanz von sensu-motorischen Repräsentationen Priming paradigma

35 Action priming paradigm: Example of stimuli congruent incongruent

36 Action priming paradigm: Procedure Task: Name objects in the order of presentation Objects with similar or dissimilar actions T2 T1 + Fix until keypress 700 ms 170 ms 42 ms 70 ms x ms 1000 ms presentation time was adjusted according to a preceding staircase experiment to achieve an accuracy level of 80 %

37 Action Priming Effect incongr congr Helbig, H.B, Graf, M., & Kiefer, M. (2006). Experimental Brain Research

38 Action priming paradigm: ERP study fronto-central electrodes [µv] [ms] ms Kiefer, M, Sim, E-J., Helbig, H.B, & Graf, M. (2011). Journal of Cognitive Neuroscience

39 Action priming paradigm Action congruent axe 2000 ms Action incongruent drill 80 ms 250 ms Helbig, H.B, Steinwender, J., Graf, M., & Kiefer, M. (2010). Experimental Brain Research

40 Action priming effects

41 Action priming: fmri results BA 6 BA 7 BA 6 BA 44 BA 42 V 5 BA 18/19 BA 38 incon>con con>incon Sim, E-J., Helbig, H.B, & Graf, M., & Kiefer, M (2014). Cerebral Cortex

42 Action priming: Effective Connectivity Sim, E-J., Helbig, H.B, & Graf, M., & Kiefer, M (2014). Cerebral Cortex

43 Gibt es eine anatomische Überlappung zwischen sensorischen und begrifflichen Systemen?

44 The sound of concepts: Representation of acoustic conceptual features: Task and design Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience

45 The sound of concepts: Here rings telephone in your head: fmri results Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience

46 The sound of concepts: Here rings telephone in your head: fmri results Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience

47 The sound of concepts: Here rings telephone in your head: ERP results Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience

48 Sind sensu-motorische Systeme automatisch aktiviert?

49 Unconscious perception: Visual masking unmasked masked Kiefer (2002). Cognitive Brain Research; Kiefer & Martens (2010). Journal of Experimental Psychology: General

50 Feature-specific masked repetition priming: Unconscious automatic conceptual processing Repetition of action words: hammer-hammer Repetition of sound words: radio-radio Trumpp, Traub, Pulvermüller, & Kiefer (2014). Journal of Cognitive Neuroscience

51 Feature-specific masked repetition priming: Unconscious automatic conceptual processing Trumpp, Traub, Pulvermüller, & Kiefer (2014). Journal of Cognitive Neuroscience

52 Funktionale Relevanz sensorischer Repräsentationen Der Einfluss von Läsionen

53 Loosing the sound of concepts after brain damage Functional neuroanatomy of conceptual sound processing Patient TU (m, 33 years) Focal lesion (1.7 cm) in left superior/middle temporal areas due to an abscess Trumpp, Kliese, Hoenig, Haarmeier & Kiefer (2012). Cortex

54 Loosing the sound of concepts after brain damage * reaction time [ms] high acoustic relevance low acoustic relevance patient control group 6 5 * number of errors high acoustic relevance low acoustic relevance 1 0 patient control group

55 Loosing the sound of concepts after brain damage Name generation task: Objects that elicit sound Trumpp, Kliese, Hoenig, Haarmeier & Kiefer (2012). Cortex

56 Bestimmt musikalische Erfahrung klang-basierte begriffliche Repräsentationen?

57 Representation of musical instruments in professional musicians Ulm Philharmonic Orchestra tuba drill Musical instruments Control objects Hoenig, Müller, Herrnberger, Spitzer, Ehret, & Kiefer (2011). NeuroImage

58 Representation of musical instruments in professional musicians Musical instruments > control objects Hoenig, Müller, Herrnberger, Spitzer, Ehret, & Kiefer (2011). NeuroImage

59 Representation of musical instruments in professional musicians

60 Schlussfolgerung/Diskussion: Begriffe in sensorischen und motorischen Systemen Aktivität in sensorischen und motorischen Arealen Anatomische Überlappung der Aktivität bei sensu-motorischer und Begriffsverarbeitung Früher Beginn der sensumotorischen Aktivität Handlung Unbewusste sensu-motorische Aktivität Klang Handlung visuell Kausale Verbindung zwischen sensu-motorischen Systemen und Begriffsverarbeitung Erfahrungsabhängige sensumotorische Aktivität Grundierung von abstrakten Begriffen in den sensorischen und motorischen Systemen Mehr Evidenz zur kausalen Rolle von sensumotorischen Systemen für Begriffsverarbeitung

61 Sensu-motorische Erfahrung prägt Begriffe und Sprache

62 Vielen Dank für Ihre Aufmerksamkeit

63 Dank an Natalie Trumpp, University of Ulm Eun-Jin Sim, University of Ulm Klaus Hoenig, University of Ulm Bärbel Herrnberger, University of Ulm Jo Grothe, University of Ulm Sarah Liebich, University of Ulm Viktor Bochev, University of Ulm Regula Gr. von Soden-Fraunhofen, University of Ulm Manfred Spitzer, University of Ulm Friedemann Pulvermüller, Free University of Berlin, Germany Markus Graf, Max-Planck Institute for Cognitive and Brain Sciences, Munich Hannah Helbig, Max-Planck Institute for Biological Cybernetics, Tübingen Olaf Hauk, MRC Brain and Cognition Unit, Cambridge, UK Larry Barsalou Emory University, U.S.A. Jim Tanaka, University of Victoria, Canada