Sprache II. Visuelle Worterkennung

Transkript

1 Fachrichtung Psychologie Professur Allgemeine Psychologie Modul A1: Kognitive Prozesse (SS 2013) Sprache II. Visuelle Worterkennung Thomas Goschke Ward, Psychology Press. 1

2 Wahrnehmung gesprochener vs. geschriebener Sprache Hören Lesen Sprachinput = sequentiell / in Zeit erstreckt Grenzen zwischen Worten sind oft nicht eindeutig Sprachsignal ist oft ambig und variiert je nach Kontext Gedächtnisbelastung: ausgesprochene Worte nicht mehr als Reiz verfügbar Prosodische Information Sprachinput = simultane räumliche Anordnung von Zeichen Worte sind klar voneinander abgegrenzt Worte sehen unabhängig vom Kontext gleich aus Gelesene Worte bleiben verfügbar Keine prosodische Information Interpunktionsinformation Evolutionär älter Historisch sehr viel jünger (ca v. Chr.) 2

3 Schriftsysteme Input = visuelle Zeichenfolgen Logographisches System: Symbole repräsentieren Worte o. Morpheme (z.t. im Chinesischen) Syllabisches System: Symbole repräsentieren Silben (Japan: Kana) Alphabetisches System: Symbole repräsentieren Phoneme Arbiträre Symbole: keine Ähnlichkeit von Symbol und Symbolisiertem

4 Visuelle Wortverarbeitung einige Fakten Leserate: ca. 300 Wörter pro Minute ca. 200 ms pro Wort Buchstabenzahl hat geringen Einfluss auf die Zeit für die Erkennung einzelner Worte (Cattell, 1886) Parallelverarbeitung Wortüberlegenheitseffekt (Reicher, 1969): Buchstaben (R) werden schneller in Wörtern (ARBEIT) oder aussprechbaren Nichtwörtern (ERGUB) als in zufälligen Buchstabenketten (CRTPAE) erkannt Top-Down-Verarbeitung Wie werden aufgrund der Analyse elementarer visueller Merkmale Wörter erkannt (auf die korrekten Einheiten im mentalen Lexikon zugegriffen)?

5 Worterkennung ist ein hochautomatisierter Prozess Stroop Farb-Wort-Interferenzaufgabe

6 Kontexteffekte und Musterergänzung

7

8

9 Das interaktive Aktivationsmodell Ein Beispiel für ein konnektionistisches Netzwerk McClelland & Rumelhart (1981) Drei Verarbeitungsebenen: Merkmale Buchstaben - Wörter Merkmale, Buchstaben und Wörter werden durch Knoten repräsentiert Jeder Knoten kann mehr oder weniger aktiviert sein Knoten sind über aktivierende und hemmende Konnektionen verbunden Aktivierungsausbreitung erfolgt von unten nach oben (bottom-up) und von oben nach unten (top-down) Massive Parallelverarbeitung McClelland, J.L., and Rumelhart, D.E. (1981). Psychological Review, 88,

10 Das interaktive Aktivationsmodell Ein Beispiel für ein konnektionistisches Netzwerk McClelland & Rumelhart (1981) Inhibitorische Konnektionen zwischen Wörtern Inhibitorische Konnektionen zwischen Buchstaben für die gleiche Wortposition Aktivierende u. inhibitorische Top-Down- Konnektionen von der Wort- zu Buchstaben-ebene Aktivierende und inhibitorische Bottom-up- Konnektionen

11 Das interaktive Aktivationsmodell Kleiner (!) Ausschnitt des Modells Computersimulation:117 9 vierbuchstabige Wörter Mathematische Spezifikation aller Prozessparameter (Aktivationsaus-breitung; Konnektionsstärken etc.) Abb. aus Gazzaniga et al., W. W. Norton

12 Reizmaterial für die Computersimulation des Interaktiven Aktivationsmodells

13 Beispiel für ein Ergebnis der Computersimulation des IAM

14 Buchstabenaktivierung in aussprechbaren Nichtworten: Top-down-Effekte von partiell aktivierten Wortkandidaten

15 Vorteile des interaktiven Aktivationsmodells Erklärt Wortüberlegenheitseffekt und andere Kontext- und Top-down- Effekte Übereinstimmung mit experimentellen Daten zur Phonem- und Worterkennung Musterergänzung bei unvollständigem Input Fehlertoleranz bei verrauschtem Input Kontinuierliche Weiterentwicklung und Erweiterung

16 Evidenz für ein visuelles Wortform-Areal 2011 Cengage Learning Psychology Press. Eine Region im linken mittleren okzipito-temporalen Gyrus wird durch visuelle Worte stärker aktiviert als durch Konsonantenketten Region, die vermutlich spezifisch an der Verarbeitung und Repräsentation visueller Wortformen beteilgt ist

17 Peterson et al. (1988): PET Study

18 Evidenz für ein visuelles Wortform-Areal Sind visuelle Wortrepräsentationen unabhängig von der Groß- vs. Kleinschreibung? Bedeutung gleich Bedeutung verschiedene Größe gleich RADIO RADIO MAUS RADIO Größe verschieden RADIO - radio MAUS - radio Dehaene et al. (2001) 24

19 Evidenz für ein visuelles Wortform-Areal Ward, 2010

20 Kritik an der Annahme eines visuellen Wortform-Areals Es ist umtritten, ob es ein visuelle Wortform-Areal gibt oder ob diese Region der Sitz eines visuellen Inputlexikons ist Region wird auch durch Nicht-Worte aktiviert Einige Forscher argumentieren, dass diese Region nicht spezifisch an der Verarbeitung visueller Worte beteiligt ist, da sie auch durch andere visuelle Objekte oder beim Lesen von Blindenschrift aktiviert wird Price and Devlin (2003): Region sei generell für die Verbindung von Wahrnehmung und Sprachrepräsentationen zuständig, nicht spezifisch für das Lesen Die Kontroverse dauert an

21 Fachrichtung Psychologie Professur Allgemeine Psychologie Modul A1: Kognitive Prozesse (SS 2013) Sprache III. Wortbedeutung und mentales Lexikon Thomas Goschke Ward, Psychology Press. 27

22 Schematisches Modell der Strukturen und Prozesse beim Verstehen gesprochener und geschriebener Sprache Aus: Gazzaniga, Ivry & Mangun (2009)

23 Wichtige Begriffe Repräsentation Die Darstellung der Außenwelt in unserem Gehirn. Z.B. meine Vorstellung von einem Hund. Kategorie Klasse, die viele Einzelfälle zusammenfasst. Z.B. die Kategorie "Hund". Konzept (Begriff) Die Repräsentation einer Kategorie; ist nicht immer mit einem einzelnen Wort verknüpft Z.B. das Konzept "Der Geruch des ersten Regens auf Asphalt im heißen Sommer". Wort Eine Folge von Lauten, die für ein bestimmtes Konzept steht. Z.B. das Wort "Hund".

24 Das mentale Lexikon Langzeitgedächtnis für das Wissen über Worte enthält Phonologische Information (Klang) Orthographische Information (Visuelle Wortform) Syntaktische Information (Wortklasse; Abfolge; Kombination zu Sätzen) Semantische Information (Bedeutung) (Wird von einigen Forschern als separates System angenommen!) Standardsprache: ca Wörter (Gesamtwortschatz: mehrere Wörter) Echtzeitverarbeitung: Wir können ca. 3 Worte pro Sekunde verstehen o. produzieren

25 Das mentale Lexikon Einige Funktionsmerkmale Mentales Lexikon ist nicht alphabetisch organisiert Auf häufiger benutzte Worte kann schneller zugegriffen werden Wörter mit mehr Nachbarn werden langsamer erkannt (MAUS, RAUS, MAUT) Kompetition Zugriff kann über mehrere Wege erfolgen (Klang; visuelle Wortform; Kontext) Forschungsfragen: Zugriff? Struktur? Neuronale Korrelate? 32

26 Fragment eines lexikalischen Netzwerks (nach Levelt, 1994)

27 Häufigkeit von Assoziationen auf das Wort Stuhl (im Englischen)

28 Empirische Untersuchung des mentalen Lexikons: Lexikalische Entscheidungsaufgabe Wort oder Nichtwort? APFEL SIDUL RAKIL TISCH Lexikalische Entscheidung erfordert Suche im mentalen Lexikon

29 Klassische Untersuchung des Lexikons: Semantisches Priming (Meyer & Schvanefeldt, 1971) Prime Target APFEL APFEL APFEL BIRNE ZEBRA SIDUL Semantisch assoziiert Nicht assoziiert Nichtwort-Target Wörter, die im mentalen Lexikon assoziiert sind, sollten schneller erkannt werden, wenn sie kurz nacheinander dargeboten werden Semantisches Priming ermöglicht Einblick in Struktur des Lexikons

30 Semantisches Priming Ergebnisse von Meyer & Schvaneveldt 1971 Prime bread bread bread bread Castle Castle Target Butter Cheese Mouse Castle Gate Path Reaction Time (ms) cheese Mouse Gate bread butter Castle

31 Spreading Activation in Semantic Networks Collins & Loftus (1975) Knoten = Konzepte Kanten = Assoziationen zwischen Konzepten Aktivierungsausbreitung = Aktivation eines Knotens breitet sich entlang der Kanten zu assoziierten Knoten aus Priming = voraktivierte Konzepte werden schneller abgerufen

32 Zwei Arten der Aktivierungsausbreitung Automatische Aktivierungsausbreitung nicht unter bewusster Kontrolle wird automatisch ausgelöst, wenn ein Konzept aktiviert wird schnell Kontrollierte Aktivierung und Hemmung durch bewusste Erwartungen ausgelöst Hemmung nicht erwarteter Konzepte langsam

33 Automatische Bahnung versus kontrollierte Erwartung Faktor 1: Bewusste Erwartung Neely (1977) Wenn der PRIME eine TIERKATEGORIE bezeichnet, dann ist das TARGET meist ein TEIL EINES HAUSES Faktor 2: Semantische Assoziation VOGEL - TAUBE 2 x 2 Design Erwartet Unerwartet Assoziiert VOGEL DACH VOGEL - TAUBE Unassoziiert VOGEL - TÜR VOGEL - MANTEL

34 Automatische Bahnung und kontrollierte Erwartungseffekte (Neely, 1977) Zeitverlauf bahnender und hemmender Priming-Effekte für Target-Worte, die semantisch assoziiert vs. nicht assoziiert mit dem Prime-Wort waren die aus einer erwarteten vs. unerwarteten Kategorie stammten

35 Hemmung (ms) Bahnung (ms) Automatische Bahnung und kontrollierte Erwartungseffekte (Neely, 1977) Automatische Bahnung assoziierter Worte Kontrollierte Hemmung unerwarteter Worte Erwartet, assoziiert Erwartet, unassoziiert Unerwartet, assoziiert Unerwartet, unassoziiert Prime-Target-Intervall (ms)

36 Neuronale Grundlagen des mentalen Lexikons Untersuchung von hirngeschädigten Patienten mit Beeinträchtigungen bei der lexikalischen Verarbeitung Bildgebende Verfahren Elektrophysiologische Methoden (EKP)

37 Kategorienspezifische Defizite nach Hirnverletzungen Neuropsychologische Studien von Elizabeth Warrington Pt. mit Schwierigkeiten, Worten die passenden Bilder von Lebensmitteln oder Lebewesen zuzuordnen Pt. Zeigten sehr viel bessere Leistung bei Werkzeugen Analog beim Benennen von Bildern Andere Pt. zeigten umgekehrtes Muster Lebewesen Inferiorer Temporalkortex: Objektrepräsentation / Zielregion des ventralen Was-Pfads im visuellen System Medialer Temporalkortex: deklaratives Gedächtnis Werkzeuge / Artefakte Linker Frontalkortex u. Parietalkortex Benachbart zu / überlappt mit Regionen für sensomotorische Funktionen Handlungsrepräsentationen

38 Untersuchungen zur neuronalen Organisation des Lexikons Studie von Hannah Damasio Hirngeschädigte Patienten sollten berühmte Gesichter benennen Tiere benennen Werkzeuge benennen Läsionen in separaten Regionen des Temporalkortex waren mit kategorienspezifischen Benennungsdefiziten korreliert Aus Gazzaniga et al. (2002). W.W. Norton.

39 Studie von Hannah Damasio Gesichter: Temporaler Pol (TP) Tiere: Inferiorer Temporalkortex (IT) Werkzeuge: Posteriorer inferiorer Temporalkortex & temporooccipito-parietale Grenzregion (IT+) Da die Patienten noch über konzeptuelles Wissen verfügten, sind diese Regionen vermutlich am Wortabruf beteiligt Prozentsatz korrekt benannter Items Aus Gazzaniga et al. (2009). W.W. Norton.

40 Konvergierende Evidenz aus funktionellen Bildgebungsstudien (PET) Aktivierung bei hirngesunden Probanden in separaten Regionen im lateralen Temporalkortex während des Benennens von Personen, Tieren und Werkzeugen Aus Gazzaniga et al. (2009). W.W. Norton.

41 Semantische Kategorien aktivieren überlappende aber unterscheidbare kortikale Regionen 1 medialer Gyrus fusiformis 2 lateraler Gyrus fusiformis 3 mittlerer und inferiorer Temporalkortex 4 superiorer temporaler Sulcus fmrt-aktivierung in drei Probanden beim Ansehen, Vergleichen und Benennen von Objekten aus unterschiedlichen Kategorien

42 Metaanalyse von über 120 Bildgebungsstudien zur Lokalisation des semantischen Gedächtnisses Binder et al., Cerebral Cortex, 19, Semantische Verarbeitung aktiviert ein links lateralisiertes Netzwerk: Posteriore multimodale u. heteromodale Assoziationsareale posteriorer inferiorer Parietallappen Mittlerer temporaler Gyrus Fusiformer und parahippocampaler Gyrus Mediale limbische Regionen dorsomedialer Präfrontalkortex posteriorer cingulärer Gyrus Heteromodaler Präfrontalkortex inferiorer frontaler Gyrus ventromedialer PFC Subregionen für Wissen über Handlungen, Werkzeuge, abstrakte u. konkrete Konzepte Evolutionäre Expansion dieser Regionen könnte spezifisch menschliche Fähigkeit zur Verwendung von Sprache für Planen, Problemlösen und Schöpfung kultureller / technologischer Artefakte erklären

43 Ereigniskorrelierte Potentiale und der Zeitverlauf semantischen und syntaktischer Prozesse

44 Ereigniskorrelierte Hirnpotentiale in der Sprachpsychologie Aus Gazzaniga et al. (2002). W.W. Norton.

45 Kontinuierliche Prädiktion als zentrales Merkmal der Sprachverarbeitung Bei der Verarbeitung von Sprache generiert das Gehirn kontinuierlich Vorhersagen Vorhersagen basieren auf semantischen und syntaktischen Informationen Gestern traf ich Julias Erwartung eines Nomens Als die Lichter ausgingen, wurde der Saal Erwartung eines speziellen Adjektivs ( dunkel ) EKP-Studien untersuchen elektrokortikale Reaktionen auf Abweichungen von solchen Erwartungen Ziel: Analyse des Zeitverlaufs von semantischen und syntaktischen Verarbeitungsprozessen

46 Semantische Verarbeitung: N400 ERPs für kongruente, semantisch anomale und visuell anomale Wörter am Ende von Sätzen Semantisch anomale Wörter N400 Semantisch kongruente aber visuell abweichende Wörter (große Schrift) P560 / keine N400 N400 wird nicht allein durch Überraschung ausgelöst, sondern spezifisch durch semantische Inkongruenz Aus Gazzaniga et al. (2009). W.W. Norton.

47 Semantische Verarbeitung: N400 Modulation der N400 durch a) den Kontext b) die Stärke semantischen Relationen zwischen Worten c) Wortwiederholung d) Worthäufigkeit e) Position des Wortes im Satz f) Die Effekte sind modalitätsunabhängig Kutas, M., and Federmeier, K.D. (2000). Trends Cogn. Sci. 4:

48 N400 für Verletzungen der Semantik und des Weltwissen (Hagoort et al., 2004) N400 bei Verletzungen der Semantik und des Weltwissens Aktivierung im linken inferioren frontalen Gyrus (BA45/47) bei Verletzungen der Semantik und des Weltwissens

49 N400 bei aphasischen Patienten (Swaab, Brown & Hagoort, 1997) Verzögerte N400 bei Aphasikern mit stark beeinträchtigtem Sprachverständnis Hinweis auf verlangsamte semantische Integration Gazzaniga et al. (2010). W. W. Norton

50 ERPs related to semantic and syntactic processing: N400 and Left anterior negativity (LAN) 2010 W. W.Norton LAN: Morpho-syntaktische Verletzungen Verletzungen der Subjekt-Verb-Übereinstimmung Die Zuschauer applaudiert Die Politiker hofft zu siegen Kasus-Verletzungen Das Flugzeug brachte wir nach Boston Friederici et al. (1993). Cognitive Brain Research.

51 Syntactic positive shift Positivierung nach ca. 600 ms in Reaktion auf syntaktische Verletzungen Insbesondere, wenn Erwartung / Interpretation eines Satzes revidiert werden muss Garden path sentences: The horse raced past the barn fell Hans hat die Frau dazu aufgefordert, die Probleme mit ihrem Mann sehr schnell lösen konnte Hagoort, P., Brown, C., & Groothusen, J. (1993). Language and Cognitive Processes 8,

52 Ein neurokognitives Modell der Sprachverarbeitung (Friederici, 2011, 2012)