Fachrichtung Psychologie Professur Allgemeine Psychologie. Modul A1: Kognitive Prozesse (SS 2013) Sprache. Thomas Goschke

Transkript

1 Fachrichtung Psychologie Professur Allgemeine Psychologie Modul A1: Kognitive Prozesse (SS 2013) Sprache Thomas Goschke 1

2 Literaturempfehlungen zur Vorbereitung auf die Modulprüfung Eysenck, M.W. & Keane, M.T. (2010). Cognitive psychology. A student s handbook (6th ed.). Psychology Press. PART III: Language (Kapitel 9 und 10). Gazzaniga, M., Ivry, R. & Mangun, R. (2009). Cognitive neuroscience. The biology of the mind (3rd Ed.). Norton. Kapitel 10. Goldstein, E.B. (2007). Wahrnehmungspsychologie (7. Aufl.). Heidelberg: Spektrum Akademischer Verlag. (Kapitel 13 zur Auditiven Sprachwahrnehmung). 2

3 Überblick Einführung: Grundmerkmale und Struktur der Sprache Wahrnehmung gesprochener Sprache Wahrnehmung geschriebener Sprache Das mentale Lexikon: Repräsentation von Wortbedeutungen Sprache und Gehirn 3

4 Was ist Sprache? Ein System von Symbolen und Regeln, dass es uns ermöglicht, zu kommunizieren Weitere Funktionen der Sprache Unterstützung von Denkprozessen Aufzeichnung und Weitergabe von Wissen u. v. m. Voraussetzung für komplexere Formen von Technologie, Zivilisation und Kultur 4

5 Sprache als interdisziplinärer Forschungsgegenstand Linguistik Theorien der Sprachkompetenz (Wissen über grammatische Regeln) Psychologie Untersuchung der Sprachperformanz (Prozesse und Strukturen des Sprachverstehens und der Sprachproduktion) Informatik Entwicklung von künstlichen Systemen, die Sprache verwenden können Neuropsychologie und Kognitive Neurowissenschaft Untersuchung neurologisch bedingter Sprachstörungen und neurobiologischer Grundlagen der Sprache 5

6 Wichtige Begriffe Syntax: Grammatische Regeln, die bestimmen, wie Wörter zu Sätzen kombiniert werden dürfen Semantik: Bedeutung sprachlicher Ausdrücke Pragmatik: Gebrauch von Sprache zur Kommunikation und Erreichung von Zielen (z.b. Versprechen, Drohen, Überzeugen, Erklären etc.) Prosodie: Melodische Aspekte sprachlicher Äußerungen (Betonung, Intonation) emotionaler Ausdruck 6

7 Sprache bei Menschenaffen? Frühe Versuche, Affen Sprechen beizubringen, scheiterten ( Anatomie des Vokaltrakts) Spätere Studien: Menschenaffen können begrenzt den Gebrauch von Symbolen lernen Z.B. Gardner & Gardner: Schimpansin Washoe: Zeichensprache 7 Gardner, R.A. & Gardner, B.T. (1969). Teaching sign language to a chimpanzee. Science, 165,

8 Sprache bei Menschenaffen? Savage-Rumbaugh: Bonobos Kanzi und Panbanisha lernten Gebrauch einer Tastatur mit ca. 400 Lexigrammen kombinieren Symbole zu einfachen Sequenzen: Ich möchte Eiskaffee ; Ich möchte essen Wenig völlig neue Sätze Selten Bezug auf nicht sichtbare Dinge Beschränkte Komplexität der Sätze Unklar, ob echte Syntax Kritik: Nur operantes Konditionieren? 8

9 Sprache bei Menschenaffen?

10 Universelle Eigenschaften der menschlichen Sprache Unabhängigkeit von der Gegenwart Wir können über Dinge sprechen, die nicht vorhanden sind. Ausdruckskraft Wir können über beliebige Inhalte sprechen. Produktivität und Generativität Wir können aus endlicher Anzahl von Wörtern mit Hilfe grammatikalischer Regeln unendlich viele Sätze bilden. 10

11 Sprache und Denken Die These des linguistischen Relativismus Benjamin L. Whorf (1956): Die Sprache determiniert die Wahrnehmung und das Denken Abgeschwächte These: Sprache beeinflusst Wahrnehmung und Gedächtnis Evidenz: Unterschiede zwischen Sprachen Z.B. Hanuxoo auf den Philippinen haben 92 verschiedene Namen für unterschiedliche Reissorten Z.B. Eskimos: zahlreiche Wörter für verschiedene Schneearten 11 Kritische Einwände auch in anderen Sprachen können ähnlich feine Unterscheidungen ausgedrückt werden, allerdings werden dazu mehrere Wörter benötigt Nicht die Sprache bestimmt Denken/Wahrnehmung, sondern Unterschiede zwischen Sprachen spiegeln die Relevanz bestimmter perzeptueller / konzeptueller Unterscheidungen in einer Kultur

12 Sprache und Denken Roschs Experimente zum Gedächtnis für Farben Eleanor Rosch (1972, 1973): Experimente zum Einfluss der Farbwörter einer Sprache auf Wahrnehmung und Erinnern von Farben Studie zum Farb-Gedächtnis mit Angehörigen der Dani (Volksstamm auf Neuguinea), deren Sprache nur zwei Farbworte enthält ( mola = hell/warm und mili = dunkel/kalt) Dani-Probanden machten in Gedächtnistests für Farben ähnliche Fehler wie amerikanische Probanden Dani-Probanden zeigten ebenso wie amerikanische Probanden bessere Gedächtnisleistung für fokale Farben Rosch s Schlussfolgerung: Keine Evidenz für Whorfs These des Sprachdeterminismus 12

13 Replikationsstudie von Roberson et al. (1990) Studie mit englischen Probanden und Angehörigen der Berinmo auf Papua Neuguinea Englisch: Worte für blau vs. grün Berinmo: Worte für nol ( grün) vs. Wor ( gelb) (aber keines für blau) Probanden sollten aus jeweils drei Farben die zwei ähnlichsten auswählen Vorhersage der Relativitätshypothese: Probanden sollten Farben aus der gleichen sprachlichen Kategorie als ähnlicher klassifizieren Grün1 Grün2 Blau Nol1 - nol2 - wor Ergebnis: In beiden Gruppen wurden die Klassifikationen stark durch die jeweilige Muttersprache beeinflusst 13 Roberson, D., Davies, I., & Davidoff, J. (2000). Color categories are not universal: Replications and new evidence from a stone-age culture. Journal of Experimental Psychology: General, 129(3),

14 Hemisphärenasymmetrie des Einflusses sprachlicher Kategorien auf die Farbwahrnehmung Gilbert, A.L. et al. (2006). Proceedings of the National Academy of Sciences 103,

15 Hemisphärenasymmetrie des Einflusses sprachlicher Kategorien auf die Farbwahrnehmung Gilbert, A.L. et al. (2006). Proceedings of the National Academy of Sciences 103,

16 Fazit Weitere Befunde (s. Eysenck & Keane, S ) Roberson et al. (2000): Rekognitionstest, bei dem englische Probanden und Berinmo entscheiden sollten, welche von 2 Farben mit einer zuvor dargebotenen Farbe übereinstimmt In beiden Gruppen besseres Farbgedächtnis, wenn die 2 Testfarben aus verschiedenen Sprachkategorien stammten Befunde sprechen insgesamt für moderate Variante von Whorfs Hypothese, dass Sprache (unter bestimmten Bedingungen) Kategorisierung und Gedächtnis beeinflusst

17 Vom Sprachsignal zur Bedeutung

18 Prozesse beim Produzieren und Verstehen von Sprache 21 Ward (2010)

19 Probleme, die das Gehirn beim Sprachverstehen lösen muss Diskrimination von Sprachsignal u. irrelevantem auditorischen Input Echtzeitverarbeitung: Sprachinput = ca. 10 Phoneme pro sec Segmentierung: Extraktion diskreter Einheiten (Phoneme, Silben, Wörter) aus akustischem Input Variabilität: Aussprache von Phonemen variiert je nach Kontext (Koartikulation) und zwischen Sprechern Lexikalische Selektion aus mentalem Lexikon mit einigen (oft phonologisch ähnlichen) Wörtern Semantische Interpretation: Konstruktion einer kohärenten Bedeutung aus einzelnen Wörtern Integration in mentales Modell der Sprachintention 22

20 23 Auditorische Sprachwahrnehmung

21 Teilprozesse und Verarbeitungsstufen der auditorischen Sprachwahrnehmung nach Cutler & Clifton (1999) Abb. Aus Eysenck & Keane (2010)

22 Gesprochene Sprache: Der akustische Input Phoneme: Kleinste Lauteinheiten, die Bedeutungsunterschiede anzeigen /d/ vs. /t/ danken tanken Anzahl und Verknüpfungsregeln variieren zwischen Sprachen Allophone: Lautvariationen, die keine Bedeutungsänderungen anzeigen z.b. /l/ und /r/ im Japanischen Morpheme: Kleinste Bedeutung tragende Einheiten Freie Morpheme: können allein stehen, gewöhnlich Wörter Gebundene Morpheme: können nicht allein stehen, meist Präfixe u. Suffixe: verstehend, Hunde, Unglück, glücklich, betrinken 25

23 Erzeugung von Phonemen Beim Sprechen wird der exhalatorische Luftstrom durch Stimmbänder, weichen Gaumen, Zunge u. Lippen moduliert Vokale: kontinuierlicher Luftstrom bei charakteristischer Öffnungsform des Stimmtrakts Konsonanten: Zusammenziehen oder Schließen des Stimmtrakts Rascher Wechsel von Luftstromimpulsen und Ruhephasen Unterbrechungen der Luftströme mit charakteristischer Art und Position 27

24 Erzeugung von Phonemen: Phonetische Merkmale Stimmhaftigkeit: Schwingende vs. nicht schwingende Stimmbänder Stimmhaft: alle Vokale; einige Konsonanten (z.b. /b/, /d/, /m/) Stimmlos: z.b. /s/, /t/, /f/ Artikulationsort: Ort, an dem Luftstrom blockiert wird Alveolar: Zahnfächer (Alveolaren): /d/ Labiodental: Unterlippe und obere Schneidezähne: /f/ Bilabial: beide Lippen (/b/) Artikulationsart: Wie wird Luftstrom verändert Verschlusslaute (Plosive): Blockieren des Luftstroms (/d/, /p/) Reibelaut (Frikativ): (/f/) Vokale: Position der Zunge (hoch-niedrig, vorne-hinten) 29

25 Sprachwahrnehmung: Das Sprachsignal Physikalisches Signal Gehörte Laute Physikalisch: Kontinuierlicher Lautstrom (keine klaren Pausen zwischen Wörtern; oft Pausen innerhalb von Worten) Gehört: Individuelle, klar voneinander getrennte Wörter Spektrogramm (Frequenz x Zeit; Intensität = Schwärze) Formanten 32 Abb. aus Goldstein (1999).

26 Das Segmentierungsproblem 34 Hinweise auf Wortgrenzen Bestimmte Lautfolgen kommen nie in einer Silbe vor Lautfolgen, die keinen Vokal enthalten, können kein Wort sein Betonung (z.b. werden im Englischen die meisten Substantive auf der ersten Silbe betont) Stärkere Koartikulationseffekte innerhalb als zwischen Wörtern Courtesy of Tamara Swaab. 1997

27

28 Das Variabilitätsproblem vs. Variabilität aufgrund inter- und intraindividueller Unterschiede in der Aussprache Tonhöhe, Geschwindigkeit, Akzent und Dialekt, Sorgfalt Koartikulation: Variabilität der Phoneme durch umgebende Laute Lautproduktion wird von vorangehenden und nachfolgenden Lauten beeinflusst Lippen passen sich beim Aussprechen eines Phonems antizipatorisch an das folgende Phonems an z.b. bei Boot sind Lippen beim Aussprechen des /b/ bereits gerundet für das folgende 36 /o/; bei Bad dagegen nicht Abb. aus Goldstein (1999). Spektrum Verlag.

29 Bottom-up-Prozesse: Kategoriale Wahrnehmung von Phonemen Eimas & Corbit (1973): Variierten Vokaleinsatzzeit (vocal onset time; VOT) nach einem Konsonanten Gradueller Anstieg der VOT von 0 msec ("da") zu 80 msec ("ta"), aber kategoriale Wahrnehmung von "da" oder "ta" ohne Zwischenstufen /da/ /ta/ 38 Abb. aus Goldstein (2002).

30 Interaktion akustischer und visueller Information: Der McGurk-Effekt McGurk & MacDonald (1976): Versuchspersonen sehen die Lippenbewegungen von "gaga" und hören dazu "baba". Sie nehmen "dada" wahr! Bei geschlossenen Augen hören sie korrekt "baba". Visueller Kontext beeinflusst Wahrnehmung des auditiven Sprachsignals 40

31 Top-down-Prozesse und Kontexteffekte: Einfluss der Bedeutung Segmentierung aufgrund der Bedeutung "Druckerzeugnis": Druck-Erzeugnis oder Drucker-Zeugnis? "I scream, you scream, everybody wants ice cream Interpretation aufgrund von Vorwissen und Kontext Identifikation von Phonemen aufgrund der Bedeutung Phoneme (z.b. "b") werden in Wörtern ("Bat") schneller erkannt als in Nicht-Wörtern ("Baf") (Rubin, Turvey & Van Gelder, 1976) 41

32 Top-down-Prozesse und Kontexteffekte: Phonemischer Restaurationseffekt Warren & Warren (1970): Einzelne Phoneme in Sätzen wurden durch ein Geräusch ersetzt Keine Versuchsperson bemerkte dies! Statt dessen wurde das fehlende Phonem "gehört. Dargeboten It was found that the *eel was on the axle It was found that the *eel was on the table It was found that the *eel was on the orange Gehört Wheel Meal Peel Gleicher akustischer Input wird je nach Bedeutungskontext unterschiedlich wahrgenommen 42

33 Top-down-Verarbeitung: Kognitive Prozesse bei der Sprachwahrnehmung Miller & Isard (1963): Probanden sollten Wörtern trotz Hintergrundgeräuschen erkennen Wörter in syntaktisch & semantisch korrekten Sätzen wurden besser verstanden als Wörter in nur syntaktisch korrekten Sätzen bzw. sinnlosen Wortfolgen 63% vs. 22% vs. 3% korrekte Wiedergabe Salasoo & Pisoni (1985): Wörter, bei denen ein Teil durch ein Geräusch überdeckt war, wurden in bedeutungsvollen Sätzen besser erkannt als isoliert Wörter wurden besser erkannt, wenn der Anfang statt des Endes hörbar war 44

34 Mattys et al. s (2005) Hierarchisches Modell der Sprach-Segmentierung Abb. Eysenck & Keane, 2010

35 46 Modelle der auditorischen Worterkennung

36 Teilprozesse und Verarbeitungsstufen der auditorischen Sprachwahrnehmung nach Cutler & Clifton (1999) Abb. Aus Eysenck & Keane (2010)

37 Schematisches Modell der Strukturen und Prozesse beim Verstehen gesprochener und geschriebener Sprache Aus: Gazzaniga, Ivry & Mangun (2009)

38 Das mentale Lexikon Langzeitgedächtnis für das Wissen über Worte enthält Phonologische Information (Klang) Orthographische Information (Visuelle Wortform) Syntaktische Information (Wortklasse; Abfolge; Kombination zu Sätzen) Semantische Information (Bedeutung) (Wird von einigen Forschern als separates System angenommen!) Standardsprache: ca Wörter (Gesamtwortschatz: mehrere Wörter) Echtzeitverarbeitung: Wir können ca. 3 Worte pro Sekunde verstehen / produzieren Wie wird aufgrund des Sprachinput auf die richtigen Einheiten im mentalen Lexikon zugegriffen (lexical access)?

39 Zwei wichtige Modelle der auditorischen Worterkennung Kohorten-Modell (Marslen-Wilson & Tyler, 1980, 1990) Trace-Modell (Elman & McClelland,1986)

40 Kohortenmodell (Marslen-Wilson &Tyler, 1980) Lexikalische Aktivierung aller Kandidaten, die mit Anfangsphonem übereinstimmen 2. Lexikalische Selektion: Schrittweise Einschränkung auf zunehmend weniger Kandidaten 3. Worterkennung: Prozess bricht ab, sobald nur noch ein Wort in der Kohorte ist (uniqueness point) Aus: Gazzaniga, Ivry & Mangun (2009)

41 Kohortenmodell (Marslen-Wilson &Tyler, 1980) Parallele Verarbeitung: phonologische, lexikalische, syntaktische und semantische Informationen wird simultan genutzt, um Anfangskohorte einzuschränken Semantische Kontexteffekte: die Selektion von Wortkandidaten kann durch den Satzkontext beeinflusst werden ( vgl. später das Experiment von Zwitserlood, 1989) 53

42 Kontexteffekte: Das Experiment von Zwitserlood et al. (1989) Vpn hörten Sätze: Carrier Phrase: Neutral context: Biasing context: Das nächste Wort ist Kapitän Sie betrauerten den Verlust ihres Kapitäns In gedrückter Stimmung standen die Männer um das Grab. Sie betrauerten den Verlust ihres Kapitäns Zu verschiedenen Zeitpunkten während der akustischen Darbietung des Wortes Kapitäns ( K, Ka, Kap ) erschien visueller Probe -Stimulus: SCHIFF = semantisch mit Kapitän assoziiert GELD = semantisch mit lexikalischem Konkurrent ( Kapital ) assoziiert LIVUL = Nichtwort Vpn sollten lexikalische Entscheidung für den visuellen Reiz treffen 56

43 Kontexteffekte: Experiment von Zwitserlood et al. (1989) 1. Akustischer Satzkontext: In gedrückter Stimmung standen die Männer um das Grab. Sie betrauerten den Verlust ihres Anfangsphoneme des Prime- Worts: Ka Kap Kapit Kapitä 3. Visuelles Probe-Wort & Lexikalische Entscheidung 57

44 Kontexteffekte: Experiment von Zwitserlood et al. (1989) In einer Gating-Aufgabe wurden für jedes Prime-Wort vier Probe- Positionen bestimmt: Positionen 1 + 2: Ohne Kontext werden sowohl das Zielwort (KAPITÄN) als auch alternative Konkurrenten (KAPITAL) genannt Phase der lexikalischen Aktivierung Position 3: Ohne Kontext wird das Zielwort am häufigsten genannt; einige Probanden nennen noch auch alternative Worte Phase der lexikalischen Selektion Position 4: Das Wort wird eindeutig erkannt Punkt der eindeutigen Rekognition 58

45 59

46 Kontexteffekte: Experiment von Zwitserlood et al. (1989) Biasing Context Neutral Context Carrier Phrase Probe related to competitor ( KAPITAL ): GELD Carrier Phrase Neutral Context Biasing Context Probe related to actual word ( KAPITÄN ) SCHIFF ms 60

47 Kontexteffekte: Experiment von Zwitserlood et al. (1989) Primingeffekt für Probes, die mit dem Zielwort und dem Konkurrenten assoziiert waren parallele Aktivierung einer lexikalischen Kohorte Kein Effekt des semantischen Kontexts an Probe Position 1 und 2 frühe lexikalische Aktivierung erfolgt weitgehend botton-up Signifikanter Effekt des Kontext an Probe Position 3 und 4 Satzkontext beeinflusst lexikalische Selektion 63

48 Revidiertes Kohortenmodell (Marslen-Wilson (1990, 1994) Kandidaten einer Wort-Kohorte können im Grad ihrer Aktivation variieren (statt Alles-oder-Nichts-Prinzip) Z.B. werden häufige Wortkandidaten stärker aktiviert als seltene Die initiale Kohorte kann Worte mit ähnlichen (anstatt identischen) initialen Phonemen wie das dargebotene Wort enthalten Größere Betonung von bottom-up Prozessen, um den relativ späten Einfluss semantischer Kontexte zu erklären Stärke des Modells: berücksichtigt Interaktion parallel ablaufender (phonologischer, syntaktischer, semantischer) Verarbeitungsprozesse Einschränkungen des Modelle: Das revidierte Modell ist sehr flexibel, aber auch schwer zu testen bzw. zu widerlegen Es ist nicht völlig geklärt, wie die initiale Identifikation von Wortanfängen funktioniert Sehr starke/eindeutige Kontexte können Verarbeitung früher beeinflussen als im Modell angenommen (van Petten et al., 1999)

49 Blickbewegungsstudie von Magnuson et al. (2008) Probanden lernten, Nomen (einer Kunstsprache) mit Objekten zu assoziieren und Adjektive mit Texturen zu assoziieren Danach wurden jeweils vier Objekte präsentiert und Probanden sollten auf dasjenige klicken, das mit einem bestimmten Nomen assoziiert war In jedem Trial wurde das korrekte Ziel-Nomen zusammen mit einem Competitor -Wort dargeboten, das mit dem gleichen Phonem begann A.V.: Anteil von Blick-Fixationen auf das Ziel-Wort und das Competitor -Wort Wenn das Competitor -Wort ein Adjektiv war, wurde es extrem schnell ignoriert (oder gar nicht beachtet) Spricht gegen die Annahme des Kohortenmodell, dass die initiale Wort-Kohorte unbeeinflusst von Top- Down-Effekten ist Abb. Aus Eysenck & Keane (2010)

50 Konnektionistische Modelle: Die TRACE-Theorie von McClelland & Elman (1986)

51 TRACE-Modell (McClelland & Elman,1986) 67 bit tip... Worte /b/ /t/... Phoneme stimmhaft stimmlos nasal plosiv labial alveolar... Merkmale Drei Ebenen von Verarbeitungseinheiten für phonetische Merkmale, Phoneme, Worte. Hemmende Verbindungen zwischen Einheiten derselben Ebene (laterale Hemmung). Bahnende Verbindungen zwischen Einheiten verschiedener Ebenen. 67

52 TRACE-Modell (McClelland & Elman,1986) 68 bit tip... Worte /b/ /t/... Phoneme stimmhaft stimmlos nasal plosiv labial alveolar... Merkmale Je besser ein Merkmal zum Sprachsignal passt, umso stärker wird es aktiviert Merkmalseinheiten aktivieren Phonemeinheiten Phonemeinheiten aktivieren alle Worte in denen sie enthalten sind.

53 TRACE-Modell (McClelland & Elman,1986) 69 bit tip... Worte /b/ /t/... Phoneme stimmhaft stimmlos nasal plosiv labial alveolar... Merkmale Je besser ein Merkmal zum Sprachsignal passt, umso stärker wird es aktiviert Merkmalseinheiten aktivieren Phonemeinheiten Phonemeinheiten aktivieren alle Worte in denen sie enthalten sind. Worteinheiten aktivieren top-down Phonemeinheiten.

54 Empirische Evidenz für das TRACE-Modell Erkennen von verrauschtem Sprachinput Musterergänzung aufgrund top-down-einflüssen kategoriale Wahrnehmung von Phonemen Nebeneffekt der lateralen Hemmung zwischen Phonem-Units ( winner-takes-all - Prinzip) Effekte der Worthäufigkeit höhere Baseline-Aktivierung von Worteinheiten Wortüberlegenheitseffekt (Cutler et al., 1987): Phoneme werden schneller in Worten als in Nichtworten entdeckt Nebeneffekt der top-down-aktivierung von der Wort- zur Phonemebene Lexical identification shift (Ganong, 1980): ambige Phoneme werden so wahrgenommen, dass sich sinnvolles Wort ergibt Nebeneffekt der top-down-aktivierung von der Wort- zur Phonemebene 70

55 TRACE-Modell Einschränkungen Top-Down-Einflüsse werden im Modell evtl. überschätzt ( Modell produziert häufig halluzinierte Wahrnehmungen) Simulation bislang nur mit relativ begrenztem Lexikon ( Frage der Skalierung der Prozesse auf realistisch großes Lexikon) 71