Kapitel 1, Teil 3: Basiswissen Phonetik

Transkript

1 Kapitel 1, Teil 3: Basiswissen Phonetik Prof. Dr. Bernd J. Kröger Inhalt Kommunikationskette: Gesprochene Sprache und Sprachsystem Initiation, Phonation und Artikulation Akustogenese und akustische Lautmerkmale Sprachproduktion: von der Intention zur Artikulation Sprachwahrnehmung: vom akustischen Signal zur Bedeutung Spracherwerb Kommunikation und Emotion Sprech-/Sprachstörungen Das deklarativ-prozedurale Modell: Mentales Lexikon und die Verarbeitung von Sätzen

2 Copyright Copyright and all rights therein for the figures available in this document are maintained by the authors or by other copyright holders. The texts and figures made available here are purely meant for ensuring timely dissemination of scholarly and technical work on a non-commercial basis. It is understood that all persons accessing, storing or copying the information in this document will adhere to the terms and constraints invoked by each copyright holder. These works may not be reposted without the explicit permission of the copyright holder. Copyright Die in diesem Vorlesungsskript enthaltenen Abbildungen sind selbst entwickelt aber auch zum Teil der in der Einführung genannten und weiterer Literatur entnommen. Die Nutzung dieser Abbildungen ist daher nur zu Zwecken des Studiums erlaubt. Eine Weitergabe oder Vervielfältigung der Texte und Bilder zu anderen Zwecken ist nicht erlaubt. Alle Rechte liegen beim Autor dieses Vorlesungsskriptes. Alle Rechte vorbehalten.

3 Sprachproduktion Bisher betrachtet: Wie werden Laute artikuliert? Wie entsteht ein akustisches Signal (Akustogenese)? Bisher noch nicht betrachtet: Wie werden die Laut-charakteristischen Bewegungen (und Zieleinstellungen) der Artikulationsorgane initiiert? -> Neurophonetik Literaturempfehlung: Kröger, Bernd J (2018): Neuronale Modellierung der Sprachverarbeitung und des Sprachlernens. Springer Verlag, Heidelberg, Berlin (print und ebook unter SpringerLink)

4 Das Sprachverarbeitungsmodell Bereits bekannte Dreiteilung: Drei-Säulen-Modell: erworbenes Sprachwissen, Sprachwahrnehmung (-verstehen) Sprachproduktion Pfeile: waagerecht: enge Verbindung Produktion-Wahrnehmung -> bottom-up- und topdown-prozesse Bei Produktion können wir recht gut trennen: kognitive Module und motorische Module; Wahrnehmung: sensorische Module bis zur phonologischen Analyse

5 Das mentale Lexikon Repräsentation aller Wörter (passiver Wortschatz eines Menschen: ca Items) Konzeptebene: Repräsentation der Wortbedeutung Lemma- Ebene: syntaktisch wichtige Information (Nomen-Verb-Adjektiv ; Singular-Plural, ) Lexem-Ebene: Repräsentation der phonologischen Information Also: Lexikon ist nicht nur die Sammlung von Lexemen!

6 Die Konzeptualisierung Noch keine Wörter sondern: Konzepte (=Bedeutungen) (sprachübergreifend?) Semantische Netzwerke: Objekte und Relationen zwischen den Objekten In semantischen Netzwerken ist das Weltwissen organisiert

7 Die Formulierung Wortabruf: Umsetzung Konzept -> Lemma -> phonologische Form Dann: Satzbildung Wortabruf: Morpheme extl. noch aktiv: z.b. /lauf/ + /en/; z.b. /hunt/ + /e/ Es wird resilbifiziert: -> [lau/f@n] [hun/d@] -> die Hunde laufen in einer Sprache auftretende häufige Silben sind im Silbenspeicher abgelegt Wir haben also neben dem mentalen Lexikon (kognitiv -> Einträge) noch den Silbenspeicher (sensorisch-motorisch-phonemisch -> Einträge)

8 Silbenspeicher phonologische Repräsentation realer Silben (nach Silbifizierung) Im Silbenspeicher existiert auch: auditive Repräsentation: wie die Silbe vor dem inneren Ohr klingt motorische Repräsentation; ist nicht so sehr Wissen, sondern eher eine Fähigkeit, erworben durch implizites Lernen; somatosensorische Repräsentation: taktile und propriozeptive Repräsentation: wie sich die Artikulation dieser Silbe anfühlt Repräsentationsform eines Eintrages im Silbenspeicher: Kognition Sensorik, Motorik

9 Produktion nochmal: Konzeptualisierung, Formulierung (= grammatischen und phonologische Enkodierung) und Silbifizierung Der Silbenspeicher liegt genau auf der Grenze zwischen Kognition und Sensorimotorik (Sensorik und Motorik) dann: Realisierung der motorischen Form -> Artikulation Kognition Sensorik, Motorik

10 Silbenspeicher Standarddeutsch: Mit den 2000 häufigsten Silben können ca. 95% aller Äußerungen produziert werden (Kröger 2010, Kinderwortschatz bis 6;0 -> publications) Die häufigen Silben sind mit hoher Wahrscheinlichkeit die gelernten Silben eines Sprachbenutzers -> muss diese Silben nur abrufen, nicht explizit den Motorplan (neu) generieren Andere (seltene) Silben können aufgrund von ähnlicher Silbenstruktur zu häufigen Silben schnell gebildet (nämlich kopiert) werden Bsp: Blut [blu:t] und Knie [kni:] sind häufig -> kann daraus Knut [knu:t] bilden

11 Der motorische Plan einer Silbe ist die motorische Repräsentation im Silbenspeicher Die Basiseinheiten eines motorischen Plans sind die sogenannten Sprechbewegungseinheiten SBE, (vocal tract actions, vocal tract gestures); z.b. für die Silbe [pa:m] (seltene Silbe im Vergleich zu [ka:m] oder [ta:n]): bilabialen Verschlussbildung für [p] und [m] eine vokalische Resonanzraumformung zum [a:], glottale Öffnung für [p]; glottale Verschlussbildung zur Phonation eine Öffnung der velo-pharyngealen Pforte für [m] Bsp.: motorischer Plan von [pa:m] (-> zeitliche Koordinierung der SBE s): Typisch ist: die zeitliche Überlappung der SBE s in der Silbe: Anordnung (Reihung) der SBE s in Schichten nach ausführendem Artikulator : Ein Laut kann mehrere SBE s mit spezifischer zeitlicher Koordinierung umfassen:

12 Diskrete Spezifikation der SBE s ist in ähnlicher Form wie bei distinktiven Lautmerkmalen möglich: Oberklassen: Typ der SBE s mit weiterer distinktiver Spezifikation: Vokalische SBE: hoch-tief, vorne-hinten, gerundet-ungerundet (konsonantisch) konstriktive SBE: Art: Enge (Frikativ) / Verschluss (Plosiv, Nasal) / laterale Enge (Lateral) / approximantische Enge (Approximanten) ; Artikulator: labial/apikal/ dorsal; Ort: bilabial/apikal/palatal/velar ; glottale SBE zur Öffnung/Verschließung/festen Verschließung; (stimmlos, stimmhaft, Knacklaut) Velopharyngeale SBE zur Öffnung/Verschließung/festen Verschließung der velopharyngealen Pforte; (nasal, nicht-nasal; obstruent) dann: z.b. bei der konstriktiven SBE sind weitere drei Untermerkmale möglich: Artikulationsart, -ort, ausführender Artikulator (siehe oben) Achtung: ein Laut kann mehrere SBE s umfassen: [p] -> bilabialer Verschluss + glottale Öffnung + velopharyngealer fester Verschluss

13 Der motorische Plan: quantitative Spezifikation qualitativ-diskrete Spezifikation der SBE s (siehe oben): Typ der SBE was noch quantitativ spezifiziert werden muss: die zeitliche Struktur jeder einzelnen SBE (zeitliche Intra-SBE-Parameter) und für den motorischen Plan: die zeitliche Koordinierung der SBE s in einer Silbe (zeitliche Inter-SBE-Parameter)

14 distance to target Die zeitliche Struktur einer SBE Unterteilung der SBE: Bewegungsphase (starke Änderung der Hohlraumformung pro Zeiteinheit) und Zielphase / Targetphase (geringe ); die Zielform ist hier weitgehend erreicht; Zeitliche Intra-SBE-Parameter: Realisierungsgrad RG und Rapidität RA Die Rapidität RA einer SBE (in ms) entspricht genau der Dauer der Bewegungsphase der SBE; RA gibt an, nach welcher Zeit (ab Beginn der Aktivierung der SBE) die Zielform erreicht ist; (schnell; langsam) (Beispiel: Konsonant vs. Vokal) Die Dauer einer SBE ergibt sich genau aus dem Produkt RG * RA <- Realisierungsgrad RG >1: Zielform (Target) wurde erreicht und darüber hinaus gehalten (-> voll ausartikuliert ) RG = 1: Zielform (Target) wurde gerade erreicht RG <1: die SBE realisiert eine Bewegung in Richtung Zielform; diese wird aber nicht vollständig erreicht ( reduzierte SBE); oft reicht das schon, um das Target wahrzunehmen! [%] 100 Bewegungsphase Zielphase time Bewegungsphase Zielphase

15 Der motorische Plan: quantitative Spezifikation jetzt: Regeln zur zeitlichen Koordinierung aller SBE s innerhalb einer Silbe: die zeitlichen Inter-SBE-Parameter: (Bsp. [plats]) Lege zuerst fest: Vokal; dann: Start Bewegungsphase des Vokals = Ende Bewegungsphase (Konstriktionsbeginn des vorhergehenden Konsonanten) Vokalende (in Targetphase) = Konstriktionsbeginn nachfolgender Konsonanten Interkonsonantische Koordination: Konstriktionsbeginn nachfolgender Konsonanten = Ende der Targetphase des Vorhergehenden vokalische SBE konstriktive SBE 1 konstriktive SBE 2

16 Der motorische Plan: quantitative Spezifikation weiter: die zeitliche Koordinierung der SBE s innerhalb einer Silbe: die zeitlichen Inter- SBE-Parameter: (Bsp.: [pa:m]); weitere Regeln: glottal, velopharyngeal: Fester velopharyngealer Verschluss (Obstruenten): zeitlich parallel zur konstriktiven SBE; Öffnung der velopharyngealen Pforte (Nasale): zum zeitlichen Mittelpunkt der kons. Zielphase (Verschluss) vokalische SBE konstriktive SBE 1 velopharyngeale SBE s closure op

17 Der motorische Plan: quantitative Spezifikation weiter: die zeitliche Koordinierung der SBE s innerhalb einer Silbe: die zeitlichen Inter-SBE-Parameter: (Bsp.: [pa:m]); weitere Regeln: Nachtrag SBE zur Öffnung der velopharyngealen Pforte (gilt auch für SBE zur glottalen Öffnung): Messungen zeigen: diese SBE hat keine lang andauernde Zielphase; (ballistischer Verlauf) Stimmlose Plosive: Ende der Zielphase der SBE der glottalen Öffnung (max. glottale Öffnung) soll mit Verschlusslösung zusammenfallen, um maximalen noise burst zu gestatten; Frikative: maximale glottale Öffnung liegt in der zeitlichen Mitte der Zielphase; Stimmhafte Laute (Vokale): SBE zur glottalen Verschließung (Phonation) soll mit dem Beginn der Zielphase der stimmhaften SBE zusammenfallen Anmerkung VOT (voice onset time): ist der Bereich zwischen den Pfeilen vokalische SBE konstriktive SBE 1 velopharyngeale SBE s glottale SBE s closure op closure op

18 Neuronale Repräsentation Intra-SBE-Parameter Rapidität : (sprechgeschwindigkeitsunabhängig!) Sprechgeschw.-Realisierung durch Inter-SBE-Parameter Phasenbeziehung zwischen SBE s: Neuronale Lösung: Es gibt neuronale Oszillatoren (rekursive Neuron-Ensembles); Frequenz der SBE = 1/Rapidität; Phasenwerte übergeordneter Silbenoszillatoren beschreiben Inter-SBE-Timing (Kröger et al. 2016, ESSV Dresden): <- Phasenwerte immer konstant: also die SBE s sind immer gleich zueinander angeordnet Unterschiedliches Sprechtempo (untersch. Frequenz der Silbenoszillatoren) ohne Erhöhung des artikulatorischen Aufwandes möglich: die Artikulationsgeschwindigkeit bleibt konstant (Frequenz der SBE-Oszillatoren)

19 Silbische Oszillatoren für 3 Silben c decoded values for each oscillator start and end of C V C Die Pfeile liegen immer kontant; -> Silbentypen sind vom Kind gelernt!

20 SBE-Oszillatoren führen zu Bewegungen consonantal actions: labial, apical, dorsal,. full, fric, nasal -> schnelle Oszillation vocalic actions: /a, i, u/ -> langsame Oszillation velopharyngeal actions: open (nasal), closed (obstruents; non nasal sounds) glottal actions: open (voiceless sounds); closed (phonation: voiced sounds)

21 Sprechgeschwindigkeit ändern: relative Zeitwerte (= Phasenwerte) in einer Silbe sind immer konstant -> constant phasing of vocal tract actions Nur die Frequenz des Silbenoszillators variiert: steigt von 1 Hz auf 3 Hz 1 Hz = sehr langsam: SilbenDauer = 500 msec) 1.5 Hz = langsam: (SilbenDauer = 333 msec) 2 Hz = nromal: (SilbenDauer = 250 msec) 3 Hz = schnell: (SD = 167 msec) ((Silbendauer: SD ist ca. 50% der Dauer eines Zeitzyklus (einer Schwingung) des Silbenoszillators (T = 1/F = 2 SD) )) decoded values for one single syllable oscillator start and end of C V C

22 langsam konstante Phaseneinstellung der SBEs zueinander führt zu einer korrekten Sprachproduktion bei jeder Sprechrate: langsam: no increase in articulatory effort per speech action

23 normal konstante Phaseneinstellung der SBEs zueinander führt zu einer korrekten Sprachproduktion bei jeder Sprechrate: normal: no increase in articulatory effort per speech action

24 schnell konstante Phaseneinstellung der SBEs zueinander führt zu einer korrekten Sprachproduktion bei jeder Sprechrate: schnell: no increase in articulatory effort per speech action

25 Die auditive Repräsentation auditive Repräsentation im Silbenspeicher: das ist ein Äquivalent des Spektrogramms jeder Silbe (Information wie in stilisierten Sonagrammen; siehe oben) meine -> 2 Silben [mai] [n@] Jacke -> 2 Silben [jak] [k@] Dauer der Stimmhaftigkeit/-losigkeit Stimmlosigkeit: Rauschen oder kein Signal (Verschluss)? Rauschen: mit welcher spektralen Struktur? Verlauf der Formanten Treten nur schwache Formanten auf (Nasalität, Lateralität)? [ m a I ] [ [ j a k ] [ k ]

26 Die somatosensorische Repräsentation taktile und propriozeptive Repräsentation im Silbenspeicher (nahe der motorischen Repräsentation): taktil: Dauer und Stärke der Bilabialer, labiodentaler Kontakt ZungenKkntakte (Spitze und rücken) mit Wand Darstellung als Teil der SBE s propriozeptiv: Verlauf der Senkung/Hebung des Unterkiefers Senkung/Hebung bzw. Vor-/Rückverlagerung des Zungenrücken bzw. der Zungenspitze Spreizung/Rundung der Lippen; Hebung der Oberlippe bzw. Unterlippe Verlaufsdarstellung für propriozeptive Repräsentationen: rote Linien I cl voc O Oszillogramm cons cl ncl op ncl velo tcl op cl op cons cl op glott Sonagramm Zunge Zunge Lippen Lippen Zunge Z-Spitze Velum S-Ritze

27 Was sind frequente (häufige) Silben? Im Silbenspeicher gespeichert: Alle Silben die häufiger als mal vom Sprachbenutzer realisiert wurden (trainiert wurden); Eine Studie: Kröger et al.: Phonetische Transkription von Märchenbüchern für Kinder <=6 Jahre: (8217 unterschiedliche) Wörter in 6513 Sätzen (40 Bücher/Hefte) 477 Silben werden >= 40 mal wiederholt -> decken 75% des Textes ab 856 Silben werden >= 20 mal wiederholt -> decken 85% des Textes ab 1396 Silben werden >= 10 mal wiederholt -> decken 91% des Textes ab 2139 Silben werden >= 5 mal wiederholt -> decken 96% des Textes ab 2843 Silben werden >= 3 mal wiederholt -> decken 98% des Textes ab 3475 Silben werden >= 2 mal wiederholt -> decken 99% des Textes ab 4763 Silben insgesamt (100%) Silbenspeicher enthält für das Deutsche ca Silben ; damit können ca. 95% aller Äußerungen realisiert werden Dagegen: das mentale Lexikon enthält für das Deutsche ca unterschiedliche Wörter

28 Motorische Planung und Programmierung Die motorische Planung ist für frequente Silben eng mit dem Silbenspeicher verbunden: direkter Abruf der motorischen Pläne; Wie aber geschieht die Planung nicht frequenter Silben? Kognition Sensorik, Motorik

29 Die motorische Planung für nicht-frequente Silben: enge Verbindung des Moduls zur motorischen Planung mit dem Silbenspeicher: es gilt das Prinzip des Abguckens der inter- und intra-sbe-parameter; infrequente Silben gucken sich die SBE-Parameter von phonetisch ähnlichen frequenten Silben ab (siehe Vorlesung Sommersemester) Es gibt nah am Silbenspeicher auch Ebenen der SBEs, der distinktiven Merkmale, der Laute,., die parallel zum motorischen Plan auch aufgrund der phonologischen Repräsentation der Silbe mit aktiviert werden (siehe oben); diese Ebenen helfen bei der Spezifikation der phonetischen Ähnlichkeit und erleichtern damit das Zusammensetzen eines motorischen Plans einer nicht häufigen Silbe aus motorischen Plänen häufiger Silben

30 Motorische Programmierung Motorischer Plan ist abstrakt: Definition nur Hohlraumformung bzw. kons. Enge als Funktion der Zeit (prämotorisch), nicht aber Muskelaktivität Motorische Programmierung (??) / Ausführung: Wie können Artikulatorbewegungen durch neuromuskuläre Aktivierungsmuster realisiert werden? (primär-motorisch) interne externe Zungenmuskulatur Muskulatur Unterkiefer Artikulationsmodell Neuromuskuläre Ansteuerung

31 Die Ausführung: Artikulation Motorische Planung (und Programmierung) kann innerlich stattfinden: covert speech, inneres Sprechen ; Sprechen ohne Ausführung der Bewegungen (wird z.b. bei fmri-experimenten gemacht; machen wir evtl. beim Lesen) Basalganglien geben letztlich das go -Signal zur Ausführung der Artikulation Besseres Konzept: Planung und Ausführung (Programmierung als Teil der Planung)

32 Ein quantitatives neuronales Modell Mentales Lexikon, Silbenspeicher und artikulatorisch-akustisches Modell zwei Typen von neuronalen Karten: Sich selbst organisierende neuronale Karten SOM: S-MAP und P-MAP (semantische und phonetische Karte): ein Neuron repräsentiert einen Zustand (Wort, Silbe); Zustände sind nach semantischen bzw. phonetischen Merkmalen geordnet: Langzeitgedächtnis neuronale Zustandskarten: momentane semantische, phonologisch, auditorische, somatos., motorische Zustände) Kurzzeitgedächtnis: jeder Zustand erregt ein neuronales Muster über die gesamte Karte! motor. audit. somatos.

33 SOM vs. neuronale Zustandskarten Auditorische und motorische Zustandskarten: (rechts): auf den gleichen Neuronenkarten werden zu verschiedenen Zeiten verschiedene Aktivierungsmuster abgebildet; Dagegen: SOM: (unten): phonetisch geordnet: ein Neuron = ein Zustand (langfristig) (lokale Repräsentation) Die Aktivierungsmuster eines Zustandes sind in den Verbindungsgewichten zwischen den Neuronen des SOM und den Neuronen der Zustandskarten langfristig gespeichert (exzitatorisch: 0.1) Oszillogramm Bark-skaliertes Sonagramm auditorische Zustandskarte [? I s t ] motorische Zustandskarte Cin1 V1 Cfin1 Cfin2 velcl glottop glottcl pulm

34 SOM vs. neuronale Zustandskarten SOM: phonetisch geordnet: ein Neuron = ein Zustand (langfristig); Habe hier 4 Silbenfelder mit gleicher Anordnung der Vokale Die Aktivierungsmuster sind in den Verbindungsgewichten zwischen den Neuronen des SOM und den Neuronen der Zustandskarten langfristig gespeichert (exzitatorisch: 0.1) auditorische Zustandskarten: jedes Feld stellt immer wieder die gleichen Neuronen dar, nur jeweils zu einem anderen Zeitpunkt (jeweils anders) aktiviert!