Spracherkennung. 6. Sitzung 27. Oktober 2008

Transkript

1 Spracherkennung 6. Sitzung 27. Oktober 2008

2 Überblick 4 Sprachwahrnehmung Kategoriale Sprachwahrnehmung beim Menschen: Der Perceptual Magnet Effect (Kuhl, 1991) Einordnung von Lindblom, 1992 Cracking the Speech Code (Kuhl, 2007)

3 Diskriminierung von Prototypen A P-A: keine / schlechte Diskriminierung A-B: Diskriminierung Prototyp B => Prototyp hat Generalisierungstendenz Perceptual Magnet Effect (Kuhl) Vokalklasse

4 Hausaufgabe Human adults and human infants show a perceptual magnet effect for the prototypes of speech categories, monkeys do not Patricia Kuhl Perception & Psychophysics 1991, 50 (2), (3. und 4. Experiment NICHT notwendig!)

5 Hintergrund Ontogenese (Entwicklung eines Menschen): Wahrnehmung von Vokalkategorien bei Kindern wird durch Typikaltität beeinflusst - bei Prototypischem Vokalstimulus generalisieren Kinder deutlich stärker als bei nichtprototypischem Stimulus (Grieser & Kuhl, 1989) Phylogenese (Entwicklung der Menschheit): Kategorielle Wahrnehmung ist auch bei anderen Säugetieren vorhanden; ist Typikalitätseffekt spezifisch menschlich?

6 Fragestellungen (1) Variieren Exemplare einer Vokalkategorie in ihrer Typikalität? (2) Hat diese wahrgenommene Typikalität einen Einfluss auf die perzeptuelle Organisiation von Sprachkategorien? (3) Gibt es den gleichen Effekt bei Kindern? (4) Gibt es den gleichen Effekt bei Affen?

7 Stimuli

8 Goodness Ratings

9 Aufgabe: Diskriminierung zweier Stimuli (Vokale) Ergebnisse

10 Ergebnisse: Generalisierung

11 Ergebnisse (1) Variieren Exemplare einer Vokalkategorie in ihrer Typikalität? Ja! Es lassen sich Prototypen finden. (2) Hat diese wahrgenommene Typikalität einen Einfluss auf die perzeptuelle Organisiation von Sprachkategorien? Ja! Prototypen haben einen stärkeren Generalisierungseffekt. (3) Gibt es den gleichen Effekt bei Kindern? Ja! (4) Gibt es den gleichen Effekt bei Affen? Nein!

12 Diskussion (1) Kognitive Organisation und Repräsentation von Sprachkategorien bei Erwachsenen (2) Ontogenese der Wahrnehmung von Sprachkategorien (genauer: Entstehung von Prototypen in Kindheit) (3) Phylogenese der Wahrnehmung von Sprachkategorien (genauer: Entstehung von Prototypen auch bei anderen Säugetieren)

13 Kognitive Organisation Experiment 1: goodness ratings noch kein Hinweis auf Effekt der Wahrnehmung von Prototypen aber: Kategorienprototypen mental repräsentiert, da kein Vergleichsstimulus als ideal angeboten wurde (intersubjektiver interner Standard)

14 Effekt auf Wahrnehmung Experiment 2: Prototypen reduzieren perzeptive Distanz zu Stimuli der gleichen Kategorie (im Vergleich zu Non- Prototypen) Perceptual Magnet Effect damit auch Erklärung für den Effekt, dass Sprachlaute einer fremden Sprache perzeptiv zu einer Klasse der eigenen Muttersprache assimiliert werden...und für den Effekt, dass Kinder (0;10-0;12) ebenfalls fremdsprachliche Phonemgrenzen nicht mehr unterscheiden können, die sie vorher unterscheiden konnten

15 Effekt auf Wahrnehmung Typikalität allgemein: auch bei lexikalischen Kategorien weisen Prototypen einen stärkeren Generalisierungseffekt auf

16 Ontogenese Experiment 3: Generalisierungseffekt von Prototypen bereits bei 6 Monate alten Kindern nachweisbar Woher kommen Vokal Prototypen bei diesen Kindern? Ergebnisse von Experiment 4 (Affen) schliessen basale auditorische Prozesse aus (also nicht genetisch)

17 Ontogenese Woher kommen Vokal Prototypen bei diesen Kindern? (cont d) entweder angeborene, universale Vokalklassen oder Prototypen werden durch Erfahrung aufgebaut, These: durch Baby Talk / Motherese werden Kinder besonders stark prototypischen Phoneminstanzen ausgesetzt

18 Diskussion in der Literatur B. Lindblom, S. Brownlee, B. Davis, S.-J. Moon (1992). Speech transforms. in: Speech Communication 11,

19 Variabilität von Sprache Beobachtung: große Variabilität von Sprache Frage: Wie gewinnt Hörer aus variablen Stimuli Bedeutung? Zwei Meinungen: 1. Es gibt Invarianzen im Signal, wir haben sie nur noch nicht gefunden 2. Es gibt keine Invarianzen, Hörer generiert Bedeutung aus (redundantem) Kontextwissen und reduzierter Information im Sprachsignal [Quelle: Lindblom et al, 1992]

20 Variabilität: Spontansprache Reduktion Vergleich von Vokalformanten in spontan gesprochener vs deutlicher Sprache F2 i: u: F1 deutliche Sprache Spontansprache a:

21 Variabilität: Spontansprache Reduktion Vergleich Formanttransitionen über die Zeit beim Diphtong [ai] F1 [a] [I] Messpunkte F2 Nucleus Glide

22 Variabilität: Spontansprache Reduktion Schlussfolgerung für Formanttransitionen über die Zeit beim Diphtong [ai] Spontansprache: F2 [a] [I] Abbruch der Bewegung gleichbleibende Artikulationsrate F1 Nucleus Glide Þ Vorhersagbarkeit Þ Invarianz durch Zeitnormierung (?)

23 Variabilität Invarianz durch Zeitnormierung? Funktioniert nicht immer, z.b. schnelle aber deutliche Sprache wenn es keine Invarianzen im Signal gibt, wie können Babies dann Prototypen bilden? Patricia Kuhl: Baby-Talk enthält prototypische Klasseninformation

24 Baby-Talk Untersuchung von kind- (6 Monate) gerichteter Sprache einer Mutter (Lindblom et al., 1992) Ergebnisse: extreme F0-Variation (bis zu 500 Hz) Vokale koinzidieren häufig mit F0-Maximum einige Vokal-Prototypen aber vor allem: große Variabilität, keine Invarianzen

25 Baby-Talk Schlussfolgerung von Lindblom et al. (1992): Despite the interpretation proposed by Kuhl, we should consider the possibility that Baby Talk to 6-month-olds may not (yet) be primarily adapted to define prototypical information [...] and that its acoustic correlates of phonetic segments might still exhibit considerable acoustic-phonetic variability.

26 These der Adaption (Lindblom et al, 1992) Invariance [...] will never be found in the signal. [...] Signal decoding is always and inevitably influenced by information already in place in the perceiver s brain and sensory systems.

27 These der Adaption (Lindblom et al, 1992) Adaptations are made along a continuum of phonetically rich-to-poor forms and such adaptations reflect the speaker s tacit awareness that the listener has, or does not have, access to sources of information independent of the signal.

28 Kuhl (2007). Is speech learning gated by the social brain? In: Developmental Science, 10:1, pp Neugeborene können alle Phonemkontraste aller bekannten Sprachen diskriminieren Im Alter von 0;8 verlieren Kinder diese Diskriminationsfähigkeit zugunsten der Muttersprache Experiment I: Kinder, die in amerikan. sprachiger Umwelt aufwachsen, werden regelmäßig Interaktion mit chinesisch sprechender Person ausgesetzt Experiment II: Kinder, die in amerikan. sprachiger Umwelt aufwachsen, werden regelmäßig Videos mit Interaktionen mit chinesisch sprechender Person ausgesetzt

29 Kuhl (2007). Is speech learning gated by the social brain? In: Developmental Science, 10:1, pp

30 Kuhl (2007). Is speech learning gated by the social brain? In: Developmental Science, 10:1, pp

31 Kuhl (2007). Is speech learning gated by the social brain? In: Developmental Science, 10:1, pp

32 Fazit Beim Erlernen von Phonemkategorien spielt also möglicherweise nicht die Verteilung der Stimuli eine Rolle sondern die Verwendung von Phonemen in der Interaktion

33 Zusammenfassung Kuhl (1991): Babys lernen Vokalklassen durch Prototypen in (kindgerichteter) Sprache ( statistical brain ) Lindblom (1992): Kindgerichtete Sprache weist nur wenig Prototypen, aber hohe Variabilität auf; es gibt keine Invarianten; Information muss außerhalb des Signals liegen Kuhl (2007): Babys (non-native) Phonemkontraste wiedererlernen, aber nur in Interaktion, nicht durch Video (= reines Signal); Information wird durch Interaktion erzeugt ( social brain ) Sprachlernen, selbst auf phonetischer Ebene, muss multi-modal verankert sein

34 Konklusion Spracherkennung i.d.r. unimodal Spracherwerb aber multi-modal Akustisches Signal enthält (möglicherweise) gar nicht genügend Information für Erkennung!

35 Überblick 5. Diskretisierung 6. Merkmalsberechnung 7. DTW 8. HMMs 9. Sprachmodellierung w X Textproduktion Artikulation Merkmalsextraktion Dekodierung 2. Sprachproduktion 3. Akustik 4. Sprachwahrnehmung

36 Variabilität: Spontansprache Ergebnisse [ai] von Spontansprache (AE) F2 Frequenz F2 F1 Frequenz F1 Segmentdauer [ms] Segmentdauer [ms] Nucleus Glide