Spracherkennung. 4. Sitzung 23. Oktober 2008

Transkript

1 Spracherkennung 4. Sitzung 23. Oktober 2008

2 Überblick Wiederholung 3 Akustik 3 Artikulation Studie zu Veränderung der Artikulation bei Lärm 4 Sprachwahrnehmung Kategoriale Sprachwahrnehmung beim Menschen

3 Komplexe Wellenform Spektrum: Amplitudengröße der Frequenzanteile im Signal [Clark & Yallop, 1991]

4 Harmonische Schwingungen 2F 0 F 0 3F 0 Þ Erzeugung von Obertönen

5 Source-Filter Modell Filter: Vokaltrakt Umformung des Anregungssignals Sprachsignal Quelle: Stimmbänder fundamentale Anregung stimmhaft - stimmlos [Clark & Yallop, 1991]

6 Modulierung im Vokaltrakt durch Dämpfung und Verstärkung Maximale Verstärkung durch Bedingungen, die eine stehende Welle erzeugen Þ Verstärkungen genau der Frequenzen, die max. Druck an Glottis, min. Druck an Mundöffnung erzeugen, d.h. mit: Lambda = 1/4 l Lambda = 3/4 l etc. l: Länge des Vokaltraktes (z.b. 17 cm) Lambda: Wellenlänge c: Schallgeschwindigkeit (Ca 340 m / s)

7 Modulierung durch Vokaltrakt: Formanten Gesucht: Frequenz mit Wellenlänge 1/4 Lambda = l d.h. Lambda = 4 * 17 cm = 68 cm f = c : Lambda = cm/s : 68 cm = 500 Hz d.h. erste Resonanzfrequenz bei 500 Hz, d.h. der Oberton mit 500 Hz wird besonders verstärkt Þ 1. Formant bei 500 Hz Quelle:

8 Modulierung durch Vokaltrakt: Formanten Gesucht: Frequenz mit Wellenlänge 3/4 Lambda = l d.h. Lambda = 4/3 * 17 cm = 22.6 cm f = c : Lambda = cm/s : 22.6 cm = 1500 Hz d.h. zweite Resonanzfrequenz bei 1500 Hz, d.h. der Oberton mit 1500 Hz wird besonders verstärkt Þ 2. Formant bei 1500 Hz Quelle:

9 Akustisches = Artikulatorisches Vokaldreieck F2 i y I Y U u hoch / geschlossen e 2 O o F1 E 6 vorne a a: tief / offen hinten

10 Überblick Wiederholung 3 Akustik 3 Artikulation Studie zu Veränderung der Artikulation bei Lärm 4 Sprachwahrnehmung Kategoriale Sprachwahrnehmung beim Menschen

11 An Acoustic and Articulatory Study of Lombard Speech M. Garnie, L. Bailly, M. Dohen, P. Welby, H. Loevenbruck Hintergrund Wenn Menschen in Lärmumgebung sprechen, adaptieren sie ihre Sprache so, dass sie besser verstanden werden (Lombard-Effekt) Bisher ist dieser Effekt aber nur akustisch-phonetisch beschrieben worden, aber nicht artikulatorisch Fragestellungen zum Lombard-Effekt Gibt es Hyper-Artikulation (in Lombard Speech)? Welche artikulatorischen Parameter werden verändert? Sind die artikulatorischen und akustischen Parameter korreliert? Hängt die artikulatorische Adaption vom Typ des Lärms ab?

12 An Acoustic and Articulatory Study of Lombard Speech M. Garnie, L. Bailly, M. Dohen, P. Welby, H. Loevenbruck Methode Sprachaufnahmen von 1 VP (Französisch) 33 Sätze mit SVO Struktur nur CV Silbenstruktur nur stimmhafte Konsonanten

13 An Acoustic and Articulatory Study of Lombard Speech M. Garnie, L. Bailly, M. Dohen, P. Welby, H. Loevenbruck Maße visuell A: Spreizung der Lippen (spreading) B: Öffnung der Lippen (aperture) S: Öffnungsfläche (inter-lip area) B : Lippenkompression (lip pinching) protruded lip pinching swallowed lip pinching max: Amplitude des Maximums der artikulatorischen Bewegung glob: globale Evolution (Integral über Zeit -> Summe)

14 An Acoustic and Articulatory Study of Lombard Speech M. Garnie, L. Bailly, M. Dohen, P. Welby, H. Loevenbruck Maße audio Spektrum EGG (Elektroglottograph, auch Laryngograph) F0: Grundfrequenz Oq: Öffnungsquotient

15 Ergebnisse Amplitude der artikulatorischen Bewegungen A, B, S: signifikant größer in wn und cktl (bei Lärm) A, B, S: signifkant größter in cktl als in wn (ausser swallowed pinching) Þ größere Mundbewegungen, gespanntere Lippen Þ stärkster Effekt bei Cocktailparty-Lärm Þ Effekt bei Cocktailparty sig. stärker als bei White Noise A: Spreizung der Lippen (spreading) B: Öffnung der Lippen (aperture) S: Öffnungsfläche (inter-lip area)

16 Ergebnisse Überlegungen zu Sprech- vs Artikulationstempo Bewegungsamplitude bei... Lärm Baseline normale Sprech- Artikulationsgeschwindigkeit

17 Ergebnisse Überlegungen zu Sprech- vs Artikulationstempo Bewegungsamplitude bei... Lärm Baseline normale Sprech- Artikulationsgeschwindigkeit schnellere Artikulationstempo, gleiches Sprechtempo

18 Ergebnisse Überlegungen zu Sprech- vs Artikulationstempo Bewegungsamplitude bei... Lärm Baseline normale Sprech- Artikulationsgeschwindigkeit schnellere Artikulationstempo, gleiches Sprechtempo gleiches Artikulationstempo, langsameres Sprechtempo

19 Ergebnisse Geschwindigkeit der artikulatorischen Bewegungen Überlegung: wenn Bewegungen (pro Laut) größer, dann entweder langsamere Sprachgeschwindigkeit oder schnellere Bewegung Geschwindigkeit von A, B, S: signifikant höher bei Lärm Geschwindigkeit von B, S: signifikant höher in wn und cktl (außer swallowed pinching) Þ schnellere Mund- und Lippenbewegungen bei Lärm Þ schnellste Bewegungen bei Cocktailparty-Lärm Þ jedoch nicht für Lippenspreizung (A)

20 Ergebnisse Akustische Parameter (Intensität, F0, Dauer) Überlegung: lassen sich akustische Korrelate zu artikulatorischen Effekten finden? Intensität, F0 und Wortdauer signifikant höher bei Lärm aber: differenziertere Unterschiede zwischen White Noise und Cocktailparty Þ trotz schnellerer Bewegungen doch (auch) langsamere Sprechgeschwindigkeit

21 Ergebnisse Überlegungen zu Sprech- vs Artikulationstempo Bewegungsamplitude bei... Lärm Baseline normale Sprech- Artikulationsgeschwindigkeit schnellere Artikulationstempo, langsameres Sprechtempo

22 Ergebnisse Akustische Parameter (Vokal- und Konsonanten-Dauer) Hintergrund: im Allgemeinen sind Vokale stärker von Dauervariation betroffen, da variabler Vokaldauer in Lärm länger, in White Noise am längsten Konsonantendauer in Lärm kürzer Þ Vokale werden gelängt, Konsonanten gekürzt

23 Ergebnisse Akustische Parameter (Intensität, F0) Überlegung: lassen sich akustische Korrelate zu artikulatorischen Effekten finden? Intensität und F0 signifikant höher bei Lärm aber: differenziertere Unterschiede zwischen White Noise und Cocktailparty Þ betontere Sprechweise (Betonung: Intensität, F0, Dauer)

24 Ergebnisse Akustische Parameter (Intensität, F0) Intensität in Cocktailparty Noise geringer als in White Noise (gleicher Effekt für Vokale und Konsonanten, aber Intensitätssteigerung generell bei Vokalen stärker) F0 in Cocktailparty Noise höher als in White Noise Þ generell lauter und höher bei Lärm Þ Lautstärke bei Cocktailparty Noise nicht so wichtig, aber Tonhöhe

25 Elektroglottograph zum Messen der Stimmlippen-Bewegungen Quelle: K. Marasek. Tutorial to EGG

26 Sprachqualität und Spektrale Energie Beispiele modal: normale Spannung und Schwingung whisper: geöffnete Glottis; keine Stimmlippenschwingung breathy: geringe Spannung und geringer Kontakt der Stimmlippen; unregelmäßige Schwingungen mit kontinuierlicher Öffnung creaky: geringe Spannung aber starker Kontakt der Stimmlippen; langsame, unregelmäßige Schwindungen harsh: sehr starke Spannung der Stimmlippen; unregelmäßige Frequenz und Amplitude falsetto: langgezogene Stimmlipen, dadurch dünner; hohe Frequenz Quelle: K. Marasek. Tutorial to EGG

27 Sprachqualität und Spektrale Energie Anregungssignal Artikulation Quelle: K. Marasek. Tutorial to EGG Idealisiertes Spektrum [Clark & Yallop, 1991]

28 Sprachqualität und Spektrale Energie Breathy voice Bright voice [Clark & Yallop, 1991]

29 Sprachqualität und Spektrale Energie high vocal effort low vocal effort Hz Hz Hz Hz Þ hohe Differenz zwischen der Energie in den Frequenzbändern Þ geringe Differenz zwischen der Energie in den Frequenzbändern

30 Ergebnis Spektrale Energie Zunahme der Differenz bei Lärm Zunahme bei Cocktailparty Noise geringer als bei White Noise Zunahme bei Vokalen und Konsonanten gleich Þ größerer vocal Effort bei Lärm Þ größerer vocal Effort bei White Noise als bei Cocktailparty Noise

31 Zusammenfassung Ergebnisse Fragestellungen zum Lombard-Effekt Gibt es Hyper-Artikulation (in Lombard Speech)? Ja Welche artikulatorischen Parameter werden verändert? größere und schnellere Mundbewegungen aber langsameres Sprechtempo Vokale werden gelängt, Konsonanten gekürzt

32 Akustische Ergebnisse der Studie Fragestellungen zum Lombard-Effekt Sind die artikulatorischen und akustischen Parameter korreliert? Ja: Akustik: größere F1-Werte Þ Artikulation: weiter geöffneter Kiefer / Mund Hängt die artikulatorische Adaption vom Typ des Lärms ab? ja, differenzierte Unterschiede zwischen white Noise und Cocktailparty Noise

33 Akustisches = Artikulatorisches Vokaldreieck F2 i y I Y U u hoch / geschlossen e 2 O o F1 E 6 vorne a a: tief / offen hinten