Spracherkennung. 3. Sitzung 20. Oktober 2008

Transkript

1 Spracherkennung 3. Sitzung 20. Oktober 2008

2 Überblick 5. Diskretisierung 6. Merkmalsberechnung 7. DTW 8. HMMs 9. Sprachmodellierung w X Textproduktion Artikulation Merkmalsextraktion Dekodierung 2. Sprachproduktion 3. Akustik 4. Sprachwahrnehmung

3 Vokaltrakt [Clark & Yallop, 1991]

4 Konsonanten Labiodental Bilabial Alveolar Dental Postalveolar Labiovelar Palatal (Apico) Palatal (Lamino) Velar Uvular Glottal Plosiv p - b t - d k - g? Frikativ f - v s - z S - Z c - % x - % R Approx imant % - l % - j Nasal % - m % - n % - N Trill % - r

5 Source-Filter Modell Filter: Vokaltrakt Umformung des Anregungssignals Sprachsignal Quelle: Stimmbänder fundamentale Anregung stimmhaft - stimmlos [Clark & Yallop, 1991]

6 Vokale i y I Y U u hoch / geschlossen e 2 O o E 6 vorne a a: tief / offen hinten

7 3 Akustische Grundlagen

8 Überblick 3.1 Schall 3.2 Komplexes Sprachsignal Anregungssignal Vokaltraktmodulierung

9 Schall Wellenausbreitung (bestimmter, mit dem menschl. Gehör wahrnehmbarer Frequenzen) in einem Medium Messbar als Änderung zum Athmosphärendruck (Schalldruck p): 1 Pa = 1 N/m 2 Schalldruckintensität I = p 2 Sensitivität des Gehörs: Änderungen von 10-5 Pa Pa

10 Schall Logarithmische Darstellung L = 20 log (p / p 0 ) db Willkürliche Festlegung des Referenzschallpegels (Hörschwelle) p 0 = 2 * 10-5 Pa Übertragung Messung [Clark & Yallop, 1991]

11 Berechnung des Schalldruckpegels L = 20 log (p / p 0 ) db p 0 = 2 * 10-5 Pa = Ruhehörschwelle bei 2 khz Messung einer Druckschwingung von genau p = 2 * 10-5 Pa L = 20 log (2 * 10-5 Pa / 2 * 10-5 Pa ) db = 20 log (1) db = 0 db

12 Schalldruckpegel - Beispiele [Quelle: wikipedia]

13 Schalldruckpegel - Beispiele 0 db 6 db 20 db 20 db 50 db 80 db 120 db 130 db 140 db Referenzpegel Hörschwelle bei 1 khz Ländliche Gegend bei Nacht Flüstern Zimmerlautstärke Belebte Straße Laute Rock-Band Schmerzschwelle Gewehrschuss nah bei [Schukat-Talamazzini, 1995]

14 Schallarten Reiner Ton = sinusförmige Schwingung konstanter Frequenz (= Anz. Schwingungen / Sekund in Hz) Ton = reiner (Grund-)Ton + harmonische Teiltöne Klang = Zusammensetzung von Tönen Geräusch = nichtperiod. wechselnde Frequenzanteile Sprache = komplexer Schall

15 Komplexe Wellenform Spektrum: Amplitudengröße der Frequenzanteile im Signal [Clark & Yallop, 1991]

16 Zusammensetzung des komplexen Sprachsignals Anregungssignal der Stimmbänder Anregungsspektrum Stimmqualität Modulierung durch Vokaltrakt Formanten akustisches Vokaldreieck

17 Harmonische Schwingungen reine Töne kommen natürlicherweise nicht vor Resonanzkörper schwingt mit: Grundfrequenz (F 0 ) ganzzahligen Vielfachen der Grundfrequenz

18 Harmonische Schwingungen F 0 F 0

19 Harmonische Schwingungen 2F 0 F 0 2F 0

20 Harmonische Schwingungen 3F 0 F 0 2F 0 3F 0

21 Harmonische Schwingungen 2F 0 F 0 3F 0 Þ Erzeugung von Obertönen

22 Anregungssignal der Stimmbänder Anregungssignal Idealisiertes Spektrum [Clark & Yallop, 1991]

23 Source-Filter Modell Filter: Vokaltrakt Umformung des Anregungssignals Sprachsignal Quelle: Stimmbänder fundamentale Anregung stimmhaft - stimmlos [Clark & Yallop, 1991]

24 Modulierung im Vokaltrakt durch Dämpfung und Verstärkung Maximale Verstärkung durch Bedingungen, die eine stehende Welle erzeugen

25 Modulierung im Vokaltrakt durch Dämpfung und Verstärkung Maximale Verstärkung durch Bedingungen, die eine stehende Welle erzeugen Þ Verstärkungen genau der Frequenzen, die max. Druck an Glottis, min. Druck an Mundöffnung erzeugen, d.h. mit: Lambda = 1/4 l Lambda = 3/4 l etc. l: Länge des Vokaltraktes (z.b. 17 cm) Lambda: Wellenlänge c: Schallgeschwindigkeit (Ca 340 m / s)

26 Modulierung durch Vokaltrakt: Formanten Gesucht: Frequenz mit Wellenlänge 1/4 Lambda = 17 cm d.h. Lambda = 4 * 17 cm = 68 cm f = c : Lambda = cm/s : 68 cm = 500 Hz d.h. erste Resonanzfrequenz bei 500 Hz, d.h. der Oberton mit 500 Hz wird besonders verstärkt Þ 1. Formant bei 500 Hz Quelle:

27 Modulierung durch Vokaltrakt: Formanten Gesucht: Frequenz mit Wellenlänge 3/4 Lambda = 17 cm d.h. Lambda = 4/3 * 17 cm = 22.6 cm f = c : Lambda = cm/s : 22.6 cm = 1500 Hz d.h. zweite Resonanzfrequenz bei 1500 Hz, d.h. der Oberton mit 1500 Hz wird besonders verstärkt Þ 2. Formant bei 1500 Hz Quelle:

28 Modulierung durch Vokaltrakt: Formanten d.h. bei neutralem Vokaltrakt mit der Länge 17 cm, liegen dievoraussagen für die ersten drei Formanten bei: 1. Formant = 500 Hz 2. Formant = Hz 3. Formant = Hz das entspricht tatsächlich (in etwa) den gemessenen Formanten des neutralen Vokals [@] (schwa)

29 Modulierung durch Vokaltrakt: F1F2 F3F4 u: a: y: i: E: Entstehung von Energiemaxima (Formanten) durch Modulierung des Anregungssignals im Vokaltrakt systematische Vorhersage von Formanten durch idealisierten Vokaltrakt möglich Formantenverschieber-Modell [Clark & Yallop, 1991]

30 Beispiel: Vokalproduktion i: a: u: F1 F2 F3 F1 F2 F3 F1 F2 F3 [Clark & Yallop, 1991]

31 Artikulatorisches Vokaldreieck i y I Y U u hoch / geschlossen e 2 O o E 6 vorne a a: tief / offen hinten

32 Akustisches = Artikulatorisches Vokaldreieck F2 i y I Y U u hoch / geschlossen e 2 O o F1 E 6 vorne a a: tief / offen hinten

33 Spektrogramm Gemessene Schalldruckschwankungen Spektrogramm Frequenzanteile (Formanten) dunkle Streifen = hohe Energieanteile im Signal = Formanten (und Grundfrequenz)

34 Überblick 5. Diskretisierung 6. Merkmalsberechnung 7. DTW 8. HMMs 9. Sprachmodellierung w X Textproduktion Artikulation Merkmalsextraktion Dekodierung 2. Sprachproduktion 3. Akustik 4. Sprachwahrnehmung

35 4 Sprachwahrnehmung

36 4 Sprachwahrnehmung 4.1 Psychoakustik (Zwicker, 1982) 4.2 Kategoriale Sprachwahrnehmung beim Menschen (Vihman, 1996)

37 4.1 Psychoakustik Reiz und Empfindung Physiologie des Gehörs Wichtige Eigenschaften des menschlichen Gehörs

38 4.1.1 Reiz und Empfindung Reiz = Schall Empfindung = subjektive Wahrnehmung Ziel: Zusammenhang zwischen (objektiv messbarem) Reiz und Empfindung Methode: häufig durch Einregeln von Tönen

39 Reizgrößen und Empfindungsgrößen Reizgrößen Schallpegel [db] Frequenz [Hz] Empfindungsgrößen Lautstärke [sone] Tonhöhe [mel] Beispiel Reiz: 60dB, 1kHz -> Empfindung: 4 sone, 850 mel Problem: jede Empfindungsgröße von allen Reizgrößen beeinflußt, aber i.a. von einer dominiert

40 Empfindungsfunktion = dominierende Reizgröße / Empfindungsgröße kleine Reizänderungen führen nicht notwendig zu kleinen Empfindungsänderungen Reizstufen und Empfindungsstufen [Zwicker, 1982]

41 Physiologie des Gehörs Antransportorgane (Außen-, Mittel- und Innenohr): Reizweiterleitung und Vorverarbeitung ab Haarzellen (Corti schen Organ): Neuronale Verarbeitung [Zwicker, 1982]

42 Schnecke [Zwicker, 1982]

43 Frequenz-Orts-Transformation unterschiedl. Frequenzen erreichen Maximalauslenkung der BM an unterschiedlichen Orten [Zwicker, 1982]

44 Corti sches Organ Umwandlung der kinetischen Energie in elektrische Impulse [Zwicker, 1982]

45 Wichtige Eigenschaften des menschlichen Gehörs Ruhehörschwelle = Schalldruckpegel eines Sinustons, der (in Abhängigkeit von der Frequenz) gerade noch wahrgenommen wird Hörfläche = Bereich zwischen Ruhehörschwelle und Schmerzgrenze > Gefährdungsgrenze (Schädigung bei Überschreiten für 8h Beschallung pro Arbeitstag)

46 Hörfläche [Zwicker, 1982]

47 Frequenzgruppen Frequenzgruppe = benachbarte Frequenzen, deren Lautheit additiv wahrgenommen wird (z.b. an der Ruhehörschwelle messbar) Experiment mit VP, die konstante Ruhehörschwelle im Bereich um 1 khz hat:

48 Experiment 1. regle 1 Ton (920 Hz) so, dass er gerade hörbar ist: 3 db 2. regle 2 Töne ( Hz) so, dass sie gerade hörbar sind: je 0 db Ergebnis: bis 8 Töne fällt Einzelintensität ab 8 Töne bleibt Einzelintensität konstant Interpretation: Lautheit von benachbarten Tönen wird additiv wahrgenommen Lautheit sehr unterschiedl. Töne wird getrennt wahrgenommen

49 Bestimmung der Frequenzgruppenbreite [Zwicker, 1982]

50 Tonheit Tonheit [bark] = Aneinanderreihung nichtüberlappender Frequenzgruppen im Hörbereich bis 16 khz [Zwicker, 1982]

51 Lautstärkeempfindung Phonzahl eines Testimpulses = Pegel in db eines als gleichlaut empfundenen 1 khz Tons Lautheit [sone] berücksichtigt Lautstärkeverhältnis Festlegung 1 khz Ton, 40 phon -> 1 sone L-mal so laut -> L sone

52 Kurven gleicher Lautstärke [Zwicker, 1982]

53 Tonhöhenempfindung Frequenz-Orts-Transformation im Innenohr Tonhöhenempfindung = Positionsempfindung (vs Intensitätsempfindung) Empfindungsfunktion der Tonhöhenempfindung z.b. durch Messung von Verhältniswerten (mit VPen) Willkürliche Festlegung: 131 Hz = 131 mel

54 Tonhöhenempfindung Wahrnehmung der halben Tonhöhe

55 Zusammenfassung

56

57 Schallquelle Stehende Welle

58 Schallquelle Wellenlänge

59 Schallquelle Wellenlänge

60 Schallquelle Wellenlänge

61 Schallquelle Wellenlänge

62 Schallquelle Wellenlänge

63 Schallquelle Wellenlänge

64 Schallquelle Wellenlänge

65 Schallquelle Wellenlänge

66 Schallquelle Wellenlänge

67 Wellenlänge Schallquelle Schallgeschwindigkeit = Wellenlänge =

68 Hausaufgabe Paper: Garnier et al. (2006). An acoustic and articulatory study of Lombard speech. In: Proc. Interspeech. Aufgabe: lesen