Sprachdialogsystem mit robuster automatischer Spracherkennung

Transkript

1 Sprachdialogsystem mit robuster automatischer Spracherkennung Hans-Günter Hirsch Hochschule Niederrhein Fachbereich Elektrotechnik und Informatik Digitale Nachrichtentechnik Sprachdialogsystem Verfahren zur robusten Spracherkennung Anwendungsbeispiele Folie 1

2 Ziel Ausgangspunkt Langjährige Untersuchungen zur robusten Spracherkennung Verfahren mit einer Adaption der spektralen Parameter Ziel Realisierung eines Sprachdialogsystems zur Demonstration der Robustheit des Erkennungsverfahrens Ermittlung der in praktischen Anwendungen auftretenden Störeinflüsse Folie 2

3 Sprachdialogsystem öffentliches Telefonnetz ISDN Telefonanlage ISDN PC (Linux OS) Sprachdialog Software Dialog- Beschreibung (ASCII file) Dialog- Controller Spracherkennung Sprachausgabe ISDN Dialog-Software Beschreibung des Dialogs in Textform Schnelle Realisierung und Modifikation einfacher Dialoge möglich Folie 3

4 Dialog - Darstellung Sprachausgabe Spracherkennung JA Spracherkennu ng NEIN Soll Ich Ihnen die Bedienung dieses Systems erläutern? STOP Darstellung des Dialogs als Verkettung von Netzwerkknoten Definition eines einzelnen Knotens: Bestimmte Aktion (Aufruf einer Funktion) Aktionsparameter, z.b. <Filename> für Sprachausgabe Festlegung der Übergänge in weitere Knoten in Abhängigkeit der Rückgabeparameter der aufgerufenen Funktion Folie 4

5 Störeinflüsse Raum Mobilfunk Spracherkenner Additive Hintergrundstörungen Unbekannte Frequenzgänge (z.b. Mikrofon, Telefonkanal) Hallige räumliche Umgebung Mobilfunkkanal (Sprachcodierung, Funkkanalstörungen) Folie 5

6 Ansätze zur robusten Erkennung Sprache Sprachanalyse Muster- Erkennung Erkennungsergebnis Robuste Merkmalsextraktion Training Referenz muster Adaption der Referenzmuster 1. Extraktion robuster akustischer Merkmale bei der Sprachanalyse 2. Adaption der Referenzmuster auf die aktuelle Störumgebung Folie 6

7 Adaption der Referenzmuster Erkennungsergebnis Sprachsignal Sprachanalyse Mustererkennung Schätzung der Störparameter HMM Adaption Adaptierte HMMs HMMs Sprachanalyse: Cepstral analyse zur Bestimmung der spektralen Merkmale Referenzmuster: statistische Modellierung mit Hidden Markov Modellen (HMM) Bestimmung der HMMs mit dem Programmpaket HTK (Hidden Markov Model Toolkit) Folie 7

8 Adaptionsschema (PMC, Young&Gales, Cambridge University) saubere HMMs Cepstral-Koeffizienten Geschätztes Störspektrum N(f) IDCT 1 exp * + log DCT 22 exp * + log 22 Geschätzter Frequenzgang H(f) adaptierte HMMs... - Folie 8

9 Schätzung der Übertragungsfunktion Sprachsignal H ( f ) = X ( f ) S( f N( ) f ) = X long ( f S long ) ( f N( ) f ) Cepstralanalyse HMMs Viterbi Algorithmus Bestimmung von X long (f) Bestimmung von N(f) - Beste Folge von HMM Zuständen Bestimmung von S long (f) Schätzung von H(f) Folie 9

10 Erkennungsexperimente Aufgabe: Erkennung deutscher Ziffern(ketten) SpeechDat ~10000 Ziffern Training Referenzmodelle Telefon RVG ~7000 Ziffern Nahbesprechung Spracherkenner SpeechDatCar ~17000 Ziffern Auto Worterkennungsraten SpeechDat RVG SpeechDatCar 39 Koeffizienten/Vektor Standardisierte Merkmalsextraktion (ETSI-2) 96.11% % % 24 Koeffizienten/Vektor Eigene Adaptionstechnik % % % Folie 10

11 Automatische Notenauskunft Der Student mit der Matrikelnummer hat die Note 1,3 erzielt Sprachdialogsystem mit Spracherkennung Erkennung von Ziffernketten Auszug vorhandener Matrikelnummern: Tel.-Nr Folie 11

12 NRW - Verkehrsinfo Auf der A-57 von Krefeld in Richtung Köln ist zwischen der Anschlussstelle A - 57 Sprachdialogsystem mit Spracherkennung Ziffernketten, aber auch: A sieben-und-fünfzig und DTMF-Erkennung Internet Tel.-Nr Folie 12

13 Resümee Erfahrungen Spracherkennung funktioniert gut bei Vorhandensein stationärer Hintergrundstörungen Probleme im Fall instationärer Störungen (Sprache im Hintergrund) Ausblick Bisher nur wortbasierte HMMs Inzwischen auch Ergänzung um phonembasierte Modelle möglich Folie 13