Sprachverarbeitung I

Transkript

1 Institut für Technische Informatik und Kommunikationsnetze Eidgenössische Technische Hochschule Zürich Swiss Federal Institute of Technology Zurich Ecole polytechnique fédérale de Zurich Politecnico federale di Zurigo Skript zur Vorlesung Sprachverarbeitung I Departement Informationstechnologie und Elektrotechnik Herbstsemester 2007 Beat Pfister und René Beutler Institut für technische Informatik und Kommunikationsnetze ETH Zürich

2

3 Inhaltsverzeichnis Vorbemerkungen 1 1 Grundsätzliches zur Sprache Sprache als Kommunikationsmittel Lautsprachliche Kommunikation Geschriebene vs. gesprochene Sprache Die Beschreibung von Sprache Die linguistischen Ebenen Die phonetische Schrift Die akustisch-phonetische Ebene Die Prosodie der Sprache Die menschliche Sprachproduktion Übersicht über den Sprechapparat Die Funktion des Sprechapparates Die Artikulation der Sprachlaute Das menschliche Gehör Die Wahrnehmung der Schallintensität Periodizität und Tonhöhe Die Phasenwahrnehmung Der Verdeckungseffekt Wahrnehmung der Sprachlaute Komplexität der Sprache Übersicht über die Sprachverarbeitung Was in einem Sprachsignal steckt Teilgebiete der Sprachverarbeitung Sprachcodierung i

4 ii Vorlesung Sprachverarbeitung I HS Signalformcodierung Logarithmischer Kompander Differenz-Codierer Modellierung von Sprachsignalen Sprachsynthese Spracherkennung Sprecheridentifikation Darstellung und Eigenschaften des Sprachsignals Digitalisieren von Sprachsignalen Bandbegrenzungsfilter Zeit- und Amplitudendiskretisierung Rekonstruktionsfilter Darstellung digitaler Sprachsignale im Zeitbereich Darstellung im Frequenzbereich Kombinierte Zeit-Frequenz-Bereichs-Darstellungen Sprachmerkmale und ihre Darstellung Grundfrequenz Formanten Dauer der Laute Intensität der Laute Analyse des Sprachsignals Kurzzeitanalyse Kurzzeitspektrum Diskrete Fouriertransformation Eigenschaften der DFT Fensterfunktionen Die Frequenzauflösung der DFT Zeitabhängige Fouriertransformation Das Leistungsdichtespektrum Schätzung des Leistungsdichtespektrums mittels DFT Eigenschaften des Periodogramms Die Autokorrelation Definition der Autokorrelationsfunktion

5 Vorlesung Sprachverarbeitung I HS 2007 iii Eigenschaften der Autokorrelationsfolge Kurzzeit-Autokorrelation Lineare Prädiktion Herleitung der LPC-Analyse Autokorrelationsmethode Kovarianzmethode Sprachmodellierung mittels linearer Prädiktion Interpretation der linearen Prädiktion Die Präemphase Homomorphe Analyse Das verallgemeinerte Superpositionsprinzip Homomorphe Systeme Das DFT-Cepstrum Das LPC-Cepstrum Das Mel-Cepstrum Das Delta-Cepstrum Mittelwertfreie Cepstren Die cepstrale Distanz Vektorquantisierung Realisation der Vektorquantisierung Generieren eines Codebuches K-means-Algorithmus LBG-Algorithmus Einführung in die Sprachsynthese Zusammenhang zwischen Lautsprache und Schrift Teile der Sprachsynthese Die Transkription Die phonoakustische Stufe Lautinventar für die Sprachsynthese Linguistische Grundlagen Festlegen der Lautdifferenzierung Verfahren für die Sprachsignalproduktion Der artikulatorische Ansatz Der Signalmodellierungsansatz

6 iv Vorlesung Sprachverarbeitung I HS Wichtige Eigenschaften von Sprachsignalen Sprachsignalerzeugung mit dem LPC-Modell Sprachsignalerzeugung mit dem Formantmodell Der Verkettungsansatz Sprachsynthese nach dem Verkettungsansatz Wahl der Grundelemente Ausschneiden von Grundelementen Veränderung der prosodischen Grössen Dauer- und F 0 -Veränderung mittels LPC Dauer- und F 0 -Veränderung mittles Fourier-Analyse- Synthese Dauer- und F 0 -Veränderung mittels PSOLA Steuerung der Prosodie Dauersteuerung Die Lautdauer beeinflussende Faktoren Dauersteuerung mit einem linearen Ansatz Dauersteuerung mit einem neuronalen Netz Grundfrequenzsteuerung Die Tonhöhe beeinflussende Faktoren Stilisierung von Grundfrequenzverläufen Linearer Ansatz der Grundfrequenzsteuerung Steuerung der Grundfrequenz mit einem neuronalen Netz Intensitätssteuerung Umsetzung der prosodischen Grössen auf die Laute Prosodische Veränderung der Grundelemente Einführung in die Spracherkennung Die Aufgabe der Spracherkennung Probleme der Spracherkennung Anwendungen Einteilung der Spracherkennungssysteme Historischer Rückblick Merkmalsextraktion Mel-Frequency Cepstral Coefficients (MFCC) Geglättete Mel-Spektren von Vokalen und Frikativen

7 Vorlesung Sprachverarbeitung I HS 2007 v..3 Plosivlaute im geglätteten Mel-Spektrogramm Spektrale Variabilität Rekonstruktion des Signals Spracherkennung mittels Sprachmustervergleich Zeitliche Anpassung zweier Sprachmuster Dynamische Programmierung Dynamische Zeitanpassung (DTW) Anwendungen des DTW-Algorithmus Statistischer Ansatz der Spracherkennung Einleitung Statistische Sicht Hidden-Markov-Modelle (HMM) Phonetisch-akustische Modelle Ein einfaches Lautmodell Ein realistisches Lautmodell Hidden-Markov-Modelle HMM als akustisches Modell Parameter eines HMM Grundlegende Algorithmen Aufbau von Spracherkennern mit HMM Einzelworterkenner Spracherkenner mit Erkennungsnetzwerk Erkennung kontinuierlicher Sprache Evaluation der Erkennungsleistung Wortfehlerrate Algorithmus zur Bestimmung der Wortfehlerrate A Fourieranalyse und -synthese von Sprachsignalen 181 A.1 Prinzip der Fourier-Analyse-Synthese A.2 Das wirkliche Spektrum eines Signals A.2.1 Die Wahl der Fensterfunktion A.2.2 Analyse eines instationären Signals A Vermindern der Instationarität eines Signals durch Umtastung A Fouriertransformation für instationäre Signale

8 vi Vorlesung Sprachverarbeitung I HS 2007 A.3 Schätzung des Sprachspektrums A.3.1 Ermittlung schwacher spektraler Komponenten A.3.2 Elimination unechter spektraler Maxima A.4 Bestimmung der Grundfrequenz A.4.1 Berechnung der Autokorrelation A.4.2 Detektion des AKF-Maximums A.4.3 Erhöhung der Genauigkeit A.5 Rekonstruktion des Sprachsignals B Veränderung der prosodischen Parameter im Kurzzeitspektrum 203 B.1 Dauerveränderung B.1.1 Grundsätzliches zur Dauerveränderung B.1.2 Minimale Phasenkorrektur B.2 Grundfrequenzveränderung B.2.1 Prinzip der Grundfrequenzveränderung B.2.2 Frequenzskalierung und Formanten B.2.3 Rekonstruktion der Formanten B Approximation des Spektrums durch lineare Prädiktion B Cepstrale Methode B Interpolation des wirklichen Spektrums B.2.4 Frequenzskalierung und Signalbandbreite B Kompensation der Bandbreitenreduktion B Erläuterungen zur Bandbreitenkompensation C Abtastratenwandler 215 C.1 Stationarisierung von Signalausschnitten C.2 Ermitteln von Zwischenabtastwerten C.2.1 Abtastratenvervielfacher C.2.2 Interpolator C.2.3 Abtastratendezimator C.3 Veränderung des Spektrums C.3.1 Veränderung der Frequenz C.3.2 Veränderung der Amplitude C.3.3 Veränderung der Phase D Grundlagen der Wahrscheinlichkeitstheorie 223

9 Vorlesung Sprachverarbeitung I HS 2007 vii Literaturverzeichnis 225 Glossar 227 Index 233

10 viii Vorlesung Sprachverarbeitung I HS 2007

11 Vorbemerkungen Im Deutschen wird unter dem Begriff Sprache sowohl lautliche als auch geschriebene Sprache (Text) verstanden. 1 Da es in dieser Vorlesung hauptsächlich um den Zusammenhang zwischen lautlicher und textlicher Form von Sprache geht, bzw. um die Umsetzung lautlicher Sprache in Text oder umgekehrt, wird konsequent zwischen den beiden Formen unterschieden: Lautsprache bezieht sich stets mehr oder weniger direkt auf das Sprechen oder Hören und wird je nach Zusammenhang auch als akustische oder gesprochene Sprache oder im technischen Sinne auch als Sprachsignal bezeichnet. Text bezeichnet die normale geschriebene Form der Sprache, für die auch Begriffe wie orthographische oder graphemische Form der Sprache verwendet werden. Die technische Umsetzung von Text in Lautsprache wird als Sprachsynthese bezeichnet. Der quasi umgekehrte Prozess, die Spracherkennung, ermittelt aus der Lautsprache den entsprechenden textlichen Inhalt. Die Zielsetzung dieser zweisemestrigen Vorlesung (SPV I und SPV II) besteht darin, die im Zusammenhang mit Sprachsynthese und -erkennung relevanten Grundlagen zu vermitteln. Dazu gehören insbesondere: - Grundkenntnisse über die menschliche Sprachproduktion und -wahrnehmung 2 - Eigenschaften von Sprachsignalen und ihre Darstellung - Grundkenntnisse in Linguistik, insbes. Phonetik, Morphologie und Syntax - die wichtigsten Transformationen und Methoden der digitalen Sprachsignalverarbeitung - statistische Ansätze zur Beschreibung vieldimensionaler Grössen und komplexer Zusammenhänge (Markov-Modelle und neuronale Netze) - Formulierung und Anwendung von Wissen in der Form von Regeln 1 Im Gegensatz dazu gibt es beispielsweise im Englischen die Begriffe speech und language, wobeimit dem ersten ausschliesslich die lautliche Form der Sprache gemeint ist und der zweite sich hauptsächlich auf die geschriebene Form der Sprache bezieht. Der zweite Begriff wird auch dann verwendet, wenn die Unterscheidung zwischen Lautsprache und Text nicht relevant ist. 2 Physiologische Aspekte werden nur soweit behandelt, als sie für das Verständnis der vorgestellten Modellansätze nötig sind. Das Wesentliche ist dabei nicht das Wie, sondern das Was wir hören. 1

12 2 Vorlesung Sprachverarbeitung I HS 2007 Ein Teil dieser Grundlagen, insbesondere die in den beiden letzten Punkten aufgeführten Gebiete, werden in SPV II behandelt. Auf kognitive Theorien dafür, wie beim Menschen der Spracherwerb (das Lernen, insbesondere bei Kindern), die Sprachgenerierung (Umsetzung von Gedanken in Sprache) und das Sprachverstehen vor sich gehen, wird jedoch nicht eingegangen, weil sie, zumindest mit dem heutigen Stand des Wissens, keine wesentliche Hilfe zur Lösung der Probleme im Zusammenhang mit der Sprachsynthese und der -erkennung bieten. Aufbauend auf diesen Grundlagen werden die wichtigsten Ansätze zur Sprachsynthese und -erkennung behandelt. In der Sprachsynthese sind dies: - die Umwandlung von Text in eine phonologische Beschreibung, wie sie im ETH- Sprachsynthesesystem SVOX verwirklicht ist, - einfachere und ausgeklügeltere Ansätze zur Steuerung der Prosodie - und verschiedene Möglichkeiten zum Generieren von Sprachsignalen. In der Spracherkennung werden zwei Prinzipien behandelt: - der ältere Mustererkennungsansatz, der primär in einfachen Systemen zur Anwendung kommt - und die moderne statistische Spracherkennung mittels Hidden-Markov-Modellen und N-Grams (Wortfolgestatistik). Der erste Band des Skripts Sprachverarbeitung umfasst sechs Kapitel zu den folgenden Themen: Das erste Kapitel enthält einführende Angaben zur Sprache als Kommunikationsmittel, zur Beschreibung von Sprache, zur Sprachproduktion und zur akustischen Wahrnehmung. Kapitel 2 vermittelt einen Überblick über die verschiedenen Bereiche der Sprachverarbeitung. Dabei werden auch einige der im Rahmen dieser Vorlesung nicht eingehend behandelten Bereiche gestreift. Das 3. Kapitel zeigt wichtige Darstellungen und Eigenschaften von Sprachsignalen. Im Kapitel 4 werden dann die mathematischen Grundlagen der Verarbeitung von Sprachsignalen behandelt, die in den beiden Kapiteln 5 und gebraucht werden, also für die Sprachsynthese und die Spracherkennung.