Spracherkennung und Sprachsynthese

Transkript

1 Spracherkennung und Sprachsynthese Einführung in die Computerlinguistik Sommersemester 2012 Peter Kolb

2 Spracherkennung / -synthese Spracherkennung (automatic speech recognition, ASR) Sprachsynthese (text-to-speech, TTS)

3 Phonetik Phone (Laute) Konsonanten Artikulationsort: nasal, dental, labial, glottal, palatal,... Artikulationsart: frikativ, sibilant, nasal, plosiv,... Vokale Stimmhaft vs. stimmlos Zungenposition: hoch/tief (offen/geschlossen) vorn / hinten Lippen gerundet / nicht gerundet

4 Phonetik Sonorität (Schallfülle) Konsonanten ( Mitlaute ) nicht sonorant = Geräusche Vokale ( Selbstlaute ) sonorant = Klänge Sonoranten können Silbenträger sein Neben Vokalen auch l, m, n und r z.b. silbischer n-laut in laufen, l-laut in Dirndl Tschechisch: vlk, krk

5 Phonetik Sonoranten: durch Resonanz werden bestimmte Töne (=Frequenzen) verstärkt Formant: Frequenzbereich mit hoher Konzentration akustischer Energie Unterscheidung von Vokalen anhand ihrer beiden tiefsten Formanten F1 und F2 möglich

6

7 Phonetik Intonation einer Äußerung wird durch Verlauf des Basisformanten F0 wiedergegeben

8 F0-Verlauf

9 Phonologie Phonem: bedeutungstragende Einheit Minimalpaare: Tisch vs. Fisch Phonem kann durch unterschiedliche Phone realisiert werden: /ch/ [ç] oder [x] Allophone je nach Kontext: ich /ich/ [iç] ach /ach/ [ax]

10 Visualisierung Oszillogramm: Visualisierung des Amplitudenverlaufs (der Wellenform) in der Zeit

11 Visualisierung Oszillogramm: Visualisierung des Amplitudenverlaufs (der Wellenform) in der Zeit

12 Oszillogramm Vokale gut erkennbar: hohe Amplitude (laut) lange Dauer Stimmhaftigkeit = regelmäßige Amplitudenspitzen Konsonanten weniger gut: Plosive: Stille gefolgt von (leichtem) Amplitudenausschalg Frikative: Rauschen (vgl. /sh/ in she)

13 Visualisierung sprechen : s_rechen :

14 Spektrogramm Signal mittels Fourier-Transformation in die einzelnen Frequenzanteile zerlegen Formanten als dunkle Streifen sichtbar

15 Sprachkorpora Transkription gesprochener Sprache Annotationswerkzeug PRAAT

16 PRAAT

17 PRAAT: Formanten

18 PRAAT (3)

19 Spracherkennung Automatische Spracherkennung (automatic speech recognition, ASR)

20 Systemparameter Erkennung kontinuierlicher Sprache oder Einzelworterkennung (diskret)

21 Systemparameter Sprecherabhängig oder sprecherunabhängig sprecherunabhängige Wortschatz einige tausend Wörter sprecherabhängige müssen vom Benutzer trainiert werden erlauben größeren Wortschatz

22 Systemparameter eingeschränkt auf spezielle Domäne oder universell Nutzung von speziellen Lexika und Hintergrundwissen Einschränkung auf Domäne geht nicht unbedingt mit kleinerem Wortschatz einher Firmen bieten Erweiterungslexika für spezielle Fachgebiete an

23 Praktischer Einsatz Diktiersysteme universell oder mit speziellem Fachwortschatz z.b. für Ärzte Gerätesteuerung Navigationsgerät, Handy, Smartphone Dialogsysteme begrenzter Wortschatz (Domäne) Fahrplanauskunft Zahlen von 0 bis 9: Trefferquote fast 100% Übersetzung gesprochener Sprache

24 ASR: Ansatz Modellierung des Erkennungsproblems mit dem gestörten Kanal: P(T S) = P(T) P(S T) / P(S) t max = argmax t P(T) P(S T) P(T): Wahrscheinlichkeit eines Satzes n-gramm-sprachmodell

25 ASR: Ansatz P(S T): akustisches Modell allerdings wird nicht die Mikrophon-Aufnahme selbst als Eingabe (S) verwendet das Signal wird digitalisiert und vorverarbeitet u.a. Spektralanalyse (Fourier-Transformation) das Eingabesignal wird zu jedem Zeitpunkt durch einen Merkmalsvektor repräsentiert 39 Merkmale aus dem Merkmalsvektor werden Phon- Wahrscheinlichkeiten bestimmt

26 Systemüberblick

27 HMM Idee: eine beobachtete Symbolsequenz wurde von versteckten Zuständen erzeugt z.b. Wörter von Wortarten, Laute von Phonemen endlicher Automat mit versteckten (hidden) Zuständen Übergangswahrscheinlichkeiten zwischen den Zuständen zusätzlich Emissionswahrscheinlichkeiten

28 HMM

29 HMM Lernproblem: Gegeben ist Ausgabesequenz. Es sollen die Parameter des HMM bestimmt werden, die am wahrscheinlichsten die Ausgabesequenz erzeugen. Lösbar mit Hilfe des Baum-Welch- Algorithmus. Dekodierungsproblem: Gegeben ist HMM und Beobachtungssequenz. Es soll die wahrscheinlichste Sequenz der versteckten Zustände bestimmt werden, die die beobachtete Sequenz erzeugt hat. Lösbar mit Hilfe des Viterbi-Algorithmus.

30 Offene Probleme Störgeräusche Erkennen unbekannter Wörter Sprechervielfalt: Dialekt, Sprachfehler Honig: ['ho:nik] vs. ['honiç]

31 Sprachsynthese automatische Sprachsynthese (text-to-speech, TTS)

32 Sprachsynthese Ansätze zur Synthese von Wellenformen: artikulatorische Synthese: Nachbildung des artikulatorischen Systems Formantensynthese: Regeln zur Erzeugung künstlicher Spektren konkatenative Synthese heutige TTS-Systeme verwenden konkatenative Ansätze

33 Sprachsynthese konkatenative Ansätze: erzeugen keine künstlichen Laute, sondern verwenden Samples Diphon-Synthese Koartikulation Datenbank aller Diphone (Phon-Übergänge) Im dt Diphone, im span. 800 Non-uniform Unit Selection sehr große Datenbank mit Phonen, Diphonen, Silben, Wörtern, Phrasen, Sätzen

34 Sprachsynthese konkatenative Ansätze: erzeugen keine künstlichen Laute, sondern verwenden Samples Diphon-Synthese Koartikulation Datenbank aller Diphone (Phon-Übergänge) Im dt Diphone, im span. 800 Non-uniform Unit Selection sehr große Datenbank mit Phonen, Diphonen, Silben, Wörtern, Phrasen, Sätzen

35 Prosodie Sprachsignal enthält suprasegmentale oder prosodische Information Sprechgeschwindigkeit, Rythmus, Pausen Akzent Intonation (F0!) Funktionen prosodischer Information: Gliederung des Satzes Satzmodus (Aussage, Frage) Text- u. Dialogkohärenz, Informationsstruktur

36 MARY

37 Quellen MARY: Beispiele: Wolfgang von Kempelen (Video) Voder (Video)