Sprachsynthese und SSML

Transkript

1 Sprachsynthese und SSML HS Dialogsysteme und VoiceXML, 11. Januar 2005 Dozenten: Prof. Klaus Schulz, Christoph Ringlstetter Referentin: Joanna Rymarska

2 Übersicht Was bedeutet Sprachsynthese? Ihre Rolle in einer sprachbasierten Anwendung Grundkomponenten eines TTS-Systems Verschiedene Ansätze bei TTS Speech Synthesis Markup Language

3 Begriff Sprachsynthese Synthese Abspielen von fertigen Audio- Dateien Qualität der Ausgabe vs. Aufwand und Kosten Andere sprachbasierten Anwendungen: Telekommunikationsdienste, Sprachunterricht, Unterstützung für Behinderte, redegewandte Spielsachen, Vocal User Interface, Multimedia, Mensch-Maschine-Kommunikation, Forschung Ziel: die Maschine jeden beliebigen Text vorlesen zu lassen

4 Grundkomponenten eines TTS- Systems (nach Dutoit) TTS = Text-to-Speech Synthese: NLP = Natural Language Processing Konversion von Text in Lautschrift und Prosodie- Beschreibung (prosody annotation) DSP = Digital Signal Processing Von der Ausgabe des NLP-Moduls ausgehende Synthese des Sprachsignals

5 Übersicht Was bedeutet Sprachsynthese? Ihre Rolle in einer sprachbasierten Anwendung Grundkomponenten eines TTS-Systems Verschiedene Ansätze bei TTS Speech Synthesis Markup Language

6 Textnormalisierung Computerlinguistisches Problem Beispiel (nach Bernd Möbius): Bei der Wahl am gewann Tony Blair ca. mit 52% der Wählerstimmen. Kenntnisse der internen Struktur der Wörter nötig, um richtig auszusprechen [ t] in Stimmen statt [st] wie etwa in Erstimpfung Ausländische Namen erkennen und richtig aussprechen Abkürzungen und Symbole sowie Zahlen und Datum erkennen und richtig in reguläre Wortformen umwandeln noch eine Schwierigkeit: was bedeuten die einzelnen Punkte? Was muss man außerdem beachten/kodieren?

7 Textnormalisierung (2) Text Preprocessing Einzelwörter, ausgeschriebene Abkürzungen, Zahlen, Datumsangaben, etc....

8 Graphem-Phonem-Konvertierung Sobald der Eingabetext normalisiert ist, muss eine Phonemkette erzeugt werden, in Form einer phonetischen Lautschrift. Da der Umgang mit der IPA-Transkription auf dem Rechner recht umständlich ist, verwendet man SAMPA (computerlesbare Transkription)

9 SAMPA = speech assessment methods phonetic alphabet Beispiel: /bai de:6 va:l am tsv2lftem... / Die Regeln fürs Deutsche sind unter anderem unter erklärt.

10 Graphem-Phonem-Konvertierung (2) Einzelwörter, ausgeschriebene Abkürzungen, Zahlen, Datumsangaben, etc. G2P: Regeln, Aussprachelexika, statistische Methoden Prosodiegenerierung: syntaktische Analyse, Phrasierungs- und Intonationsregeln Phonemkette mit Prosodie-Beschreibung...

11 Prosodie Prosodie wird oft mit Intonation gleichgestellt, grundsätzlich bestimmt sie aber alle suprasegmentale Eigenschaften lautsprachlicher Äußerungen; Akzent/Betonung, Grundfrequenzkonturen, Lautstärke, Intonation, Sprechgeschwindigkeit* Prosodie ist kritisch für die Natürlichkeit der Ausgabe Probleme: im geschriebenen Text ist nur wenig Information über Prosodie kodiert rein technisch ist es sehr kompliziert prosodische Effekte zu simulieren

12 Prosodie (2) Intonationsmodelle Intonationsmodelle orientieren sich am Intonationsverlauf ab der Position des Phrasen- oder Tonakzents, der mit den jeweiligen Beschreibungskategorien als kommunikativ relevant erfasst werden soll. [3] Beispiel: Steigende Intonation in einer neutralen Entscheidungsfrage. Tauschen Sie auch BRIEFMARken? L*H-^H%

13 Prosodie (3) Einzelwörter, ausgeschriebene Abkürzungen, Zahlen, Datumsangaben, etc. G2P: Regeln, Aussprachelexika, statistische Methoden Prosodiegenerierung: syntaktische Analyse, Phrasierungs- und Intonationsregeln Phonemkette mit Prosodie-Beschreibung...

14 Akustische Synthese G2P: Regeln, Aussprachelexika, statistische Methoden Text Preprocessing Prosodiegenerierung: syntaktische Analyse, Phrasierungs- und Intonationsregeln Synthetisator Das Sprachsignal wird aus der linguistischen Repräsentation im DSP- Modul erzeugt. Hier werden Dauer, Lautstärke und Tonhöhe des Signals bestimmt. Sprachsignal

15 Übersicht Was bedeutet Sprachsynthese? Ihre Rolle in einer sprachbasierten Anwendung Grundkomponenten eines TTS-Systems Verschiedene Ansätze bei TTS Speech Synthesis Markup Language

16 Formantsynthese Regelbasierter Ansatz, der auf dem Quelle-Filter-Modell basiert. Durch viele verschiedene Parameter wird das Signal, das dem Rohschall des Kehlkopfes entspricht, modifiziert (Formantfilter für Simulation der Rezonanzeigenschaften des Vokaltraktes) Quelle Filter Sprachsignal Anregung Schallformung Beispiele: Klatt-Synthesizer, DECTalk Bsp.1

17 Artikulatorische Synthese Physikalisches Modell für Simulation der Artikulation von Sprachlauten. Man versucht die menschliche Sprachproduktion nachzubilden (zu simulieren) und mit Parametern, die die Artikulation beschreiben, die Sprache zu modellieren verbunden mit hohem Rechenaufwand und immer noch nicht anwendungsfähig, nur zu Forschungszwecken Beispiele: artikulatorische Synthese an der Uni Köln Bsp.1

18 Konkatenative Synthese Basis ist eine Sprachdatenbank (Sprache wird aufgenommen, segmentiert und etikettiert) Die Zusammensetzung der Äußerung erfolgt durch Auswahl der am Besten zueinander passenden Teilsignale und ihre Konkatenation Die meist verwendete Methode in den jetzigen kommerziellen Systemen Bsp.1 Bsp.2 Bsp.3

19 Konkatenative Synthese (2) # # $ %&'! $ ()! +! *!"

20 Konkatenative Synthese (3) Wovon hängt die Qualität der (konkatenativen) Synthese ab? Segmente (also Qualität der Ausgangsdaten - z.b. wie gut sind sie miteinander kombinierbar) Signalmodelle (technische Seite: Modelle, auf die sich die Analyse- und Synthesealgorithmen stützen)

21 Übersicht Was bedeutet Sprachsynthese? Ihre Rolle in einer sprachbasierten Anwendung Grundkomponenten eines TTS-Systems Verschiedene Ansätze bei TTS Speech Synthesis Markup Language

22 SSML: Speech Synthesis Markup Language Was kann SSML? Was kann es nicht? W3C-Spezifikation unter wird derzeit nicht von allen Systemen unterstützt (bei VoxBuilder einsetzbar, bei IBM WebSphere nur teilweise unterstützt*) * es wird auf VoiceXML Programmer's Guide verwiesen

23 Einzelne Sprachelemente im Überblick Wurzelelement <speak> Strukturelemente <p>, <s> Textnormalisierung mit <say-as> Textersetzung <sub> Transkriptionsvorgabe mit <phonem> Betonungssteuerung mit <emphasis> Pausen mit <break> Prosodiesteuerung mit <prosody> Wiedergabe von Audiodateien - <audio> Auswahl der Synthesestimme - <voice> Aussprachelexika - <lexicon> Synchronisationssteuerung - <mark>

24 Strukturieren mit <s> und <p> Struktur von Prompts bestimmen, z.b. innerhalb eines Paragraphes verschiedene Sprachen verwenden: der Wert von xml:lang gilt für ganz <p>, solange in einzelnen Aussagen <s> kein anderer Wert bestimmt wurde (Beispiel aus [2]) <p xml:lang='de-de'> Willkommen bei unserem Online-Katalog, was kann ich für Sie tun? <s xml:lang='en-uk'> Welcome to our online catalogue, how may I help you? </s> </p>

25 Textnormalisierung unterstützen mit <say-as> Typ eines eingeschlossenen Textes näher spezifizieren und dadurch Textnormalisierung unterstützen In SSML sind keine Typen vordefiniert, man könnte allerdings dieses Element für Folgendes einsetzen: Ausgabe im Buchstabiermodus und von Akronymen Ausgabe von Zahlworten Ausgabe von Zeit- und Datumsangaben Ausgabe von Enfernungen, Währungen und Telefonummern Ausgabe von Namen, Post- und Internet-Adressen...

26 Transkription mit <phoneme> Attribute: ph (erforderlich): enthält die phonetische Umschrift, die zur Synthese verwendet werden soll alphabet (optional): gibt den entsprechenden phonetischen Alphabet an Gut für Fremdwörter. Wenn allerdings die TTS das angegebene Phonem nicht enthält, wird die automatische Phonetisierung der TTS-Engine verwendet

27 Wiedergabe von Audiodateien Falls fertige Audiodateien vorhanden sind, kann man sie mit <audio> abspielen lassen unter Angabe der URL der Datei im src-attribut können z.b. Begrüßungsmelodien oder vorab aufgenommene Prompts abgespielt werden Wenn die Datei nicht gefunden werden kann, wird ein im <audio> eingeschlossener Alternativtext an die TTS weitergegeben

28 Stimme festlegen: <voice> Platformabhängig Legt fest, welche Stimme zur Synthese verwendet werden soll (Die meisten TTS-Systemen bieten mehrere weibliche und männliche Stimmen.)

29 Aussprachelexikon: <lexicon> Es kann auf die URI eines externen Aussprachelexikons verwiesen werden. Syntax: <lexicon uri = ''URI'' type = ''Media-type''/> <lexicon> ist ein leeres Element. Es wird als Kindelement des Wurzelelements <speak> angegeben.

30 Ausblick Konkatenation: Das Problem der Koartikulation reduziert sich in der Praxis auf Entwicklung einer optimalen Segmentmenge. Wissenschaftlicher Anspruch: artikulatorische Synthese Natürlichkeit: Es müssen Zusammenhänge zwischen Syntax, Semantik, Pragmatik und Prosodie besser erforscht und ausgearbeitet werden.

31 Literaturhinweise [1] Dutoit Thierry, High-quality text-to-speech synthesis: an overview, Journal of Electrical & Electronics Engineering, Australia: Special Issue on Speech Recognition and Synthesis, vol. 17 n 1, pp oder unter [2] Günther Carsten, Klehr Markus, VoiceXML 2.0, mitp 2003, Kapitel 7

32 Weiterführende Literatur [3] Pompino-Marschall Bernd, (2003), Einführung in die Phonetik, Walter de Gruyter [4] Dutoit Thierry, (1997): An Introduction to Text-to- Speech Synthesis, Kluwer [5] Yarowsky David, (1997): Homograph Disambiguation in Text-to-Spreech Synthesis [6] Möbius Bernd, (2001): German and Multilingual Speech Synthesis. AIMS 7 [7] W3C Recommendation vom 7. September 2004,