Optimale Bausteinauswahl in der korpusbasierten Sprachsynthese

Transkript

1 See discussions, stats, and author profiles for this publication at: Optimale Bausteinauswahl in der korpusbasierten Sprachsynthese THESIS JULY 2010 READS 32 1 AUTHOR: Hamurabi Gamboa-Rosales Autonomous University of Zacatecas 18 PUBLICATIONS 20 CITATIONS SEE PROFILE Available from: Hamurabi Gamboa-Rosales Retrieved on: 11 November 2015

2 Technische Universität Dresden Optimale Bausteinauswahl in der korpusbasierten Sprachsynthese Konkatenative Sprachsynthese Hamurabi Gamboa Rosales der Fakultät Elektrotechnik und Informationstechnik der Technischen Universität Dresden zur Erlangung des akademischen Grades eines Doktoringenieurs (Dr.-Ing.) vorgelegte Dissertation

3

4 Danksagung Ich möchte Verena für ihre unermüdliche Hilfe, ihre Gesellschaft, Motivation und ihre Ausdauer danken. Ohne ihre Liebe wäre dieser Dissertation nicht möglich gewesen. Ich danke meiner Familie, die mir stets im Laufe meiner Ausbildung geholfen hat und dafür gesorgt hat, dass mir alle Türen offen stehen. Meinem Vater J. Cruz Gamboa Viramontes für seine unendlichen Unterstützung und dafür, dass er sein Wissen und seine Weisheit mit mir teilt. Meiner Mutter Ofelia Rosales Acevedo dafür, dass sie immer für mich da ist, für ihre Liebe sowie für die vielen Ratschläge und langen Gespräche. Meinen Geschwistern Nadia Karina, Abubeker, Cesar und Jaime für die gemeinsamen Erlebnisse, für die Freude und dafür, dass sie mir immer zur Seite stehen. Im Besonderen möchte ich diese Arbeit meine Großmutter Francisca Acevedo Ruelas widmen, die leider kurz vor dem Ende meiner Promotion von uns gegangen ist. Besonders möchte ich meinen Betreuer Prof. Dr.-Ing. habil. Rüdiger Hoffmann erwähnen. Ich danke ihm für sein Vertrauen, seine Bemühungen und den Einsatz für den Erfolg dieser Promotion. Meinen Kollegen dafür, dass sie mich in die Arbeitsgruppe aufgenommen haben sowie für die konstruktive Kritik. Mein Dank gilt des Weiteren Lydia, Kathrin, Sandro, Mario, Petra und Roland, David, Katharina, Matthias, Oliver sowie Fanny, dafür dass sie meinen Aufenthalt in Deutschland erleichtert haben. Mein besonderer Dank gilt der Universidad Autonoma de Zacatecas für die Erlaubnis, meinen akademischen Weg weiterzuführen. Nicht zuletzt, danke ich COACYT-DAAD (Stipendium ) für die akademische und finanzielle Unterstützung.

5

6 Abstract With the progress of corpus-based speech synthesis towards the development of high quality TTS systems, unit selection plays an important role to overcome the limitations of the concatenative synthesis from a small acoustic unit inventory. Corpus-based speech synthesis is based on unit selection and a large acoustic inventory (corpus) in order to select the longest acoustic units from this corpus so that the perceptual differences between expected natural and synthesised utterances are as insignificant as possible. This process minimises the number of concatenations and reduces the need of signal processing. However, mismatches and distortions are still possible and they can be audible in the synthesised waveform. Therefore, unit selection strategies and the tuning of unit selection parameters are still important issues in the improvement of speech synthesis. This work presents a unit selection framework for corpus-based speech synthesis. It is composed of a linguistic-phonetic conversion, a large acoustic inventory concept and an optimised unit selection approach. The linguistic-phonetic conversion consists of Grapheme-to-Phoneme conversion for English and German and prosody modelling, which are implemented by the use of Classification and Regression Trees. The Grapheme-to-Phoneme conversion delivers the required information to obtain intelligibility for the synthesised utterance. The prosody modelling leads to an appropriate expressivity. The aim to apply a large acoustic inventory is reached by using the speech database developed during TC-STAR project. Therewith, a variety of phonetic and prosodic acoustic units is obtained and the likelihood of finding an entire utterance is increased. The principle advantage of the proposed optimised unit selection approach is that it does not require an exhaustive training to set up the weighted coefficients for the concatenation sub-costs. Its operation is based on a mapping analysis of the concatenation sub-costs, a Bayes Classifier and a Maximum Likelihood Selection. This approach allows the integration of new large acoustic inventories in the unit selection framework with less effort. The linguistic-phonetic conversion together with the large acoustic inventory and the proposed optimised unit selection approach applied in DRESS speech synthesis system achieve a high quality speech synthesis maintaining intelligible, natural and expressive speech utterances.

7

8 Inhaltsverzeichnis Danksagung V Abstract VII 1 Einleitung Motivation - Sprachqualität Vorgeschlagenes Verfahren Aufbau der Dissertationsschrift Sprachsynthesesystem Theoretische Grundlagen des Sprachsynthesesystems Sprachverarbeitung Signalverarbeitung Akustische Synthese Overlap-Add-Verfahren Pitch-Synchronous-Overlap-Add-Verfahren (PSOLA) Verkettungsfehler bei der Anwendung von TD-PSOLA Graphem-Phonem-Umsetzung und Prosodiemodellierung Einleitung - Sprachverarbeitung CART-Algorithmus Klassifikationsbäume G2P-Umsetzung Vorbereitung der Datenbank Anwendung des CART-Algorithmus Ergebnisse der G2P-Umsetzung Silbentrennung und Wortakzentuierung CART der Silbentrennung CART der Wortakzentuierung Ergebnisse der Silbentrennung und Wortakzentuierung Prosodiegenerierung Vorbereitung der Datenbank Anwendung des CART-Algorithmus Evaluation der Prosodiegenerierung Datenbasiskonzept Einleitung Aufbau des Textkorpus Korpuszusammensetzung Größe des Textkorpus Domänen des Textkorpus Bausteinbeschreibung TTS-Lexikon

9 X Inhaltsverzeichnis 4.3 Sprecherauswahl Sprecherprofil Sprachmodus Sprecherauswahlverfahren Sprachaufnahme Aufnahmebedingungen Qualität des Sprachsignals Stimmerstellung und aufgenommene Rede Etikettierung Orthographische Transkription Phonetische Transkription Prosodische Transkription Segmentierung Inventar-Erstellung Periodenmarkierung Amplitudennormierung des Sprachsignals Baustein-Extraktion Beschreibungsparameter der Datenbasis Phonetische Eigenschaften Prosodische Eigenschaften Spektrale Eigenschaften der Bausteine Kontextposition Bausteinauswahlverfahren Beschreibung der Bausteinauswahl Bausteinsuchmaschine Backward-Oracle-Matching-Algorithmus Faktororakel Suche mit dem Faktororakel Berechnung der Ziel- und Verkettungskosten Schätzung der gewichteten Koeffizienten bei der Bausteinauswahl Gewichtung der Koeffizienten für die multilinguale Bausteinauswahl Maximum-Likelihood-Bausteinauswahl Bausteinsuche zur Minimierung der Gesamtkosten Viterbi-Algorithmus Ausschnitt und Verpackung Glättung Glättungsverfahren Untersuchungsablauf der Glättungsverfahren Evaluation der Maximum-Likelihood-Bausteinauswahl Blizzard Challenge Evaluation der Natürlichkeit Evaluation der Verständlichkeit Allgemeine MOS-Bewertung Schlussfolgerung der Blizzard Challenge Teilnahme Evaluation der Sprachqualität des weiterentwickelten TTS-DRESS Funktionsweise des Verfahrens Evaluation der Qualität der Sprachsynthese Evaluation der Natürlichkeit Evaluation der Expressivität Evaluation der Verständlichkeit Allgemeine Evaluation der synthetisierten Sprache Schlussfolgerungen aus den Ergebnissen Zusammenfassung

10 Inhaltsverzeichnis XI Anhang A CART A.1 Klassifikationsbäume A.1.1 Pruning-Verfahren A.1.2 Wahl des Ergebnisbaumes A.2 Regressionsbäume A.2.1 Generierung des initialen Entscheidungsbaumes A.2.2 Pruning-Verfahren und Wahl des Ergebnisbaumes A.3 Kreuzvalidierung B Formeln B.1 Transinformation C Tabellen C.1 Referenztabellen SAMPA C.2 Wortakzentuierung C.3 G2P-Zuordnungsregeln C.4 Dateien der Sprachdatenbasis Literatur Index Formelzeichen und Abkürzungen

11

12 1 Einleitung 1.1 Motivation - Sprachqualität Elektronische Systeme werden mehr und mehr zum alltäglichen Begleiter des Menschen. Dabei erleichtern die Anwendungen der Sprachsynthese die wechselseitige Kommunikation zwischen Mensch und Maschine. Der Mensch soll so mit der Maschine kommunizieren können, wie er es aus der Kommunikation mit anderen Menschen gewohnt ist: durch Benutzung der menschlichen Sprache [Dut97]. Die synthetisierte Sprache der Maschinen hat immer das Ziel, die natürliche Sprache des Menschen in möglichst hoher Qualität wiederzugeben. Dabei bezieht sich diese hohe Qualität auf die Verständlichkeit, Natürlichkeit und Expressivität der synthetisierten Sprache. Diese drei qualitativen Eigenschaften der Sprachsynthese sorgen dafür, dass der Mensch sich nicht an die ihm fremde Kommunikationsweise der Maschine anpassen muss. Die praktische Anwendung der Sprachsynthese ist heutzutage vor allem aufgrund von Fortschritten und der Einführung von neuen Verfahren und Algorithmen in der Elektrotechnik in der zweiten Hälfte des letzten Jahrhunderts möglich ([CM88], [MC90] und [BDP + 02]). Auch in der Sprachwissenschaft gab es vielfältige Entwicklungen, die die Sprachsynthese benötigt [Cam05]. Für die Erstellung von Sprachsynthesesystemen hoher Qualität ist die Zusammenarbeit der verschiedenen Wissenschaften, die einen Beitrag zur Sprachsynthese leisten, notwendig. Obwohl Sprachsynthesesysteme (Vorleseautomaten) in der letzten Zeit bereits eine gute Qualität der synthetisierten Sprache erreicht haben, können die Sprachsynthesesysteme die menschliche Stimme noch nicht perfekt wiedergeben [Bla02]. Es gibt schon einige elektronische Systeme, die den Nutzern Ansagen und Bedienhinweise mitteilen können, aber die Qualität der heutigen Ansagen der Systeme ist oft nicht hoch genug. Nur bei hoher Qualität kommt die Information überhaupt und mit der nötigen Bedeutsamkeit beim Menschen an. Dies zeigt das folgende Beispiel: Wenn ein Vorleseautomat am Bahnhof die Zugfahrgäste warnen möchte, weil gerade ein Schnellzug durchfährt, ist die Verständlichkeit der Sprachsynthese die Grundvoraussetzung dafür, dass der Hörer das Wort Achtung überhaupt versteht. Natürlichkeit ist dann gegeben, wenn die synthetisierte Sprache möglichst wie menschliche Sprache klingt. Zudem hängt es stark von der Expressivität der Äußerung Achtung ab, ob die Zugreisenden diese Warnung überhaupt Ernst nehmen und zurücktreten. Nur wenn synthetisierte Sprache auch Anzeichen von Persönlichkeit und Emotionen (z. B. eine gewisse Strenge beim Wort Achtung ) aufweist, wird sie vom Menschen auch so wie beabsichtigt wahrgenommen. An diesem Beispiel ist deutlich zu erkennen, dass es weiterhin unbedingt notwendig ist, neue Algorithmen, Techniken und Verfahren in der Sprachsynthese zu entwickeln und einzuführen, die die synthetisierten Äußerungen der natürlichen Sprache des Menschen anhand der Generierung von Prosodieparametern annähern. Die Sprachsynthesesysteme sollten dazu fähig sein, Informationen mit einer angemessenen Qualität zu vermitteln [Dut97]. Nur so kann vermieden werden, dass der Nutzer die vermittelten Informationen nicht oder falsch versteht. Diese qualitativen Eigenschaften weisen Sprachsynthesesysteme bereits bis zu einem gewissen Grad auf. Dies ist aber nur für einige spezifische Anwendungen der Fall, wie zum Beispiel für Navigationsgeräte oder für Ansagen in der Straßenbahn, weil dort nur eine begrenzte Anzahl von Redewen-

13 2 1 Einleitung dungen benötigt wird. Die Qualität bei diesen Anwendungen liegt größtenteils an der Datenbasis des Sprachsynthesesystems, die genau für diesen Einsatzfall hergestellt wurde. Die Vielfalt der menschlichen Tätigkeiten kann aber nicht auf bestimmte Umgebungen beschränkt werden. Somit ist die Suche nach einem Text-to-Speech (TTS)-System, das mit einer universellen Datenbasis die Kommunikation des elektronischen Systems mit dem Menschen in den verschiedensten praktischen Anwendungen möglich macht und dabei gleichzeitig ein synthetisiertes Sprachsignal mit besseren qualitativen Eigenschaften erzeugt, eines der ungelösten Probleme der Sprachsynthese. Um die Sprachsynthese universell einsetzen zu können, wurde das Verfahren der konkatenativen korpusbasierten Sprachsynthese z. B. von [Hol00] vorgeschlagen. Vorher wurde vor allem eine Form der konkatenativen Sprachsynthese verwendet, die auf einer festgelegten Länge der Bausteine (Spracheinheiten) und einer geringen Anzahl an Bausteinen in der Datenbasis beruht. Dadurch ergaben sich einige Einschränkungen betreffend der Anwendungsgebiete der Sprachsynthese. In letzter Zeit wurden diese Einschränkungen durch das Verfahren der konkatenativen korpusbasierten Sprachsynthese überwunden [Bla02], das auf einer variablen Länge der Bausteine und einer großen Vielfalt an Bausteinen in der Datenbasis basiert. Die Grundidee der korpusbasierten Synthese ist die Verwendung einer großen Datenbasis und die Auswahl der längsten und geeignetsten Bausteine des Korpus, die der Sequenz der Sprachlaute der zu synthetisierenden Äußerung (Ziellaute) entsprechen [Ber00]. Damit reduziert sich die Anzahl der Verkettungen und die Notwendigkeit der Signalverarbeitung der zu verkettenden Bausteine. Die vorliegende Arbeit schlägt eine Vorgehensweise der Bausteinauswahl vor, die die Vorteile der konkatenativen korpusbasierten Sprachsynthese nutzt. 1.2 Vorgeschlagenes Verfahren Bei der vorliegenden Forschungsarbeit geht es darum, ein optimiertes Verfahren der Bausteinauswahl bereitzustellen, das für optimale Qualität, Effizienz und Flexibilität im Sinne einer breiten Anwendbarkeit bei der Durchführung der Sprachsynthese sorgt. Dabei wird davon ausgegangen, dass es bei der konkatenativen korpusbasierten Sprachsynthese durch eine wirksame Bausteinauswahl und eine große Datenbasis möglich ist, eine breite Vielfalt von Äußerungen einer bestimmten Sprache in einer guten Qualität wiederzugeben. Um diese Aufgabe zu erfüllen, konzentriert sich der größte Teil dieser Arbeit auf das Vorgehen bei der Bausteinauswahl und die Erstellung einer großen Datenbasis. Es wird ein Bausteinauswahlverfahren vorgeschlagen, das sein Potenzial aus einer breiten Vielfalt der Bausteine in der Datenbasis schöpft. Die Hauptaufgabe des Bausteinauswahlverfahrens ist es, die besten Bausteine aus der großen Datenbasis so auszuwählen, dass die Bausteine möglichst eine geringe Verzerrung bei der Verkettung aufweisen. Daraus abgeleitet besteht das vorgeschlagene Verfahren aus drei Hauptkomponenten: Der erste Schwerpunkt liegt in der Graphem-zu-Phonem-Umsetzung und Prosodiemodellierung für expressive Sprachsynthese. Als zweiter Punkt soll es um die Entwicklung einer umfangreichen Datenbasis gehen. Die Graphem-zu-Phonem-Umsetzung und Prosodiemodellierung sind die entscheidenden Eingabeinformationen für die Suche nach den phonetisch passenden Bausteinen in der Datenbasis. Eine optimierte Bausteinsuche bildet die dritte Hauptkomponente des vorgeschlagenen Verfahrens. Dabei erfolgt die Auswahl durch die Bestimmung der Verzerrungen zwischen den Bausteinen. Verschiedene Einflussfaktoren auf die Stärke der Verzerrung und Verfahren zu Glättung der Verzerrungen werden ebenfalls vorgestellt. 1. Die erste Aufgabe besteht aus der linguistisch-phonetischen Umsetzung und der emotionalen Prosodiegenerierung. Bei der linguistisch-phonetischen Umsetzung wird nach der Texteingabe in das TTS-Systems eine linguistische Analyse und Graphem-Phonem-Umsetzung durch ein Classification-And-Regression-Tree (CART)-Verfahren durchgeführt. Dadurch wird der eingegebene Text in eine entsprechende Phonemfolge umgesetzt. Zusätzlich wird mit Hilfe der Phonemfolge aus der linguistisch-phonetischen Umsetzung durch ein CART-Prosodiemodell

14 1.2 Vorgeschlagenes Verfahren 3 die entsprechende prosodische Information für die Phonemfolge generiert. Im Rahmen dieser Forschungsarbeit wird eine Studie (siehe Kapitel 3) für die emotionale Prosodiegenerierung mittels einer aufgenommenen Datenbasis mit verschiedenen Emotionen vorgestellt, um emotionale Expressivität durch Prosodiegenerierung synthetisierter Sprache hinzuzufügen. 2. Bei der zweiten Aufgabe geht es darum, eine große Datenbasis für die Bausteinauswahl zu Verfügung zu stellen (siehe Kapitel 4). Idealerweise müsste die gesamte von dem Sprachsynthesesystem gewünschte Äußerung in einer umfangreichen Datenbasis gefunden und einfach durch das System wiedergegeben werden, ohne der Verkettung oder Signalverarbeitung zu bedürfen. So würde man die natürliche Sprache mit der ihr innewohnenden Verständlichkeit, Natürlichkeit und Expressivität abbilden. Aufgrund der Vielschichtigkeit und der vielfältigen Kombinationsmöglichkeiten der Sprache und beim Sprechen ist es aber unwahrscheinlich, dass die gewünschte Äußerung genau so gefunden werden kann. Die Verwendung einer umfangreichen Datenbasis mit vielen Stunden an Sprachaufnahmen erhöht die Wahrscheinlichkeit, dass ein Zielsatz mit Hilfe einer wirksamen Bausteinauswahl sehr gut nachgebildet wird, weil eine umfangreiche Datenbasis eine große Vielfalt an phonetischen und prosodischen Sprachmerkmalen enthält. 3. Die letzte Aufgabe des vorgeschlagenen Verfahrens besteht aus der Suche nach den für die Synthese einer Äußerung passenden Bausteinen in der Datenbasis und der Auswahl der entsprechend besten Bausteine (siehe Kapitel 5). Gesucht wird nach den Bausteinen, die die sprachlichen Merkmale und prosodischen Anforderungen der linguistisch-phonetischen Umsetzung und Prosodiegenerierung für eine zufriedenstellende Umsetzung der TTS-Synthese erfüllen. Die Suche nach den Bausteinen in einer großen Datenbasis ist ein vielschichtiger Prozess mit hohem Zeit- und Rechenaufwand. Sie sollte aber so schnell, zuverlässig und wirksam wie möglich erfolgen, so dass die Bausteinauswahl über eine breite Vielfalt von auszuwählenden Bausteinen verfügen kann. Die Qualität der Sprachsynthese hängt zum großen Teil von der Auswahl der geeignetsten Bausteine aus den vorher gefundenen Möglichen ab. Leider stellt uns das Verfahren der Bausteinauswahl noch vor eine große Herausforderung. Die erforderlichen Parameter für die Bausteinauswahl müssen geschätzt werden. Das Einstellen dieser Parameter der Bausteinauswahl scheint der wichtigste Faktor zu sein, um eine gleichbleibende Synthesequalität von Sprache zu ermöglichen [Bla02]. Bei der Bausteinauswahl laufen verschiedene Vorhersageverfahren für die entstehenden Verzerrungen bei der Verkettung der Bausteine ab. Die Verzerrungen, die bei der Verkettung der ausgewählten Bausteine auftreten, beeinträchtigen die Verständlichkeit und Natürlichkeit der Sprache. Zudem besteht die Aufgabe der Bausteinauswahl darin, die Bausteine zu finden, die zu der geringsten Beeinträchtigung der Expressivität der Stimme führen und dabei die größte Ähnlichkeit mit der zu synthetisierenden Äußerung aufweisen. Um diese Aufgabe zu erfüllen, muss die Menge der Informationen aus den vorhergehenden Phasen verarbeitet werden. Die Suche nach den Bausteinen wird über den Einsatz von Weighted Finite State Transducers (WFSTs) durchgeführt. Damit kann das TTS-System mit der größtmöglichen Flexibilität (bei der Verarbeitung der sprachlichen, prosodischen und Verkettungsinformationen) und Wirksamkeit (in Bezug auf den Zeit- und Rechenaufwand) arbeiten. Schließlich werden die ausgewählten Bausteine in dieser Phase mit der gewünschten vorzulesenden Äußerung verglichen, um zu überprüfen, wie ähnlich sie der natürlichen Äußerung sind. Mit den Ergebnissen der vorherigen Schritte verfügt das Bausteinauswahlverfahren nun über die notwendigen Informationen, um eine bessere Qualität der Sprachsynthese mit den bestmöglichen Bausteinen aus der Datenbasis zu erlangen. Die Forschung nutzt verschiedene Techniken der Sprachsynthese und Spracherkennung, um die Bausteinauswahl erfolgreich durchzuführen. So werden - neben den oben genannten WFSTs - Sprachsignalmodelle, Entscheidungsbäume, Clustertechniken und dynamische Such- und Pruning- Strategien verwendet, die man aus den verschiedenen Anwendungen der Spracherkennung kennt. Sprachsynthese und Spracherkennung sind, obwohl es grundsätzliche Unterschiede zwischen ihnen gibt, doch miteinander verbunden. Diese Forschungsbereiche können voneinander profitieren, wenn man ihre Verfahren in beiden Bereichen anwendet [Eic07].

15 4 1 Einleitung 1.3 Aufbau der Dissertationsschrift Diese Arbeit ist wie folgt aufgebaut: In Kapitel 2 erfolgt zuerst eine Schilderung der theoretischen Grundlagen zum Sprachsynthesesystem, wobei die Funktionsweise des TTS-Systems und die verwendeten Algorithmen für die konkatenative Sprachsynthese beschrieben werden. In Kapitel 3 wird eine linguistisch-phonetische Umsetzung und ein Ansatz zur Verbesserung der Expressivität der synthetisierten Sprache mittels emotionaler Prosodiegenerierung vorgestellt. Diese werden als Eingabeinformation für die Bausteinauswahl verwendet. Danach wird in Kapitel 4 ein Konzept für die Erstellung einer großen Datenbasis dargestellt, die eine große Vielfalt von Bausteinen mit verschiedenen phonetischen und prosodischen Sprachmerkmalen enthalten muss. Kapitel 5 stellt das vorgeschlagene Verfahren für die Suche und Auswahl der Bausteine für die Sprachsynthese vor. Abschließend zeigt Kapitel 6 die Evaluation der Sprachqualität des durch die Zusammenführung der in Kapitel 3 bis 5 vorgeschlagenen Verfahren weiterentwickelten TTS-DRESS. Es folgt eine Zusammenfassung der Ergebnisse und deren Bedeutung für die Sprachsynthese in Kapitel 7.

16 2 Sprachsynthesesystem 2.1 Theoretische Grundlagen des Sprachsynthesesystems Die Sprachsynthese ist die künstliche Wiedergabe von menschlicher Sprache durch einen Computer [Faú01]. Das Computersystem, welches mit diesem Ziel entwickelt wurde, erhält den Namen Vorleseautomat oder TTS-System und kann in Software oder Hardware gebaut werden [HJSH04]. Es wird eine Textinformation eingegeben und das Sprachsynthesesystem erzeugt ein künstliches Sprachsignal. Die automatische Umsetzung von Text-to-Speech benötigt eine Serie verschiedener Prozesse. Einerseits soll der Eingangstext sprachlich verarbeitet werden, um die notwendigen Informationen für das richtige Vorlesen des eingegebenen Textes zu erhalten. Auf der anderen Seite muss das gewünschte Sprachsignal erzeugt werden. Dies erfordert die Anwendung mehrerer Techniken der Signalverarbeitung [Qua02]. Das TTS-System kann durch ein Blockdiagramm dargestellt werden, wie es in Abbildung 2.1 gezeigt wird. Dabei kann man die Zweistufigkeit der Vorgehensweise bei der Sprachsynthese in Form von Sprach- und Signalverarbeitung erkennen, die beide bei der Umsetzung eines Texts zu einem synthetisierten Sprachsignal erforderlich sind. Abbildung 2.1: Sprachsynthesesystem-Blockdiagramm. Die Hauptaufgabe der Sprachverarbeitung ist die Bestimmung der Lautabfolge, die für die fehlerfreie Synthese des eingegebenen Texts erforderlich ist. Die Sprachverarbeitung beinhaltet die folgenden Aufgaben: Die phonetische Umschrift des eingegebenen Textes. Die Übertragung der Buchstaben in Laute. Die Generierung der Prosodie des Textes. Die Informationen aus der Sprachverarbeitung werden zur Signalverarbeitung weitergegeben. Diese nutzt die erhaltenen Informationen, um das gewünschte Sprachsignal zu erzeugen. In Abbildung 2.2 sind die Module der Sprach- und Signalverarbeitung dargestellt, die zusammen den Vorleseautomaten (TTS) bilden [HKK + 99].

17 6 2 Sprachsynthesesystem Abbildung 2.2: Elemente eines TTS-Systems. 2.2 Sprachverarbeitung Nachfolgend wird jede Stufe der Sprachverarbeitung aus Abbildung 2.2 beschrieben und der Prozess der Sprachsynthese grob skizziert. Die Sprachverarbeitung besteht aus drei Stufen: der Textanalyse, der Graphem-Phonem-Umsetzung und der Prosodiegenerierung. Textanalyse (auch linguistische Analyse): Der eingegebene Text kann verschiedene Äußerungen enthalten, die oft nicht nur aus Buchstaben und Wörtern, sondern auch aus Nummern, Abkürzungen und Symbolen bestehen. Deshalb widmet sich die Textanalyse der Aufgabe, den eingegebenen Text so in eine lesbare Wortfolge umzuwandeln, wie sie ein Mensch normalerweise lesen würde [Hey01]. Zusätzlich stellt die linguistische Analyse weitere Informationen (z. B. zur Phrasierung, Satzmelodie, Wortart) für die folgenden Stufen bereit.

18 2.3 Signalverarbeitung 7 Graphem-Phonem-Umsetzung (G2P): Ein Phonem wird definiert als die minimale bedeutungsunterscheidende Einheit einer Lautsequenz in einer Sprache und ist Untersuchungsgegenstand der Phonologie, einem Teilgebiet der Linguistik. Grundlagen in diesem Bereich werden unter anderem in den Arbeiten von [Ram01] und [Mei07] gegeben. In dieser Arbeit erfolgt die Darstellung der Phoneme entsprechend Speech Assessment Methods Phonetic Alphabet (SAMPA), einer ASCII-kodierten Darstellung einer Teilmenge des internationalen phonetischen Alphabets IPA. In den Tabellen C.1 und C.2 im Anhang C.1 wird die Bedeutung der Phoneme des Standard SAMPA für die Sprachen Englisch und Deutsch angegeben. Das Gegenstück zum Phonem als lautliche Repräsentation ist das Graphem in der geschriebenen Sprache. So stellt ein Graphem die kleinste bedeutungsunterscheidende Einheit der schriftlichen Sprache dar. Wie in Abschnitt noch einmal herausgestellt wird, existiert dabei jedoch keine eindeutige Zuordnung der Phoneme zu den Graphemen. Die G2P-Umsetzung legt die Folge der Phoneme fest, die den Buchstaben einer Phrase entspricht. Die Übertragung der Buchstaben (Grapheme) in Laute (Phoneme) ist nicht immer so, dass derselbe Buchstabe denselben Laut produziert. Vielmehr hängt die Umsetzung von einer Vielzahl phonetischer Regeln ab [PB05]. Dabei gibt es auch einige Ausnahmen. Für die Graphem-Phonem-Umsetzung wird jedes Wort in einem Wörterbuch gesucht, in dem besondere Ausnahmen der Aussprache zu finden sind. So erhält man die phonetische Umschrift und die Betonung. Wenn diese nicht im Wörterbuch zu finden sind, kommen phonetische Regeln zur Anwendung. Die Erstellung einer G2P-Umsetzung für die englische und für die deutsche Sprache ist in Abschnitt 3.2 dargestellt. Prosodiegenerierung: Die konkatenative Sprachsynthese ist gut verständlich, aber sie klingt bisher nur wenig natürlich und expressiv [Bla02]. Deswegen ist es sehr wichtig, die angemessenen prosodischen Merkmale der Sprache wie Segmentdauer, Betonung, Grundfrequenz und Energieverlauf für die gewünschte zu synthetisierende Äußerung zu erhalten [BO01]. Dieser Bestandteil des TTS-Systems verwendet die linguistischen Informationen aus der Textanalyse und Graphem-Phonem-Umsetzung, um für die erstellte Phonemfolge die entsprechenden prosodischen Informationen jeder Äußerung zu generieren. All diese generierten prosodischen Informationen werden in der Bausteinauswahl und in der akustische Synthese verwendet. Schließlich erhält man also die Folge der benötigten Phoneme für die Sprachsynthese des gegebenen Textes mit den entsprechenden prosodischen Informationen als Ergebnis der Sprachverarbeitung. 2.3 Signalverarbeitung Die Signalverarbeitung eine sehr große Rolle für die Sprachsynthese, weil diese festlegt, ob das TTS-System die prosodischen Merkmale und sprachlichen Vorgaben der Sprachverarbeitung verwirklichen kann [Dut97]. Nachfolgend wird jede Stufe der Signalverarbeitung aus der Abbildung 2.2 beschrieben. Die Signalverarbeitung besteht aus zwei Stufen: der Bausteinauswahl und der akustischen Synthese. Bausteinauswahl (auch Unit Selection): Die Dateneingabe besteht aus einer Phonemfolge mit entsprechenden phonetischen und prosodischen Informationen. Die Sprachsynthese erfolgt über die Verkettung von Spracheinheiten (Bausteine) oder Sprachsegmenten, die sich in der Datenbasis befinden. Dafür ist es notwendig, die Bausteine aus der Datenbasis auszuwählen, die den verschiedenen Elementen der Phonemfolge entsprechen [HB96]. Dies erledigt die Bausteinauswahl, die eine gegebene Phonemfolge in eine Sequenz von gespeicherten Spracheinheiten umwandelt. Bei der Betrachtung des Vorgangs der Sprachsynthese treten die Bausteine als Phoneme, Diphoneme, Triphoneme oder nicht-uniforme Bausteine (d. h. Bausteine mit variabler Länge) auf [KB03]. Von dem Verfahren der Bausteinauswahl hängt ab, ob die Bausteine ausgewählt werden, die der vorher festgelegten Phonemfolge und den prosodischen Informationen am besten entsprechen. Das in dieser Arbeit verwendete Bausteinauswahlverfahren wird in Kapitel 5 ausführlich beschrieben. Akustische Synthese: Für die Durchführung der akustischen Synthese gibt es mehrere Techniken. Diese können auf der Formant-, Artikulations-, Hidden-Markov-Models [Kei99] (HMM)-

19 8 2 Sprachsynthesesystem und Pitch-Synchronous-Overlap-and-Add (PSOLA)-Synthese basieren. Das PSOLA-Verfahren wird am häufigsten als Verkettungsalgorithmus bei der konkatenativen Sprachsynthese verwendet [MC90]. Dabei werden die ausgewählten Bausteine verkettet und die entsprechende Prosodie wird der zu synthetisierenden Äußerung aufgeprägt. Der PSOLA-Verkettungsalgorithmus ermöglicht in gewissen Grenzen die Modifikation des Sprachsignals, so dass z. B. die Grundfrequenz verschoben werden kann. Die Hauptaufgabe des TTS-Systems ist, Äußerungen zu erzeugen, die der menschlichen Stimme so weit wie möglich ähneln. Dabei ist auch Flexibilität gefragt, damit die synthetisierten Äußerungen je nach Anwendungsgebieten variieren können und sich so eine optimale Qualität der Sprachsynthese ergeben kann [Hir03] Akustische Synthese Die akustische Synthese erzeugt das menschliche Sprachsignal. Dafür werden verschiedene Methoden verwendet, die in zwei Ansätze unterteilt werden können. Diese Ansätze sind die Modellierung des Vokaltrakts sowie die Verkettung und Modifizierung im Zuge der Signalverarbeitung [HB96]. Aus beiden Ansätzen ergeben sich entsprechende Vor- und Nachteile. Der erste Ansatz der akustischen Synthese wird als physiologische oder artikulatorische Modellierung bezeichnet. Während das Sprachsignal dabei durch eine vollständige Modellierung der Spektraleigenschaften des Vokaltrakts erzeugt wird [Kla80], erfolgt beim zweiten Ansatz eine Verkettung und Modifizierung der aus den Sprachaufnahmen extrahierten Bausteine. Dabei wird das gewünschte Sprachsignal mit Hilfe der Eigenschaften der Sprachaufnahmen extrahiert, modifiziert, verkettet und neu erzeugt [HB96]. Die Bausteine werden dabei aus einer großen Datenbasis ausgewählt und verkettet [VKT02]. Die Verkettung und Modifizierung im Zuge der Signalverarbeitung führt zu einer besseren Qualität der Sprachsynthese. Für die Mehrheit der TTS-Systeme wurde dafür der PSOLA-Verkettungsalgorithmus ausgewählt [Bla02], dessen Funktionsweise im Folgenden erklärt wird Overlap-Add-Verfahren Der PSOLA-Verkettungsalgorithmus basiert auf dem Overlap-Add-Verfahren (OLA). Verfahren wie Linear Prediction (LP)-, Frequenz Domain (FD)- und TD-PSOLA sind Varianten des PSOLA- Verfahrens [Hol00]. Es ist notwendig, die Funktionsweise des OLA-Verfahrens sowie aller davon abgeleiteten Verfahren und ihre Vor- und Nachteile genau zu kennen, um die Qualität der Sprachsynthese zu verbessern. Das OLA-Verfahren ist ein Verfahren zur schnellen diskreten Faltung [Hof98]. Dabei wird eine Eingangsfolge in einander überlappende Teilfolgen (Frames) zerlegt und die Überlappungsbereiche werden addiert. Die Ausführung der Faltungsoperation zwischen einer beliebig langen Eingangsfolge x(n) und der Impulsantwort w(n) der Länge M ergibt die Ausgangsfolge y(n) in Gleichung y(n) = (x w)(n) = m= w(m) x(n m) = M w(m) x(n m). (2.1) Dabei kann bei der Anwendung des OLA-Verfahrens in der konkatenativen Sprachsynthese angenommen werden, dass w(m) eine Fensterfunktion (z. B. Hamming-Fenster, Blackman-Fenster, Bartlett-Fenster usw.) ist. Zusätzlich wird w(m) außerhalb des Intervalls [1, M] gleich Null gesetzt, wobei M die Länge der Fensterfunktion ist. Die Faltungsoperation erfolgt durch das OLA- Verfahren, so dass mehrfache Faltungen von w(n) mit den Teilfolgen x i (n) die Ausgangsfolge y(n) bilden. Gleichung (2.2) zeigt die Zusammensetzung der Teilfolgen x i (n), die die Länge L haben. x i (n) def = { x(n + il) m=1 n = 1,2,...,L 0 ansonsten Die Eingangsfolge x(n) kann aus der Summe der Teilfolgen x i (n) abgebildet werden. (2.2)

20 2.3 Signalverarbeitung 9 x(n) = i x i (n il) (2.3) Folglich wird die Ausgangsfolge y(n) aus der Summe der einzelnen Faltungen y i (auch Ausgangsteilfolgen) zusammengesetzt. ( ) y(n) = x i (n il) w(n) = i i = i (x i (n il) w(n)) y i (n il) (2.4) Dabei sind die Ausgangsteilfolgen y i (n) = x i (n) w(n) (2.5) außerhalb des Intervalls [1,L+M 1] Null. Für jeden Wert des Parameters N L+M 1 ergibt sich die zirkulare Faltungsoperation der Teilfolgen x i (n) mit w(n) innerhalb des Intervalls [1,N], wobei N die Blocklänge zur Berechnung der zirkularen Teilfaltungen ist. Der Vorteil des OLA- Verfahrens besteht darin, dass die zirkulare Faltungsoperation wie in Gleichung (2.5) zur Bildung der Teilfolgen y i (n) effizient auf Basis des zirkularen Faltungstheorems [OSB99] implementiert werden kann. y i (n) = IFFT(FFT(x i (n)) FFT(w(n))) (2.6) Dabei ist FFT die schnelle Fourier-Transformation der Teilfolgen x i (n) und IFFT die inverse schnelle Fourier-Transformation [CM88]. Abbildung 2.3 stellt die Vorgehensweise des OLA- Verfahrens dar. Abbildung 2.3: Overlap-Add-Verfahren nach [PM92]. In Abbildung 2.3 sieht man, dass die Eingangsfolge x(n) in aufeinanderfolgende Teilfolgen x i (n) zerlegt wird. Die FFT der Teilfolgen y i (n) wird dann durch die Multiplikation von FFT(x i (n)) mit FFT(w(n)) berechnet. Die Teilfolgen y i (n) werden danach durch die IFFT erhalten. Schließlich wird die Ausgangsfolge y(n) durch Überlappung und Addition der Teilfolgen y i(n) gebildet Pitch-Synchronous-Overlap-Add-Verfahren (PSOLA) Der Ausgangspunkt der konkatenativen Sprachsynthese ist die Folge der zu verkettenden Bausteine. Deren prosodische Eigenschaften werden verändert, um sie an die Prosodie der Zielfolge anzupassen. Dafür wird das PSOLA-Verfahren verwendet, das mathematisch auf dem OLA-Verfahren basiert, wobei die Überlappung aber durch die Synchronisierung der Grundperioden des zu synthetisierenden Sprachsignals durchgeführt wird. Die Anwendung dieses Verfahrens ermöglicht die Anpassung der Grundperioden der zu verkettenden Bausteinfolge an die Perioden der gewünschten Äußerung.

21 10 2 Sprachsynthesesystem Time-Domain-PSOLA-Verfahren (TD-PSOLA) Das TD-PSOLA-Verfahren gehört zu den Techniken der Verkettung von Bausteinen im Zuge der Sprachsynthese. Es wurde von [MC90] für die Sprachsynthese vorgeschlagen und führt zu einer besseren Qualität der Sprachsynthese mit bedeutend weniger Rechenaufwand als beim FD-PSOLA- Verfahren. Das TD-PSOLA-Verfahren ermöglicht die Veränderung der prosodischen Merkmale von Bausteinen durch die Wiederholung oder Unterdrückung von Grundperioden im Zeitbereich in einfacher Art und Weise: Bei der Beschränkung auf ein streng periodisches Signal x(n) ist es möglich, eine Grundfrequenzverschiebung x(n) zu erhalten, die aus der Summe der OLA-Frames x i (n) abgeleitet wird. Die OLA-Frames werden aus den synchronisierten Grundperioden des Signals x(n) extrahiert und mit einer Fensterfunktion w(n) multipliziert. Die Grundperioden sind angeordnete Signalabschnitte des Signals x(n), die anhand der Grundperiodenmarken des Signals extrahiert wurden. So ergibt sich neben der Überlappung und Addition der Frames auch eine Verschiebung in der Zeit von der ursprünglichen Grundperiode T 0 zur gewünschten Periode T. Dieser Prozess kann mathematisch auf folgende Weise beschrieben werden x i (n) = x(n) w(n it 0 ). (2.7) x(n) = i= x i (n i(t T 0 )) (2.8) Wenn T nicht gleich T 0 und x(n) ein perfektes periodisches Signal ist, ergibt sich eine Reharmonisierung des Spektrums von x i (n) mit einer Grundfrequenz von 1/T. Dies verdeutlicht Gleichung (2.9) nach [Pap62]. Wenn x i (n) F X i (ω), dann x(n) F 2π T i= ( X i i 2π ) T Infolgedessen kann man die Fensterfunktion w(n) so auswählen, dass sich das Leistungsdichtespektrum von x i (n) der Einhüllenden des Leistungsdichtespektrums von x(n) angleicht. Dabei versteht man unter der Einhüllenden den Verlauf des Leistungsdichtespektrums eines Bausteins. Daher wird sie auch spektrale Einhüllende genannt. Für die Angleichung der Einhüllenden ist die Markierung der Grundperioden im Sprachsignal erforderlich. Dies ist besonders wichtig für die Modifikation der Zeit- und Grundfrequenz eines zu synthetisierenden Sprachsignals, weil durch die Markierung der Grundperioden die gewünschte Prosodie des Sprechers erhalten werden kann. Um verschiedene Bausteine zu verketten, müssen die Grundperioden des Sprachsignals einer Datenbasis konsistent so markiert werden (siehe Abschnitt 4.6.1), dass sie glatte Übergänge zwischen den verketteten Bausteinen aufweisen. Die Periodenmarkierungsverfahren basieren auf der Bestimmung des Maximums oder Minimums im Sprachsignal, dem Start des Glottisverschluss bei einem Elektroglottograph (EGG)-Signal oder dem Maximum-Slope eines EGG-Signals. Diese werden über Periodenmarkierungsverfahren (siehe Abschnitt ) abgeschätzt. Die Periodenmarkierung eines Sprachsignals ist in Abbildung 2.4 dargestellt. (2.9) Abbildung 2.4: Markierung der Grundperioden im Sprachsignal.

22 2.3 Signalverarbeitung 11 Die Fensterung des Sprachsignals erfolgt synchron anhand der Grundperiodenmarken, so dass die Länge der Fensterfunktion w(n) immer größer ist als eine Grundperiode [CS86]. So entsteht eine Überlappung zwischen den aufeinanderfolgenden Perioden der Bausteine. Damit ergibt sich ein Fenster, das doppelt so lang ist wie die Grundperiode und an der Periodenmarke zentriert wird [CS86]. Die Abbildung 2.5 stellt die Fensterung eines Sprachsignals dar. Durch die Fensterung der Grundperioden ergibt sich als Ergebnis der Gleichung (2.7) ein einfacher und effizienter Weg, um Grundfrequenzverschiebungen eines periodischen Signals durchzuführen, so wie es in Abbildung 2.6 dargestellt ist. Darin wird ein Reharmonisierungsprozess des Spektrums von x i (n) bei der Abbildung 2.5: Sprachsignalfensterung. Durchführung des TD-PSOLA-Verfahrens gezeigt. Das synthetisierte Signal x(n) in Abbildung 2.6, dessen Grundfrequenz verschoben wurde, hat eine dem ursprünglichen Signal x(n) ähnliche Einhüllende des Leistungsdichtespektrums. Allerdings ist das erhaltene synthetisierte Sprachsignal nicht perfekt, weil die Sprachsynthese auf Kosten der spektralen Abgleichung zwischen aufeinanderfolgenden Signalen durchgeführt wurde. Abbildung 2.6: TD-PSOLA Reharmonisierungsprozess nach [Dut97].

23 12 2 Sprachsynthesesystem Wenn T = T 0 in der Gleichung (2.7) angewandt wird, ergibt sich eine Nachbildung des Signals x(n). Diese Nachbildung entspricht annähernd dem ursprünglichen Signal x(n). Dies verdeutlicht die Gleichung (2.10), in der G der Wichtungsparameter der Fensterung ist. x(n) = i= x(n) w(n it) = x(n) w(n) = G x(n) (2.10) Segmentdauermodifikation durch TD-PSOLA. Das TD-PSOLA-Verfahren ermöglicht die Synthese einer Äußerung mit der ursprünglichen Grundfrequenz der zu verkettenden Bausteine bei einer veränderten Segmentdauer. Wenn die Segmentdauer der synthetisierten Äußerung reduziert werden soll, werden die extrahierten Frames der Grundperioden der Bausteine unterdrückt, überlappt und addiert. Wenn die Segmentdauer der synthetisierten Äußerung verlängert werden soll, werden die extrahierten Frames der Grundperioden der Bausteine wiederholt, überlappt und addiert. Die Segmentdauermodifikation durch TD- PSOLA ist in Abbildung 2.7 dargestellt. Abbildung 2.7: Segmentdauermodifikation durch TD-PSOLA. Abbildung 2.7 zeigt die Fensterung der Grundperioden eines Signals, wobei die ursprüngliche Grundfrequenz behalten, aber die Segmentdauer der Äußerung durch Wiederholung einiger Frames verlängert wurde. Grundfrequenzverschiebung durch TD-PSOLA. Eine Äußerung kann durch das TD-PSOLA-Verfahren bei der ursprünglichen Segmentdauer der zu verkettenden Bausteine mit einer Grundfrequenzverschiebung synthetisiert werden. Wenn die Grundfrequenz der synthetisierten Äußerung erhöht werden soll, werden die extrahierten Frames der Grundperioden der Bausteine einander angenähert, überlappt und addiert. Wenn die Grundfrequenz der synthetisierten Äußerung gesenkt werden soll, werden die extrahierten Frames der Grundperioden der Bausteine weiter voneinander entfernt, überlappt und addiert. Die Grundfrequenzverschiebung eines Signals durch TD-PSOLA ist in Abbildung 2.8 gezeigt. Dabei wurden die ursprünglichen Frames weiter auseinander angeordnet. So wird die Grundfrequenz der synthetisierten Äußerung gesenkt, wenn die Frames überlappt und addiert werden. Bei der Modifizierung der Grundfrequenz darf die Grundfrequenzverschiebung nicht über einen Bereich von zwei

24 2.3 Signalverarbeitung 13 Abbildung 2.8: Grundfrequenzverschiebung durch TD-PSOLA. Oktaven hinaus stattfinden, um Qualitätsverluste einzuschränken [Dut97]. Schließlich stellt die Abbildung 2.9 die gleichzeitige Segmentdauermodifikation und Grundfrequenzverschiebung durch TD-PSOLA dar. In Abbildung 2.9 werden die entstehenden Überlappungen dargestellt, die die Spektralübergänge bei der Verkettung der Bausteine glätten [HMC89]. Abbildung 2.9: Segmentdauermodifikation und Grundfrequenzverschiebung durch TD-PSOLA. Es wurde die akustische Synthese der konkatenativen Sprachsynthese mittels des TD-PSOLA- Verfahrens erklärt. Im Folgenden werden die Probleme, die bei der Durchführung des TD-PSOLA- Verfahrens entstehen können, beschrieben Verkettungsfehler bei der Anwendung von TD-PSOLA Die Sprachqualität von TD-PSOLA im Kontext der Sprachsynthese ist nah an einer optimalen Qualität der Sprachsynthese, so lange sie durch die Verkettung von perfekt periodischen, in der

25 14 2 Sprachsynthesesystem Datenbasis benachbarten Bausteinen erfolgt. In diesem Fall können wichtige prosodische Änderungen mit fast keinen Auswirkungen auf die Qualität der Sprachsynthese durchgeführt werden. Leider entstehen in anderen Fällen einige Probleme bei der Sprachsynthese, nämlich dann wenn der TD- PSOLA-Algorithmus für die Verkettung von Bausteinen, die aus unterschiedlichen Wörtern aus verschiedenen Kontexten der Datenbasis extrahiert worden sind, verwendet wird. Diese Probleme werden als Verkettungsfehler oder Verkettungsversätze bezeichnet [Dut97]. Sie treten besonders dann auf, wenn der Algorithmus innerhalb von Bausteinen durchgeführt wird, die sich quasistationär verhalten und, wenn die Eigenschaften der Grenzen der Bausteine sehr unterschiedlich sind. Diese Verkettungsfehler werden als Phasenversatz, Grundfrequenzversatz und als Versatz der spektralen Einhüllenden der Bausteine bezeichnet. Sie verschlechtern die Qualität der Sprachsynthese. Bei der Suche nach den Bausteinen in der Datenbasis und ihrer Auswahl gibt es bestimmte Parameter, die man berücksichtigen muss, um Verkettungsfehler zu umgehen. Deswegen ist die Analyse der Hauptursachen, die zu Verkettungsfehlern führen, unabdingbar, um ihr Auftreten im synthetisierten Sprachsignal zu vermindern. Mit der Kontrolle der Faktoren, die das Erscheinen von Verkettungsfehlern hervorrufen, lässt sich die Qualität der Sprachsynthese verbessern. Die möglichen Verkettungsfehler werden im Folgenden beschrieben Phasenversatz Der Phasenversatz taucht als Verkettungsfehler in dem synthetisierten Sprachsignal bei der Anwendung des TD-PSOLA-Verfahrens auf, wenn die Fensterung von Bausteinen, die in der Datenbasis auch benachbart sein können, nicht an der gleichen Position innerhalb der Grundperioden stattfindet [Dut97]. Der Phasenversatz bei der Verkettung von zwei benachbarten Bausteinen ist in Abbildung 2.10 dargestellt Zeit(s) Abbildung 2.10: Phasenversatz. Dabei sind die OLA-Fenster nicht auf den gleichen relativen Positionen innerhalb der Grundperioden für die linken und rechten Bausteine zentriert, so dass ihre Verkettung einen Phasenversatz verursacht. Aus diesem Grund ist sehr wichtig, dass der Algorithmus, der für die Positionierung der Fenster verantwortlich ist, den Augenblick des Glottisverschluss möglichst in die Mitte eines

26 2.3 Signalverarbeitung 15 jeden Fensters setzt. So können die Phasenversätze bei der Anwendung von TD-PSOLA vermindert werden. Es gibt schon einige Algorithmen, die diesbezüglich eine gute Leistung vollbringen [GR08]. Allerdings birgt diese Aufgabe die folgenden Schwierigkeiten in sich: Die Positionierung der Fenster muss von Experten durchgeführt werden. Wenn die Positionierung der Fenster automatisch durchgeführt wird, ist sie nicht sehr exakt. Die Positionierung der Fenster ist sehr zeitintensiv, wenn sie nicht automatisch durchgeführt wird Grundfrequenzversatz Der Grundfrequenzversatz taucht als Verkettungsfehler in dem synthetisierten Sprachsignal auf, wenn die Grundperioden der zu verkettenden Bausteine, die eine identische spektrale Einhüllende und ihre Fensterung in relativ ähnlicher Position haben, sehr unterschiedlich sind. Der Grundfrequenzversatz bei der Verkettung der Bausteine kann minimiert werden, wenn der Sprecher den Text bei der Aufnahme der Datenbasis mit einer konstanten Tonhöhe vorliest [Dut97]. In Abbildung 2.11 ist der Grundfrequenzversatz dargestellt Zeit(s) Abbildung 2.11: Grundfrequenzversatz. Die beiden gezeigten Bausteine haben genau die gleichen spektralen Einhüllenden und die OLA- Fenster wurden auf schlüssige Weise positioniert. Die Bausteine aber wurden mit verschiedener Tonhöhe gesprochen Versatz der spektralen Einhüllenden Der Versatz zwischen den spektralen Einhüllenden der zu verkettenden Bausteine ist einer der gravierenden Nachteile der konkatenativen Sprachsynthese. Der Grund dafür liegt an der phonemischen Veränderlichkeit des Sprechers und den Ko-Artikulations-Effekten bei der Aussprache einer Äußerung [Dut97]. Dabei versteht man unter der phonemischen Veränderlichkeit des Sprechers die Artikulationsfehler bei der Aussprache eines Satzes durch Ersatz, Wiederholung und Hinzufügen

27 16 2 Sprachsynthesesystem von Phonemen [CYF07]. In Abbildung 2.12 ist der Versatz der spektralen Einhüllenden bei der Verkettung von zwei Bausteinen dargestellt. Abbildung 2.12: Versatz der spektralen Einhüllenden. Die Grundfrequenz zwischen den beiden Bausteinen in Abbildung 2.12 ist konstant und die Fenster wurden auf schlüssige Weise positioniert. Der spektrale Versatz tritt vorwiegend in einer Periode auf. Versätze der spektralen Einhüllenden können durch eine Normierung der Lautstärke der Bausteine teilweise vermieden werden. Bisher wurden die theoretischen Grundlagen der konkatenativen Sprachsynthese und die Hauptkomponenten eines konkatenativen TTS-Systems sowie deren Funktionsweise beschrieben. Zusätzlich wurden die Verkettungsfehler als Hauptprobleme bei der Anwendung von TD-PSOLA in Form von Phasenversatz, Grundfrequenzversatz und Versatz der spektralen Hülle erklärt. Im Folgenden soll es um die linguistisch-phonetische Umsetzung eines Vorleseautomaten gehen.