Unit-Selection-Synthese

Transkript

1 Institut für Phonetik und Sprachverarbeitung Ludwig-Maximilians-Universität München 6. Dezember 2010

2 Inhalt Klassische Diphon-Synthese Korpuserstellung Synthese Erweiterungen Datenbank Synthese Verständlichkeit Natürlichkeit

3 Datengetrieben: Unit-Selection-Ansatz Speicherung großer Mengen an Sprachsignalen keine oder sehr wenig Manipulation der Signale bei ihrer Verknüpfung Pro: höhere Natürlichkeit der Synthese Kontra: großer Aufwand zur Gewinnung des akustischen Materials

4 Signalmanipulation: klassischer Diphon-Ansatz Speicherung einer geringen Menge an Sprachsignalen Manipulation der Sprachsignale bei ihrer Verknüpfung Pro: höhere Flexibilität, weniger Aufwand bei der Datengewinnung Kontra: geringere Natürlichkeit der Synthese

5 Einheit: Diphon Segment von der Mitte eines Phons bis zur Mitte des folgenden Phons Berücksichtigung lokaler koartikulatorischer Effekte Inventargröße: (Anzahl der Phoneme) 2 (Anzahl phonotaktisch nicht erlaubter Kombinationen)

6 Abbildung: Diphone /fa/ und /sa/: unterschiedliche Formanttransitionen.

7 : Diphondatenbank Erstellung der Diphondatenbank (voice) Ermittlung des nötigen Diphon-Inventars Einbettung der Diphone in einen Trägersatz prosodisch homogene Realisierung der Diphone Rekrutierung eines Sprechers (voice talent) Aufnahme des Sprechers beim Lesen der eingebetteten Diphone Evtl. mit elektroglottographischer Aufnahme Segmentierung, Pitch-Markierung

8 : Diphondatenbank Pitch-Markierung (= Epoch Detection) Epoche: Ereignis im glottalen Schwingungszyklus z.b. Verschluss der Stimmlippen Führungsamplitude nötig für Signalmanipulation bei Konkatenation Mittels Elektroglottographie EGG während der Aufnahme des Sprechers transglottaler Stromfluss Messung der glottalen Impedanz, die vom Abduktionsgrad der Glottis abhängt Problem: Messung der Stimmlippenschwingung bei nicht vollständiger Adduktion

9 : Diphondatenbank Mittels Pitch-Markierungs-Algorithmen Anwendung auf aufgenommenes Sprachsignal Beispiel-Algorithmus: Entferne alle negativen (oder positiven) Werte aus dem Zeitsignal Lege einen Wertebereich für erlaubte Periodenlängen fest Markiere in Fenstern, deren Zentren in erlaubter Periodenlänge voneinander entfernt sind, lokale Maxima als Kandidaten für Epochen Finde mittels dynamischer Programmierung die beste Sequenz Ê von Epochen-Kandidaten [ ] Ê = arg min t(e i ) + a(e i ) E i (1)

10 : Diphondatenbank Periodenkosten t: z.b. Abstand zur letzten Periodenlänge, oder Abstand zu 1/(ermittelte F0) Amplitudenkosten a: 1-(relative Höhe) des lokalen Maximas im betrachteten Fenster Abbildung: Pitch-Marking: Grün: Fensterung, Rauten: Epoch-Kandidaten, Pfeile: Ê

11 : Diphondatenbank Segmentierung Automatische Vorsegmentierung mittels Forced Alignment (z.b. durch MAUS; Schiel, 2004) Forced Alignment: Abbildung des Signals auf eine bereits bekannte Phonemfolge manuelle Nachsegmentierung

12 : Resynthese Ablauf Auswahl der zur G2P-Vorgabe passenden Diphone Resynthese: Manipulation von Segmentdauer, Grundfrequenz, Intensität iggs zur Vollsynthese (z.b. Formantsynthese) sind die zu manipulierenden Signale bereits gegeben

13 Manipulation von F0 und Dauer: TD-PSOLA Signalmanipulation: TD-PSOLA TD: Time-Domain, d.h. keine Überführung in Spektralbereich PS: Pitch-Synchron, d.h. Verfahren operiert auf Einheiten der Größe einer glottalen Schwingungsperiode OLA: Overlap and Add, d.h. Einheiten werden überlagert und addiert

14 Manipulation von F0 und Dauer: TD-PSOLA Fensterung der Einheiten: Multiplikation der Signalauschnitte mit einem Gewichtsfenster zur Abschwächung der Signalränder Dauer-Manipulation: Wiederholung von Kopien einer Periode F0-Manipulation: Verschiebung der Einheiten gegeneinander ( Erhöhung) oder auseinander ( Absenkung). Auffüllen mit/löschen von Perioden zur Aufrechterhaltung der Dauer Intensität: Aufaddieren von Kopien einer Periode

15 Manipulation von F0 und Dauer: TD-PSOLA aus Hess (2004)

16 Manipulation von F0 und Dauer: MBROLA MBROLA MB: Multi-Band, Nutzung einer Filterbank zur Normalisierung der Diphondatenbank R: Resynthesis OLA: Overlap and Add

17 Manipulation von F0 und Dauer: MBROLA Normierung der Diphondatenbank im Frequenzbereich Resynthese der stimmhaften Abschnitte mit konstanter F0 und konstantem Phasenspektrum konstante F0: Erzeugung äquidistanter Harmonischer bei Beibehaltung der spektralen Hüllkurve des Originalsignals konstante Phasen: Gleichsetzung der Phasen tiefer spektraler Komponenten

18 Manipulation von F0 und Dauer: MBROLA Abbildung: Normierung: Erzeugung konstanter F0 im Frequenzbereich. Anwendung im Zeitbereich F0-, Dauer- und Intensitätsmanipulation der normalisierten Diphone wie bei TD-PSOLA Smoothing an Segmentübergängen

19 Manipulation von F0 und Dauer: MBROLA Vorteile gegenüber TD-PSOLA: durch Normalisierung (konstante F0) keine Epochen-Detektion mehr nötig beliebige Platzierung der Epochen im Signal (in äquidistanten Abschnitten) Vermeidung von F0-, Phasen- und spektralen Diskontinuitäten an Segmentübergängen

20 : Erweiterungen Optimal Coupling Speicherung vollständiger Phonpaar-Segmente Herausschneiden der Diphone während Synthese so, dass spektrale Diskontinuitäten minimal Diskontinuitäten z.b. mittels Abständen zwischen zeitlich benachbarten Mel-Cepstral-Koeffizienten-Vektoren ermittelbar (s.u.)

21 Unterschiede zur klassischen Diphon-Synthese große Datenbank, keine oder geringe Signalmanipulation ermöglicht höhere Natürlichkeit der Synthese Units: variable Größe (z.b. Diphone); je größer die Einheiten, desto größer das benötigte Inventar

22 Unit-Selection: Datenbank Für jede Unit Aufnahme von mehreren Exemplaren: +/ akzentuiert, +/ phrasenfinal, unterschiedliches Sprechtempo, unterschiedliche emotionale Markierung,... Extrahierung der akustischen Charakteristika (s.u.)

23 Unit-Selection: Verkettung Statt Signalmanipulation Suche nach der besten Sequenz Û aus gespeicherten Unit-Varianten basierend auf der Minimierung von Target- (T ) und Join-Kosten (J) Û = arg min U [ J(ui 1, u i ) + T (u i, s i ) ] (2) i s i : durch die vorgeschalteten Text- und Prosodie-Module vorgegebenen Zielspezifikationen u i : gespeicherte Unit

24 Unit-Selection: Verkettung Target-Kosten T (u i, s i ) Abstand des Exemplars u i zu den Zielvorgaben s i u i, s i als Merkmalsvektoren repräsentiert mit Angaben zu: Identität der Unit Unit-Kontext prosodische Spezifikationen F0-Kontur Dauer Intensität

25 Unit-Selection: Verkettung Beispiel: s i = [ /u:d/, +akz, phrasenfinal, , 80 ], d.h. Ziel ist ein /u:d/-diphon in akzentuierter und nicht-phrasenfinaler Position mit der F0-Kontur Hz und der Dauer 80 ms T (u i, s i ) als Kombination von Teilkosten eine Teilkostenfunktion für jedes der betrachteten Merkmale j: T j (u ij, s ij ) gewichtete Summe voneinander unabhängiger Teilkosten: T (u i, s i ) = j w j T j (u ij, s ij ) (3)

26 Unit-Selection: Verkettung Teilkosten T j numerischer Features: Korrelation zwischen F0 der Unit u i und der F0-Zielkontur in s i Mittlere absolute Distanz zwischen F0 in u i und Zielkontur Absolute Distanz zwischen u i -Dauer und Zieldauer binäre Teilkosten T j kategorialer Features: gleicher Unit-Kontext von u i und s i : 0, sonst 1 Akzentangaben gleich: 0, sonst 1

27 Unit-Selection: Verkettung Join-Kosten J(u i 1, u i ) Diskontinuitäten zwischen aufeinanderfolgenden Units u i 1 und u i ebenfalls als gewichtete Summe von unabhängigen Teilkosten modellierbar: J(u i 1, u i ) = j v j J j (u i 1j, u ij ) (4) Teilkosten J j (nach Hunt&Black, 1996): Cepstral-Distanz an der Konkatenationsstelle absolute F0-Distanz absolute Log-Energiedistanz

28 Unit-Selection: Exkurs Cepstrum Exkurs Cepstrum Ziel: Ermittlung der MFCC (Mel frequency cepstral coefficients) Weg: Diskrete Fouriertransformation: Spektrum Mel-Transformation des Spektrums (mittels gehörgerechter Filterbank: 10 Filter konstanter Bandbreite bis 1000 Hz, darüber logarithmisch wachsende Bandbreite) Amplituden-Spektrum: Grobstruktur = Hüllkurve (Filtercharakteristik) Feinstruktur (Riffelung) = F0 + Obertöne (Anregungssignal)

29 Unit-Selection: Exkurs Cepstrum Behandlung des logarithmierten Spektrums als Zeitsignal Cepstrum: Spektrum dieses Pseudo-Zeitsignals tieffrequente Anteile ( Grobstruktur): Filtercharakteristik, Cepstral-Koeffizienten 1-12 hochfrequente Anteile ( Feinstruktur): Anregungssignal, Cepstral-Koeffizienten 13 warum Logarithmierung des Spektrums? (x y) (log x + log y) multiplikative additive Verknüpfung von Quelle und Filter im Pseudo-Zeitsignal spektrale Zerlegung ermöglicht

30 Unit-Selection: Exkurs Cepstrum Abbildung: Zeitsignal, Spektrum, Cepstrum eines /a/-segments. Frequenz=1/Queferenz.

31 Unit-Selection: Verkettung Cepstral-Distanz zwischen den Rändern der Units u i 1 und u i : z.b. quadrierte Euklidische Distanz d zwischen den Cepstral-Koeffizienten-Vektoren v und w d(v, w) = 12 n=1 (v n w n ) 2 (5) (n: Index über Cepstral-Koeffizienten)

32 Unit-Selection: Verkettung Ermittlung der Gewichte V = {v j } und W = {w j } numerische Optimierung gegeben: Entwicklungskorpus mit natürlichen Äußerungen als Referenz Distanzmaß zum Vergleich der synthetisierten Sätze mit der Referenz: Mel-Cepstral-Abstand (s.o.) Ziel: Optimierung der Gewichte in V und W zur Minimierung der Distanz zwischen Syntheseausgabe und Referenz

33 Unit-Selection: Verkettung Methode: z.b. Nelder-Mead-Simplex-Verfahren Simplex: einfachstmögliches Polytop in einem n-dimensionalen Raum (Beispiel: Dreieck im 2-dimensionalen Raum) Raum: Merkmalsraum mit n Gewichten aus V und W jede Ecke des Simplex entspricht einer konkreten Belegung der Gewichte iterative Modifizierung des Simplex: Ersetzung der Ecke (der Belegung), die zum höchsten Fehler führt durch eine neue hohe Robustheit, da keine stetige Fehlerfunktion vorausgesetzt wird

34 Unit-Selection: Verkettung Ermittlung der besten Unit-Sequenz Û analog zu statistischen POS-Taggern, Alignment (vgl. POS-, G2P-Folien) HMM-Modellierung Beobachtungen: Targets {s} Zustände: gespeicherte Units {u} Transitionswahrscheinlichkeiten Join-Kosten Emissionswahrscheinlichkeiten Target-Kosten Û mittels Viterbi: Finden des Pfades durch die Trellis, auf dem die minimalen Kosten anfallen

35 Verständlichkeit Verwendung semantisch nicht vorhersagbarer Sätze (SUS) Erzeugung eines SUS: zufälliges Auffüllen eines syntaktisch wohlgeformten POS-Templates mit Wörtern der entsprechenden Wortarten Reimtest: Diskriminierbarkeit von Konsonanten Paare sich reimender Wörter, die sich jeweils in einem distinktiven phonologischen Merkmal unterscheiden ABX-Test: Präsentation eines Worts aus einem Paar (in SUS) + Aufgabe, zu beurteilen, welches

36 Natürlichkeit Mean-Opinion-Score (MOS): Qualitätsurteile auf einer Skala von 1 5