RelAtive SpecTrAl (RASTA) Processing of Speech

Transkript

1 RelAtive SpecTrAl (RASTA) Processing of Speech Paul Glad Mihai

2 Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

3 Einleitung zu RASTA Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

4 Einleitung zu RASTA RASTA: Verbesserung der Spracherkennung Ursprünglich: Methode für das Behandeln von langsamoder schnell-schwankenden, nichtlinguistischen Komponenten im Sprachsignal Signal enthält Information von verschiedenen Quellen: Sprecher, Aufnahmebedingungen, Übertragungskanal Interessant: was wird gesprochen oder wer es gesprochen hat

5 Einleitung zu RASTA RASTA: Verbesserung der Spracherkennung Ursprünglich: Methode für das Behandeln von langsamoder schnell-schwankenden, nichtlinguistischen Komponenten im Sprachsignal Signal enthält Information von verschiedenen Quellen: Sprecher, Aufnahmebedingungen, Übertragungskanal Interessant: was wird gesprochen oder wer es gesprochen hat

6 Einleitung zu RASTA RASTA: Verbesserung der Spracherkennung Ursprünglich: Methode für das Behandeln von langsamoder schnell-schwankenden, nichtlinguistischen Komponenten im Sprachsignal Signal enthält Information von verschiedenen Quellen: Sprecher, Aufnahmebedingungen, Übertragungskanal Interessant: was wird gesprochen oder wer es gesprochen hat

7 RASTA Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

8 RASTA Sprachsignal enthält nicht nur Sprache Meisten SE-Methoden können zwischen dem Sprecher und Hintergrundgeräuschen, konkurrierenden Sprechern und Kanälen nicht unterscheiden Verzerrungen von Kommunikationskanälen und Aufnahmemitteln langsame Schwankung verglichen mit Sprachdynamik Hintergrundgeräusche (Clicks, Knackgeräusche) schnelle Schwankung verglichen mit Sprachdynamik Abstellen von spektralen Komponenten die schneller oder langsamer als das gewnünschte Sprachsignal schwanken, verbessert die Sprachanalyse

9 RASTA Sprachsignal enthält nicht nur Sprache Meisten SE-Methoden können zwischen dem Sprecher und Hintergrundgeräuschen, konkurrierenden Sprechern und Kanälen nicht unterscheiden Verzerrungen von Kommunikationskanälen und Aufnahmemitteln langsame Schwankung verglichen mit Sprachdynamik Hintergrundgeräusche (Clicks, Knackgeräusche) schnelle Schwankung verglichen mit Sprachdynamik Abstellen von spektralen Komponenten die schneller oder langsamer als das gewnünschte Sprachsignal schwanken, verbessert die Sprachanalyse

10 RASTA Sprachsignal enthält nicht nur Sprache Meisten SE-Methoden können zwischen dem Sprecher und Hintergrundgeräuschen, konkurrierenden Sprechern und Kanälen nicht unterscheiden Verzerrungen von Kommunikationskanälen und Aufnahmemitteln langsame Schwankung verglichen mit Sprachdynamik Hintergrundgeräusche (Clicks, Knackgeräusche) schnelle Schwankung verglichen mit Sprachdynamik Abstellen von spektralen Komponenten die schneller oder langsamer als das gewnünschte Sprachsignal schwanken, verbessert die Sprachanalyse

11 RASTA Sprachsignal enthält nicht nur Sprache Meisten SE-Methoden können zwischen dem Sprecher und Hintergrundgeräuschen, konkurrierenden Sprechern und Kanälen nicht unterscheiden Verzerrungen von Kommunikationskanälen und Aufnahmemitteln langsame Schwankung verglichen mit Sprachdynamik Hintergrundgeräusche (Clicks, Knackgeräusche) schnelle Schwankung verglichen mit Sprachdynamik Abstellen von spektralen Komponenten die schneller oder langsamer als das gewnünschte Sprachsignal schwanken, verbessert die Sprachanalyse

12 Modulationsspektrum von Sprache Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

13 Modulationsspektrum von Sprache Modulationsspektrum von Sprache Hauptträger von sprachlicher Information sind Änderungen in der Form des Vokaltrakts Spiegeln sich in Änderungen der spektralen Einhüllenden des Sprachsignals wider Spektrale Analyse des zeitlichen Ablaufs der spektralen Einhüllenden der Sprache ergibt das Modulationsspektrum der Sprache.

14 Modulationsspektrum von Sprache Modulationsspektrum von Sprache Hauptsächlich Komponenten zwischen 2 Hz und 8 Hz silbenbildende, phonetische zeitliche Struktur von Sprache Menschliches Gehör sehr empfindlich bei Modulationsfrequenzen von 4 Hz Gehör verhält sich wie ein Bandpassfilter mit Impulsantwort von ms

15 Modulationsspektrum von Sprache Modulationsspektrum von Sprache

16 Modulationsspektrum von Sprache Modulationsspektrum von Sprache 2-8 Hz des Modulationsspektrums sind am wichtigsten Komponenten von 0-1 Hz und > 16 Hz können vermieden werden RASTA benutzt ungefähr Abschnitte eines Signals die der Länge einer Silbe entsprechen ( 200 ms) RASTA filtert die obigen Frequenzen raus

17 Methode Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

18 Methode RASTA-PLP Berechnen von CB Leistungsspektrum Komprimierung (logarithmische Amplitudentransformation) Filterung durch RASTA-Filter Expansion (exponentielle Transformation) Multiplikation mit der Equal-Loudness Kurve Power-law of hearing...

19 Methode Erster RASTA-Filter H(z) = 0.1z z 1 z 3 2z z 1 Tiefe Abschneide-Frequenz bei 0.26 Hz Steigung fällt mit 6 db/oct von 12.8 Hz ab Nullen bei 28.9 und 50 Hz Lange Integrationskonstante von etwa 500 ms

20 Methode Experimente und Ergebnisse Zahlen-Erkennung mit isolated-utterance continuous-density HMM Erkenner Erster Test: die selben Bedingungen Zweiter Test: korruption mit simulierten convolutional-noise Dritter Test: wirklichkeitsnahe Änderung im Kanal Methode selben Bed. kontrollierte Mod. w.n. Änderung PLP 4, 08% 31, 35% 31, 10% RASTA-PLP 3, 81% 5, 0% 7, 64%

21 Methode Optimierung des RASTA-Filters M(z) = z 4 ( z 1 0.1z 3 0.2z 4 ), mit Polstelle bei z = 0.94

22 Erweiterungen Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

23 Erweiterungen Lin-Log RASTA RASTA im cepstrum (logarithmische Spektrum) nicht geeignet für Sprache mit bedeutendem additivem Rauschen Alternativer, spektraler Bereich: quasi-linear für kleine spektrale Werte quasi-logarithmisch für grosse spektrale Werte y = ln(1 + Jx) Konstante J > 0 und hängt vom Signal ab quasi-linear für J 1 und quasi-logarithmisch für J 1

24 Erweiterungen Lin-Log RASTA Mit der exakten Umkehrfunktion: x = ey 1 J Keine Garantie dass x > 0 y Zusätzliche Prozedur eigens zu diesem Zweck Vermeiden durch eine Approximation: x = ey J

25 Erweiterungen Experimente und Ergebnisse

26 Data-driven design of RASTA-like filters Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

27 Data-driven design of RASTA-like filters Data-driven design of RASTA-like filters Optimierung durch ASE-Experimente teuer, meistens spezifisch für ein System Data-driven design of RASTA filters: Linear discriminant analysis (LDA)/Diskriminanzanalyse LDA: ist eine Methode der multivariaten Verfahren in der Statistik, ein Klassifikationsverfahren

28 Data-driven design of RASTA-like filters LDA Lange Abschnitte ( 1 s) des temporalen Ablaufes phonetische Klassen Vergleich Matrix mit diskriminanten Eigenvektoren eingesetzt Bilden eine Reihe von FIR-Filtern, jeder Filter bietet eine Ansicht von dem 1s Signal an Eigenwerte sterben schnell ab erste Paar FIR-Filtern dominieren den Prozess

29 Data-driven design of RASTA-like filters Data-driven design of RASTA-like filters RASTA-ähnlich mit grösserer Unterdrückung von tiefen und hohen Freqeuenzen 1. Vektor ist Differenz zwischen 2 Gaussglocken (90% Varianz) 2. Vektor (10%) erste Ableitung, 3. Vektor (< 10%) zweite Ableitung Alle 3 Filter unterdrücken langsam- und schnell-schwankende Komponente

30 Zeitliche Maskierung und RASTA Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta Data-driven design of RASTA-like filters Zeitliche Maskierung und RASTA Matlab Demo

31 Zeitliche Maskierung und RASTA Zeitliche Maskierung und RASTA Wenn schwacher Ton direkt einem starken folgt Wahrnehmung nimmt ab Dauer cca. 200 ms RASTA kann das nachahmen Forward masking vergleichbar mit Zeitkonstante von RASTA filter Pegel von RASTA-bearbeitetem Maskierer am ende des Maskierers ist stark abgeschwächt Maskierer ausgeschaltet negatives Verschieben des Pegels des Signals

32 Zeitliche Maskierung und RASTA Zeitliche Maskierung und RASTA

33 Matlab Demonstration

34 Zusammenfassung Methode für das Behandeln von langsam- oder schnell-schwankenden, nichtlingvistischen Komponenten im Sprachsignal Optimiert und auf andere Gebiete erweitert Kann auch andere Eigenschaften des Gehörs simulieren, z.b. temporale Maskierung