Einführung in die Signalverarbeitung

Transkript

1

2 Einführung in die Signalverarbeitung Phonetik und Sprachverarbeitung, 2. Fachsemester, Block Sprachtechnologie I Florian Schiel Institut für Phonetik und Sprachverarbeitung, LMU München Signalverarbeitung - Teil 6

3 university-logo-filen Allgemeines Unterrichtssprache ist Deutsch (englische Fachbegriffe in Klammern) Fragen am besten sofort; besser einmal zuviel gefragt Literatur: Jurafsky D, Martin J H (2000): Speech and Language Processing. Prentice Hall, Kap I.7. Schrüfer E (1980): Signalverarbeitung Pfister B, Kaufmann T (2008): Sprachverarbeitung - Grundlagen und Methoden der Sprachsynthese und Spracherkennung. Springer-Verlag Berlin Heidelberg. Rabiner, Lawrence R., Schafer R W (1978): Digital Processing of Speech Signals. Prentice-Hall, New Jersey, USA. Hess W (1993): Digitale Filter. Teubner Studienbücher, B.G.Teubner, Stuttgart. Harrington J, Cassidi St (1999): Techniques in Speech Acoustics. Kluwer Academic Publishers, Dordrecht/Boston/London.

4 university-logo-filen Anwendung der Methoden auf die Verarbeitung von Sprache. Filterbänke: psychoakustisch motivierte Merkmale : Synchronisation von multiplen Signalen : Messung von Periodizität

5 Digitale = traditionell: Schaltung mit parallelen Filtern Digitale Parallele Filter, die das Spektrum abdecken, realisiert entweder mit parallel laufenden digitalen Filtern oder mit DFT Prinzip: führe DFT durch fasse gewünschte Frequenzbereiche (Bänder) durch aufaddieren der Frequenzwerte zusammen university-logo-filen

6 university-logo-filen Beispiel: Bark- Bark-Skala : psychoakustische Tonhöhenwahrnehmung 1 Bark = Breite einer Frequenzgruppe (critical band) Zusammenhang Frequenz zu Bark: z[bark] = 13 arctan( f ) arctan((f /7500) 2 ) Daraus ergibt sich eine Aneinanderreihung von Bändern, die jeweils 1 Bark breit sind:

7 Beispiel: Bark- Sprachsignal s(t n ) mit Abtastrate f abt = 16000Hz Nach Fensterung DFT mit N = 1024 Abstand zweier Frequenzwerte im Spektrum S D (f ): f abt /N = 16000/ Hz Bark-: Alle Spektralwerte innerhalb einer Frequenzgruppe werden addiert: Bark 1 5 : addiere100/15 = 7Linien Bark 6 : addiere120/15 = 8Linien Bark 7 : addiere140/15 = 9Linien Bark 8 : addiere150/15 = 10Linien Bark 9 : addiere160/15 = 11Linien Bark 10 : addiere190/15 = 13Linien Bark 11 : addiere210/15 = 14Linien Bark 12 : addiere240/15 = 16Linien university-logo-filen

8 university-logo-filen Beispiel: Bark- Vergleich normale DFT und Output Bark- Amplitudenspektrum zero padded Output Bark filterbank S(f) Energie Frequenz [Hz] Frequenz [Bark]

9 university-logo-filen Andere Filterbänke Nach dem selben Prinzip Mel- (z.b. je 50 mel breite Bänder) Halbton- oder Vollton- Hochton-/Mittelton-/Tiefton- (bestimmte Frequenzbereiche)...

10 zweier Signale: Verschieben der beiden Funktion um einen Abtastwert, multiplizieren und aufaddieren ein Wert der (cross correlation) c(t k ) = 1 N N s 1 (t n )s 2 (t n+k ) n=1 Beachte: I.G. zur Faltung wird hier keine Funktion gespiegelt! dient in der Phonetik oft zur Synchronisation von ähnlichen Signalen (z.b. von zwei Mikrophonen): c(t k ) wird nur für einen Bereich k = K + K berechnet, in dem man die Assynchronie vermutet. Dann hat c(t k ) bei der tatsächlichen Assynchronie ein Maximum. university-logo-filen

11 Beispiel: Experiment mit Headset-Mikrophon und Video. Headset- und Video-Ton-Signal haben gleiche Abtastrate. Videodaten sollen mit Headset-Kanal synchronisiert werden. von Headset-Signal h(t n ) mit Tonsignal der Kamera v(t n ) der ersten 10 Sekunden Aufzeichnung: c(t k ) = 1 N N h(t n )v(t n+k ) n=1 c(t k ) hat Maximum bei k = 3425 Video-Signal ist um 3425 Samples früher als Headset. Einfügen von 3425 Null-Samples am Anfang des Headset-Signals beide Signale synchron. university-logo-filen

12 = mit sich selbst a(t k ) = 1 N N s(t n )s(t n+k ) n=1 Die a(t k ) eines Signals s(t n ) dient oft dazu, Periodizitäten in s(t n ) zu finden: a(t k ) hat bei dem t k ein erstes Maximum, das der Länge der Grundschwingung (T 0 ) einer periodischen Schwingung entspricht. Grundfrequenz-Detektor Die Fouriertransformierte von a(t k ) ist das Leistungsspektrum von s(t n ): F{a(t k )} = SD 2 (f ) university-logo-filen

13 Beispiel: Grundfrequenz eines /u/-lauts bestimmen Abtastrate des Signals f abt = 22050Hz Periodisches Sprachsignal /u/ s(t_n) a(t_n) Zeit [Samples] Zeit [Samples] university-logo-filen

14 university-logo-filen Das autokorrelierte Signal hat ein erstes Maximum bei ca. 180 Samples (senkrechter Strich). Eine Messung der Periodizität im Sprachsignal ergab einen zeitlichen Abstand zwischen zwei Glottisschlägen von T 0 = Kontrolle Periodendauer in Samples N 0 : N 0 = T 0 f abt = 0.008sec 22050Hz = Samples

15 Fragen Es gibt zwei Möglichkeiten eine zu realisieren. Welche? Wie groß ist der Abstand zweier Frequenzwerte einer DFT mit 1000 Werten angewandt auf ein Signal mit Abtastrate 20000Hz? Zur nachträglichen Synchronisation zweier Signale verwendet man die oder die? Ist die Autokorrelierte eines stimmlosen Frikativs - ein periodisches Signal? - ein stochastisches Signal? - ein Signal mit periodischen Maxima? Wie könnte man mit Hilfe der stimmhafte von stimmlosen Frikativen unterscheiden? university-logo-filen