Praktikum zur Sprachsignalverarbeitung

Transkript

1 Nachstehend finden Sie eine Sammlung von Übungsaufgaben und Laborexperimenten, die im Rahmen der Übungen und Praktika des Moduls Spracherkennung bearbeitet werden sollen. Die Übungsaufgaben (als Aufgaben bezeichnet) sollen auf dem Papier bearbeitet und gelöst werden, wobei Taschenrechner oder/und Matlab als Hilfsmittel eingesetzt werden sollen. Die Laborexperimente (als praktische Übung bezeichnet) sollen unter Verwendung von Matlab sowie einer Sammlung graphischer Benutzerschnittstellen, die zur Durchführung von Praktika zur Sprachsignalverarbeitung und zur Spracherkennung entwickelt und zusammengestellt wurden, durchgeführt werden. Das Praktikum wird im Folgenden kurz vorgestellt. Praktikum zur Sprachsignalverarbeitung Im Labor Digitale Nachrichtentechnik ist ein auf dem Betriebssystem Linux basierendes Rechnernetzwerk vorhanden. Es steht eine Sammlung graphischer Oberflächen als Praktikum zur Sprachverarbeitung und Spracherkennung zur Verfügung, die unter Matlab programmiert wurden. Sie arbeiten unter dem Benutzer praktiku. Matlab kann durch einfaches Klicken auf das entsprechende Icon gestartet werden (Der Windows Doppelklick startet Matlab zweimal). Das Praktikum wird durch Eingabe von praktikum_sp im Kommandofenster von Matlab gestartet. G. Hirsch Version: pa6 Seite 1

2 Geben Sie Ihre Gruppenbezeichnung (ASRx mit x=ziffer) und Ihren Namen ein. Durch Eingabe der Gruppenbezeichnung wird das zugehörige Arbeitsverzeichnis Ihrer Gruppe festgelegt. Zur Erzeugung von Signalen stehen die beiden Oberflächen Mikrofon-Aufnahme und Signalgenerator zur Verfügung. Mit der Oberfläche Mikrofon-Aufnahme können Sie eigene Aufnahmen über Mikrofon erzeugen. Die Oberfläche Signalgenerator dient zur Generierung von Signalen mit einem gewünschten Verlauf (z.b. Sinus, Rechteck, Dreieck) oder bestimmten Charakteristika (z.b. Rauschen). Mit den in der linken Spalte aufgeführten Oberflächen kann ein Signal in verschiedener Form analysiert werden. Die Oberflächen der mittleren Spalte eröffnen verschiedene Möglichkeiten zur Verarbeitung eines Signals. In der rechten Spalte finden sich verschiedene Werkzeuge zur direkten Spracherkennung über Mikrofon als auch zur Durchführung von Simulationsexperimenten mit Sprachdatensammlungen. Bei den meisten Oberflächen besteht die Möglichkeit, Signale aus dem Aufnahme- oder Generatorfenster unmittelbar zu übernehmen. Generell ist es nicht notwendig bzw. empfehlenswert, beim Wechsel zwischen verschiedenen Oberflächen diese zu schließen, sondern nur zu minimieren. Praktische Übung 1 Das Ziel dieses Experiments ist die Bestimmung der charakteristischen Merkmale im zeitlichen Signalverlauf verschiedener Laute. Analyse von Vokalen Nehmen Sie getrennt die von Ihnen gesprochenen Vokale a, e und o in der Oberfläche zur Mikrofon Aufnahme bei Wahl einer Abtastfrequenz von Hz auf. Beachten Sie, dass die Aufnahmen keine zu langen Pausen (länger als etwa 1 sec) vor und nach der eigentlichen Sprache beinhalten. Sollten die Signalverläufe keine Aussteuerung im Amplitudenbereich von mindestens ± 0,5 besitzen, so können Sie durch Betätigen eines Schiebreglers die Signale entsprechend verstärken. Speichern Sie die Signale im WAV Format ab. Gehen Sie in die Oberfläche Zeitsignal, mit der Signale im Zeitbereich analysiert werden können. Darin können Sie durch Markieren eines bestimmten Bereichs einen kurzen Signalabschnitt auswählen, der im unteren Fenster dargestellt wird und den sie sich auch separat anhören können. Welches charakteristische Merkmal weisen die Signalverläufe der Vokale auf:.. Bestimmen Sie bei jedem Vokal näherungsweise die Länge einer Periode (in ms) sowie die zugehörige Grundfrequenz (in Hz): G. Hirsch Version: pa6 Seite 2

3 Vokal A : t per =.. ms f 0 =.. Hz Vokal E : t per =.. ms f 0 =.. Hz Vokal O : t per =.. ms f 0 =.. Hz Sie können exemplarisch auch eine Darstellung auf dem Drucker ausgeben. Nehmen Sie versuchsweise nochmals einen Vokal auf, wobei Sie im Fall einer männlichen Stimme versuchen, eine hohe weibliche Stimme zu imitieren, im Fall einer weiblichen Stimme versuchen, eine tiefe Stimme zu imitieren. Welche Periodenlänge und Grundfrequenz ergibt sich in diesem Fall: t per =.. ms f 0 =.. Hz Analyse stimmloser Laute Nehmen Sie das Wort es auf, das im hinteren Teil den stimmlosen Zischlaut beinhaltet. Extrahieren Sie in der Oberfläche zur Analyse des Zeitsignals den Abschnitt des Zischlauts. Welches charakteristische Merkmal beinhaltet der Signalverlauf:. Sie können die Beobachtung dieses charakteristischen Verlaufs bei Aufnahme des Worts Zeh im vorderen Abschnitt des Signals, bei Aufnahme des Worts Affe im mittleren Teil des Signals und bei Aufnahme des Worts Schaf am Anfang und am Ende des Signals feststellen. Analyse von Plosiven Nehmen Sie das Wort Schuppen auf, das in der Mitte einen Plosivlaut beinhaltet. Welches charakteristische Merkmal zeigt der Signalverlauf:.. Bestimmen Sie näherungsweise die Länge der Pause: ms Wiederholen Sie das Experiment mit den Wörtern Leiter und Scheck. Welche Längen weisen die Pausen auf? Wort Leiter :. ms Wort Scheck :. ms G. Hirsch Version: pa6 Seite 3

4 Aufgabe 2 Ein Cosinussignal s( t) = cos(2 π f t) wird zur digitalen Verarbeitung des Signals mit einer Abtastfrequenz von f a = 8 khz abgetastet. a) Bei welchen Zeitpunkten erfolgt die Abtastung des Signals im Zeitbereich 0 t 1 ms, wenn die Abtastung bei t = 0 ms einsetzt. b) Berechnen Sie die Abtastwerte eines Cosinussignals x 1 (t), das eine Frequenz von 1 khz besitzt, und eines Cosinussignals x 2 (t), das eine Frequenz von 2 khz besitzt, im Zeitbereich 0 t 1 ms. Wie viele Abtastwerte beschreiben jeweils eine Periode des Signals? Skizzieren Sie die Abtastwerte in den nachstehenden Diagrammen. x 1 (nt) ,5 1 Zeit/ms -1 x 2 (nt) ,5 1 Zeit/ms -1 Skizzieren Sie in den nachstehenden Diagrammen die Fourier-Betragsspektren der abgetasteten Cosinussignale in einer zweiseitigen spektralen Darstellung. X 1ab (f) f/khz G. Hirsch Version: pa6 Seite 4

5 X 2ab (f) f/khz c) Bis zu welcher Frequenz können Sie bei einer Abtastung mit f a = 8 khz Cosinussignale fehlerfrei erfassen? d) Bestimmen Sie die Abtastwerte eines Cosinussignals s 3 (t), das eine Frequenz von 4 khz besitzt, und eines Sinussignals s 4 (t), das ebenfalls eine Frequenz von 4 khz besitzt. Kann ein Signal, das eine Frequenzkomponente bei der halben Abtastfrequenz beinhaltet, fehlerfrei erfasst werden? e) Bestimmen Sie die Abtastwerte eines Cosinussignals x 5 (t), das eine Frequenz von 7 khz besitzt? Vergleichen Sie die Werte mit den unter b) berechneten Werten. Skizzieren Sie das Betragsspektrum des abgetasteten Signals im nachstehenden Diagramm. X 5ab (f) f/khz Praktische Übung 2 1. Kontrollieren Sie Ihre Berechnungen in Aufgabe 2, in dem Sie die Abtastwerte in der graphischen Oberfläche des Signal-Generators bestimmen. 2. Generieren Sie einen 1 s langen Sinuston mit der Frequenz 2 khz bei einer Abtastfrequenz von 16 khz. Hören Sie sich den Ton an. Bei Verletzung des Abtasttheorems tritt der so genannte Aliasing Effekt auf, bei dem Frequenzanteile oberhalb der halben Abtastfrequenz an der f halben Abtastfrequenz gespiegelt unterhalb wieder auftreten ( a + f 2 f a f ). 2 Überlegen Sie, bei welcher höheren Frequenz (oberhalb der halben Abtastfrequenz) eines Sinussignals sich ein digitales Signal ergibt, das nach der Rekonstruktion ebenfalls als 2 khz Ton hörbar wird: khz 3. Kontrollieren Sie Ihre Überlegung durch Generierung und Anhören des entsprechenden Sinustons. G. Hirsch Version: pa6 Seite 5

6 Aufgabe 3 Es wird ein analoges Signal x(t) betrachtet, dessen Betragsspektrum im nachfolgenden Bild dargestellt ist. X(f) 1 0 f/khz Das analoge Signal wird zu diskreten Zeitpunkten mit einer Frequenz von 8 khz abgetastet. Skizzieren Sie das Spektrum des abgetasteten Signals im Bereich von 16 khz bis +16 khz in der nachstehenden, zweiseitigen spektralen Darstellung. X ab8 (f) f/khz Skizzieren Sie im nachstehenden Diagramm das Spektrum des abgetasteten Signals im Bereich von 16 khz bis +16 khz, wenn das analoge Signal mit einer Frequenz von 12 khz abgetastet wird. X ab12 (f) f/khz Aufgabe 4 Die Abtastwerte eines zeitdiskreten Signals s(n) werden quantisiert. Dazu wird der Amplitudenbereich -1 s(n) 1 linear in 8 Intervalle unterteilt. Alle in einem Intervall auftretenden Amplitudenwerte werden zur späteren Rekonstruktion des wiederum analogen Signals auf den Wert in der Intervallmitte abgebildet. a) Welche Breite besitzt ein Quantisierungsintervall? Geben Sie die Amplitudenwerte an den Intervallgrenzen an. Skizzieren Sie die Quantisierungskennlinie im nachstehenden Diagramm. G. Hirsch Version: pa6 Seite 6

7 ( ) ŝ x(n) n b) Geben Sie eine mathematische Beziehung an, mit der Sie aus dem Amplitudenwert s(n) den quantisierten Wert s ˆ( n) bestimmen können. ( ) x(t) s n Im folgenden Bild sind 4 Amplitudenwerte eines abgetasteten Signals dargestellt. 0.9 x(n) Index n c) Bestimmen Sie die sich ergebenden Amplitudenwerte bei einer Quantisierung mit der zuvor bestimmten Quantisierungskennlinie. Bestimmen Sie die Quantisierungsfehler. d) Wie viele Bits werden zur Darstellung der 8 Quantisierungsniveaus in einem Digitalrechner benötigt? G. Hirsch Version: pa6 Seite 7

8 e) Welche Dualzahlen ergeben sich in einem Digitalrechner für die 4 zuvor betrachteten Amplitudenwerte, wenn die Zuordnung der Dualzahlen zu den einzelnen Quantisierungsniveaus mit Hilfe einer Darstellung im Zweierkomplement erfolgt? f) In welchem Wertebereich können Quantisierungsfehler auftreten? g) Geben Sie die Formel zur Berechnung des Signal/Rauschleistungsverhältnisses SNR an, wenn die Quantisierung allgemein mit k Bits vorgenommen wird und man ein Signal annimmt, dessen Amplituden gleichverteilt im gesamten Quantisierungsbereich auftreten. h) Geben Sie SNR Werte für die in der nachstehenden Tabelle angegebene Bitanzahl an. k/bit SNR/dB Praktische Übung 4 Laden Sie in der graphischen Oberfläche zur Quantisierung das Sprachsignal bahn2_16k.wav. Bestimmen Sie das sich einstellende SNR bei einer Codierung mit k = 10, 8, 6, 4, 2, 1 Bit. Tragen Sie die Werte in die nachstehende Tabelle ein. Hören Sie sich das quantisierte Signal und den Quantisierungsfehler jeweils an. k/bit SNR/dB Erzeugen Sie in der graphischen Oberfläche des Signalgenerators ein 1s langes Dreieckssignal bei einer Abtastfrequenz von 16 khz, das eine Frequenz von 1 Hz besitzt. Analysieren Sie die Auftrittswahrscheinlichkeiten der Amplitudenwerte dieses Signals mit Hilfe der graphischen Oberfläche zur Verteilungsdichte. Skizzieren Sie im nachstehenden Diagramm den Verlauf der Wahrscheinlichkeitsdichtefunktion mit Angabe von Werten auf x- und y-achse. Wahrscheinlichkeitsdichte p(s) Amplitude s Analysieren Sie parallel die Wahrscheinlichkeitsdichtefunktion des Sprachsignals bahn2_16k.wav. Laden Sie das zuvor erzeugte Dreieckssignal in der graphischen Oberfläche zur Quantisierung. G. Hirsch Version: pa6 Seite 8

9 Welches SNR ergibt sich bei einer Quantisierung mit 6 Bit: db Welches SNR ergibt sich bei einer Quantisierung mit 10 Bit: db Vergleichen Sie die SNR Werte mit den in der vorherigen Aufgabe berechneten Werten. Vergleichen Sie die SNR Werte mit den bei Quantisierung des Sprachsignals bestimmten Werten. Warum sind die SNR Werte bei Quantisierung des Sprachsignals mit der gleichen Bitanzahl kleiner im Vergleich zum Dreieckssignal: Analysieren Sie die Auftrittswahrscheinlichkeiten der Amplitudenwerte des Musiksignals africa_16k.wav mit Hilfe der graphischen Oberfläche zur Verteilungsdichte. Skizzieren Sie im nachstehenden Diagramm den Verlauf der Wahrscheinlichkeitsdichtefunktion mit Angabe von Werten auf x- und y-achse. Wahrscheinlichkeitsdichte p(s) Amplitude s Aufgabe 5 Als einer der ersten Verarbeitungsschritte bei der Sprachanalyse eines Erkennungssystems wird häufig eine so genannte Höhenanhebung (preemphasis) des Sprachsignals vorgenommen. Dabei werden zu jedem Abtastzeitpunkt nt der aktuelle Abtastwert s(n) und der vorhergehende Abtastwert s(n-1) gewichtet gemäß der nachstehenden Beziehung subtrahiert. Man bezeichnet diese Darstellung auch als Differenzengleichung: x( n T ) = s( n T ),97 s( ( n 1) T ) 0 bzw. bei Vernachlässigung der Zeit T zwischen 2 Abtastwerten und alleiniger Verwendung des Abtastindex x ( n) = s( n) 0,97 s( n 1) Im Folgenden werden dieser Verarbeitungsschritt und seine Auswirkungen auf das Signal s durch eine Darstellung als Signalverarbeitungsblock mit einer Bestimmung der zugehörigen Impulsantwort und der Übertragungsfunktion analysiert. G. Hirsch Version: pa6 Seite 9

10 Lineares, zeitinvariantes System im Zeit- und Frequenzbereich s(t), s(n) S(f) h(t), h(n) H(f) x( t) = s( t) h( t) x( n) = s( n) h( n) X ( f ) = S( f ) H ( f ) a) Bestimmen Sie die Werte der Impulsantwort h(n) eines Systems, das die Verarbeitung gemäß der angegebenen Differenzengleichung beinhaltet. s(n) ist das Eingangssignal, x(n) das Ausgangssignal des Systems. (Hinweis: Bestimmen Sie dazu alle Werte x(n), die einen Wert ungleich Null annehmen, wenn ( n) man als Eingangssignal s(n) einen Diracimpuls 1 = 0 für n = 0 für n 0 Skizzieren Sie die Werte der Impulsantwort h(n) im nachstehenden Diagramm. verwendet. h(n) Zeitindex n -1 b) Bestimmen Sie die Fourier Transformierte der Differenzengleichung. Hinweis: Verwenden Sie S(f) als Fourier Transformierte von s(n) und X(f) als Fourier Transformierte von x(n). Der zeitliche Versatz eines Signals führt zu einem multiplikativen Phasenterm im Spektrum: s( t t 0 ) S( f ) e i 2 π f t0 c) Leiten Sie daraus die mathematische Beschreibung der Übertragungsfunktion H(f) ab. d) Berechnen Sie (z.b. mit Matlab) einige Betragswerte der Übertragungsfunktion H(f) im Bereich f f. Skizzieren Sie mit Hilfe dieser Werte den Verlauf des Betrags der 2 0 a Übertragungsfunktion im nachstehenden Diagramm. G. Hirsch Version: pa6 Seite 10

11 H(f) f/f a e) Handelt es sich bei dieser Filtercharakteristik um einen Tiefpass, einen Bandpass oder einen Hochpass? Aufgabe 6 Das abgetastete Signal x( n) = 2 cos( 2 n ) sin( 2 π 3 n ) analysiert werden. π soll mit Hilfe einer DFT spektral 4 8 a) Geben Sie zunächst die Frequenz der Cosinusschwingung sowie die Frequenz der Sinusschwingung bei einer Abtastfrequenz von 1000 Hz an, in dem Sie x(n) auf die zugehörige Beschreibung als analoges Signals x(t) zurückführen. Im Folgenden sollen 16 aufeinander folgende Abtastwerte von x(n) mit 0 n 15 mit einer DFT transformiert werden. b) Erzeugen Sie mit Hilfe von Matlab einen Vektor n, der die Abtastindices beinhaltet. Bestimmen Sie zunächst die Abtastwerte getrennt für den Cosinusanteil und für den Sinusanteil des Signals. Stellen Sie die Abtastwerte jeweils mit der Funktion stem graphisch dar. Wie viele Perioden des Cosinusanteils werden durch die 16 Abtastwerte beschrieben? Wie viele Perioden des Sinusanteils werden durch die 16 Abtastwerte beschrieben? G. Hirsch Version: pa6 Seite 11

12 c) Ausgehend von den im vorherigen Unterpunkt gewonnenen Erkenntnissen können Sie die Vorüberlegung anstellen, für welche Indices k die DFT Komponenten X(k) einen Wert ungleich Null annehmen? d) Geben Sie die Summenformel zur Berechnung von { ( 4) } Berechnung von { ( 6) } Re X sowie die Summenformel zur Im X an. Erzeugen Sie in Matlab einen Vektor, der die Abtastwerte x(n) beinhaltet, in dem Sie die Abtastwerte des Cosinus- und des Sinusanteils additiv überlagern. Zur Berechnung der beiden Summenformeln können Sie die Funktion sum verwenden. Tragen Sie die Ergebnisse in den nachstehenden Diagrammen ein. Überprüfen Sie exemplarisch für einige Werte von k, dass Re{ X ( k )} = 0 für k 4 und Im{ ( k) } = 0 für k 6 Re{X(k)} X ist Index k Im{X(k)} Index k Ergänzen Sie in den Diagrammen die zu den von Ihnen berechneten Werten gehörigen Komponenten oberhalb der halben Abtastfrequenz. Welcher Index k entspricht der halben Abtastfrequenz? e) Für welche Werte von k sollte sich für X(k) ein Wert ungleich Null ergeben, wenn die Transformation nur mit den 8 aufeinander folgenden Abtastwerten von x(n) mit 0 n 7, entsprechend einem nur halb so langen Signalabschnitt im Vergleich zu den 16 Abtastwerten, durchgeführt wird? f) Für welche Werte von k sollte sich für X(k) ein Wert ungleich Null ergeben, wenn die Transformation mit den 32 aufeinander folgenden Abtastwerten von x(n) mit 0 n 31, entsprechend einem doppelt so langen Signalabschnitt im Vergleich zu den 16 Abtastwerten, durchgeführt wird? G. Hirsch Version: pa6 Seite 12

13 e) Berechnen Sie die Energie des Signalabschnitts mit 16 Abtastwerten im Zeitbereich. Berechnen Sie die Energie im Frequenzbereich. Aufgabe 7 Eine Periode eines periodischen Signals, das mit einer Frequenz von 2000 Hz abgetastet wurde, besteht aus N=16 Abtastwerten. Die 16 Abtastwerte werden zur Spektralanalyse mit Hilfe einer DFT (Diskreten Fourier Transformation) transformiert. a) Welche zeitliche Länge (in ms) besitzt der aus 16 Abtastwerten bestehende Signalabschnitt? Welcher Grundfrequenz entspricht diese zeitliche Dauer? b) In welchem spektralen Abstand f werden die Linien des Spektrums bei Anwendung der DFT bestimmt? Für welche diskreten Frequenzen f k mit k=0,1,,n/2-1 lassen sich mit der DFT die Spektralanteile des Signals berechnen? Als Ergebnis der DFT ergibt sich, dass alle Werte des Imaginärteils gleich Null sind. Für die Werte des Realteils werden für die DFT Indices von k=0 bis k=7 die in der folgenden Darstellung skizzierten Werte bestimmt. Re{S(k)} A 0 1 c) Besteht das analoge Signale aus Cosinusanteilen oder aus Sinusanteilen oder aus Cosinus- und Sinusanteilen? 3 7 Index k 5 -A/3 Begründen Sie Ihre Antwort. d) Beschreiben Sie das analoge Signal x(t) in mathematischer Form mit Angabe der Frequenzwerte. Hinweis: Für die Amplituden der Cosinus- oder Sinusanteile (wie zuvor bestimmt) können Sie die nachstehend angegebenen Werte annehmen: k Amplitude /3 0 1/5 0-1/7 G. Hirsch Version: pa6 Seite 13

14 Praktische Übung 7 Erzeugen Sie in der graphischen Oberfläche des Signalgenerators die 16 Abtastwerte einer Periode des in der vorherigen Aufgabe unter 7d) bestimmten analogen Signals, in dem Sie die entsprechenden Cosinus- bzw. Sinusschwingungen aufaddieren. Speichern Sie diese Abtastwerte in einem File ab. Schreiben Sie in Matlab ein kurzes Skript, um die Abtastwerte aus dem File zu lesen, eine DFT zu berechnen und das Ergebnis graphisch darzustellen. Zum Lesen können Sie Funktion wavread und zur Berechnung der DFT die Funktion fft verwenden. Erzeugen Sie mit Hilfe der Funktionen subplot und stem eine dreigeteilte Graphik, in der im obersten Fenster die Abtastwerte des Signals, im mittleren Fenster der Realteil des DFT Spektrums und im unteren Fenster der Imaginärteil des DFT Spektrums dargestellt wird. Mit der graphischen Darstellung sollte sich das in der vorherigen Aufgabe angegebene DFT Spektrum verifizieren lassen. Erzeugen Sie einen Vektor, der 32 Abtastwerte und damit 2 Perioden des periodischen Signals beinhaltet. Berechnen Sie die DFT der 32 Abtastwerte und stellen Sie das Ergebnis wiederum graphisch dar. Bei welchen Indices k treten in diesem Fall die von Null verschiedenen Komponenten auf? G. Hirsch Version: pa6 Seite 14

15 Praktische Übung 8 Das Ziel dieses Experiments ist die Bestimmung des Energieverlaufs von Sprachsignalen und die Frequenzanalyse eines Sprachsignals und die Darstellung als Spektrogramm. Analyse von Energieverläufen Nehmen Sie mit der Oberfläche zur Aufnahme von Signalen ein Wort bei einer Abtastfrequenz von 16 khz auf, in dem stimmlose Laute am Anfang und am Ende und ein Vokal in der Mitte enthalten sind, z.b. Schaf. Gehen Sie in die Oberfläche, mit der Sie die Energiekontur des aufgenommenen Signals bestimmen können. Wählen Sie die Breite eines Analysefensters zu 20 ms und die Verschiebung aufeinander folgender Analysefenster zu 10 ms. Drucken Sie das Ergebnis aus. Markieren Sie im Signalverlauf und in der Energiekontur in etwa die zeitlichen Bereiche der einzelnen Laute. Bei welchem Laut nimmt der Verlauf der Kurzzeit-Energie seine größten Werte an: Speichern Sie das aufgenommene Signal in der Aufnahme Oberfläche ab. Laden Sie das Signal in der Oberfläche des Signalgenerators. Addieren Sie zu dem Signal ein gaußverteiltes Rauschen, das einen um 5 db geringeren Pegel als das Sprachsignal besitzt. Analysieren Sie in der Oberfläche zur Darstellung des Energieverlaufs das verrauschte Signal. Drucken Sie das Ergebnis aus. Markieren Sie wieder die zeitlichen Bereiche der einzelnen Laute. Lassen sich der Beginn und das Ende des Worts mit Hilfe des Verlaufs der Kurzzeit-Energie exakt bestimmen? Beginn des Worts:. Ende des Worts: Spektralanalyse (= Analyse der Frequenzzusammensetzung) kurzer Signalabschnitte Im Praktikum steht zur Spektralanalyse die Oberfläche FFT Analyse zur Verfügung. Laden Sie die von Ihnen gesprochenen Vokale. Wählen Sie die Länge der FFT (=Breite des Analysefensters) zu 512. Welcher zeitlichen Dauer (in ms) entspricht diese Länge, wenn das Signal mit 16 khz abgetastet wurde: ms Verschieben Sie das Analysefenster in den Bereich des periodischen Signalverlaufs eines Vokals. Welche zeitliche Länge (in ms) besitzt eine Periode näherungsweise:.. ms Bei welchen Frequenzen (in Hz) dürfte das Signal nur Spektralkomponenten ungleich Null besitzen, wenn man einen idealen periodischen Verlauf mit der ermittelten Periodenlänge annimmt:.. Hz G. Hirsch Version: pa6 Seite 15

16 Vergleichen Sie die in der Oberfläche die logarithmierten Leistungsdichtespektren, die sich bei Einsatz eines Rechteckfensters im Vergleich zum Einsatz eines Hamming- (oder Hanning-) Fensters ergeben. Drucken Sie das Ergebnis aus. Analysieren Sie ebenfalls den Signalabschnitt eines stimmlosen Lauts. Betrachtung von Spektrogrammen Zur Spracherkennung analysiert man kurze (ca. 20 bis 30 ms lange) aufeinander folgende Abschnitte des Sprachsignals. Dabei wird von den im zeitlichen Abstand von etwa 10 ms aufeinander folgenden Abschnitten das Spektrum mit einer DFT bestimmt. Das Ergebnis einer solchen Kurzzeit-Spektralanalyse kann man sich als sogenanntes Spektrogramm in einer graphischen Oberfläche zur Spektralen Analyse anschauen. Dabei kann man die aufeinander folgenden Spektren in einer dreidimensionalen Darstellung oder in einer zweidimensionalen Darstellung über Zeit und Frequenz darstellen. In der zweidimensionalen Darstellung wird die Amplitude der Frequenzkomponenten farblich codiert. Mit der Farbe blau werden kleine Amplituden und mit der Farbe rot die großen Amplituden dargestellt. Die Abbildung der dazwischen liegenden Amplituden erfolgt mit Hilfe des Farbspektrums. Nehmen Sie das Wort eins bei einer Abtastfrequenz von 16 khz auf. In der Oberfläche zur Betrachtung des Zeitsignals können Sie durch Markieren von Signalabschnitten und das Anhören der Abschnitte ungefähr feststellen, in welchem zeitlichen Bereich die Laute ai, n und s auftreten. Diese Kenntnis können Sie für die Analyse des Signals im Frequenzbereich nutzen. Betrachten Sie dazu das zugehörige Spektrogramm bei einer Analyse von 32 ms langen Abschnitten, einer Verschiebung des Analysefensters um 10 ms sowie einer FFT-Länge von 512. In welchem ungefähren Frequenzbereich besitzt der stimmhafte Laut ai seine größten Amplituden:. Hz In welchem ungefähren Frequenzbereich besitzt der nasale Laut n seine größten Amplituden:. Hz In welchem ungefähren Frequenzbereich besitzt der stimmlose Laut s seine größten Amplituden:. Hz Nehmen Sie nacheinander die Wörter zwei und drei auf und betrachten Sie die zugehörigen Spektrogramme. In welchem Abschnitt des Worts unterscheiden sich die Spektrogramme:.. Es sollte sichtbar werden, dass die Spektrogramme von zwei und drei sehr ähnlich aussehen. Dies macht bereits die Problematik einer möglichen Verwechslung dieser beiden Wörter deutlich. G. Hirsch Version: pa6 Seite 16

17 Aufgabe 9 In einem Spracherkennungssystem werden die aus der Analyse mit einer MEL Filterbank resultierenden Cepstral-Koeffizienten als akustische Parameter extrahiert. Der Zusammenhang zwischen der Pseudoeinheit MEL und der Frequenz wird beschrieben durch: Mel f ) = 2595 log (1 + f ( 10 ) 700 Das Sprachsignal wird mit 8 khz abgetastet. Die MEL Filterbank deckt den Bereich von 200 bis 4 khz ab und besteht aus 20 Teilbändern. Die Filter werden so festgelegt, dass sie sich ohne Überlappung aneinander reihen. Die Eckfrequenzen der Filter resultieren aus einer linearen Unterteilung des entsprechenden MEL Bereichs in 20 Bänder. a) Welchem MEL Wert entspricht der Frequenzwert bei 200 Hz und welchem MEL Wert der bei 4000 Hz? b) Welche Breite in MEL nehmen die auf der MEL Skala gleichbreiten Teilfilter an? c) Bestimmen Sie die MEL Werte, die die Grenzen des 1., 10. und 20. Teilfilters festlegen. d) Welche zugehörigen Frequenzwerte legen die Eckfrequenzen der drei Teilfilter fest? e) Welche FFT Indices liegen in dem durch die 3 Teilfilter jeweils beschriebenen Frequenzbereich, wenn eine FFT der Länge 256 verwendet wird? Mit Hilfe einer DCT werden aus den Teilbandenergien der MEL Filterbank die 11 Cepstral- Koeffizienten C0 bis C10 alle 10 ms bestimmt. Neben den Cepstral-Koeffizienten wird auch die Kurzzeitenergie loge alle 10 ms bestimmt. Ein Merkmalsvektor setzt sich aus den 10 Cepstral- Koeffizienten C1 bis C10 und dem Energiewert loge sowie den zugehörigen Delta und Delta-Delta Koeffizienten zusammen. f) Wie groß muss der Speicherbereich (in Byte) sein, der zum Abspeichern aller Merkmalsvektoren einer Sekunde Sprache benötigt wird, wenn jede Komponente des Merkmalsvektors mit einem Byte abgespeichert werden kann? Praktische Übung 10 Das Ziel dieser Übung ist die Programmierung einer Funktion zur Extraktion akustischer Merkmale aus den Abtastwerten eines Sprachsignals. G. Hirsch Version: pa6 Seite 17

18 Anforderungen Die Funktion erhält als Eingangswerte die Abtastwerte eines Sprachsignals, die in einer Variablen als Spaltenvektor enthalten sind. Es wird vorausgesetzt, dass es sich um Signale handelt, die mit einer Frequenz von 8 khz abgetastet wurden. In der Funktion sollen verschiedene akustische Parameter für Signalabschnitte mit einer Länge von 25 ms und in einem zeitlichen Abstand von 10 ms bestimmt werden. Konkret sollen die logarithmierte Kurzzeitenergie loge und die 12 Mel- Cepstral-Koeffizienten C1 bis C12 für jeden Signalabschnitt berechnet werden. In der Funktion soll eine Präemphase (Höhenanhebung) des kompletten Signals mit einem FIR Filter 1. Ordnung sowie eine abschnittsweise Bestimmung der Energie und der Cepstralkoeffizienten vorgenommen werden. Die Kurzzeitenergie soll aus den Abtastwerten eines Sprachabschnitts berechnet werden. Zur Bestimmung der Cepstralkoeffizienten werden die Abtastwerte eines Signalabschnitts mit einem Hamming- oder Hanningfenster gewichtet, mit einer DFT in den Spektralbereich transformiert, die Betragswerte des komplexen DFT Spektrums bestimmt, die DFT Betragswerte gemäß einer Mel Filterbank in 24 Bändern zusammengefasst, der Logarithmus der Mel Spektralwerte berechnet und die logarithmierten Mel Spektralwerte mit einer DCT in den Cepstralbereich transformiert werden. Die Funktion gibt als Ausgangswert eine Matrix zurück, in der in jeder Zeile die akustischen Parameter eines Signalabschnitts enthalten sind. Die Zeilenindices entsprechen der zeitlichen Aufeinanderfolge der Signalabschnitte. Speichern Sie den Wert für die Kurzzeitenergie in der letzten Spalte jeder Zeile. Erstellen Sie ein Struktogramm, in dem die zuvor aufgeführten Verarbeitungsschritte nur als Blöcke aufgeführt werden. Es soll deutlich werden, wie Sie die abschnittsweise Analyse realisieren werden. Details Die Filterkoeffizienten zur Präemphase können Sie als b = [1-0.95]; definieren. Die Filterung selbst kann mit Hilfe der Funktion filter(b, 1., eingangssignal); ausgeführt werden. G. Hirsch Version: pa6 Seite 18

19 Zur Energieberechnung können Sie die Funktion sum verwenden. Zur Definition der Fensterfunktion stehen die Funktionen hamming bzw. hanning zur Verfügung. Die DFT kann mit der Funktion fft ausgeführt werden. Die Funktion abs kann zur Betragsbildung verwendet werden. Die Zusammenfassung in den Mel Bändern kann gegebenenfalls als Unterfunktion realisiert werden. Erstellen Sie auch dazu zunächst ein Struktogramm. Die DCT C i kmel = = kmel= 24 log 1 π i [ S ( kmel) ] cos ( kmel 0.5) mit 0 i 12 mel 24 kann als Matrizenmultiplikation realisiert werden, wobei die Werte des Cosinusterms in einer Matrix mit i und kmel als Zeilen- und Spaltenindices im Vorhinein bestimmt werden können. Aufgabe 11 In einem Spracherkennungssystem sollen neben den akustischen Parametern, die aus der Analyse kurzer Signalabschnitte gewonnen werden, auch die zeitlichen Ableitungen der Parameterverläufe, die so genannten Delta-Koeffizienten, verwendet werden. In der nachstehenden Tabelle sind auszugsweise die Werte des akustischen Merkmals x 5 ( r) für eine Reihe aufeinander folgender Sprachabschnitte in Abhängigkeit des Segmentindex r gegeben, die bei der Analyse eines Sprachsignals bestimmt wurden. r x 5 ( r) a) Berechnen Sie den Wert ( 12) des Delta-Koeffizienten, wobei die Berechnung der Delta x 5 Koeffizienten gemäß x ( r) erfolgen soll. µ = 2 j= 1 j [ x ( r + j) x ( r j) ] µ norm µ mit norm = 2 2 j= 1 j 2 G. Hirsch Version: pa6 Seite 19