Einführung in die automatische Spracherkennung. SS 2007 Klaus Kasper

Transkript

1 Einführung in die automatische Spracherkennung SS 27 Klaus Kasper

2 Praktikum Montag, 16:h 19:15h (Y-Raster) Ort: D15/22 erste Veranstaltung: Programmiersprache Ihrer Wahl (C/C ++ /C#, Java, ) Zulassungsvoraussetzung für Klausur 2

3 Klausur Klausur: , 12:h, D14/44 Anmeldeschluss: Abmeldeschluss:

4 Literatur Schukat-Talamazzini, Ernst Günther; Automatische Spracherkennung, Vieweg, Deller, John R., Proakis, John G., Hansen, John H. L.; Discrete-Time Processing of Speech Signals, Macmillan, Paulus, Dietrich W. R., Hornegger, Joachim; Applied Pattern Recognition; Vieweg, 23. Eppinger, Bernd, Herter, Eberhard; Sprachverarbeitung; Hanser; Bishop, Christopher M.; Neural Networks for Pattern Recognition; Oxford University Press;

5 Themen der Vorlesung Digitalisierung analoger Signale Parametrisierung von Sprachsignalen Fourier-Transformation Psychoakustik Cepstral-Analyse Hidden Markov Modelle (HMM) Effiziente Decodierung (Viterbi-Algorithmus) Künstliche Neuronale Netze (KNN) oder Sprachsynthese 5

6 Themen des Praktikums Umgang mit binären Dateien (.wav) Implementierung einer einfachen DFT Aufnahme von Sprachsignalen Berechnung von MFC mit HTK Aufbau eines Spracherkenners mit HTK 6

7 Historie der Leitbilder Vorleseautomat Phonetische Schreibmaschine Dialogautomatisierung Multimodale Kommunikation Intelligente mobile Begleiter 7

8 Intelligenter mobiler Begleiter 8

9 Digitale Sprachverarbeitung Sprachsynthese Spracherkennung Sprachverstehen Sprachcodierung Sprecherverifikation 9

10 Sprachcodierung Ziel: Effiziente digitale Repräsentation von Sprachsignalen Anwendung: Mobilfunk (GSM) 1

11 Sprachsynthese Ziel: Generierung von Sprachsignalen auf der Basis von Text (Sprechen, Vorlesen) Anwendung: Vorlesen ( , Navigation etc.), Hilfsmittel 11

12 Spracherkennung Ziel: Generierung von Text auf der Basis von Sprachsignalen (Hören) Anwendung: phonetische Schreibmaschine, Dialogautomatisierung 12

13 Sprecherverifikation Ziel: Biometrisches Verfahren zur Authentifikation einer Person an Hand ihrer Stimme. Anwendung: Erteilung eines Zugangs ohne PIN (Password-Reset, Vertragsauskunft, ) 13

14 Sprachverstehen Ziel: Erfassen der Aussage einer sprachlichen oder textlichen Äußerung. Anwendung: Basis für Übersetzung, Disambiguierung (Auflösung von Mehrdeutigkeiten) 14

15 Historie der Kommerzialisierung 8er: IBM, Bell Laboratories 9er: weltweit Forschung und Entwicklung (Philips, TK Unternehmen, IBM) Diktiersysteme: IBM, Philips, Dragon Naturally Speaking Sprachkonzern: Lernout & Hauspie (Belgien, L&H) IPOs: Nuance (Stanford), SpeechWorks (MIT) aktuell: ScanSoft (OmniPage, Zukäufe: Teile L&H, Philips, SpeechWorks, Nuance) Konkurrenten: lokale Anbieter, IBM 15

16 Einsatzgebiete von Spracherkennern Diktiersysteme Interactive Voice Response (IVR) Call Center Voice Portal Embedded Systeme Mobiltelefon PDA Navigationssystem 16

17 Techniken zur Spracherkennung Dynamic Time Warp (DTW) Hidden Markov Modelle (HMM) Künstliche Neuronale Netzwerke (KNN) Linguistik auf höherer Ebene 17

18 Variabilität von Sprachsignalen 18

19 Parametrisierung Sieben 19

20 Beispiel: Fahrplanauskunft Rufnummer: 8/

21 Prinzipieller Aufbau von Spracherkennern Signalanalyse Akustische Bewertung Decodierung Physikalische Modelle HMM/KNN Sprachmodelle Wortmodelle Phonemmodelle Sprache Merkmalsextraktion Merkmale Merkmalsbewertung Scores Phonetisch/ Linguistische Bewertung Wörter 21

22 Digitalisierung 22

23 Wie wird ein Audiosignal digitalisiert? zeitliche Abtastung des analogen Signals Quantisierung der Messwerte 23

24 Abtastung Das analoge Signal wird i.a. in äquidistanten Abständen abgetastet. Die auf diese Weise gefundene Repräsentation soll eine möglichst vollständige Darstellung des analogen Signals liefern. Bei einer evtl. Rekonstruktion des analogen Signals soll dieses als transparent wahrgenommen werden. 24

25 Analoges Signal,6,4,2 -,2 -,4 -,6,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3 25

26 Abtastung des Signals I,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3,4,3,2,1,2,4,6,8 1 1,2 -,1 -,2 -,3 26

27 Abtastung des Signals II,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3 27

28 Abtasttheorem Die Abtastfrequenz muss mindestens doppelt so hoch sein wie die maximale Frequenz, die im abgetasteten Signal enthalten ist (Shannon). Zur Gewährleistung dieser Bedingung muss das Eingangssignal entsprechend gefiltert werden (Tiefpass). 28

29 Typische Abtastraten DAT 48 khz CD 44.1 khz Breitbandsprache 16 khz Diktiersysteme khz ISDN 8 khz 29

30 Quantisierung Der Wertebereich des Signals wird in Intervalle oder Zellen eingeteilt, die durch einen Wert oder Vektor repräsentiert werden. Das Eingangsignal wird durch den Wert oder Vektor quantisiert, der das Intervall bzw. die Zelle der das Eingangssignal zugeordnet werden kann, repräsentiert. 3

31 Original,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3 Quantisiert (1 bit) Intervalle,6 1 1,4,2,5,2,4,6,8 1 1, ,2 -,5 -,4 -, Untere Grenze Obere Grenze Repräsentant 31

32 Original,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3 Quantisiert (2 bit) Intervalle (2 bit),3 1 1,2,75,5,5,1,25 -,1,2,4,6,8 1 1, ,25 -,5 -,5 -,2 -,75 -, Untere Grenze Obere Grenze Repräsentant 32

33 Original,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3 Quantisiert (3 bit),5,4,3,2,1,2,4,6,8 1 1,2 -,1 -,2 Intervalle (3 bit) 1 1,875,75,75,625,5,5,375,25,25, , ,25 -,25 -,375 -,5 -,5 -,625 -,75 -,75 -, Untere Grenze Obere Grenze Repräsentant 33

34 Original,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3 Quantisiert (8 bit) 1,5 Intervalle (8 bit),4 1,3,2,5,1,2,4,6,8 1 1,2 -, ,5 -,2-1 -,3-1,5 34

35 Original,4,3,2,1 -,1,2,4,6,8 1 1,2 -,2 -,3 Quantisiert (8 bit),4,3,2,1,2,4,6,8 1 1,2 -,1 -,2 -,3 35

36 Optimale Quantisierung Die Intervalle bzw. Zellen werden so gewählt, dass bei gegebener Anzahl der Quantisierungsstufen bzgl. einer gegebenen Datenmenge der Quantisierungsfehler minimal wird. In diesen Prozess geht insbesondere die Verteilungsdichte der gegebenen Datenmenge ein. 36

37 Ziel Das Ziel ist die Realisierung einer digitalen Repräsentation eines analogen Signals, die für den Betrachter oder bzgl. des Analysesystems denselben Informationsgehalt hat wie das analoge Signal. Beispiele: CD, MPEG 37

38 Optimierte Quantisierung für Sprache Das menschliche Gehör nimmt Unterschiede bei leisen Signalen stärker wahr als bei lauten. Bei gleichförmiger Quantisierung (konstante Größe der Intervalle) werden Quantisierungsfehler daher bei leisen Signalen deutlicher wahrgenommen als bei lauten. Für eine optimierte Quantisierung werden die Intervallgrößen mit Hilfe von Segmenten unterschiedlicher Steigung gewählt. Mit 8 Bit gelingt eine Quantisierung, die der Qualität einer gleichförmigen Quantisierung mit 12 Bit entspricht. Amerika, Japan: mu-law (15 Segmente); Europa: a- law (13 Segmente) 38

39 Tabelle a-law a-law short int a-law short int

40 a-law Codierung (8 Bit)

41 Beschränkungen Abtastung bedingt eine Beschränkung der maximalen Frequenz des analogen Signals Quantisierung Fehler durch die Quantisierung der Amplitude kann durch den Signal-Rausch-Abstand (SNR) bewertet werden: SNR = 2 xn [ ] 1 * log ( xn % [ ] xn [ ]) 2 41

42 Digitalisierung eines analogen Signals Analog Digital Sprache Vorverstärker und Tiefpaß S&H A/D Signalverarbeitung zeitkontinuierlich zeitdiskret amplitudenquantisiert 42

43 Analog-Digital (AD) - Wandlung analoges Mikrofonsignal Verstärker Tiefpassfilter Abtastung Quantisierung der Amplituden Information in Header Speicherung der Signalwerte in Datei 43

44 Dateiformate pcm, raw: ohne Header wav: Microsoft au: Sun Microsystems vox: Dialogic, ADPCM Codierung mp3: MPEG Layer 3 beachte: byte-order 44

45 Praktikum 1. Bitte nehmen Sie ein Audiofile mit einer Abtastrate von 16 Hz und 16 bit Quantisierung auf. Legen Sie das File bitte im wav-format ab. 2. Bitte modifizieren Sie im Header des Files die Abtastrate auf 8 Hz. Beschreiben Sie den daraus resultierenden Höreindruck. 3. Die Quantisierung der Amplituden soll auf 1 bit durch Modifikation der abgelegten Signalwerte geändert werden. 3.a Bitte arbeiten Sie einen Vorschlag zur Durchführung der Aufgabe aus. 3.b Bitte implementieren Sie die ausgearbeitete Lösung. 3.c Beschreiben Sie bitte den resultierenden Höreindruck. 45

46 Header einer.wav-datei (Struktur) Length description String 4 Byte < Magic Number RIFF > RIFF 4 Byte < size of file > 4 Byte < Magic Number WAVE > WAVE chunks 4 Byte < ID of chunk > f.e. fmt 4 Byte < size of chunk > data 4 Byte < ID of chunk > f.e. fact 4 Byte < size of chunk > data more chunks 46

47 Header einer.wav-datei (Details) Length description name chunk: header information 4 Byte < ID of header > fmt 4 Byte < size of header segment (Byte) > 2 Byte < format tag > 2 Byte < number of channels > 4 Byte < number of samples per second > 4 Byte < number of bytes per second > more informationda chunk: audio data 4 Byte < ID of data > data 4 Byte < size of data segment (Byte) > audio data (f.e. 2 Byte/sample) 47