Spracherkennung. 2. Sitzung 16. Oktober 2008

Transkript

1 Spracherkennung 2. Sitzung 16. Oktober 2008

2 Überblick 1. Sitzung Organisatorisches Übungen und Scheinkriterien Termine Sprechstunde und Webseite Inhaltlicher Überblick

3 Allgemeines Übungen Bislang: NN Vorschlag: Block am Semesterende Terminvorschlag: Februar 2009 Scheinkriterien Anwesenheit Vorbereitung Prüfung

4 Leistungspunkte 1 Leistungspunkt = 30 Stunden Vorlesung 3 SWS (*15 Wochen) wöchentliche Vorbereitung 3SWS Übungen 1 SWS Prüfung: 60 Stunden Summe = 1.5 LP = 1.5 LP = 0.5 LP = 2.0 LP = 5.5 LP

5 Termine Sitzung Montag, 14-16h, E Okt 20. Okt 27. Okt 3. Nov 10. Nov 17. Nov 24. Nov 1. Dez 8. Dez 15. Dez 22. Dez 5. Jan 12. Jan 19. Jan 26. Jan 2. Feb Donnerstag, 12-14h, S Okt 23. Okt 30. Okt 6. Nov 13. Nov 20. Nov 27. Nov 4. Dez 11. Dez 18. Dez 25. Dez - fällt aus 8. Jan 15. Jan 22. Jan 29. Jan 5. Feb

6 Sonstiges Sprechstunde: Zeit: nach Vereinbarung Büro: Q2-127 Tel: Webseite Folien Paper Skript (von Prof. Dr. Gernot A. Fink, Uni Dortmund)

7 Inhaltlicher Überblick

8 Inhaltlicher Überblick Teil 1: Einführung Sprachproduktion Akustische Grundlagen Sprachwahrnehmung

9 Inhaltlicher Überblick Teil 2: 5. Diskretisierung / Digitalisierung 6. Merkmalsberechnung (Kurzzeitanalyse) 7. Spracherkennung mit einfachem Mustervergleich (DTW)

10 Inhaltlicher Überblick Fortsetzung Teil 2: 8. Hidden Markov Modelle 9. Sprachmodellierung 10. Angewandte Spracherkennung

11 1. Teil 1. Einführung

12 1.1 Was ist Spracherkennung? Linguistische Quelle Akustischer Kanal Spracherkennung P(w) P(X w) argmax P(w X) w X Textproduktion Artikulation Merkmalsextraktion Dekodierung

13 1.1 Was ist Spracherkennung? 5. Diskretisierung 6. Merkmalsberechnung 7. DTW 8. HMMs 9. Sprachmodellierung w X Textproduktion Artikulation Merkmalsextraktion Dekodierung 2. Sprachproduktion 3. Akustik 4. Sprachwahrnehmung

14 1.1 Was ist Spracherkennung? Traditionell:...die korrekte textuelle Darstellung des Gesprochenen...rekonstruieren [Schukat-Talamazzini, 1995]

15 Korrekte textuelle Darstellung guten Tag Herr Schenk guten Tag Frau Schrade wie geht es Ihnen ja Danke sehr gut jetzt haben wir ja Hamburg gut hinter uns gebracht jetzt m"ussen wir ja nach Potsdam nach Potsdam ach ja die $O $P $K $S ja genau sagen wir ach wir m"ussen ja schon wieder f"unf Tage weg wie w"are es denn bei Ihnen in der zweiten Maiwoche zweite Maiwoche nein tut mir leid da mu"s ich in Rothenburg sein in Rothenburg ja dann och sehen wir mal Juni erste Woche bin ich in Freiburg und die zweite Woche im Juni zweite Juniwoche die ist frei aber ich h"atte auch noch nein die zweite Juniwoche ist das einzigste das ist das einzigste ja dann w"urden wir das doch gleich ausmachen ja oder ich h"atte noch den April wie w"are es mit der letzten Aprilwoche letzte Aprilwoche Sie meinen da vom neunundzwanzigsten ab nein ich meine den zweiundzwanzigsten ah ja oh nein da mu"s ich nach Koblenz da bin ich zwei Tage in Koblenz das geht leider nicht na gut dann Juni

16 Sprecherzuordnung A guten Tag Herr Schenk B guten Tag Frau Schrade wie geht es Ihnen A ja Danke sehr gut jetzt haben wir ja Hamburg gut hinter uns gebracht jetzt m"ussen wir ja nach Potsdam B nach Potsdam ach ja die $O $P $K $S A ja genau sagen wir ach wir m"ussen ja schon wieder f"unf Tage weg wie w"are es denn bei Ihnen in der zweiten Maiwoche B zweite Maiwoche nein tut mir leid da mu"s ich in Rothenburg sein A in Rothenburg B ja A dann och sehen wir mal Juni erste Woche bin ich in Freiburg und die zweite Woche im Juni B zweite Juniwoche die ist frei aber ich h"atte auch noch nein die zweite Juniwoche ist das einzigste A das ist das einzigste ja dann w"urden wir das doch gleich ausmachen B ja oder ich h"atte noch den April wie w"are es mit der letzten Aprilwoche A letzte Aprilwoche Sie meinen da vom neunundzwanzigsten ab B nein ich meine den zweiundzwanzigsten A ah ja oh nein da mu"s ich nach Koblenz da bin ich zwei Tage in Koblenz das geht leider nicht B na gut dann Juni

17 Sinneinheiten durch Prosodie A guten Tag Herr Schenk! B guten Tag Frau Schrade! wie geht es Ihnen? A ja Danke, sehr gut. jetzt haben wir ja Hamburg gut hinter uns gebracht. jetzt m"ussen wir ja nach Potsdam. B nach Potsdam? ach ja die $O $P $K $S. A ja genau. sagen wir - ach wir m"ussen ja schon wieder f"unf Tage weg! wie w"are es denn bei Ihnen in der zweiten Maiwoche? B zweite Maiwoche? nein tut mir leid, da mu"s ich in Rothenburg sein! A in Rothenburg? B ja. A dann - och - sehen wir mal - Juni erste Woche bin ich in Freiburg und die zweite Woche im Juni / B zweite Juniwoche die ist frei! aber ich h"atte auch noch / nein die zweite Juniwoche ist das einzigste! A das ist das einzigste? ja dann w"urden wir das doch gleich ausmachen! B ja oder ich h"atte noch den April! wie w"are es mit der letzten Aprilwoche? A letzte Aprilwoche? Sie meinen da vom neunundzwanzigsten ab? B nein ich meine den zweiundzwanzigsten! A ah ja. oh nein! da mu"s ich nach Koblenz da bin ich zwei Tage in Koblenz das geht leider nicht! B na gut dann Juni.

18 Evaluative Aspekte durch Prosodie A guten Tag Herr Schenk! B guten Tag Frau Schrade! wie geht es Ihnen? A ja Danke, sehr gut. jetzt haben wir ja Hamburg gut hinter uns gebracht. jetzt m"ussen wir ja nach Potsdam. B nach Potsdam? ach ja die $O $P $K $S. A ja genau. sagen wir - ach wir m"ussen ja schon wieder f"unf Tage weg! wie w"are es denn bei Ihnen in der zweiten Maiwoche? B zweite Maiwoche? nein tut mir leid, da mu"s ich in Rothenburg sein! A in Rothenburg? B ja. A dann - och - sehen wir mal - Juni erste Woche bin ich in Freiburg und die zweite Woche im Juni / B zweite Juniwoche die ist frei! aber ich h"atte auch noch / nein die zweite Juniwoche ist das einzigste! A das ist das einzigste? ja dann w"urden wir das doch gleich ausmachen! B ja oder ich h"atte noch den April! wie w"are es mit der letzten Aprilwoche? A letzte Aprilwoche? Sie meinen da vom neunundzwanzigsten ab? B nein ich meine den zweiundzwanzigsten! A ah ja. oh nein! da mu"s ich nach Koblenz da bin ich zwei Tage in Koblenz das geht leider nicht! B na gut dann Juni.

19 1.1 Was ist Spracherkennung? Zusätzliche neue Ansätze Rich Transcription : Sprecherzuordnung Sinneinheiten (Punkt, Komma) durch prosodische Merkmale Evaluative Aspekte (Emotionen) durch prosodische Merkmale...

20 1.2 Warum ist Spracherkennung schwierig? Uni-modal Sprache ist kontinuierlich, Abbildung ist diskret Einzelworterkennung Isolierte Wörter Erkennung kontinuierlicher Sprache Variabilität Akustisch (Mikrofon, Situation...) Lautlich (Betonung, Kontext, Semantik...) Zwischen SprecherInnen (Sprechstil [Tempo, Lautstärke, Emotion...], Dialekt, Idiolekt, Geschlecht, Alter...)

21 1.2 Warum ist Spracherkennung schwierig? Beispiel

22 1.2 Warum ist Spracherkennung schwierig? Ambiguität Homophonie (Rad oder Rat?) Wortgrenzen: It isn t easy... to wreck a nice beach to recognize speech Komplexität Hohe Datenrate des abgetasteten Signals Werte / Sekunde Wörter / Minute Ca verschiedene Wörter

23 1.3 Was geht heute schon mit Spracherkennung? Kommandosysteme Radiowecker Namenswahl im Handy Nicht-sicherheitsrelevante Funktionen im Auto (Navigation, Telefon, Klimaanlage...) Diktiersystem Für spezielle Berufsgruppen (Ärzte, Juristen..) Für kooperative Normalverbraucher

24 1.3 Was geht schon? Audio-/Video-Datenbanksuche/-indizierung (z.b. von Rundfunksendungen) Schulung Fremdsprachenerwerb Bei Sprechstörungen Dialogsysteme (oft telefonisch) ja - nein, Ziffern, Menüführung Auskunftssysteme (Kino, Fahrplan) Buchungssysteme / Telefonbanking Militärische Varianten

25 1.3 Maschinelle vs menschliche Erkennungsleistung [Lippmann 1997] Korpus Beschreibung Vokabular Fehlerrate Mensch Fehlerrate Maschine Buchstaben Gelesenes Alphabet % 5% Resource Management Gelesene Sätze % 3.6% Wall Street Journal Gelesene Sätze (unbegrenzt) 0.9% 7.2% North American Business News Gelesene Sätze (unbegrenzt) 0.4% 6.6% Switchboard Spontane Telefongespräche (unbegrenzt) 4% 40-67%

26 2 Sprachproduktion

27 Überblick 2.1 Vokaltrakt 2.2 Source-Filter Modell 2.3 Phonetische Beschreibung 2.4 Was ist ein Laut?

28 2.1 Vokaltrakt [Clark & Yallop, 1991]

29 2.1 Funktionales Modell des Vokaltrakts [Clark & Yallop, 1991]

30 2.2 Source-Filter Modell Filter: Vokaltrakt Umformung des Anregungssignals Sprachsignal Quelle: Stimmbänder fundamentale Anregung stimmhaft - stimmlos

31 2.3 Phonetische Beschreibung: Konsonanten Phonation: stimmhaft - stimmlos Spezialfall Glottisverschluß [?]: ver[?]eisen - verreisen Hinweis: phonetische Symbole nach SAMPA (basierend auf IPA) Artikulationsort (s. Vokaltrakt) Artikulationsart Nasalierung: nasal - oral Öffnungsgrad: Verschluss - Friktionsenge - friktionslose Enge Engebildung: zentral - lateral

32 2.3 Lautsystem des Deutschen: Konsonanten Labiodental Bilabial Alveolar Dental Postalveolar Labiovelar Palatal (Apico) Palatal (Lamino) Velar Uvular Glottal Plosiv p - b t - d k - g? Frikativ f - v s - z S - Z c - % x - % R Approx imant % - l % - j Nasal % - m % - n % - N Trill % - r

33 2.3 Phonetische Beschreibung: Vokale artikulierender Zungenteil vorne - mitte - hinten Zungenhöhe geschlossen - halboffen - offen Lippenrundung gerundet - ungerundet Dauer kurz - lang

34 Beispiel: Vokalproduktion

35 2.2 Lautsystem des Deutschen: Vokale i y I Y U u hoch / geschlossen e 2 O o E 6 vorne a a: tief / offen hinten

36 2.3 Was ist ein Laut? Phonem Definition: Ein Phonem ist die kleinste bedeutungsunterscheidende Einheit Ermittlung von Phonemen über Minimalpaarbildung: train - twain [trein] - [twein] Phoneme sind sprachabhängig Phoneme werden realisiert durch Allophone

37 2.3 Was ist ein Laut? Allophon Definition: Sounds which count as alternative ways of saying a phoneme [Clark & Yallop 1995:125] Allophone befinden sich in komplementärer Distribution: c nach [ E I Y e i y ] x nach [ a a: O U o u ] normalerweise unterscheiden sich Allophone jedoch nur durch Koartikulation: k: in Kuh ist gerundet k: in Katze ist nicht gerundet