Kapitel 2: Spracherkennung Automatisches Verstehen gesprochener Sprache

Transkript

1 Automatisches Verstehen gesprochener Sprache. Spracherkennung Martin Hacker Bernd Ludwig Günther Görz Professur für Künstliche Intelligenz Department Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg Zur Erinnerung Spracherkennung und Sprachverstehen -"#+%&.()%)/("$*+#,!"#$%&'()%)*("+,$#-.(/0"(),$#-!"#"$%&"'"()*+#,!)%'()5+(($- 6()07%&'(8$)%09+,!(0"()*+#,!($50)($7/+0)($- :)$()0(++*+#,."%&0#6%$%#(6($+- ;<%'*5(, -)%57(&&, -)%5.()'$(5(+,!)%%,5#%*(-.%+($*%$/- 8($,+9()60(&&- -=+$%8%+%&='(, C)%77%90, -(7%+90%+%&='(,!7D+(+7(&&, ;)%#7%90%+%&='(,!"'0*)'7(&&, E+$(8$7(&&, / 9 / 9 Problemstellung Was ist hier gesagt worden? Um das Sprachsignal interpretieren zu können, müssen wir wissen, wie es erzeugt worden ist. 6 / 9

2 Anatomisches zum Sprechen () Anatomisches zum Sprechen () 8 / 9 7 / 9 Lautartikulation Mathematisches zum Sprechen Der Prozess der Spracherzeugung kann durch Hintereinanderschaltung linearer zeitinvarianter Systeme simuliert werden. Dabei werden die Artikulatoren als Filter modelliert; das Ergebnis ist ein (diskretes) Sprachsignal: F (z) = G(z) V (z) R(z) 9 / 9 0 / 9 Je nach Lautsorte sind die Artikulatoren unterschiedlich an der Lautbildung beteiligt. Rekonstruktion der Anregung und der Filterwirkung Anregung: vom Sprecher erzeugtes Signal Messwert: die vom Filter modifizierte Anregung Konsonanten und Vokale haben charakteristische Eigenschaften im Spektralbereich (insbes. Formanten). / 9

3 Merkmale für Laute () Merkmale für Laute () Problem: Wie kann man das originale Signal und die Wirkung der einzelnen Komponenten des Filters auseinanderhalten? fn = gn vn rn Ziel: Da man weiß, welche Artikulatoren welche Laute erzeugen, kann man den gesprochenen Laut rekonstruieren, wenn man weiß, welcher Filter wie gewirkt hat. Extraktion von Merkmalen für einzelnes Analysefenster Zuordnung von Lauten zu einer Folge von Analysefenstern (Quelle: Elmar Nöth, Informatik 5 (LME)) (Quelle: Elmar Nöth, Informatik 5 (LME)) N Abtastwerte (f0,..., fn ) in einem Analysefenster: Durch Fouriertransformation Übergang in den Spektralbereich: FT(fn ) = FT(gn ) FT(vn ) FT(rn ) Formanten für Vokale liegen immer in festen Bereichen des Spektrums (Schmalbandspektrogramm), Plosivphasen lassen sich gut an Breitbandspektrogrammen ablesen: Filterung mit verschiedenen Bandpassfiltern / 9 / 9 Digitalisierung Abtastung (vgl. Abtasttheorem) (üblich für Sprache: 6 khz oder 8 khz für Telefon) Quantisierung (üblich für Sprache: 6 Bit, µ-law) 6 / 9 Merkmalgewinnung Anwendung von Zeitfenstern Überführung in den Spektralbereich (diskrete Fourier-Transformation) kann man Muster für Konsonanten und Vokale aus Filterparametern gewinnen (Modellierung), aus einem gemessenen Sprachsignal die Filterparameter rückrechnen und den Konsonanten bzw. Vokal zuordnen, dessen Parameter den zurückgerechneten am ähnlichsten sind (Klassifikation). Gewinnung von Merkmalen aus Spektrum und Cepstrum (Quelle: Elmar Nöth, Informatik 5 (LME)) 7 / 9 Erkennungsaufgabe: Wenn man die Filter kennt, die aus der Anregung Konsonanten und Vokale erzeugen, dann 8 / 9 Klassifikation

4 Von Merkmalsvektoren zum Wort Bisher: Merkmalsvektor für ein Zeitfenster Ein geeigneter Klassifikator kann den Laut zu diesem bestimmten Zeitpunkt ermitteln (wenn auch unzuverlässig). Jetzt: Folge von Merkmalvektoren X = x,..., xt Schwierig: Bei einer Folge unabhängiger Klassifikationsentscheidungen erhielten wir statt hab@n so etwas wie haoa@oaa@fbp@nnm Phoneme können sich über mehrere Fenster erstrecken Fenster sind nicht unabhängig. Z.B. langgezogenes a statt schnellem Wechsel zwischen a-ähnlichen Lauten. Auch die Phoneme bedingen sich gegenseitig (am Ende muss ein echtes Wort herauskommen) 0 / 9 Von Merkmalsvektoren zum Wort Phonemerkennung () Gegeben: Folge von Merkmalvektoren X = x,..., xt Welches Wort versteckt sich dahinter? Wie lange dauert ein Phonem? Was ist die beste Segmentierung der Vektorfolge? Was ist die beste Zuordnung der Segmente zu Phonemen unter der Bedingung, dass insgesamt ein bekanntes Wort herauskommt? Zwei Unbekannte : Wie lange dauert das Phonem? Wie hört es sich zum Zeitpunkt t an? Beides ist abhängig von vielen Faktoren und von Situation zu Situation verschieden. Referenzmuster Will oder kann man nicht alle Kausalitäten explizit berücksichtigen, modelliert man sie mit Zufallsprozessen. / 9 / 9 Phonemerkennung () Modellierung der Verweildauer und Lautabfolge durch Markow-Kette Zustandsabhängige Wahrscheinlichkeitsverteilung für Merkmalsvektoren P(xt p) Zu jedem Phonem aus dem Inventar gibt es ein HMM. Lernproblem Bestimme Parameter (d.h. Übergangs- und Ausgabewahrscheinlichkeiten) aus Stichprobe Z. B. mit Baum-Welch-Algorithmus Die beiden Zufallsprozesse kann man miteinander verzahnen: Auf jeden Zustandsübergang folgt die Emission einer Beobachtung. Klassifikationsproblem Welches HMM hat die Beobachtungskette X erzeugt? Berechne für jedes HMM p die Produktions-Wahrscheinlichkeit P(X p) Das geht effizient mit dem Vorwärts-Algorithmus Maximiere A-posteriori-Wahrscheinlichkeit p)p(p) P(p X ) = P(XP(X (Bayes-Regel!) ) P(X ) für gegebenes X konstant, daher irrelevant! Da der Zustand für den Beobachter unsichtbar ist, erhält man damit ein Hidden-Markow-Modell (HMM). / 9 / 9 Phonemerkennung ()

5 Worterkennung Analyse durch Synthese () Von Lauten zu Wörtern: Welches Wort im Lexikon kann die beobachtete Lautfolge erzeugen? Das Prinzip der Verschachtelung von Markov-Modellen besitzt folgende Vorteile: Modelliere mögliche Aussprachevarianten (Abfolgen von Phonemen) mit weiterem Markow-Prozess. Man kann die Phonemmodelle wiederverwerten. Somit braucht man nur eine begrenzte Anzahl akustischer Modelle (für jedes Phonem eines) zu trainieren. Diese Modelle können aus einer überschaubaren Anzahl transkribierter Sprachaufnahmen gelernt werden. Dessen Zustände sind die HMMs für die Phoneme. Das verschachtelte Modell kann man ausmultiplizieren und erhält ein neues HMM: Darüber hinaus muss man nur die phonetische Umschrift aller Wörter im Lexikon kennen. Nachteile: Kontexteffekte (Koartikulation zwischen Phonemen) werden nicht modelliert. Quelle: J URAFSKY und M ARTIN 6 / 9 5 / 9 Analyse durch Synthese () Worterkennung () Für die Wortmodellierung benötigt man Lexika mit Vollformen. Morphologische Wortbildungsregeln werden nicht explizit angewandt. Die Wahl der geeigneten Basis-HMM-Einheit stellt also einen Trade-off zwischen Erkennungsqualität und Lernaufwand dar. Für Systeme mit kleinem Wortschatz können daher tendenziell größere Basiseinheiten gewählt werden. Aussprachelexikon für die vier englischen Wörter knee, neat, need und new Bei sehr großem Wortschatz können als Kompromiss größere Wortuntereinheiten (Diphone, Triphone, Halbsilben, Silben) verwendet werden. Quelle: J URAFSKY und M ARTIN Literatur Christopher D. Manning, Hinrich Schütze: Foundations of Statistical Natural Language Processing. MIT Press, Cambridge (Massachusetts), 999 Gut verständliche Einführung in HMMs (Kapitel 9. und 9.) Beachte insbesondere die Darstellung des Vorwärts- und Viterbi-Algorithmus auf S. 6 f. Ernst Günter Schukat-Talamazzini, Automatische Spracherkennung, Vieweg 995 Weiterführende Literatur zu allen angesprochenen Themen Online verfügbar als PDF (s. Link auf der Webseite) D. Jurafsky, J. H. Martin: Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Prentice-Hall,. Auflage, 008 Kap. I.7 9 / 9 8 / 9 7 / 9