HMM/KNN zur Spracherkennung

Transkript

1 HMM/KNN zur Spracherkennung Andreas Hallerbach 18. Januar 2005 Universität Ulm Fakultät für Informatik Abteilung Neuroinformatik Hauptseminar Neuroinformatik WS 04/05 Spracherkennung

2 Zusammenfassung Die beiden Hauptverfahren zur automatischen Spracherkennung beruhen auf Hidden Markov Modellen oder neuronalen Netzen. Beide Ansätze haben ihre Vor- und Nachteile und so erscheint es nur logisch, dass es Versuche gibt, die jeweiligen Vorteile zu kombinieren. Der in dieser Ausarbeitung betrachteter Ansatz nimmt dafür das bewährte System der Spracherkennung mittels HMM als Grundtock und nutz ANNs zur besseren Abschätzung benötigter Wahrscheinlichkeiten. Inhaltsverzeichnis 1 Der Grundaufbau des Spracherkennungssystems 3 2 Grundlagen Grundlagen der Hidden Markov Modelle Markov-Ketten Hidden Markov Modelle Viterbi-Algorithmus Grundlagen der Künstlichen Neuronale Netze Der Grundaufbau Training Probleme Hybride HMM/KNN-Systeme Grundaufbau und Training Bayes Theorem Bewertung Verbesserungen

3 1 Der Grundaufbau des Spracherkennungssystems Der Grundaufbau eines typischen Spracherkunnungssystems besteht im allgemeinem aus 5 Hauptkomponenten, die hier nur kurz erläutert werden sollen: 1. Spracherfassung: Hierbei hat das verwendete Equipment einen wesentlichen Einfluss auf die Qualität der späteren Spracherkennung. Allein eine falsche Mikrofon- Position, zu viel Raumhall oder ein zu hohes Hintergrundrauschen können die besten Algorithmen in die Knie zwingen. 2. Front-End: Die Rohdaten werden vorverarbeitet, um Fehler zu minimieren und eine gute Ausgangsbasis für die weitere Verarbeitung zu erlangen. 3. Subworterkennung: Aus dem bereinigten Signal werden (typischerweise für für ein Intervall von 10 Millisekunden) die Merksmalsvektoren für die spätere Verarbeitung extrahiert. Diese Merksmalsvektoren können zum Beispiel Cepstralkoeffizienten, Energiewerte oder Frequenzbereichsstärken sein. Diese werden anschließend mit den Trainingsdaten verglichen und bestimmten Phonemen zugeordnet. Hier wird allerdings nicht nur das beste Resultat geliefert, sondern eine ganze Liste mit den jeweiligen Wahrscheinlichkeiten. 4. Worterkennung: Diese Liste wird nun verwendet, um mit Hilfe eines Wörterbuches eine weitere Liste zu generieren, welche die wahrscheinlichsten Wörter enthält. Hierbei muss auch die Problematik der zeitlichen Variation bei der Aussprache beachtet werden. So werden Vokale bei schneller Sprache oft viel kürzer ausgesprochen, was aber nicht zu einer Beeinträchtigung bei der Spracherkennung führen sollte. 5. Sprachmodell: Die gefundenen Lösungen werden nun im Sprachmodell auf syntaktische Korrektheit überprüft und die beste passende Lösung ausgewählt. Desweiteren müssen Homophone (gleichklingende Wörter) syntaktisch unterschieden werden um die richtigen Wörter für den Kontext zu finden. 3

4 In dieser Ausarbeitung geht es nur um die reine Worterkennung, Syntax und Semantik werden nicht behandelt. 2 Grundlagen 2.1 Grundlagen der Hidden Markov Modelle Hidden Markov Modelle (kurz HMMs) sind in der Spracherkennung die meistgenutzte Technik und beruhen auf dem Prinzip der Markov-Ketten. In der Regel wird für jedes Phonem ein HMM trainiert. Durch die Zusammensetzung mehrerer HMMs werden dann die wahrscheinlisten Wörter ermittelt Markov-Ketten Fundament einer Markov-Kette ist der Vektor S, der aus N durchnummerierten Zuständen besteht. Bei der Spracherkennung wird typischerweise eine links-nach-rechts -Topologie verwendet, was bedeutet, dass man von einem Zustand immer nur zu einem höheren Zustand kommt (Auslassungen sind in manchen Implementionen möglich), allerdings nicht wieder zurück. S = s 1,..., s N Betrachtet man nun eine Zufallsfolge Q = q 1,..., q T mit q t S, so beschreibt π i die Startwahrscheinlichkeit für den Zustand s i : π i = P (q 1 = s i ) mit N π i = 1 Für jeden Wechsel von einem Zustand s i nach s j gibt es zudem eine Übergangswahrscheinlichkeit a ij, die in der Matrix A beschrieben sind: i=1 A = [a ij ] N N mit a ij 0 und a ij = 1 Das hierbei nur der letzte vorhergehende Zustand berücksichtigt wird, ist zwar eine für die Sprache ungültige Vereinfachung, allerdings erleichtert dies den Vorgang deutlich und hat nicht viel Einfluss auf das Ergebnis. Aufgrund der links-nach-rechts -Topologie gilt außerdem a ij = 0 falls j < i. j 4

5 2.1.2 Hidden Markov Modelle Bei Hidden Markov Modellen sind nun die Symbole in der beobachteten Ausgabesequenz von der Markov-Kette entkoppelt, indem mit internen (versteckten) Zuständen gearbeitet wird, die zusätzlich noch Emisionswahrscheinlichkeiten für die Ausgabesymbole in Abhängigkeit vom internen Zustand erhalten. Die Menge der möglichen Merkmalsvektoren X = x 1,..., x n,..., x N wird dazu der Menge der spezifischen HMM-Zustände zugeordnet. Dies ist eine endliche Menge aller K möglichen Zustände Q = q 1,..., q k,..., q K, aus der wiederrum die einzelnen Ketten für jedes HMM M i zusammengesetzt werden, die aus L i Zuständen bestehen: S = s 1,..., s l,..., s L mit s l Q. Neben den oben genannten Start- und Übergangswahrscheinlichkeiten gibt es nun noch die sogenannte Emissionswahrscheinlichkeit P (x n q i ). Also die Wahrscheinlichkeit, dass man Im Zustand q i die Beobachtung x n macht. Eine Veranschaulichung der Zustände und der damit verbundenen Wahrscheinlichkeiten gibt Abb. 1. Um nicht für jedes Wort ein neues HMM modellieren zu müssen, werden in Abbildung 1: Ein HMM mit drei Zuständen. der Regel nur Phoneme modelliert, aus denen dann die Wörter zusammengesetzt werden Viterbi-Algorithmus Eine wichtige Frage bei der Spracherkennung ist nun, wie man die optimale Zustandsfolge Q = s 1,..., s t,..., s T mit s t Q zu einer gegebenen Beobachtung O = o 1,..., o t,..., o T mit o t X findet. Der hier beschriebene An- 5

6 satz nennt sich Viterbi-Algorithmus und beruht auf dem iterativen Berechnen der Wahrscheinlichket von Teilstücken der Gesamtkette. Hierfür definieren wir uns zwei Variabeln δ t (i) und ψ t (i). δ t (i) bezeichnet hierbei die höchste Wahrscheinlichkeit über alle Pfade der Länge t, die im Zustand q i enden. Für diesen wahrscheinlichsten Pfad gibt ψ t (i) den Zustand vor q i an, also den Zustand an der Stelle t 1. Hier nun der Ablauf des Algorithmus: Initialisierung: Induktion: δ 1 (k) := π k P (o 1 q k ) 1 k K ψ 1 (k) := 0 1 k K δ t (i) := max 1 k K (δ t 1(k) a ki ) P (o t q i ) 1 i K 1 t T Terminierung: Rückverfolgung: ψ t (i) := arg max 1 k K (δ t 1(k)a ki ) 1 i K 1 t T q T := arg max 1 k K (δ T (k)) q t := ψ t+1 (q t+1 ) t = T 1, T 2,..., 1 Die optimale Zustandsfolge ist nun Q := qt, q T 1,..., q 1 und hat die Wahrscheinlichkeit P := max (δ T (k)). 1 k K Die in diesem Algorithmus häufig auftauchende Wahrscheinlichkeit P (o t q k ) hat in dieser Ausarbeitung eine wichtige Rolle, da sie später mittels eines KNN geschätzt wird. 2.2 Grundlagen der Künstlichen Neuronale Netze Ein künstliches neuronales Netz (KNN) ist der Versuch, die neuronalen Schaltvorgänge im Gehirn des Menschen zu simulieren und so ein System zu schaffen, das in der Lage ist zu lernen und Muster klassifizieren zu können Der Grundaufbau Die Form des KNN, die in dieser Ausarbeitung genutz wird, ist das Multi- Layer-Perzeptron (MLP), darum wird im folgenden auch nur dessen Aufbau beschrieben. 6

7 Ein KNN besteht aus einer beliebigen Anzahl von Neuronen u, die untereinander über Ein- und Ausgabeleitungen miteinander verbunden sind. Dabei kann ein Neuron variabel viele Ein- und Ausgänge haben. Jedes Neuron berechnet über die Eingänge eine Funktion, deren Funktionswert an die Ausgänge angelegt wird. Typischerweise erhalten bei einer solchen Funktion alle Eingänge eine Gewichtung und der Vergleich der gewichteten Summe mit einem Schwellwert entscheidet über die Ausgabe. Natürlich könen die Funktionen aber auch komplexer sein. In einem MLP gibt es drei Schichten von Neuronen: Eingabeschicht, versteckte Schicht und Ausgabeschicht. Ein Eingabeneuron bekommt ihre Eingabe von außerhalb des Netzes, ein Ausgabeneuron gibt ihre Ausgabe nicht ins eigene Netz, sondern nach außen weiter. Versteckte Neuronen haben keinen Kontakt zur Außenwelt, sondern bekommen ihre Eingaben nur aus anderen neuronen ihres Netzes und geben auch nur an solche Neuronen ihre Ausgaben weiter. MLPs sind im Normalfall feed-forward-netze, was bedeutet, dass jede Schicht ihre Eingaben von der vorherigen Schicht bekommt und an die nachfolgende Schicht ihre Ausgaben weitergibt. Netzwerke mit Rückkopplungen sind allerdings auch möglich. Abbildung 2: Ein MLP mit einer versteckten Schicht Training Ein KNN lernt das Klassifizieren, indem man ihn mit genügend Trainingsdaten füttert. Man kann auch schon erste Annahmen über die Modellzu- 7

8 sammenhänge einbringen, muss dies aber nicht, ein KNN kann auch ohne Grundwissen lernen. Grundsätzlich gibt es zwei verschiedene Lernverfahren. Überwachtes Lernen wird eingesetzt, wenn Beispiellösungen bekannt sind. Zu jeder Ausgabe des KNNs kann dan explizit der Fehler ausgerechnet und zur Gewichtungskorrektur herangezogen werden. Steht die Problemlösung aber noch nicht fest (z.b. die Herausbildung vo Merkmalen zur Segmentierung von Daten), so wird das KNN mit einem unüberwachten Lernverfahren trainiert. Nach jedem Durchgang fließt der Fehler in die Berechnung der neuen Parameter an, wodurch der Lernvorgang erzielt wird. Wie der Beweis in [2] zeigt, ist es möglich, mittels eines KNN die a posteriori- Wahrscheinlichkeit p(q k o t ) zu approximieren. Da der Beweis nur auf dem Minimierungskriterium beruht (und nicht auf der Architektur des Netzwerkes), ist dies mit allen KNNs möglich, die folgende Bedimgungen erfüllen: Das KNN muss auf ein globales Fehler-Minimum trainiert werden (Mean Square Error) Das KNN muss komplex genug sein (also ausreichend viele Parameter besitzen), um eine möglichst gute Klassifikation zu erreichen. Experimentelle Versuche haben ergeben, dass bei einem Training auf einer großen Sprachmenge eine solche Approximation dem richtigen Wert sehr nahe kommt Probleme Bei der Arbeit mit KNNs gibt es diverse Probleme, die auftreten. Die größten sind: Optimierung der Parameter: Obwohl es einige mathematische Verfahren zur Findung des globalen Maximums gibt, ist die Lösung bei einem KNN häufig nur suboptimal. Man kann nie sicher sein, ob man nur ein lokales, oder wirklich das globale Maximum gefunden hat. Ein aufwendiger, aber effizienter Ansatz ist es, mehrere Optimierungsvorgänge mit verschiedenen Startwerten duchzuführen. Die richtige Trainingsmenge finden: Die Trainingsmenge muss möglichst ausgewogen sein und es muss darauf geachtet werden, dass das KNN nicht eine zufällige Übereinstimmung eines unwichtigen Parameters als Eigenschaft lernt, sondern wirklich die relevanten Merkmale erkennt. 8

9 Overfitting vermeiden Bei einer heuristischen Vorgehensweise bei der Netzwekspezifikation kann es vorkommen, dass KNNs die Trainingsdaten auswendig lernen (Overfitting) und Daten, die nicht aus der Trainingsmenge stammen nicht richtig klassifizieren können. Um dies zu vermeiden, muss die Netzwerkarchitektur sehr vorsichtig gewählt und die Anzahl der Einheiten möglichst klein gehalten werden. 3 Hybride HMM/KNN-Systeme KNNs sind zwar in der Lage, Phoneme zu klassifizieren, sind aber nur begrenzt dafür nutzbar kontinuierliche Sprache zu erkennen. Der folgende Ansatz beruht darum auf dem Grundgerüst der HMM-Systeme und nutzt die guten Klassifizierungseigenschaften des KNNs zur Schätzung der Wahrscheinlichkeit P (o t q k ). Diese kann durch das KNN allerdings nicht direkt geschätzt werden, sondern wird auf die im Folgenden beschriebene Weise ermittelt. Abbildung 3: Das MLP 9

10 3.1 Grundaufbau und Training Der Grundaufbau des KNN ist recht klein, wie Abb. 3 zeigt. Es wird ein einfaches MLP mit einer versteckten Schicht aus ca versteckten Neuronen verwendet. Als Eingabe bekommt es 9 26-dimensionale Merkmalsvektoren, zu denen es dann für 61 Phoneme 1 die a-posteriori-wahrscheinlichkeit P (q k x n ) ermittelt. Trainiert wurde das MLP vorher mit gelabelten Merkmalsvektoren, wobei die Wörter nicht in Sprechreihenfolge, sondern zufällig angeordnet eingespeist wurden. Hierdurch wurde die Trainingszeit wesentlich verkürzt und auch ein besseres Ergebnis erzielt. Für kontextbezogene Analyse wie bei einem TNN ist diese Art des Trainings natürlich nicht geeignet. Damit die Ausgabe die Stochastizitätsbedingung i P (q k o t ) = 1 erfüllt, muss abschließend noch eine Normalisierung durchgeführt werden. 3.2 Bayes Theorem Bisher liefert uns das MLP die Wahrscheinlichkeit P (q k o t ). Was allerdings für den Viterbi-Algorithmus benötigt wird ist P (o t q k ). Dies läßt sich allerdings nach Bayes Theorem leicht abschätzen: also P (o t q k ) P (o t ) = P (q k o t ) P (q k ) P (o t q k ) = P (q k o t ) P (o t ) P (q k ) wobei P (o t ) als konstant für alle Klassen angesehen wird und P (q k ) durch Analysen gewonnen werden kann, da es lediglich die Häufikeitsverteilung der einzelnen Phoneme angibt. Die Zusammenarbeit zwischen KNN und HMM zeigt Abb Bewertung Obwohl wir nun die gleichen Wahrscheinlichkeiten mit den KNNs ermittelt haben, wir wir sie auch mit den konventionellen Methoden bekommen hätten, hat dieses Verfahren einige Vorteile: Höhere Genauigkeit: Die Arbeit mit KNNs benötigt keine genauen Kenntnisse der statistischen Verteilung der Phoneme, sondern ermittelt diese selbst. Dadurch 1 passend zu den 61 Phonem-Klassen der TIMIT-Datenbank 10

11 Abbildung 4: Zu jedem Zeitpunkt t bekommt das KNN die Beobachtung o t mit seinem zugehörigen (beidseitigen) Kontext. Das KNN approximiert die a posteriori-wahrscheinlichkeit P (q k o t ) welches durch Anwendung von Bayes Theorem zur Emissionswahrscheinlichkeit P (o t q k ) transformiert werden kann. Diese Wahrscheinlichkeitsdichten werden nun dem HMM für jeden Zeitpunkt t übergeben, was in der Grafik durch die Pfeile dargestellt wird. Sobald alle Wahrscheinlichkeiten ermittelt wurden, kann für das HMM mittels des Viterbi-Algorithmus der optimale Pfad berechnet werden (die Linie in der Grafik) und somit die Wahrscheinlichkeit für das Wort (hier dad ). wird auch die harte Trennung zwischen diskreten und kontinuierlichen Merkmalen vermieden, die bei konventionellen Methoden oft vorgenommen werden muss. Kontextsensibilität Werden zeitabhängige neuronale Netzte verwendet (wie RNN oder TD- NN), so können auch Lautveränderungen, die durch das vorherigen- 11

12 de Phonem verursacht wurden, erkannt werden, was bei einem reinen HMM nicht möglich ist. Flexibilität: Durch den Einsatz von KNNs zur Abschätzung der Wahrscheinlichkeiten, ist es leicht, unterschiedliche Merkmalsvektoren als Kriterium zu nutzen, auch die gleichzeitige Nutzung von diskreten und kontinuierlichen Merkmalen ist möglich. Abbildung 5: Eingebettes Viterbi-Training mit MLP 3.4 Verbesserungen Um mit einem KNN Klasseneinteilungen durchführen zu können, muss es zuerst mit gelabelten Eingaben trainiert werden. Diese Eingaben per Hand zu labeln ist eine sehr aufwändige Arbeit, die mit folgender Verbeserung erleichtert werden soll. 12

13 Als Grundstock dient ein handgelableter Standartwortschatz (z.b. aus der TIMIT-Datenbank für amerikanisches Englisch). Dieser wird anschließend mittels eines eingebetten Viterbi-Trainings iterativ optimiert, wie Abb. 5 zeigt. Literatur [1] Borlaurd, H. and Morgan, N. Hybrid HMM/ANN Systems for Speech Recognition: Overview and New Research Directions. [2] Richard, M.D. and Lippemann, R.P. Neural network classifiers estimate Bayesian a posteriori probabilities, Neural Computation, no. 3, pp ,