Evolutionäre Algorithmen in der Spracherkennung

Transkript

1 Informatik Alexander Eslava Evolutionäre Algorithmen in der Spracherkennung Studienarbeit

2

3 Evolutionäre Algorithmen in der Spracherkennung Hauptseminar Einsatz Evolutionärer Strategien in Eingebetteten Systemen Alexander Eslava Lehrstuhl Informatik II Programmiersysteme Abstract Dieser Text stellt einige evolutionär optimierte Klassifikatoren vor, mit Fokus auf Erkennung von Phonemen in der Spracherkennung. Das sind zum einen GA-Clustering, ein genetischer Vektor-Quantisierer; außerdem ein GP- Klassifikator, welcher Programme entwickelt, die direkt aus dem rohen Zeitsignal Phoneme extrahieren; und schließlich Evolutionäre Neuronale Netze mit GA-Optimierung von Verbindungsgewichten, Topologie oder Aktivierungsfunktionen. 2. Signalfluss von Spracherkennungssytemen Der typische Vorgang der Spracherkennung [7] lässt sich grob folgendermaßen zusammenfassen: 1. Vorverarbeitung des Audiosignals. Das kann z.b. Rauschunterdrückung oder Filterung sein. 2. Feature-Extraktion. Dabei wird das Zeitsignal in eine Sequenz von Feature-Vektoren transformiert. Features sind Merkmale wie z.b. das Spektrum. 3. Phonem-Klassifikation. Ein Feature-Vektor wird auf eine Phonemklasse abgebildet. 1. Einleitung Evolutionäre Algorithmen werden zunehmend zur Anwendung in Lernverfahren der Mustererkennung interessant, insbesondere zur Erkennung von Sprache. Ziel dieses Textes ist es, die Anwendungsmöglichkeiten von EAs für die Spracherkennung aufzuzeigen. Es werden exemplarisch einige evolutionär optimierte Klassifikatoren vorgestellt. Das sind zum einen GA-Clustering, ein genetischer Vektor-Quantisierer; außerdem ein GP-Klassifikator, welcher Programme entwickelt, die direkt aus dem rohen Zeitsignal Phoneme extrahieren; und schließlich Evolutionäre Neuronale Netze mit GA-Optimierung von Verbindungsgewichten, Topologie oder Aktivierungsfunktionen. Der Rest dieser Arbeit ist folgendermaßen gegliedert: Abschnitt 2 gibt einen knappen Überblick über die Phasen eines typischen Spracherkennungsprozesses. Im Anschluss wird die Extraktion von Features aus dem Zeitsignal erläutert. Abschnitt 4 führt einige Begriffe zum Lernen und Erkennen von Phonemen ein. Die nächsten Abschnitte stellen die genannten Anwendungsgebiete vor, wobei im Abschnitt 8 über evolutionäre Neuronale Netze zuerst die Grundlagen behandelt werden. 4. Worterkennung. In der Folge von Phonemen werden Wörter gesucht, in der Regel durch Vergleichen mit sogenannten Hidden-Markov-Models. Bei Einzelworterkennung wird nur das ähnlichste Wort ausgegeben. Bei kontinuierlicher Sprache wird eine Menge von mehreren möglichen Worten ausgegeben. 5. Eine anschließende kontextabhängige Analyse (grammatisch oder statistisch) wählt in kontinuierlicher Sprache das plausibelste Wort aus der Menge aus. 3. Feature-Extraktion Das rohe Zeitsignal wird in kurze (typischerweise 10-20ms) gleichgroße überlappende Abschnitte (Frames) zerschnitten, und jeder Frame wird mit einer Amplitudenhüllkurve multipliziert [7]. Es folgt pro Frame eine Berechnung von mehreren diskriminierenden Merkmalen, und diese werden zu einem Feature-Vektor zusammengefasst. x = (x 1,..., x n ) R n

4 Gängige Features: Fourier-Leistungsspektrum (quadrierte Fourier- Koeffizienten) [7]: F ω = M 1 M 1 x j exp( 2πωj/M) j=0 ω = 0, 1,..., M/2 2 Dies ist eine Transformation vom Zeitbereich in den Frequenzbereich. Die Welle wird als Summe von Sinuswellen mit verschiedener Phasenlage und Amplitude zerlegt. Die Berechnung nach obiger Formel wäre zu ineffizient. Stattdessen verwendet man die Fast- Fourier-Transform (FFT). Abbildung 1. Mel Cepstrum Filterbank. Frequenzgänge der dreieckigen Bandpassfilter. Mel Cepstrum / Mel Frequency Cepstrum Coefficients (MFCC) [7]: Das Signal wird von einer Filterbank aus dreieckigen Bandpassfiltern zerlegt, und die Energie pro Frequenzband berechnet. c k := M 1 ω=0 log[h kω F ω ] H kω : Frequenzgang des k-ten von M dreieckigen Filters (Abb. 1) in Abhängigkeit von Frequenz ω. F ω : Fourier-Koeffizient M : Anzahl der diskreten Frequenzen γ l := M 1 k=0 γ l : MFCC an der Stelle l c k cos[l(2k + 1)π/(2M )] l = 1,..., M Die Auflösungen von Frequenz und Pegel sind logarithmisch, wie das menschliche Ohr. Daher ist das Mel Cepstrum biologisch plausibler als FFT. Nicht zuletzt deshalb ist es die populärste Feature-Menge. Zeitliche Differenzen von Features wie FFT, Mel Cepstrum. Es ist nicht ungewöhnlich, verschiedene Arten von Features in einen Vektor zu kombinieren. Zur Unterscheidung zwischen Sprache und Stille/Hintergrund/Rauschen (wichtig zur Erkennung von Wortgrenzen) wird ein Level- Detektor verwendet, der die Short-Time-Energy (Energie eines Frames) misst. Beim Auftreten eines Sprach-Frames werden die FFT- oder MFCC-Koeffizienten anhand der Short-Time-Energy normalisiert, was die Erkennung von Phonemen unabhängig von der Lautstärke ermöglicht. Abbildung 2. Klassen sind Regionen im Feature-Raum. Hier: Erkennung von Vokalen aus 2 Features. [6] 4. Phonemklassifikation In der Spracherkennung gibt es viele Wortuntereinheiten, in die man das Audiosignal zerlegen kann, z.b. Silbe, Halbsilbe, Doppelsilbe, Phon, Phonem und andere [7]. In dieser Arbeit definiere ich den in der Literatur nicht ganz einheitlich festgelegten Begriff Phonem als die kleinste Wortuntereinheit, das heisst, ein Audiosegment mit ungefähr konstantem Spektrum. Koartikulatorische Effekte beim Übergang zwischen Phonemen können die Erkennungsrate degradieren. Verbesserung bringt die Berücksichtigung des Kontextes (benachbarte Frames) oder zeitliche Änderungen der FFT oder MFCC als zusätzliche Features. Ziel ist die Zuordnung eines Feature-Vektors auf eine

5 von K Klassen: R n {0,..., K}, x y Anschaulich gesehen sind Klassen Regionen im Feature- Raum (Abb. 2) Unsupervised Learning Beim Unsupervised Learning, auch genannt Clustering und Vector Quantization, werden dem Klassifikator N Trainingsbeispiele x i (Trainingsmenge S) ohne Angabe der gewünschten Ausgabe präsentiert. S = { x 1,..., x N } Der Feature-Raum wird selbstständig in K Sektoren (Clusters), entsprechend K Klassen, partitioniert. Dabei wächst die lokale Granularität (Dichte von Clusters) mit der lokalen Dichte von Beispielvektoren (je mehr Beispiele in einem Gebiet, desto feiner die Auflösung dort). Jeder Cluster C k wird repräsentiert durch einen Vektor z i, dem Cluster- Zentrum oder Code-Book-Vektor. Diese bilden das Code- Book. Ein Eingabevektor wird auf die Klasse mit minimalen euklidischen Abstand des Cluster-Zentrums abgebildet. Der Vektor wird sozusagen auf den nächsten Code-Book- Vektor gerundet. Damit erhält man eine adaptive Datenreduktion des Feature-Raums Supervised Learning Beim Supervised Learning wird zu jedem Trainingsbeispiel die Klasse mitangegeben. Diese dient beim Training als gewünschte Ausgabe des Klassifikators (Target-Wert = Output-Wert). S = {( x 1, y 1 ),..., ( x N, y N )} Ziele sind nicht nur das Lernen der Beispiele (korrekte Separation der Trainingsmenge), sondern auch die Generalisierungsfähigkeit: Neue Eingabevektoren aus einer Testmenge sollen mit möglichst hoher Wahrscheinlichkeit korrekt klassifiziert werden. Die Trainingsmenge wird somit interpoliert, das heisst aus den Beispielen versucht das System, die tatsächliche Klassenzugehörigkeitsfunktion zu approximieren. 5 K-Means-Algorithmus Ein einfacher und populärer Clustering-Algorithmus ist K-Means [7]: 1. Initialisierung von z i : Wähle aus Trainingsmenge S zufällig K Punkte als Clusterzentren aus. 2. WIEDERHOLE 3. Klassifiziere Trainingsbeispiele gemäss nächstem Cluster-Zentrum y( x i ) = argmin x i z k x i C k k {1,...,K} C k := { x y( x) = k} 4. Aktualisiere Clusterzentren als Schwerpunkte: z k = N k 1 x i, N k := S C k x i C k 5. BIS keine Änderung mehr Es ist ein Gradientenabstiegsverfahren (schrittweise Optimierung entgegen der Ableitung der Fehlerfunktion) und stagniert deshalb leicht in einem lokalen Minimum. 6 GA-Clustering GA-Clustering [6] kombiniert K-Means mit einem genetischen Algorithmus. Die Koordinaten eines Cluster- Zentrums, reell kodiert, bilden ein Gen im Chromosom. Zur Initialisierung wählt man zufällig eine Teilmenge der Trainingspunkte als Clusterzentren aus. Die Fitness-Funktion ist die Clustering-Metrik: M = z k x i k x i S C k Selektion erfolgt proportional zur Fitness (Roulette- Wheel-Selection). Als Crossover gibt es Single-Point mit konstanter Wahrscheinlichkeit. Die Mutation geschieht mit fester Wahrscheinlichkeit nach der Regel: v = v + 2δv mit δ [ 1; +1] uniforme Zufallsvariable und v eine Variable im Chromosom. Den Experimenten in [6] zufolge liefert GA-Clustering deutlich bessere Lösungen als K-Means. 7 GP-Klassifikator In [8] wird ein GP-Klassifikator zur Phonemerkennung vorgestellt, welcher auf genetisch optimierten Programmen basiert. Besonders erstaunlich ist, dass die Feature- Extraktion übersprungen wird. Stattdessen wird ein Frame aus dem zeitlichen Audiosignal direkt quasi als Feature- Vektor verwendet. Dieses Vorgehen stellt eine Ausnahme unter den Phonemerkennungsalgorithmen dar, denn meistens wird das Signal in den Frequenzbereich transformiert.