Diskriminatives Training, Neue Wort Problem. Sebastian Stüker

Transkript

1 Institut für Anthropomatik Diskriminatives Training, Neue Wort Problem Sebastian Stüker Interactive Systems Labs

2 EM findet gute Modellparameter,indem es maximiert: X T P(X λ) T: Menge der Trainingsäußerungen Problem: Warum, sollte dieses Kriterium zu einer guten Wortfehlerrate führen Gute WER bedeutet, dass der Abstand der korrekten Wortfolge zur Entscheidungs-grenze (decision boundary) maximiert wird Sprich Abstand der W keit der korrekten Wortfolge zu allen anderen Wortfolge soll möglichst groß sein Heißt nicht unbedingt, dass die absolute W keit der korrekten Wortfolgen möglichst groß wird 2

3 ML Training lernt nur aus Positivbeispielen: x gehört zu Klasse C => trainiere Klasse C Wir hätten aber auch gerne, dass aus Negativbeispielen gelernt wird: x gehört nicht zu Klasse C => trainiere Klasse C Viele Negativbeispiele: Wann aus welchen Beispielen lernen? Ähnlich wie beim diskriminativen Training bei neuronalen Netze 3

4 1. Trainiere einen Erkenner mit regulärem Baum-Welch (oder Viterbi) Training 2. Führe Erkennung (kontinuierliche Sprache, Forward) auf allen Trainingsdaten durch 3. Identifiziere die falsch erkannten Abschnitte der Äußerungen 4. Entferne deren Beitrag zum Training (durch Subtraktion von den Akkumulatoren) korrekter Pfad falscher Pfad berechne den "korrekten" Pfad, und mache Baum-Welch-Training (accu +=...) berechne "falschen" Pfad, und trainiere negativ (accu -=...) dann wird die Wirkung der korrekt erkannten Abschnitte neutralisiert (+=x... -=x... = 0.0) der Beitrag der falsch erkannten Abschnitte wird aus den Akkumulatoren entfernt Variation: verwende verschiedene Trainingsfaktoren (accu += f... vs. accu -= g...) 4

5 Beim Decoding ist das Klassifikationskriterium die Posterioriw keit gemäß: Im Training wollen wir die Modellparameter θ des AM optimieren 5

6 Also optimieren wir die Parameter so, dass die Posterioriw keit maximiert wird: Wie lässt sich das interpretieren? 6

7 Transinformation (MMI) gibt an, ob zwei Zufallsgrößen statistisch zusammenhängen Verschwindet, wenn kein Zusammenhang, wird maximal wenn eine Größe aus der anderen berechnet werden kann. Um MMI zu maximieren, reicht es, dies zu maximieren: 7

8 Also, wenn MMI maximiert wird, wird auch die Posterioriw keit maximiert! Vereinfachen: D.h., um die Posteriorw keit zu maximieren, reicht es, zu maximieren: 8

9 In der log Domäne ergibt sich dann: D.h. MMIE maximiert die Log-Likelihood Distanz zwischen der Referenz und allen anderen, falschen Wortfolgen 9

10 In der Theorie, hätten wir korrekte A-Priori W keiten und klassenbedingte W keiten, sollte MLE besser sein als MMIE, da glattere Fläche bei der Optimierung [A. Nadas, 1983] In der Praxis ist das nicht der Fall, deshalb MMIE oft besser als MLE MLE schätzt Parameter nur von den korrekten Hypothesen, MMIE bezieht auch die falschen Hypothesen mit ein. MMIE ist rechenintensiver als MLE Wie genau MMIE für ASR Training? 10

11 Berechnung MMI Schätzung beinhaltet Summe über alle falschen Hypothesen In der Praxis nicht machbar, deshalb wieder n- besten Listen oder noch besser: Wortgraph 11

12 Bekannter, einfacher Algorithmus zur Optimierung einer Zielfunktion: Gradientenabstieg/-aufstieg Iterative Verbesserung der Parameter Wenn nur kleine Schritte beim Aufstieg, wahrscheinlich, dass konvergiert (aber Gefahr von lokalen Minima etc.) Gradientenabstieg wurde in den 80ern für MMIE verwendet 12

13 Erinnerung Baum Welch Regel: Extended Baum Welch für MMIE Verglichen mit BW, berücksichtigt EBW auch die falschen Hypothesen D kontrolliert die Lernrate EBW garantiert keine Konvergenz, funktioniert aber gut in der Praxis MMIE Suchraum nicht sehr glatt, deshalb manchmal noch Glättungstechniken (z.b. Interpolation mit EM Update) 13

14 Trainiere erstes MLE Modell Dekodiere Trainingsset mit Unigram Sprachmodell: Schwaches Sprachmodell, weil vor allem die Akustik verbessert werden soll Ergebnis: Wortgraphen Mehrer Iterationen von EBW, halte Wortgraphen konstant Wichtig: Je mehr Daten, desto besser. Große Gefahr des Overfitting bei MMIE Training. 14

15 15

16 EM und MMIE Training optimieren nur W keiten (klassenbedingte und Posteriori) innerhalb des Bayesrahmenwerk Wäre es nicht besser, die Fehlerrate direkt zu optimieren? Zur Optimierung verwendet man immer eine Zielfunktion, z.b. die Posterioriw keit, die zu maximieren ist WER ist keine gute Funktion zur Optimierung: Nicht glatt Nicht ableitbar, also kein Gradientenauf- oder abstieg Minimum Classification Error (MCE) / Minimum Word Error Rate (MWE) Training versucht aber genau das 16

17 Da WER schlecht optimierbar, da nicht glatt, muss sie geglättet werden: ei repräsentiert den Klassifikationsfehler für Referenz i: ei>0 weist auf Fehler hin, ei 0 bedeutet korrekte Klassifikation di ist die Diskriminierungsfunktion, die angibt wie start X als Klasse i klassifiziert wird. Muss 0 sein und differenzierbar N ist die Anzahl der Klassen η kontrolliert das Gewicht der falschen Klassen. 17

18 Alternativ kann ein Gradientenabstieg auf einer geglätten Wortfehlerfunktion gemacht werden: L: Levenshtein Distanz zwischen Hypothese k und und Trainingsreferenz kn S: Indikatorfunktion zur Glättung der Fehlerfunktion: p ist die Posterioriw keit gegeben das Modell λ η kontrolliert die Stärke der Glättung 18

19 Summe über alle möglichen Hypothesen nicht möglich, stattdessen n-besten Liste Dann Gradientenabstieg nach den Modellparametern λ η muss vorsichtig gewählt werden: Wenn zu klein, nicht genügend Glättung, wenn zu hoch numerische Schwierigkeiten Bei MWE und MCE Training ignoriert man Äußerungen im Training, die korrekt klassifiziert werden. 19

20 Hallo, ich bin Herr Schaaf. Hallo, ich bin haarscharf. Hello, I am precise! SMT System 20

21 Standarderkenner benutzen ein festes Vokabular Vokabular wird optimiert um Fehler durch unbekannte Worte zu minimieren: Kleine OOV Rate Abhängig von Sprache und Erkennungsaufgabe Sensible bei Nichtübereinstimmung von Training- und Testdaten Sehr großer Einfluss auf Wortfehlerrate Ein OOV produziert mehr als einen Fehler (mehrer Folgefehler) Ein OOV Fehler kann das Verständnis der gesamten Äußerung zerstören 21

22 Vergrößere Vokabulargröße: Laufzeit und Ressourcenverbrauch steigen, Gefahr von Verwechselungen Adaptiere das Vokabular mit vorher verfügbarem Wissen Modelliere OOV Wörter: Akustisches Modell Sprachmodell Erkenne OOV Wörter und lerne sie dann (ggf. interaktiv) 22

23 Number of equally frequent Words There is words that occur only once Word Count 23

24 Akustische Modell: Finde generische Wortmodell, das besser auf OOV Wörter als of IV (in vocabulary) Wörter passt. Erkennungsgenauigkeit wird nicht verschlechtert Identifiziere verdächtige Wörter Sprachmodell: Finde Klassensystem, das: Die OOV Detektion unterstützt Für Erkennung geeignet ist 24

25 Generisches Wort: Flache, Durchschnittsakustisch von Sprachwörtern Schleife von Phonemen/Silben/andere Einheiten Benutze ein unbekanntes Wort Head-Tail Modell Mische Wörter und Unterwörter Schwierig mit statistischem Sprachmodell 25

26 Phonemschleife Flaches Modell Head-Tail Wörter Wichtig: modelliere Head wie reguläres Vokabularwort 26

27 LM ist kritisch OOV rate wird im Training unterschätzt (selbst mit cut-off für seltene Worte) Part-of-speech Sprachmodell Definition von offenen Wortklassen durch Experten Nachnahmen, Städte etc. Washington Nachname oder Stadt? Können die Klassen unüberwacht gelernt werden? 27

28 OOV =Out-of-Vocabulary punk =potentially unknown IV =In Vocabulary 28

29 29

30 30

31 Erfordert Phonetische Transskription Zuweisung zu Sprachmodellklassen Intraklassenw keit Muss aus zurückgehaltener W keitsmasse kommen Einmal gelernt, dann höhere W keit Optional Buchstaben (Schreibweise Aussprache kann von Beispielaussprache gelernt werden 31

32 32