Teil VIII. Dekodierung mit HMMs. SPEZIELLE MUSTERANALYSESYSTEME Schrift- und Spracherkennung mit Hidden-Markov-Modellen

Transkript

1 SPEZIELLE MUSTERANALYSESYSTEME Schrift- und Spracherkennung mit Hidden-Markov-Modellen Vorlesung im Wintersemester 206 Teil VIII Dekodierung mit HMMs Prof. E.G. Schukat-Talamazzini Stand: 5. September 206 Σ Dekodierung ˆ= Maximierungsaufgabe w = argmax {P AM (X w) P LM (w)} w KODIERUNG & ÜBERTRAGUNG DEKODIERUNG Merkmal- Text- quelle w Sprecher/in f berechnung X Erkenner ASM LSM ŵ Massives Resourcenproblem. viele Wörter, Modelle, Verteilungen 2. zerklüfteter Suchraum aufgrund mächtiger Grammatikmodelle 3. Kombinatorik unbekannter Wortgrenzen in kontinuierlicher Sprache

2 Σ Angriffsflächen Lösungsansätze Rekombination von Teillösungen Beschneidung des Suchraums ( pruning ) Sequentielle Dekomposition der Analyse Programmtechnisches Vorgehen Zeitliche Überlagerung bei der Speicherverwaltung Impliziter Suchraumaufbau Datenflußkontrolle: Dichteberechnungen, Cache Risiken und Nebenwirkungen? Modellierungsfehler: Dekodierungsfehler: w gesprochene Wortfolge gefundene Wortfolge w Σ Kompilierte Netzwerke aus HMMs Synchrone Suche Einzelwort Verbundwort Bigramm-Modell Einzelworterkennung Bigramm-Grammatik oder weniger Jedes Wortmodell λ(w ) besitzt je einen E/A-Zustand Vernetzung der Wort-HMMs im Sinne der Grammatik Dekodierung durch Viterbi-Algorithmus auf dem Netzwerk Optimale Zustandsfolge Lösung w /3 /3 /3 λ(w ) λ(w 2 ) λ(w 3 ) λ V Die Modelle aller Wortschatzeinträge werden parallel geschaltet. Synchrone Suche Strikte Verarbeitung des Eingabesignals in Zeitrichtung ( von links nach rechts ) Es können Unigrammwahrscheinlichkeiten eingebracht werden.

3 Σ Verbundworterkennung mit bekannter Satzlänge Verbundworterkennung mit unbekannter Satzlänge ρ... ρ λ V, λ V,m λ V Es werden m Wortmodellbündel in Serie geschaltet. Ein Wortmodellbündel wird zu einer Schleife verschaltet. Eine Fluchtwahrscheinlichkeit ρ regelt die (mittlere) Wortanzahl. Σ Verbundworterkennung mit wortbezogenen Bigrammen Verbundworterkennung mit kategoriebezogenen Bigrammen λ(w ). λ(w L ) P(W i W ) P(W i W L ) Wort HMM λ(w i ) P(W W i ) P(W L W i ) λ(w ). λ(w L ). HMM Bündel einer Wortkategorie P(W j C i ) λ(w j ) λ(c i ) P(C C i ) λ(c ). P(W i ) mit Bigrammübergängen P($ W i ). P(W k C i ) λ(w k ) P(C N C i ) λ(c N ) L Wortmodelle und L 2 Übergangskanten mit Bigramm-W keiten P(W l C i ) λ(w l ) P($ C i ) L Wortmodelle im Falle disjunkter Wortkategorien

4 Σ Wann realisiert ein HMM-Netzwerk eine Grammatik? Für alle Wortfolgen w V muß gelten: P(X λ(w)) P(w)? = P(X, w λ) def = q S T w P(X, q λ) One-Stage/Level-Building Vorwärtsdekodierung PTB (es bezeichnet S T w die Menge aller Zustandsfolgen der Dauer T, welche die Kette w traversieren) Expansion konfluenter Zustände: a,0 a 0,3 a,0 a 0,3 a 2,0 a 0,3 a,0 a 0,4 a 2,0 a 0,4 a 2,0 a 0,4 Σ Welches ist die beste Wortfolge? t 0 t t 2 t 3 t 4 t 5 t 6 Einstufige Verbundwortdekodierung w w 2 w 3 w 4 w 5 w 6 λ( eins ) Viterbi-Wortfolge w VA = w(q ), q = argmax {P(w) P(X, q λ(w))} q S T Optimale Wortsegmentierung λ( zwei ) (t, w ) }{{} w SEG = argmax t,w P(t, w X ) = argmax {P(X, t w) P(w)} t,w λ( drei ) zwei eins drei zwei zwei t Zeit Maximum a posteriori-wortfolge w MAP = argmax {P(w) P(X λ(w))} w V One-stage Algorithmus (Vintsyuk 7, Bridle 82)

5 Σ Algorithmus Mehrstufige Verbundwortdekodierung Vorwärtsdekodierung Algorithmus zwei eins Stufe Stufe 2 λ( eins ) λ( zwei ) INITIALISIERUNG. Setze für alle j =,..., N ϑ (j) = π j b j (x ) und ψ (j) = 0 2 REKURSION. Für alle j =,..., N setze ψ t (j) = argmax i ϑ t (i)a ij sowie max (ϑ t (i)a ij ) b j (x t ) falls s j Wortanfangszustand ist i ϑ t (j) = (ϑ t (i)a ij ) b j (x t ) für alle sonstigen s j i 3 TERMINIERUNG. Setze drei Stufe 3 λ( drei ) P (X λ) = ϑ T (N) und q T = ϑ T (N) 4 RÜCKVERFOLGUNG. Für t = t,..., setze q t = ψ t+ (q t+) Level-building Algorithmus (Myers 8, Rabiner 85) 5 LÖSUNGSWORTKETTE. Setze w = w(q ). Σ t = Schritthaltende Teildekodierung t = t t = t t = T aktuelles Wort Strahlsuche Vorwärts-Rückwärts-Suche Anfangspartien von w bereits eher als in t = T berechnen! Worterkennung vor dem Wortende! q(j, t) = wahrscheinlichste Folge, die in t den Zustand s j erreicht Menge aller Zustände, die zum Zeitpunkt t eingenommen wurden und auf einer optimalen, in t endenden Folge liegen: Q t t = {q t (j, t ) j =,..., N}, t t Zwischenbilanz für Zeitpunkt t, sobald Q t t einelementig ist

6 Σ Algorithmus Viterbi-Algorithmus vorwärts schauend Algorithmus INITIALISIEREN Für alle j {,..., N} setze t und ϑ t (j) π j b j (x t ). 2 VORBESETZEN ϑ t+ (j) 0 ( j) 3 VORWÄRTS FEUERN { } ϑt+ (j) ϑ t+ (j) max ϑ t (i) a ij 4 ABSCHLIEßEN ϑ t+ (j) ϑ t+ (j) b j (x t+ ) ( i, j) ( j) 5 WEITERSCHALTEN Setze t t + oder ENDE. Strahlsuchverfahren Obsolete Maximumoperationen. falls a ij = 0 oder 2. falls ϑ t (i) = 0 Aktive & passive Zustände O t def = {i ϑ t (i) 0} Passive Zustände müssen nicht mehr feuern! Beschneidungsstrategie O B 0 t def = {i ϑ t (i) B 0 Λ t } mit Λ t = max j ϑ t (j) verfolgt nur eine kleine Schar wahrscheinlichster aktueller Zustände die Anzahl der Kandidaten ( Strahlbreite ) ist adaptiv B 0 = Σ Anzahl Zustände Strahlbreite und Hypothesenrang zwei hundert und acht Rg t Sb t zehn Vorwärts-Rückwärts-Suche I Problem Immer noch hohe Kandidatenzahl an den Wortübergängen! Wörter von Strahlsuche aktiviert & gleich wieder deaktiviert. Lösungsansätze getrennte Kandidatenlisten & Strahlkonstanten schnelle Vorauswahl mutmaßlicher Fortsetzungswörter Reduktion der Menge O t aktiver Zustände durch look-ahead : 0 Zeit t Rg t = lokaler Wahrscheinlichkeitsrang der global besten Wortkette Sb t = Anzahl konkurrierender Kandidatenzustände zum Zeittakt t typische Aufwandsreduktion: Faktor 0 20 bei % erhöhter Fehlerrate. Viterbi-Algorithmus vorwärts mit einfachen akustischen und grammatischen Modellen 2. Speichern der aktiven Wahrscheinlichkeitsbewertungen {ϑ t (i) i O t, t T } 3. Viterbi-Algorithmus rückwärts mit komplexeren akustischen und grammatischen Modellen zur Berechnung der zeitinversen Bewertungen ϑ t (i) = max a ij b j (x t+ )ϑ t+(j) j

7 Σ Vorwärts-Rückwärts-Suche II Beschleunigung bei den Rückwärtstransitionen s j s i : Wenn i O t, so ϑ t (i) außerhalb des Suchstrahls {ϑ ϑ B 0 Γ t }. Wenn i O t, so steht ϑ t (i) zur Verfügung. Überprüfe die Ungleichung ϑ t (i) a ij b j (x t+ ) ϑ t+(j) }{{} P (X,q t =s i,q t+ =s j ) B 0 Γ T Graphsuche Kellersuche s m s j s l ϑ t ( ) s i s i s k ϑ t ( ) log P( ) vorwärts s k s j rückwärts Σ Graphsuche Aufgabenstellung Suche bestbewerteten Zielknoten eines gerichteten Graphen Bewerteter gerichteter Graph (K, E, d) Knotenmenge K = {k, k 2,...} Kantenmenge E K K Nichtnegative Kostenfunktion d : E IR + 0 Pfade, Lösungen und ihre Kosten Gerichteter Pfad k = (k,..., k m ) falls alle (k i, k i+ ) E k Lösungspfad falls k K α und k m K ω Kumulative Kosten D(k) def = m d(ki, k i+ ) Heuristisch informierte geordnete Suche INITIALISIERUNG Setze O = K α 2 AUSWAHL Ermittle besten Knoten k = argmin l O ˆf (l) 3 TERMINIERUNG Wenn k K ω dann ENDE 4 EXPANSION Berechne ˆf (k ) für alle (k, k ) E Sortiere die ˆf (k ) in die Schlange O ein 5 ITERATION Gehe 2 Algorithmus Die heuristische Funktion ˆf ( ) schätzt die Erfolgschance der Expansion Algorithmus

8 Σ Spezialfall A*-Algorithmus Eine zulässige & effiziente heurist. inform. Graphsuche. Wahre Zielfunktion f (k) def = argmin {D(k) k k, k Lösung } 2. Additive Zerlegung Weg vom Start nach k Weg von k ins Ziel 3. Dynamische Programmierung f (k) = g(k) + h(k) ĝ(k) def = bislang günstigster Pfad von K α nach k 4. Optimistische Restschätzung ĥ(k) h(k) ( k K) Zulassigkeit & Optimalität des A*-Algorithmus Satz Die geordnete Suche mit ˆf = ĝ + ĥ heißt A*-Algorithmus und besitzt die folgenden Eigenschaften:. Terminierung Algorithmus endet 2. Monotonie nach Expansion von k K gilt ĝ(k) = g(k) 3. Zulässigkeit die erste expandierte Lösung ist die beste 4. Optimale Effizienz min. Anzahl expand. Knoten bzgl. ĥ( ) 5. Anordnung liefert ggf. die n besten Lösungen in Folge Σ Kellersuche ( stack decoding ) K = (V {$}) K α = { } K ω = {w$ w V } K α = { } u u$ v vu vuw vuw$ w vw vw$ K ω Kellersuche und Kostenfunktionen Kumulative Kosten g t (w) def = P(w, x... x t ) = P(w) P(x... x t w) Suchgraph ˆ= Suchbaum ĝ t g t Restwahrscheinlichkeit Lokales Bewertungsprofil h t (w) def = max u V P(u w) P(x t+... x T u) Für f = max t f t gilt: f (w) = Restschätzung f t (w) = g t (w) + h t (w) ( shortfall ) ĥ t (w) = ĥt = { maxu P(wu, X ) w K ω partiell P(w, X ) w K ω vollständig T s=t+ max b j(x s ) j=..n

9 Σ Gestapelte Vorwärtsmatrixberechnung α t (j) bzgl. Modell λ(w) s ω g t (w) s s 2 s 3 g t (w) def = P(x... x t w) def α t (j) bzgl. Modell λ(v) g t (wv) = P(x... x t wv) { b α v w (x ) ( ) t = t () = b (x t ) α v w t () a + g t (w) a 0 t > g t (wv) Suffixäquivalenz Phonetischer Baum Dendrophone Σ Ökonomische Aufgabenstellung Komprimierung des HMM-Wortmodellnetzwerks Reduktion des Speicher- und Berechnungsaufwandes Vorgehensweise Angriffsfläche: die Phonmodellkopien ( 90% Reduktion) Präfixäquivalenz identische α- oder ϑ-wahrscheinlichkeiten auswerten auswertet ausfahre ablehne { } n werte us t a fahre blehne Postfixäquivalenz vorweggenommene Siegerwortentscheidungen { } { } abkaufe ein kau einkaufe ver Kernseife fe Kernsei Präfixäquivalenz & Postfixäquivalenz 3 /r/ { P(X, q ) = max max 2 4 = max t q ( max /n/ P(X, q /to:t/), max q { P (x... x t ) P (x... x t /r/) /to:n/ /to:t/ /ro:t/ } P(X, q /ro:t/) } P (x t+... x T /o:t/) )

10 Σ Phonetischer Lexikonbaum & CD-PLUs Baumstrukturierter Viterbi-Suchraum phonetischer Baum inverser phonetischer Baum phonetischer Rhombus /r/ /n/ /r/ /n/ /r/ /n/ s j α t(j) Triphone Ton o: tn o:/n/ tot o: tt o: rot /r/o: rt o: Zeit t Dendrophone Ton t to:/n/ tot t to: rot /r/ r ro: Speicherplatztopologie der Vorwärtswahrscheinlichkeiten eines phonetischen Lexikonbaums Σ Schrittweise Verfeinerung n beste Wortketten Problem Nicht alle Grammatikformalismen sind HMM-Netzwerk-kompatibel: Pentagramm-Sprachmodelle Zustandsraum = L 4 Kreditkartennummer/Kontrollbedingung 27 teilt k Spielekommandos Springer schlägt Dame auf c3 Lösung = schrittweise Verfeinerung Schnelle Suche zur Erzeugung konkurrierender Zwischenlösungen 2 Sequentielles Ausfiltern vermöge akustischer & grammatischer Neubewertung

11 Σ Zwischenlösungsrepräsentationen für die Satzerkennung Die Systemarchitektur BYBLOS WORTKETTEN WORTGRAPH WORTGITTER. Paula mahlt Kaffee 2. Paula malt Kaffee 3. Pablo malt Kaffee 4. Paula macht Kaffee 5. Paul mahlt Kaffee Paula Pablo mahlt malt Kaffee Wortketten aufzählende Wortfolgeinformation hochredundant Paula Paul Pablo mahlt macht malt Kaffee Tee t STRAHLSUCHE Monophon-ASM Baumstruktur Bigramm-LSM NEUBEWERTUNG Triphon-ASM Wortgrenzen Trigramm-LSM. Wortgraphen explizite Wortfolgeinformation hochökonomisch Wortgitter implizite Wortfolgeinformation durch Zeitstempel übergeneralisierend Die Neubewertung von Wortketten unterliegt keinerlei Einschränkungen hinsichtlich der Struktur akustischer & grammatischer Modelle! Σ n-best Algorithmen Näherungsweise Berechnung der n besten Wortketten mit Varianten des Viterbi-Algorithmus Zustandsbezogener NBVA (Bayer 86) hält in jedem Gitterpunkt (t, j) die n besten Kandidaten in bewertungssortierter Liste D t (j) und berechnet ϑ (k) t { } (j) = max (k) ϑ (l) t (i) a ij b j (x t ) i N, l n }{{} D t (j) Satzbezogener NBVA (Steinbiss 89) rekombiniert konkurrierende Kandidaten für gleiche Wortfolgen Gitterbezogener NBVA (Marino&Monte 89) keine Listen im Wortinneren, nur das dichte Wortgitter { w, ϑ t (w), τ t (w) t =,..., T, w W} ŵ ŵ 2 ŵ 3 ŵ 4 ŵ 5 ŵ 6 ŵ 7 ŵ 8 ŵ 9 ŵ 0 Kettenrekonstruktion aus dem Wortgitter Rekonstruktion der 0 bestbewerteten Wortketten aus dem dichten Wortgitter mit der Rekursion P (t 0... t i, w... w i ) = P (t 0... t i, w... w i ) Zeit t ϑ ti (w i ) max v ϑ ti (v)

12 Σ Der gitterbezogene n-best-viterbi ist suboptimal! Der Tree-Trellis-Algorithmus (Soong) w t = Suchbaum t = T µ 3 µ 2 w 2 asynchron: A* Algorithmus Block Viterbi Algorithmus µ w3 dichtes Wortgitter Rekombination Im Innern des Wortes w 3 werden die Zustandsfolgen µ und µ 2 rekombiniert. Die Wortfolge w w 3 wird fortan durch Pfad µ 3 vertreten, auch wenn P(X, µ 2 ) > P(X, µ 3 ) gelten sollte! synchron: Viterbi Algorithmus Σ An Stelle einer Zusammenfassung EXEMPLARISCHE BERECHNUNGSFOLGE ZUR DEKODIERUNG EINES GESPROCHENEN SATZES Grammatikgesteuerte Spracherkennung Vorverarbeitung des Eingabesignals Diskretisierung Merkmalberechnung Vektorquantisierung 2 Strahlgesteuerter Viterbi-Algorithmus vorwärts Phonemischer Baum, Monophone, Bigramm-Grammatik 3 Wortgitterberechnung rückwärts Inverser Phonemischer Baum, Dendrophone, Bigramm-Grammatik 4 Konstruktion der 00 besten Wortketten A*-Algorithmus oder Dynamische Programmierung 5 Umbewerten & Umsortieren der Wortketten HMM s mit wortgrenzenübergreifenden Polyphonen, Polygramm-Grammatik