Hidden Markov Models (HMM) Karin Haenelt

Transkript

1 Hidden Markov Models (HMM) Karin Haenelt

2 Inhalt Einführung Theoretische Basis Elementares Zufallsereignis Stochastischer Prozess (Folge von elementaren Zufallsereignissen) Markow-Kette (Stochastischer Prozess mit begrenzter Abhängigkeit) Hidden Markov Models Definition Aufgabenlösungen mit Hidden Markov Models State Emission Models / Arc Emission Models 2

3 Was sind Hidden Markov Models? Ein Hidden Markov Model (HMM) ist ein stochastisches Modell auch beschreibbar als Variante eines endlichen Automaten Theoretische Basis: Markow-Ketten Vorteile direkt aus annotierten Daten (z.b. Text-Corpora mit Metadaten) ableitbar Eigenschaften der Daten und Verarbeitungsverfahren nach stochastischen Gesetzmäßigkeiten trainierbar und optimierbar Nachteil nicht-deterministisch 3

4 Was ist ein Hidden Markov Model? Eine Variante eines endlichen Automaten mit nomn auxv part wir werden geschickt einer Menge von Zuständen einem Ausgabealphabet Q O Übergangswahrscheinlichkeiten A Ausgabewahrscheinlichkeiten B Startwahrscheinlichkeiten Π.3 x.2 x.4 x.3 x.2 x.4 = Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures 4

5 Was ist ein Hidden Markov Model? Der aktuelle Zustand kann nicht beobachtet werden Nur die Ausgaben eines Zustandes können beobachtet werden nomn auxv part wir werden geschickt.3 x.2 x.4 x.3 x.2 x.4 = Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures 5

6 Hidden Markov Model: Beispiel in einem Text lassen sich nur die Ausgaben (= produzierte Wörter) beobachten (visible) die Sequenz von Zuständen (= Wortarten), die die Wörter ausgeben, (Satzmuster) lässt sich nicht beobachten (hidden) mehrere Sequenzen können dieselbe Ausgabe erzeugen: nomn auxv part wir werden geschickt nomn kopv adje wir werden geschickt.3 x.2 x.4 x.3 x.2 x.4 = x.2 x.3 x.5 x.2 x.2 =

7 Anwendungsgebiete von Hidden Markov Models Mit Hilfe von Hidden Markov Models lassen sich zu beobachteten Daten Metadatenmuster auffinden Data Mining: Erkennung von Mustern in Datenbeständen Spracherkennung Part-of-Speech-Tagging Bildverarbeitung Bioinformatik Gestenerkennung Psychologie 7

8 Hidden Markov Model Hidden Markov Models (HMM) sind stochastische Modelle, die auf Markow-Ketten beruhen 8

9 Inhalt Einführung Theoretische Basis Elementares Zufallsereignis Stochastischer Prozess (Folge von elementaren Zufallsereignissen) Markow-Kette (Stochastischer Prozess mit begrenzter Abhängigkeit) Hidden Markov Models Definition Aufgabenlösungen mit Hidden Markov Models State Emission Models / Arc Emission Models 9

10 Wahrscheinlichkeitsraum Modell zur Beschreibung von Zufallsexperimenten ein Wahrscheinlichkeitsraum ist ein Tripel Ω eine beliebige Menge F eine σ-algebra P ein Wahrscheinlichkeitsmaß ( Ω, F, P) 10

11 σ-algebra eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist Mengensystem über Ω mit folgenden Eigenschaften F A F A F A, A, F A i i F Brants,Crocker,Lieblang,

12 Wahrscheinlichkeitsmaß eine Abbildung mit den Eigenschaften P : F [1,0] P( A) 0 für jedes A F Gilt A, A2,... F mit Ai Aj = für so gilt ( A ) = P ( A ) P( Ω) = 1 1 i j P = i = 1 i i =1 A i, 12

13 Komponenten des Wahrscheinlichkeitsraumes (Ω,F,P) Ω Bezeichnung Wahrscheinlichkeit sraum Ergebnismenge, Grundgesamtheit σ-algebra über Ω Ereignisraum ω σ-algebra über Ω Ereignis Erläuterung Menge aller Elementarereignisse Menge aller möglichen Ereignisse; -Nicht notwendigerweise jede Teilmenge von Ω, mindestens - Ω als sicheres Ereignis - als unmögliches Ereignis 13

14 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1 (Ω,F,P) Bezeichnung Wahrscheinlichkeits raum Beispiel Ω Ergebnismenge {a,b,c} σ-algebra über Ω Ereignisraum ω σ-algebra über Ω Ereignis { {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} } {a,b,c} 14

15 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel) Bezeichnung Beispiel (Ω,F,P) Wahrscheinlichkeits raum Ω Ergebnismenge {rot,gelb,grün} σ-algebra über Ω Ereignisraum { {rot}, {rot,gelb},{gelb}, {grün}, {} } ω σ-algebra über Ω Ereignis {} 15

16 Stochastischer Prozess Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse (Ergebnismenge eines Wahrscheinlichkeitsraumes). Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren Zufallsereignissen X 1,X 2, X i Ω Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess heißen Zustände des Prozesses. Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand X t befindet Brants, 1999: 30 16

17 Stochastischer Prozess Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man 1. die Anfangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X 1 beobachtet werden kann (d.h. den Startzustand bildet) π i = P(X 1 =s i ) 2. die Übergangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt: P(X t+1 = x t+1 X 1 = x 1, X 2 = x 2,,X t = x t ) Brants, 1999: 30 17

18 Stochastischer Prozess: Beispiel Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir} wir beobachten an jeder Position, welches Wort generiert wurde Sei X 1 das Wort zum ersten Beobachtungszeitpunkt X 2 das Wort zum zweiten Beobachtungszeitpunkt, usw. Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter Für diese Folge kann man eine Wahrscheinlichkeit angeben 18

19 Markow-Kette Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand X t+1 bei bekanntem gegenwärtigem Zustand X t unabhängig von den vergangenen Zuständen X t-1, X t-2,,x 0 ist. Es gilt P(X t+1 = j X t = i t, X t-1 = i t-1,,x 1 = i 1, X 0 =i 0 ) = P(X t+1 = j X t = i t ) daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern Brants,Crocker,Lieblang, 2000:22 19

20 Endliche Markow-Kette Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden Prozess ohne Gedächtnis mit endlich vielen Zuständen Brants, 1999: 31 entspricht den Eigenschaften eines endlichen Automaten 20

21 Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q? nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s? Markow-Modell 1. Ordnung Markow-Modell 2. Ordnung Kunze,

22 Markow-Kette: Matrix-Darstellung kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A a ij = P( Xt + 1 = sj Xt = si) i, i j aij N j= 1 0, j = 1 Anfangswahrscheinlichkeiten Π ai πi = P ( X 1 = si) N i = 1 π i = 1 X = s X t = si t + 1 j geschickt werden wir geschickt werden wir X t π geschickt.2 werden.3 wir.5 Manning/Schütze, 2000:

23 Markow Model: Definition Ein Markow-Modell wird spezifiziert durch ein Tripel (S,Π,A) S = {S 1,..., S N } Menge der Zustände Π = {π i } A = {a ij } Wahrscheinlichkeiten der Startzustände π i = P(X 1 = S i ) Wahrscheinlichkeiten der Zustandsübergänge a ij = P(X t+1 = S j X t = S i ) 1 i, j N N i = 1 N j= 1 πi = 1 aij = 1 23

24 Markow-Kette: Graph-Darstellung kann beschrieben werden durch Zustandsübergangsgraphen werden geschickt.3 wir

25 Markow-Kette: Berechnung einer Sequenz- Wahrscheinlichkeit Wahrscheinlichkeit der Sequenz der Zustände X 1 X T P( X 1,..., XT) = P( X 1) P( X 2 X 1) P( X 3 X 2, X 1)... P( XT X 1,..., XT 1) für eine Markow-Kette gilt: = T P( X 1) P( X 2 X 1) P( X 3 X 2)... P( XT X 1) π X T 1 Π t= 1 = a X t X t+ 1 1 Manning/Schütze, 2000:

26 Markow-Kette: Berechnungsbeispiel Wahrscheinlichkeit der Sequenz der Zustände X 1 X T P ( X 1 = wir, X 2 = werden, X 3 = geschickt) X t π = = P( X P( X P( X = wir) = werden X = geschickt X ( ) = = wir) 2 = werden) X t = si t + 1 j X = geschickt.2 werden.3 wir.5 geschickt werden wir geschickt werden wir s 26

27 Inhalt Einführung Theoretische Basis Elementares Zufallsereignis Stochastischer Prozess (Folge von elementaren Zufallsereignissen) Markow-Kette (Stochastischer Prozess mit begrenzter Abhängigkeit) Hidden Markov Models Definition Aufgabenlösungen mit Hidden Markov Models State Emission Models / Arc Emission Models 27

28 Hidden Markov Modell (HMM): Beschreibung Ein Hidden Markov Model ist ein Markow-Modell bei dem nur die Sequenz der Ausgaben beobachtbar ist, die Sequenz der Zustände verborgen bleibt Es kann mehrere Zustandssequenzen geben, die dieselbe Ausgabe erzeugen 28

29 Hidden Markov Model: Beispiel in einem Text lassen sich nur die Ausgaben (= produzierte Wörter) beobachten (visible) die Sequenz von Zuständen (= Wortarten), die die Wörter ausgeben, (Satzmuster) lässt sich nicht beobachten (hidden) mehrere Sequenzen können dieselbe Ausgabe erzeugen: nomn auxv part wir werden geschickt nomn kopv adje wir werden geschickt.3 x.2 x.4 x.3 x.2 x.4 = x.2 x.3 x.5 x.2 x.2 =

30 Hidden Markov Model: Definition Ein HMM wird spezifiziert durch ein Fünf-Tupel (S,K, Π, A, B) S = {S 1,..., S N } Menge der Zustände K = {k 1,..., k M } Menge der Ausgabesymbole Π = {π i } A = {a ij } B = {b j (k)} Wahrscheinlichkeiten der Startzustände π i = P(X 1 = S i ) Wahrscheinlichkeiten der Zustandsübergänge a ij = P(X t+1 = S j X t = S i ) 1 i, j N N = i= 1 N j= 1 πi 1 aij = 1 Wahrscheinlichkeiten der Symbolemissionen in Zustand j b j (k) = P(K k in t X t = S j ) M 1 j N 1 k M k = 1 bj( k Rabiner, 1989, S. 260/261 ) = 1 Manning/Schütze, 2000:

31 Ein Hidden Markov Model Übergangsmatrix Emissionsmatrix Startwahr scheinlich keit X t X t+1 o t π Adje AuxV KopV Nomn Part geschickt werden wir... Adje AuxV KopV Nomn Part

32 Hidden Markov Model: Gewinnung der Daten Übersicht Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile 32

33 Hidden Markov Model: Gewinnung der Daten (1) Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile wir werden geschickt vom König. nomn auxv part.... Punkt Wir werden geschickt durch Übung. nomn kopv adje.. Punkt 33

34 Hidden Markov Model: Gewinnung der Daten (2) Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile Adje AuxV KopV Nomn Part Punkt geschickt werden wir. Adje AuxV KopV Nomn Part Punkt

35 Hidden Markov Model: Gewinnung der Daten (3) Annotation eines Corpus Auszählung der Sequenzen Umrechnung der Häufigkeiten in prozentuale Anteile Adje AuxV KopV Nomn Part Punkt geschickt werden wir. Adje AuxV KopV Nomn Part Punkt

36 Drei grundlegende Aufgaben, die mit HMMs bearbeitet werden 1. Dekodierung: Wahrscheinlichkeit einer Beobachtung finden brute force Forward-Algorithmus / Backward-Algorithmus 2. Beste Pfad-Sequenz finden brute force Viterbi-Algorithmus 3. Training: Aufbau des besten Modells aus Trainingsdaten Manning/Schütze, 2000:

37 Algorithmen für Hidden Markov Models Note: Computing a model given sets of sequences of observed outputs is very difficult, since the states are not directly observable and transitions are probabilistic. One method is the Baum Welch algorithm. Although the states cannot, by definition, be directly observed, the most likely sequence of sets for a given sequence of observed outputs can be computed in O(nt), where n is the number of states and t is the length of the sequence. One method is the Viterbi algorithm. Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures 37

38 A1: Wahrscheinlichkeit einer Beobachtung finden gegeben: eine Sequenz von Beobachtungen O=(wir,werden,geschickt) ein Modell = ( A, B, Π) µ gesucht: die Wahrscheinlichkeit O = ( o1,..., ot) Adje AuxV KopVNomn Part g schicktwerden wir.. Adje AuxV KopV Nomn Part π P( wir, werden, geschickt µ ) 38

39 A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 1: brute force Für alle möglichen Zustandsfolgen Berechnung der Wahrscheinlichkeit der Beobachtungen Summierung der Wahrscheinlichkeiten P( O µ ) = X = π X 1... X P ( O X, µ ) P( X µ ) b T 1 =Π a 1 b X 1 X 1O1 XtXt + 1 Xt + 1Ot + 1 t T state transition symbol emission vgl. Rabiner, 1989, S. 260/261 vgl. Manning/Schütze, 2000:

40 A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 1: brute force: Beispiel P( O µ ) = π X 1... X =Π a 1 P(wir,werden,geschickt Adje Adje Adje, µ) + P(wir,werden,geschickt Adje Adje AuxV, µ) + b T 1 b X 1 X 1O1 XtXt + 1 Xt + 1Ot + 1 t T + P(wir,werden,geschickt Nomn AuxV Part, µ) + + P(wir,werden,geschickt Nomn KopV Adje, µ) + + P(wir,werden,geschickt Part Part Part, µ) = =0.0.3 x.2 x.4 x.3 x.2 x.4 = x.2 x.3 x.5 x.2 x.2 = =0.0 =

41 A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 1: brute force: Effizienz P( O µ ) = π X 1... X b T 1 =Π a 1 b X 1 X 1O1 XtXt + 1 Xt + 1Ot + 1 t T Lösungsweg ist hoffnungslos ineffizient Benötigt im allgemeinen Fall, d.h. - - (2T -1) x N T Start in jedem Zustand möglich, Jeder Zustand kann auf jeden folgen Multiplikationen T Anzahl der Beobachtungen O N Anzahl der Zustände vgl. Rabiner, 1989, S. 260/261 vgl. Manning/Schütze, 2000:

42 A1: Wahrscheinlichkeit einer Beobachtung finden Lösungsweg 2: Vorwärts- und Rückwärts-Verfahren Forward procedure Backward procedure Merken partieller Ergebnisse statt Wiederholter Berechnung Manning/Schütze, 2000: 326ff 42

43 A2: Beste Pfadsequenz finden gegeben: eine Sequenz von Beobachtungen O=(wir,werden,geschickt) ein Modell = ( A, B, Π) µ gesucht: die wahrscheinlichste Pfadsequenz O = ( o1,..., ot) Adje AuxV KopVNomn Part g schicktwerden wir.. Adje AuxV KopV Nomn Part π arg max P( X O, µ ) X 43

44 A2: Beste Pfadsequenz finden Lösungsweg 1: brute force: Wie in [A1]: alle Varianten berechnen die wahrscheinlichste auswählen hoffnungslos ineffizient Lösungsweg 2: beste Einzelzustände Für jeden Zeitpunkt t Zustand mit höchster Ausgabewahrscheinlichkeit auswählen Zusammensetzung kann unwahrscheinliche Sequenzen ergeben 44

45 A2: Beste Pfadsequenz finden Lösungsweg 3: Viterbi-Algorithmus Speichert für jeden Zeitpunkt t die Wahrscheinlichkeit des wahrscheinlichsten Pfades, der zu einem Knoten führt wir Adje werden Adje geschickt Adje. Ω wir AuxV wir KopV werden AuxV werden KopV geschickt AuxV geschickt KopV wir Nomn werden Nomn geschickt Nomn wir Part werden Part geschickt Part 45

46 A3: Training der Modellparameter gegeben: eine Sequenz von Beobachtungen In einem Trainingscorpus O = ( o1,..., ot) gesucht: ein Modell, das für die beobachteten Sequenzen im Trainingscorpus die maximalen Wahrscheinlichkeiten erzeugt µ = ( A, B, Π) arg µ max P( OTraining µ ) Manning/Schütze, 2000: 333ff 46

47 A3: Training der Modellparameter Lösung: Baum-Welch oder Forward-backward-Algorithmus Manning/Schütze, 2000: 333ff 47

48 Formen von Hidden Markov Models: Emissionen auf den vorangehenden Folien wurde ein State Emission Model verwendet den allgemeinen Fall stellt ein Arc Emission Model dar ein State Emission Model kann in ein Arc Emission Model überführt werden, umgekehrt ist dies nicht immer möglich auf den folgenden Folien wird ein Arc Emission Model beschrieben 48

49 Formen von Hidden Markov Models: Emissionen Allgemeine Form: Arc Emission Model Zur Zeit t emittiertes Symbol hängt ab von Zustand zur Zeit t und Zustand zur Zeit t+1 t t+1 Spezielle Form: State Emission Model Zur Zeit t emittiertes Symbol hängt ab von Zustand zur Zeit t t t+1 o o o 49

50 Formen von HMM: Emissionen: Beispiel Arc Emission Model State Emission Model auxv.2 part auxv.2 part werden.3 haben.4 sein.3 werden.65 haben.25 sein.10.2 verb werden.95 haben.05 50

51 Arc Emission Model: Beispiel in einem Text lassen sich nur die Ausgaben (= produzierte Wörter) beobachten (visible) die Sequenz von Zuständen (= Wortarten), die die Wörter ausgeben, (Satzmuster) lässt sich nicht beobachten (hidden) mehrere Sequenzen können dieselbe Ausgabe erzeugen: nomn auxv part punkt nomn kopv adje punkt wir werden geschickt.3 x.3 x.2 x.2 x.3 x.1 x.4 = wir werden geschickt.3 x.3 x.2 x.2 x.5 x.1 x.2 =

52 Arc Emission Model: Darstellung als Wahrscheinlichkeitsmatrix Übergangsmatrix X t X t+1 Adje Adje.2 Emissionsmatrix o t AuxV KopV Nomn Part Punkt π geschickt werden wir AuxV KopV Emissionsmatrix o t geschickt werden wir Nomn Part Punkt Start 52

53 Arc Emission Model: Spezialfall: State Emission Model Übergangsmatrix X t X t+1 Adje AuxV Adje.2 Emissionsmatrix.2 Emissionsmatrix o t geschickt werden wir AuxV... o t geschickt werden wir Wenn die Emissionsverteilungen für alle Übergänge aus einem Zustand identisch sind, entspricht dies einem State Emission Modell 53

54 Arc Emission Model: Definition Ein HMM wird spezifiziert durch ein Fünf-Tupel (S,K, Π, A, B) S = {S 1,..., S N } Menge der Zustände K = {k 1,..., k M } Menge der Ausgabesymbole Π = {π i } A = {a ij } B = {b ijk } Wahrscheinlichkeiten der Startzustände π i = P(X 1 = S i ) Wahrscheinlichkeiten der Zustandsübergänge a ij = P(X t+1 = S j X t = S i ) 1 i, j N Wahrscheinlichkeiten der Symbolemissionen b ijk = P(K k bei Übergang von X t zu X t+1 X t = S j, X t+1 = S j ) N πiπ i = 1 i= 1 N j= 1 k = 1 aij = 1 M 1 j N 1 k M bijk = 1 Manning/Schütze, 2000:

55 Formen von Hidden Markov Models: Verbindungen zwischen Zuständen ergodic model: jeder Zustand kann von jedem in einer endlichen Anzahl von Schritten erreicht werden: andere Arten z.b. in der Verarbeitung gesprochener Sprache verwendet Rabiner, 1989, S

56 Vielen Dank Für das Aufspüren von Fehlern in früheren Versionen und Hinweise zur Verbesserung danke ich Wiebke Petersen 56

57 Literatur Allen, James (1995): Natural Language Understanding. 2nd edition. Addison-Wesley Publishing Co. Paul E. Black, "hidden Markov model", in Dictionary of Algorithms and Data Structures [online], Paul E. Black, ed., U.S. National Institute of Standards and Technology. 14 August (accessed ) Available from: Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript 15. Juni 1999 Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in der Sprachverarbeitung. Seminarskript. Haenelt, Karin: Der Viterbi-Algorithmus. Eine Erläuterung der formalen Spezifikation am Beispiel des Part-of-Speech Tagging. Kursskript Kunze, Jürgen (2001). Computerlinguistik I: Erkennung und Synthese gesprochener Sprache. Vorlesungsskript. Humboldt-Universität zu Berlin. 57

58 Literatur Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: Rabiner, Lawrence R. (1989). A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. In: Proceedings of the IEEE, Vol. 77, No. 2, February. 20applications.pdf 58