Zeitreihenanalyse mit Hidden Markov Modellen

Transkript

1 Elektrotechnik und Informationstechnik Institut für Automatisierungstechnik, Professur Prozessleittechnik Zeitreihenanalyse mit Hidden Markov Modellen (nach VL PLT2 Professur für Prozessleittechnik

2 Andrei Andreyevich Markov *14. Juni 1856 Juli ߙ Professor in Sankt Petersburg für Theorie der stochastischen Prozesse Leonard E. Baum: 1960er erste Veröffentlichung über Hidden Markov Modelle. Entwickelt für die Spracherkennung PLT2 (c Urbas, Pfeffer, Folie 2

3 Übersicht Wiederholung Markov Modelle Modellierungsansatz & Markov Eigenschaft Beispiel: Robot-Human-Spiel Typische Fragestellungen an ein Markov Modell Einführung Dynamic Programming Hidden Markov Modelle Modellierungsansatz 3 Problemstellungen: Schätzen: Backward-Forward Verfahren Suchen: Viterbi Pfade Lernen: Baum-Welch Verfahren PLT2 (c Urbas, Pfeffer, Folie 3

4 Wiederholung Markov Modelle Ein System habe N Zustände s 1, s 2,, s n Zeitschritte t=1, t=2, Im Zeitschritt t ist das System in genau einem Zustand q t {s 1, s 2,, s n } Zu jedem Zeitschritt wird der nächste Zustand zufällig gewählt Der aktuelle Zustand bestimmt die Wahrscheinlichkeitsverteilung für den nächsten Zustand PLT2 (c Urbas, Pfeffer, Folie 4

5 Beispiel Markov Modelle 3 Zustände s 1, s 2, s 3 Übergangswahrscheinlichkeiten aus s 1 1/3 P(q t+1 =s 1 q t =s 1 =0 P(q t+1 =s 2 q t =s 1 =0 P(q t+1 =s 3 q t =s 1 =1 Übergangswahrscheinlichkeiten aus s 2 1/2 P(q t+1 =s 1 q t =s 2 =1/2 P(q t+1 =s 2 q t =s 2 =1/2 P(q t+1 =s 3 q t =s 2 =0 Übergangswahrscheinlichkeiten aus s P(q t+1 =s 1 q t =s 3 =1/3 P(q t+1 =s 2 q t =s 3 =2/3 A=( P(q t+1 =s 3 q t =s 3 = PLT2 (c Urbas, Pfeffer, Folie 5 s 1 s 2 s 3 1/2 2/3 1

6 Markov Eigenschaft q t+1 ist bei gegebenem q t bedingt unabhängig* von den vorher eingenommenen Zuständen {q t-1, q t-2,,q 1 } Formal P(q t+1 =s j q t = P(q t+1 =s j q t, beliebiger Weg nach s i 1/3 1/2 s 1 s 2 1/2 2/3 1 * a,b sind bedingt unabhängig bei gegebenem c wenn gilt: P(a b c=p(a c P(b c s PLT2 (c Urbas, Pfeffer, Folie 6

7 Beispiel von A. Moore ( Ein Roboter (R und ein Mensch (H bewegen sich zufällig auf einem Spielfeld mit 18 Feldern. Der Systemzustand sei definiert als das Tupel (Feld R, Feld H 18*18=324 Zustände! z.b. (4,8 In jedem Zeitschritt bewegen sich R und H auf ein benachbartes Feld PLT2 (c Urbas, Pfeffer, Folie 7

8 Typische Fragen 1. Wie lange dauert es durchschnittlich bis R und H kollidieren? 2. Wie groß ist die Wahrscheinlichkeit dass R gegen die linke Wand rennt, bevor er mit H zusammenstößt? 3. Wie wahrscheinlich ist es, dass H und R im nächsten Schritt zusammenstoßen? PLT2 (c Urbas, Pfeffer, Folie 8

9 1. Kollisionswahrscheinlichkeit Geg: Aktuelle Zeit = t, H lebt noch Ges: WS, dass H im nächsten Schritt platt ist? R ist blind Berechenbar, Thema der nächsten Folien R ist allwissend R kennt Zustand, direkt berechenbar, R mit Sensoren aber unvollständiger Info nach außen Hidden Markov Model! PLT2 (c Urbas, Pfeffer, Folie 9

10 1. Wahrscheinlichkeit des Zustands q t = s i Es gibt viele Pfade Q = q 1 q 2 q 3 q t zu einem Zustand q t Wie kann ein bestimmtes P(Q berechnet werden? Wir kennen den Startzustand q 1, d.h. P(q 1 =1 Es gilt: P(q 1 q 2 q 3 q t = P(q 1 q 2 q 3 q t-1 P(q t q 1 q 2 q 3 q t-1 = P(q 1 q 2 q 3 q t-1 P(q t q t-1 = P(q 1 P(q 2 q 1 P(q 3 q 2 P(q t q t-1 Naiver Ansatz: Summiere WS aller Wege Q* mit der Länge t, die in s i enden P(q t = s i q 1 = Σ Q* P(Q* Aufwand exponentiell in t, O(N t ungeeignet! PLT2 (c Urbas, Pfeffer, Folie 10

11 Einfach ist zu teuer! Geht das besser? Zerlegung in leichter lösbare Teilprobleme (Dynamic Programming Definiere für jeden Zustand s i p t (i : WS, dass System zur Zeit t in s i ist, d.h. p t (i = P(q t = s i Rekursiver Ansatz zur Berechnung von p t (i i p 1 (i=? j p t+1 ( j=p(q t+1 =s j =? PLT2 (c Urbas, Pfeffer, Folie 11

12 Berechnung P(q t = s i p 1 (i={ 1 für s i =startzustand 0 sonst j p t+1 ( j=p(q t+1 =s j = N i=1 = N i=1 = N i=1 P(q t+1 =s j q t P(q t+1 =s j q t P(q t aij p t (i mit a ij =P(q t+1 =s j q t Aufwand für alle Zustände s : O(t N²! PLT2 (c Urbas, Pfeffer, Folie 12

13 HR-Spiel, reduziert 2x2 Spielfeld 4*4=16 Zustände Kodiere Zustand s i als <F H,F R > F H : Feld auf dem H ist F R : Feld auf dem R ist Übergangswahrscheinlichkeiten a ij =P(q t+1 =s j q t = 0 für F H (s i =F H (s j v F R (s i =F R (s j 1/9 sonst Berechnungsbeispiel: PIV_MM-2x2HRSpiel.xls 1 2 H R 3 4 Gilt nur für blinde (=zufällige Züge! PLT2 (c Urbas, Pfeffer, Folie 13

14 3. Kollisionswahrscheinlichkeit im nächsten Schritt Geg: Aktuelle Zeit = t, H lebt noch Ges: WS, dass H im nächsten Schritt platt ist? R ist blind Berechenbar, Thema der nächsten Folien R ist allwissend R kennt Zustand, direkt berechenbar, R mit Sensoren aber unvollständiger Info Hidden Markov Model! PLT2 (c Urbas, Pfeffer, Folie 14

15 Versteckte Zustände Bislang: Schätzung von P(q t ohne Beobachtung Annahme: Beobachtung verfügbar, die von dem wahren Zustand beeinflusst wird. Beispiel HR-Spiel: Umgebungssensor für 8 umgebende Felder Beispiel (W=Wand PLT2 (c Urbas, Pfeffer, Folie 15

16 Sensor + Rauschen Umgebungssensor ist nicht perfekt Messrauschen, Fehlklassifikation, Annahmen Beobachtung O t wird von Systemzustand q t + Zufallskomponente bestimmt O t sei bedingt unabhängig von {q t-1,..q 1,O t-1,..o 1 } bei gegebenem q t P(O t =X q t = P(O t =X q t, beliebiger Weg nach s i +Fehler PLT2 (c Urbas, Pfeffer, Folie 16

17 Hidden Markov Modell (HMM Typische Fragen an HMM bei gegebenen Beobachtungen O 1 O 3 O t Zustand: In welchem Zustand sind wir jetzt? P(q t O 1 O 3 O t, Forward-Backward Algorithmus Pfad: Welcher Weg wurde wahrscheinlich eingeschlagen? Q* = argmax Q P(Q O, Viterbi-Algorithmus Lernen von HMMs: Wie sieht ein HMM λ aus, das diese Beobachtungen generiert haben könnte λ* = argmax λ P(λ O, Baum-Welch-Algorithmus PLT2 (c Urbas, Pfeffer, Folie 17

18 Einsatz von HMMs Roboterplanung & -sensorik unter Unsicherheit Spracherkennung Gestenerkennung Nutzer- und Entscheidungsmodellierung Gensequenzierung Marktmodelle Fehlermodelle in der Prozessautomatisierung PLT2 (c Urbas, Pfeffer, Folie 18

19 Hidden Markov Model (Rabiner N: Anzahl der Zustände s 1, s 2,, s N M: Anzahl der Beobachtungen 1 M T: Länge der Beobachtungssequenz O: Sequenz der Beobachtungen O = O 1 O 3 O T Q: Pfad durch die Zustände Q = q 1 q 2 q 3 q T π: Initialverteilung A: Zustandsübergangsmatrix B: Zustands-Symbolmatrix Spezifikation eines HMM λ = <N,M,{π i},{a ij },{b i (k}> Andere Notation: λ = (π,a,b PLT2 (c Urbas, Pfeffer, Folie 19

20 Formale Definition des HMM Ein HMM ist ein 5-Tupel aus N Anzahl der Zustände M Anzahl der möglichen Beobachtungen {π 1 π n } Anfangsws. π i = P(q 1 = s i a ij Matrix der Zustandsübergangsws. a ij = P(q t+1 = s j q t i,j [1 N] b i (k Matrix der Beobachtungsws. b i (k = P(O t = k q t i [1 N], k [1 M] PLT2 (c Urbas, Pfeffer, Folie 20

21 Beispiel für ein HMM Das Modell startet zufällig in Zustand s 1 oder s 2 In jedem Zustand wird zufällig eines der eingezeichneten Symbole X,Y,Z ausgegeben PLT2 (c Urbas, Pfeffer, Folie 21

22 Beispiel Beobachtung Gegeben: Q=s 1 s 3 s 3, O=X X Z Gesucht: Wie hoch ist P(O? P(O 1 O 3 = P(O 1 =X Λ =X Λ O 3 =Z Direkter (langsamer Ansatz Summiere über alle Pfade Q der Länge 3: P(O = Σ Q P(O Λ Q = Σ P(O Q P(Q wir brauchen P(Q für einen beliebigen Pfad Q P(O Q für einen beliebigen Pfad Q PLT2 (c Urbas, Pfeffer, Folie 22

23 Beispiel Beobachtung Berechnung P(Q für einen beliebigen Pfad Q P(Q = P(q 1,q 2,q 3 = P(q 1 P(q 2,q 3 q 1 = P(q 1 P(q 2 q 1 P(q 3 q 2 Beispiel Q=s 1 s 3 s 3 : P(Q = P(q 1 =s 1 P(q 2 =s 3 q 1 =s 1 P(q 3 =s 3 q 2 =s 2 = π 1 * a 13 * a 23 = 1/2 * 2/3 * 1/3 = 1/ PLT2 (c Urbas, Pfeffer, Folie 23

24 Beispiel WS einer Beobachtung Berechnung P(O Q für einen Pfad Q P(O 1 O 3 q 1,q 2,q 3 = P(O 1 q 1 P( q 2 P(O 3 q 3 Beispiel Q=s 1 s 3 s 3 : P(X q 1 P(X q 2 P(Z q 3 = 1/2 * 1/2 * 1/2 = 1/8 P(O = Σ Q P(O Λ Q = Σ P(O Q P(Q 27 (N T Berechnungen von P(Q und P(O Q Bei 20 Beobachtungen: je 3.5 Mrd Berechnungen von P(Q und P(O Q! Zu aufwändig! D.P.-Ansatz? PLT2 (c Urbas, Pfeffer, Folie 24

25 Frage 1: Aktueller Zustand P(q t O Geg: Beobachtungen O 1 O 3 O T Definiere α t (i als die WS, dass das durch λ spezifizierte Hidden Markov Modell zum Zeitpunkt t im Zustand s i ist, UND auf einem zufälligen Pfad dorthin t Beobachtungen O 1 O t ausgegeben wurden α t (i = P(O 1 O 3 O t q t = s i λ; 1 t T Rekursive Definition von α t (i: α 1 (i, α t+1 (j PLT2 (c Urbas, Pfeffer, Folie 25

26 Rekursive Definition von α t (i α 1 (i = P(O 1 q 1 = s i = P(q 1 = s i P(O 1 q 1 = s i = π i b i (O 1 α t+1 (j = P(O 1 O t O t+1 q t+1 =s j = Σ i=1,n P(O 1 O t q t O q =s t+1 t+1 j = Σ i=1,n P(O t+1,q t+1 =s j O 1 O t q t P(O 1 O t q t = Σ i=1,n P(O t+1,q t+1 =s j q t α t (i = Σ i=1,n P(q t+1 =s j q t P(O t+1 q t+1 =s j α t (i = Σ i=1,n a ij b j (O t+1 α t (i PLT2 (c Urbas, Pfeffer, Folie 26

27 Beispiel α t (i = P(O 1 O t q t = s i λ α 1 (i = b i (O 1 π i α t+1 (j = Σ a ij b j (O t+1 α t (i Gegeben: O=X X Z α 1 (1=1/4 α 1 (2=0 α 1 (3=0 α 2 (1=0 α 2 (2=0 α 2 (3=1/12 α 3 (1=0 α 3 (2=1/72 α 3 (3=? PLT2 (c Urbas, Pfeffer, Folie 27

28 Übergang zu P(q t O 1 O 3 O t? α t (i = P(O 1 O 3 O t Λ q t = S i λ P(O 1 O t = Σ i=1,n α t (i P(q t =S i O 1 O t = α t (i / Σ j=1,n α t (j PLT2 (c Urbas, Pfeffer, Folie 28

29 Frage 2: Wahrscheinlichster Pfad Q O Gegeben: Beobachtungen O 1 O 3 O T Gesucht: Wahrscheinlichster Pfad Q argmax Q P(Q O 1 O 3 O T Direkter Weg wieder zu aufwändig: argmax Q P(Q O 1 O 3 O T = argmax Q P(O 1 O 3 O T QP(Q / P(O 1 O 3 O T = argmax Q P(O 1 O 3 O T QP(Q Das geht besser! PLT2 (c Urbas, Pfeffer, Folie 29

30 Partiell beste Pfade im Trellisdiagramm Für jeden Zustand q t gibt es einen wahrscheinlichsten Pfad state X X Z PLT2 (c Urbas, Pfeffer, Folie 30 t

31 Partielle beste Pfade state Unterschied zu forward-algo Wahrscheinlichkeit des EINEN wahrscheinlichsten Pfades zum Zustand t X X Z PLT2 (c Urbas, Pfeffer, Folie 31

32 Partieller Bester Pfad δ t (i= max P(q 1 q 2...q t-1 Λ q t = S i Λ O 1...O t q1 qt-1 WS des Pfades q 1 q 2..q t-1 der Länge t-1 mit der größten Chance folgende Bedingungen zu erfüllen: Pfad Q ist möglich q 1 q 2...q t-1 UND endet zum Zeitpunkt t in S i q t =S i UND produziert O O 1...O t PLT2 (c Urbas, Pfeffer, Folie 32

33 Ansatz δ t (i= max P(q 1 q 2...q t-1 Λ q t = S i Λ O 1...O t q1 qt-1 WS des Pfades q 1 q 2..q t-1 der Länge t-1 mit der größten Chance folgende Bedingungen zu erfüllen: Pfad Q ist möglich q 1 q 2...q t-1 UND endet zum Zeitpunkt t in S i q t =S i UND produziert O O 1...O t Def: mpp t (i = dieser Pfad, δ t (i=p(mpp t (i PLT2 (c Urbas, Pfeffer, Folie 33

34 VITERBI Algorithmus δ t (i= max P(q 1..q t-1 Λ q t =S i Λ O 1...O t q1 qt-1 mpp t (i= argmax P(q 1..q t-1 Λ q t =S i Λ O 1...O t q1 qt-1 Start: t=1 δ 1 (i= max P(q 1 =S i Λ O 1 q1 = P(q 1 =S i P(O 1 q 1 =S i = π i b i (O 1 Angenommen, wir kennen δ t (i und mpp t (i Wie kommen wir zu δ t+1 (i und mpp t+1 (i? PLT2 (c Urbas, Pfeffer, Folie 34

35 VITERBI Algorithmus t > 1 Angenommen, wir kennen δ t (i und mpp t (i Wie kommen wir zu δ t+1 (i und mpp t+1 (i? Der WSste Pfad dessen letzten beiden Zustände S i und S j sind ist Der WSste Pfad zu S i, gefolgt von einem Übergang von S i nach S j δ t (i P(S i S j Λ O t+1 = δ t (ia ij b j (O t+1 δ t+1 (j = max i (δ t (ia ij b j (O t PLT2 (c Urbas, Pfeffer, Folie 35

36 Backpointer Wir kennen die partiellen WS δ t (i Wir brauchen den WSten Pfad, d.h. wir müssen uns die δ t (i merken state X X Z t PLT2 (c Urbas, Pfeffer, Folie 36

37 Backpointer Wir kennen die partiellen WS δ t (i Wir brauchen den WSten Pfad, d.h. wir müssen uns die δ t (i merken Es reicht für jeden Zustand ein Rückwärtszeiger (Backpointer Ф aufzuheben, von dem wir am besten hier angelangt sind Ф t (i = argmax j (δ t-1 (ja ji PLT2 (c Urbas, Pfeffer, Folie 37

38 3. Frage: Modelllernen Geg: O T, N, M Ansatz: Definiere γ t (i = P(q t O 1 O T, λ ε t (i,j = P(q t = s i Λ q t+1 = s j O 1 O T,λ γ t (i and ε t (i,j können i,j,t effizient berechnet werden Suchverfahren Berechne WS mit einem geschätzten Modell in einen Zustand zu gelangen, bewerte die Übereinstimmung mit den Beobachtungen, verändere anschließend die Modellparameter Details Rabiner ( PLT2 (c Urbas, Pfeffer, Folie 38

39 Zusammenfassung Problemstellungen Evaluation (Auswertung, Schätzen Gegeben ist ein HMM λ und eine Beobachtungssequenz O T. Berechne die Wahrscheinlichkeit, dass O T von λ erzeugt wurde. Decoding (Entschlüsseln, Suchen Gegeben ist ein HMM λ und eine Beobachtungssequent O T. Berechne die Folge von verborgenen Zuständen, die O T mit der höchsten Wahrscheinlichkeit erzeugt hat. Learning (Lernen Für ein HMM λ ist die Zahl der sichtbaren und unsichtbaren Zustände bekannt, sowie ein oder mehrere Beobachtungssequenzen (Trainingssequenzen. Berechne die Parameter a ij und b j (k PLT2 (c Urbas, Pfeffer, Folie 39

40 Literatur & Bibliotheken Literatur Rabiner (1989 A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, Proc. of the IEEE, Vol.77, No.2, pp , Moore, A. (o.j. Hidden Markov Models. Boyle, R. (o.j. Hidden Markov Models. Fraser, A. (2008 HMM & Dynamical Systems. SIAM Bibliotheken MATLAB: R: Gestenerkennung GT2K: PLT2 (c Urbas, Pfeffer, Folie 40