Signalverarbeitung 2. Volker Stahl - 1 -

Transkript

1 - 1 -

2 Hidden Markov Modelle - 2 -

3 Idee Zu klassifizierende Merkmalvektorfolge wurde von einem (unbekannten) System erzeugt. Nutze Referenzmerkmalvektorfolgen um ein Modell Des erzeugenden Systems zu bauen (Hidden Markov Modell). Nutze das Modell bei der Klassifikation einer unbekannten Merkmalvektorfolge

4 Beispiel Spracherkennung Konstruiere zu jedem Wort des Vokabulars ein Modell des Sprechers, der das Wort spricht. Klassifikation einer Merkmalvektorfolge x: Berechne von jedem Modell die Wahrscheinlichkeit, dass es x erzeugt. Wähle das Wort als Klassifikationsergebnis, für dessen Modell die Wahrscheinlichkeit maximal ist

5 Beispiel Wettervorhersage Gestützt auf Merkmalvektoren: z.b. Luftdruck, Temperatur, Windgeschwindigkeit, Gestützt auf Modell: Wetter morgen wird wahrscheinlich gleich sein wie das Wetter heute. Praxis: Kombination aus beidem (Hidden Markov Modelle)

6 Überblick Markov Modelle Hidden Markov Modelle Verknüpfung von Hidden Markov Modellen - 6 -

7 Gibt es Zufall? Was ist ein Modell? - 7 -

8 Modell Beschreibung eines realen Systems Vereinfachende Annahmen, Abstraktion von Unwichtigem Zufall Gott würfelt nicht (Einstein 1929) Deterministisches Weltbild, Laplacescher Dämon, freier Wille? Zufall und Wahrscheinlichkeit als einfaches Modell für fehlendes Wissen stochastische Modelle - 8 -

9 Markov Modelle System, das zu diskreten Zeitpunkten t = 1,2,3, betrachtet wird. System befindet sich zu jedem Zeitpunkt t in einem von n möglichen Zuständen j = 1,,n Gesucht: Wahrscheinlichkeit, dass sich das System z.z. t im Zustand j befindet. Gegeben: Anfangswahrscheinlichkeiten: Übergangswahrscheinlichkeiten: - 9 -

10 Beispiel Wettermodell mit 2 Zuständen: schön, schlecht Zeitpunkt t-1 = gestern, t = heute. Übergangswahrscheinlichkeiten Gestern war das Wetter schön, d.h. P(Wetter heute schön) = 0.7 P(Wetter heute schlecht) = 0.3 Allgemein: S 1, S 2, S 3, ist Folge von Zufallsvariablen, deren Verteilung gesucht ist (stochastischer Prozess)

11 Vereinfachende Annahmen bei Markov Modellen Wahrscheinlichkeitsverteilung von S t hängt nur vom Zustand des Systems zum Zeitpunkt t-1 ab, nicht aber von früheren Zeitpunkten. (Markov Eigenschaft) Bsp.: Wenn man das Wetter von mehreren Tagen der Vergangenheit betrachten würde, könnte man das Wetter von heute genauer vorhersagen als wenn man nur das Wetter von gestern betrachtet (z.b. Extrapolation). Dies würde das Modell jedoch komplizierter machen! Übergangswahrscheinlichkeiten hängen nicht vom Zeitpunkt t ab. Bsp.: Übergangswahrscheinlichkeiten sind im Winter anders als im Sommer, was im Modell nicht berücksichtigt wird. Bei Modellen von technischen Systemen werden z.b. Alterungserscheinungen nicht berücksichtigt

12 Zusammenfassung: Markov Modell gegeben durch Übergangswahrscheinlichkeiten Wahrscheinlichkeit, dass das System zum Zeitpunkt t in Zustand j ist falls es zum Zeitpunkt t-1 in Zustand i war. Unabhängig von t! Anfangswahrscheinlichkeiten

13 Randbedingungen Summe der Anfangswahrscheinlichkeiten muss 1 sein. Summe der Übergangswahrscheinlichkeiten aus einem Zustand muss 1 sein

14 Schätzung der Übergangswahrscheinlichkeiten aus einer Stichprobe Beispiel System mit 3 Zuständen Beobachtete Zustandsfolge: 1,3,3,2,2,3,1,3,3,2,2,1,3,1,2,1,1,2,3,2 Gesucht: Übergangswahrscheinlichkeit

15 Schätzung der Übergangswahrscheinlichkeiten aus einer Stichprobe Beispiel System mit 3 Zuständen Beobachtete Zustandsfolge: 1,3,3,2,2,3,1,3,3,2,2,1,3,1,2,1,1,2,3,2 Gesucht: Übergangswahrscheinlichkeit 7 Fälle wo S t-1 = 3 eintrat: 1,3,3,2,2,3,1,3,3,2,2,1,3,1,2,1,1,2,3,2 3 Fälle wo S t-1 = 3 und S t = 2 eintrat: 1,3,3,2,2,3,1,3,3,2,2,1,3,1,2,1,1,2,3,2 Schätzwert:

16 Gesetz von Bayes über bedingte Wahrscheinlichkeiten A, B Ereignisse mit Wahrscheinlichkeit P(A), P(B). z.b. Würfel A: Augenzahl gerade B: Augenzahl größer 3 A = { 2,4,6 } B = { 4,5,6 } P(A) = 3/6 = 1/2 P(B) = 3/6 = 1/2 P(A B): Wahrscheinlichkeit, dass A und B eintritt. z.b. Würfel A B = {4,6} P(A B) = 2/6 = 1/3 P(A) P(B)! P(A B): Wahrscheinlichkeit, dass A eintritt unter der Annahme, dass B der Fall ist. z.b. Würfel Zahl gerade unter der Annahme, dass sie größer 3 ist Fälle, in denen Augenzahl größer 3 ist: {4,5,6} In zwei dieser Fälle ist die Augenzahl gerade: {4,6} P(A B) = 2/3-16 -

17 Def.: A und B heißen unabhängig wenn gilt z.b. zweimal würfeln, 36 Möglichkeiten A: Zahl beim ersten Wurf gerade, B: Zahl beim zweiten Wurf größer 3. Gesetz von Bayes Sind A und B unabhängig, dann gilt

18 n = 10 mögliche Elementarereignisse mit gleicher Wahrscheinlichkeit. A und B sind abhängig!

19 Anwendung auf Markov Modelle Übergangswahrscheinlichkeiten Wahrscheinlichkeit dass System z.z. t in Zustand j und z.z. t-1 in Zustand i ist: Wahrscheinlichkeit dass System zur Zeit t in Zustand j ist:

20 Beispiel Wettermodell Anfangswahrscheinlichkeiten Verteilung von S 2 Vektorielle Schreibweise Verteilung von S t

21 Denksportaufgabe Wie ist die Wahrscheinlichkeitsverteilung von S t für t?

22 Berechnung der Wahrscheinlichkeitsverteilung von S t zu jedem Zeitpunkt t

23 Beispiel für Systeme, die sich mit Markov Modellen beschreiben lassen Herz, das im Lauf eines Zyklus typische Zustände annimmt Zustände: Systole, Diastole, Klappenbewegung, Blutströmung, Diffussionsprozesse durch einen Membran Zustände: Molekül links bzw. rechts der Membran Mensch, der ein bestimmtes Wort spricht Stimmbandaktivität, Öffnung Mund, Lippenform, loop, next, skip Übergänge Exkurs: Zeitkontinuierliche Markov Modelle

24 Hidden Markov Modelle Erweiterung von Markov Modellen Markov Modell gibt zu jedem Zeitpunkt t einen Zufallsvektor aus. Wahrscheinlichkeitsverteilung des ausgegebenen Vektors hängt vom Zustand ab, in dem sich das System gerade befindet. Ein Beobachter sieht nur die ausgegebenen Zufallsvektoren, kennt aber nicht den Zustand des Systems. Hidden Markov Modell System zur Erzeugung von Merkmalvektorfolgen Vergleich: Warnlampen am Auto, Maschinengeräusche, Diagnostik,

25 Beispiel: Wahrscheinlichkeitsdichte des Zufallsvektors, der im Zustand i ausgegeben wird: Emissionsdichte Beobachtete Folge von Zufallsvektoren (Merkmalvektorfolge) Fragen: Wie groß ist die Wahrscheinlichkeit (Dichte), dass das HMM die Folge x erzeugt? Welche Zustände wurden dabei durchlaufen? Wie konstruiert man ein HMM aus einer Trainingsstichprobe?

26 Anwendung von HMMs zur Klassifikation von Merkmalvektorfolgen Modellannahme: Zu klassifizierende Merkmalvektorfolgen werden von HMMs erzeugt. Zu jeder Klasse ein HMM: Klassifikation einer Merkmalvektorfolge Berechne für jedes HMM, wie wahrscheinlich es ist, dass es x erzeugt hat. Klassifikationsergebnis: Das HMM, für das die Wahrscheinlichkeit am größten ist

27 Theorie: Klassifikation mit HMMs Elementarereignisse: i-tes HMM ist aktiv: (a priori Wahrscheinlichkeit) Merkmalvektorfolge x wird beobachtet: Ereignisse sind voneinander abhängig, sonst wäre Klassifikation nicht möglich! Zusammenhang: Wahrscheinlichkeit, dass x erzeugt wird, wenn i-tes HMM aktiv ist: Emissionswahrscheinlichkeit Wahrscheinlichkeit, dass i-tes HMM aktiv war, wenn x beobachtet wird: Klassifikationswahrscheinlichkeit Bayes Bayes

28 Theorie: Klassifikation mit HMMs Wahrscheinlichkeit, dass beobachtete Folge x vom i-ten HMM erzeugt wurde: Klassifikationsergebnis: Wahrscheinlichstes HMM Aufgabe: Berechne die Wahrscheinlichkeit, dass ein gegebenes HMM λ die beobachtete Merkmalvektorfolge erzeugt: bzw. falls λ fest

29 Beobachtete Merkmalvektorfolge: Dabei durchlaufene Zustandsfolge: Wahrscheinlichkeitsdichte des Zufallsvektors, der im Zustand i ausgegeben wird (Emissionswahrscheinlichkeit): Wahrscheinlichkeit, dass x ausgegeben wird, wenn s durchlaufen wird: Wahrscheinlichkeit, dass s durchlaufen wird: Wahrscheinlichkeit, dass x ausgegeben wird und s durchlaufen wird: Übergangswahrscheinlichkeiten des Markov Modells Bayes Wahrscheinlichkeit, dass x ausgegeben wird: Problem: Summe über alle möglichen Zustandsfolgen der Länge T!

30 Effizienterer Weg Iterative Berechnung

31 - 31 -

32 Maximum Approximation Ersetze durch Grund: α s werden sehr klein Logarithmieren sonst underflow! Logarithmus einer Summe aufwändig ln(a+b) ln(a) + ln(b) Berechnung der wahrscheinlichsten Zustandsfolge

33 Maximum Approximation, wahrscheinlichste Zustandsfolge Rückwärtszeiger

34 Spezialfall: HMM für Spracherkennung Zustandsübergänge nur in Zeitrichtung loop, next, skip

35 Spezialfall: HMM für Spracherkennung

36 Vermeidung sehr kleiner Zahlen: Abstand = Negativer Logarithmus der Wahrscheinlichkeiten

37 Viterbi Training von HMMs (Normalverteilung in Zuständen, Übergangswahrscheinlichkeiten) HMM Zustände HMM Zustände

38 Neuschätzung der Emissionswahrscheinlichkeiten in den Zuständen Neuschätzung der Übergangswahrscheinlichkeiten z.b.: Iteriere: Matching mit neuem HMM (Viterbi Algorithmus) Emissions- und Übergangswahrscheinlichkeiten schätzen aus neuer Zuordnung

39 Verkettung von Hidden Markov Modellen Beispiele Spracherkennung: Ein HMM für jedes Wort des Vokabulars (Ganzwortmodelle) Erkennung beliebiger Wortfolgen EEG Klassifikation ( Gedankenlesen ) Langzeit EKG Ein HMM für gesunden Herzzyklus Ein HMM für jedes Krankheitsbild Maschinengeräusche Ein HMM für Zyklus in Normalbetrieb Ein HMM für Störung

40 Beispiel Spracherkennung HMM für Wort 1 HMM für Wort 2 HMM für beliebig lange Folgen von Wort 1 und Wort 2 Wahrscheinlichkeiten an Wortübergangskanten: Sprachmodell z.b. p großer,baum > p großer,blume

41 Hidden Markov Modell Viterbi Algorithmus HMM für Wort 1 HMM für Wort 2 HMM für Wort 1 HMM für Wort