Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr

Transkript

1 Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Graphische Modelle iels Landwehr

2 Überblick Graphische Modelle: Synta und Semantik Graphische Modelle im Maschinellen Lernen Eakte Inferenz in Graphischen Modellen Sequenzmodelle Approimative Inferenz in Graphischen Modellen 2

3 Eakte Inferenz: Message-Passing Message Passing Algorithmus auf linearer Kette ( ) i, i i, i i p( ) ( ) ( 2) a ( ) ( ) k, k k k k k a ( a ) ( a ), (, ) ( ): unbeobachtet Für -,..., : ( ) k k k k k k k a k k (, ) ( ) : beobachtt e ( ), (, ) ( ) : unbeobachtet Für 2,..., : ( ) k k k k k k k a k k (, ) ( ) : beobachtet k, k k k k k a ( ) p (,... ) ( ) ( ) a i i m a a Bedingte Verteilung über Anfragevariable a gegeben Evidenz: Produkt der achrichten 3

4 Inferenz in Allgemeinen Graphen Bisher nur Spezialfall: Inferenz auf linearer Kette Die Grundidee des Message-Passing funktioniert auch auf allgemeineren Graphen Erweiterung: Eakte Inferenz auf Polytrees Polytree: Gerichteter Graph, in dem es zwischen zwei Knoten immer genau einen ungerichteten Pfad gibt Etwas allgemeiner als gerichteter Baum Gerichteter Baum Polytree 4

5 Inferenz in Allgemeinen Graphen Grundidee Message-Passing auf Polytrees: Umwandlung in Faktor-Graph (ungerichteter Baum) Ursprünglicher Graph 4 Gemeinsame Verteilung p(,,,, ) p( ) p( ) p(, ) p( ) p(, ) Faktor Faktor-Graph Faktor-Knoten - Für jeden Faktor in der gemeinsamen Verteilung gibt es einen Faktor-Knoten - Ungerichtete Kanten von den Faktor-Knoten zu den im Faktor auftauchenden Variablen 5

6 Inferenz in Allgemeinen Graphen (Skizze) Falls der ursprüngliche Graph ein Polytree war, ist der Faktor- Graph ein ungerichteter Baum (dh zykelfrei). Blätter a Betrachten Anfragevariable als Wurzel des Baumes achrichten von den Blättern zur Wurzel schicken (immer eindeutiger Pfad, weil Baum) a Es gibt zwei Typen von achrichten: Faktor-achrichten und Variablen-achrichten a Spezialfall lineare Kette 6

7 Inferenz in Allgemeinen Graphen (Skizze) Blätter a achrichten werden verschmolzen, dabei müssen wir über mehrere Variablen summieren Grundidee dieselbe wie bei Inferenz auf der linearen Kette: geschicktes Aussummieren Details im Bishop-Tetbuch ( Sum-Product Algorithmus) a 7

8 Inferenz in Allgemeinen Graphen Inferenz in Graphen, die keine Polytrees sind? Iteratives Message-Passing Schema, wegen Zyklen im Graph nicht eakt (=approimativer Algorithmus) Alternative für eakte Inferenz in allgemeinen Graphen: p( ) p( ) p( ) p( ) p(, ) Graph in einen äquivalenten azyklischen Graphen umwandeln Junction Tree Algorithmus, (i.a. eponentielle Laufzeit) Loopy Belief Propagation 8

9 Überblick Graphische Modelle: Synta und Semantik Graphische Modelle im Maschinellen Lernen Eakte Inferenz in Graphischen Modellen Sequenzmodelle Approimative Inferenz in Graphischen Modellen 9

10 Hidden Markov Modell: probabilistischer Automat Hidden Markov Modell: Modell für Folge diskreter Zeitschritte,.,T (= einzelne Sequenzelemente) Probabilistischer Automat, der sich in jedem Zeitschritt in einem Zustand aus einer endlichen Menge von Zuständen befindet Der Automat wechselt in jedem Zeitschritt probabilistisch in einen neuen Zustand, in Abhängigkeit des aktuellen Zustands Beispiel: Modell für natürliche Sprache Zeitschritte = Worte im Tet Zustände = grammatikalische Kategorie des Wortes Wahrscheinlichkeiten für Zustandsübergänge Artikel Verb 0.6 Substantiv Adjektiv 0

11 Hidden Markov Modell: probabilistischer Automat Folge der Zustände nicht direkt beobachtbar Stattdessen: Zustände emittieren Beobachtungen, diese bilden die eigentliche Sequenz Verteilung über mögliche Beobachtungen abhängig vom aktuellen Zustand... weise weiß will weich der 0.3 weise die weiß Beobachtungen: Eigentliches Wort an Position t das 0.3 Artikel Weiche Weise Verb 0.6 Substantiv Adjektiv

12 Formalisierung: Zustände Zustand zur Zeit t: Zufallsvariable Automatenmodell: Verteilung für nächsten Zustand hängt nur vom aktuellen Zustand ab, nicht von früheren Zuständen Dadurch ergibt sich vereinfachte gemeinsame Verteilung: (,..., ) ( ) T p q q pq p( qt qt ) "Markov-Annahme" T t2 Als graphisches Modell: q qt {,..., } q2 q3 q4 2

13 Formalisierung: Beobachtungen Zustände (versteckt) Beobachtungen Beobachtung zur Zeit t: Zufallsvariable Automatenmodell: Wahrscheinlichkeit einer Beobachtung hängt nur vom aktuellen Zustand ab Gemeinsame Verteilung über alle ZV: T T OT t qt t t t2 p( q,..., q, O,..., ) p( q ) p( O q ) p( q ) p( O q ) Als graphisches Modell ( Hidden Markov Modell oder HMM ) q po ( q,..., q, O,..., O ) po ( q ) t t t t t O { o,..., o } q2 q q 3 4 O O2 O3 O 4 t M 2. Markov-Annahme 3

14 HMM Parametrisierung Zu Definition eines HMMs müssen wir die folgenden Verteilungen angeben: pq t t ( ) Verteilung über mögliche Startzust än d e p( q q ) Verteilung über Zustandsübergänge (unabhängig von t) p( O q ) Verteilung über Beobachtungen (unabhängig von t) t t Bezeichner für die entsprechenden Wahrscheinlichkeiten: Startwahrscheinlichkeiten: p( q j ) Vektor Übergangswahrscheinlichkeiten: p( q j q i) a Matri A Beobachtungswahrscheinlichkeiten: p( O q i) b ( O ) Matri B Ein HMM ist definiert durch ein Triple j t t ij t t i t ( AB,, ) M 4

15 HMM Problemstellungen 3 Basisproblemstellungen zu Hidden Markov Modellen:. Likelihood einer Beobachtungsfolge: Wie wahrscheinlich ist eine Beobachtungsfolge gegeben ein Modell? Berechne p( O,..., O ) O, O2,..., O T 2. Wahrscheinlichster Zustand, gegeben Beobachtungen: a) Berechne argma p( q O,..., O, ) q t T b) Berechne argma p( q,..., q O,..., O, ) 3. Gegeben mehrere Beobachtungsfolgen, finde das Modell welches die Daten am besten erklärt Berechne argma ({(,..., ),...} ) t,..., T q q T p O O T T T 5

16 . Likelihood einer Beobachtungsfolge Likelihood einer Beobachtungsfolge: Wie wahrscheinlich ist eine Beobachtungsfolge gegeben ein Modell? Summenregel: Gesucht: polynomieller Algorithmus. Lösung: T T T q q Forward-Backward Algorithmus: dynamisches Programmieren Forward-Backward ist Spezialfall von (allgemeinem) Message- Passing Löst gleichzeitig auch Problem 2.a) O, O2,..., O T p( O,..., O )... p( O,..., O, q,..., q ) T Eponentieller Aufwand 6

17 Forward-Backward Algorithmus Definiere Hilfsvariablen ( i ) p ( O,..., O, q i ) insgesamt T Varia blen t t t ( i ) p ( O,..., O q i, ) insgesamt T Va riablen t t T t Theorem: ( ) i io ) i b( () i ( j) a b( O ) t t ji i t j () i T Ermöglicht rekursive Berechnung alle r t ( i) 2 für t,..., T und j,..., in O( T ) t () i aijbj ( Ot ) t ( j) 2 j Ermöglicht rekursive Berechnung aller ( i) für t T,..., und i,..., in O( T ) t 7

18 Forward-Backward Algorithmus Wenn wir alle () i und t () i berechnet haben: Lösung Problem : t p( O,..., O ) p( O,..., O, q i ) T T T i i ( i) 2 Gesamtlaufzeit: O( T ) T Summenregel 8

19 Forward-Backward Algorithmus Wenn wir alle () i und t () i berechnet haben: t Lösung Problem 2.a): p( q i O,..., O, )... t 2 Gesamtlaufzeit: O( T) T t() i t() i = p( O,..., O ) T 9

20 Ausblick Problem 2.b): Lösung mit Viterbi (ähnliche Idee wie Forward-Backward) Problem 3: Lösung mit Baum-Welch Instanz des EM-Algorithmus (siehe später) Enthält Forward-Backward als Teilproblem Alternativer Ansatz zur Modellierung von Sequenzen: diskriminative Modelle HM-SVM Conditional Random Fields Weitere Details in der Vorlesung Sprachtechnologie 20

21 Anwendungen HMMs Part-of-Speech Tagging in natürlicher Sprache Versteckte Zustände sind die grammatikalischen Kategorien (Artikel, Verb, Substantiv, etc) Beobachtungen sind die Worte im Tet Ziel: weise Worten grammatikalische Kategorien zu Spracherkennung: akustisches Modell Versteckte Zustände sind die gesprochenen Worte Beobachtet wird das akustische Signal Ziel: Rekonstruiere gesprochene Worte aus akustischem Signal Bioinformatik Finden oder Annotieren von Genen in DA In der Regel Erweiterungen der hier vorgestellten HMMs 2

22 Überblick Graphische Modelle: Synta und Semantik Graphische Modelle im Maschinellen Lernen Eakte Inferenz in Graphischen Modellen Sequenzmodelle Approimative Inferenz in Graphischen Modellen 22

23 Approimative Inferenz Eakte Inferenz P-hart: In der Prais spielen approimative Inferenzverfahren wichtige Rolle Wir betrachten Sampling-basierte Verfahren Relativ einfach zu verstehen/implementieren Anytime-Algorithmen (je länger die Laufzeit, desto genauer) 23

24 Inferenz: Sampling-basiert Grundidee Sampling: Wir interessieren uns für eine Verteilung, ist eine Menge von Zufallsvariablen (z.b. bedingte Verteilung über Anfragevariablen in graphischem Modell) Es ist schwierig, p() z direkt auszurechnen p() z Stattdessen ziehen wir Samples (Stichproben) z ( k) ~ p( z) i.i.d., k,..., K, z jedes Sample ist eine vollständige Belegung der Zufallsvariablen in z () (2) ( K ) Die Samples z, z,..., z approimieren die Verteilung p() z z 24

25 Inferenz: Sampling-basiert Beispiel: Eindimensionale Verteilung, z {} z Diskrete Variable mit Zuständen {0,,6}: Anzahl Kopf bei 6 Münzwürfen Anteil Eine Münze 6 Mal werfen liefert ein Sample Samples mit Wert z K=00 Eperimente, in denen wir jeweils Münze 6 werfen Sample-Histogramm K Echte Verteilung (Binomial) z 25

26 Sampling-Inferenz für Graphische Modelle Gegeben graphisches Modell, repräsentiert Verteilung durch p (,..., ) p( pa( )) i i i Etwas allgemeinere Inferenz-Problemstellung: Menge von Anfragevariablen p( I D )? {,..., } Menge von Anfragevariablen Wir betrachten zunächst den Fall ohne Evidenz: I D p( )? {,..., } {,..., } I I i i {,..., } Menge von Evidenzvariablen m 26

27 Sampling-Inferenz für Graphische Modelle Ziel: Samples aus der Randverteilung Es genügt, Samples aus der Gesamtverteilung zu ziehen: ( k) ( k) ( k) p ( ) p... ) (,..., ) ~ p(,..., ) k,..., K (,, Samples aus der Randverteilung p (,..., ) i erhalten wir i m einfach durch Projektion der Samples auf die {,..., } i i m ( k) I ~ ( k) ( k) ( k) (,..., ) p,..., ),.. ( ( ),..., ) ~ p (,..., ) k,..., K ( k) k ( k) I i i i p( I ) k,..., K ~ ( k., K Projektion m i m p( ) p(,..., ) I i i m 27

28 Inferenz: Ancestral Sampling ( Wie ziehen wir Samples k ) ~ p( )? Einfach bei gerichteten graphischen Modellen: Ancestral Sampling utze Faktorisierung der gemeinsamen Verteilung ~ p( ) p (,..., ) i Ziehen entlang der Kanten p ( i pa( i)) Ziehe jeweils nächste Variable, gegeben vorige Variablen Ziehen entlang der Kanten

29 Inferenz: Ancestral Sampling Wir ziehen ein Sample (,..., ), indem wir nacheinander die einzelnen ziehen Beispiel ~ p( ) ~ p( ) ~ p(, 0)... ~ p( ) ~ p( ~ p( ~ p( 0) pa( )) pa( )) Schon gezogene Werte ~ p( ) i ~ p( ) p ( pa( )) i i Topologische Ordnung: pa( ) {,..., } B 2 A 3 5 E i 4 i R i 29

30 Inferenz: Ancestral Sampling Wir ziehen ein Sample (,..., ), indem wir nacheinander die einzelnen ziehen Beispiel ~ p( ) ~ p( ) ~ p(, 0)... ~ p( ) ~ p( ~ p( P(B=) ~ p( 0) pa( )) pa( )) ~ p( ) i Schon gezogene Werte 0. B 2 A 3 5 E 4 R 30

31 Inferenz: Ancestral Sampling Wir ziehen ein Sample (,..., ), indem wir nacheinander die einzelnen ziehen Beispiel ~ p( ) ~ p( ) ~ p(, 0)... ~ p( ) ~ p( ~ p( ~ p( 0) pa( )) pa( )) ~ p( ) i Schon gezogene Werte P(E=) B A 3 5 E 4 R 3

32 Inferenz: Ancestral Sampling Wir ziehen ein Sample (,..., ), indem wir nacheinander die einzelnen ziehen Beispiel ~ p( ) ~ p( ) ~ p(, 0)... ~ p( ) ~ p( ~ p( ~ p( 0) pa( )) pa( )) ~ p( ) i Schon gezogene Werte B E P(A= B,E) B 2 A 3 5 E 4 R 32

33 Inferenz: Ancestral Sampling Wir ziehen ein Sample (,..., ), indem wir nacheinander die einzelnen ziehen Beispiel ~ p( ) ~ p( ) ~ p(, 0)... ~ p( ) ~ p( ~ p( ~ p( 0) pa( )) pa( )) ~ p( ) i Schon gezogene Werte E P(R= E) B A 3 5 E 4 R 33

34 Inferenz: Ancestral Sampling Wir ziehen ein Sample (,..., ), indem wir nacheinander die einzelnen ziehen Beispiel ~ p( ) ~ p( 2) 2 ~ p(, 0)... ~ p( ) ~ p( ~ p( ~ p( 0) pa( )) pa( )) ~ p( ) i Schon gezogene Werte B A P(= A) 2 A 3 5 E 4 R 34

35 Inferenz: Ancestral Sampling Wir ziehen ein Sample (,..., ), indem wir nacheinander die einzelnen ziehen Beispiel ~ p( ) ~ p( ) ~ p(, 0)... ~ p( ) ~ p( ~ p( ~ p( 0) pa( )) pa( )) ~ p( ) i Schon gezogene Werte ( k) (,0,,0,) 35

36 Inferenz: Ancestral Sampling Beispiel für Schätzung der Randverteilungen aus Samples: () (2) (3) (4) (5) Analyse Ancentral Sampling + Zieht direkt aus der korrekten Verteilung + Effizient (, 0,, 0,) (0,0,0,0,0) (0,, 0,, 0) (0,,, 0,) (0,0,0,0,0) p ( ) Funktioniert nur ohne Evidenz 3 p ( ) p ( ) B 2 A 3 5 E 4 R 36

37 Inferenz: Logic Sampling Wie erhalten wir Samples unter Evidenz? Logic Sampling: Ancestral Sampling + Zurückweisung von Samples, die nicht mit der Beobachtung konsistent sind ( k ) ~ p( ) p(,...,,..., ) I I D i i m j j l Beim Generieren der vollständigen Samples (,..., ) ~ p( ) ( ) ( ) ( ) Beobachtete Variablen verwerfen wir alle Samples, in denen die für die Evidenzvariablen gezogenen Werte nicht mit den Beobachtungen übereinstimmen Problem: meist werden fast alle Samples verworfen (vor allem, wenn es viele Evidenzvariablen gibt) Sehr lange Laufzeit um genug Samples zu erhalten, oft nicht praktikabel 37

38 Inferenz: MCMC Alternative Strategie zum Erzeugen von Samples: Markov Chain Monte Carlo ( MCMC ) Idee: Schwierig, direkt Samples aus p( z) zu ziehen Alternativstrategie: Konstruiere Folge von Samples (0) () (2) (3) (4) (5) z z z z z z... (0) ( t) ( t) t z zufällig initialisiert z ~ p( z z ) ( t) ( t) t durch mehrfache probabilistische Update-Schritte z ~ p( z z ). Wenn Updates geeignet gewählt, gilt asymptotisch ZV: T-te Variablenbelegung ( T z ) ~ p( z) ungefähr, für sehr grosse T 38

39 Markov-Ketten Betrachte Folge der Samples als Zufallsvariablen, Diese Zufallsvariablen bilden Markov-Kette: (0) z (0) () (2) (3) (4) (5) z z z z z z... () z () t z heißt Zustand der Kette zum Zeitpunkt t (0) (0) () () (0) (2) (2) () (3) (3) (2) z ~ p( z ) z ~ p( z z ) z ~ p( z z ) z ~ p( z z ) (2) z (3) z 39

40 Markov-Ketten ( ) Die Verteilung über z t ergibt sich aus der Verteilung über durch () t z Folgezustand p ( ) ( ) ( ) ( ) ( z t ) p( z t z t ) p( z t ) t ( ) () t Eine Verteilung p( z ) heißt stationär, falls z Wenn die Kette zum Zeitpunkt t eine stationäre Verteilung erreicht hat, so bleibt diese erhalten: ( tk ) ( t p( z ) p( z ) ) für alle k 0 Aktueller Zustand ( t) ( t) ( z ) p( z ) Unter bestimmten Bedingungen ( ergodische Ketten ) konvergieren Markov-Ketten zu einer eindeutigen stationären Verteilung ( Gleichgewichtsverteilung ) p 40

41 Inferenz: MCMC Gegeben graphisches Modell über ZV = {,, }, definiert Verteilung p() Annahme zunächst: keine Evidenz Markov Chain Monte Carlo Methoden Konstruiere aus dem graphischen Modell eine Folge von Samples durch iterative probabilistische Updates (0) () (2) (3) (4) (5)... (0) ( t) ( t) t zufällig initialisiert ~ p( ) Ziel: Updates so wählen, dass sich ergodische Markov-Kette mit Gleichgewichtsverteilung p( ) ergibt Einfachste Methode: lokales Ziehen einer Variable, gegeben Zustand der anderen Variablen ( Gibbs-Sampling ) () t jeweils Belegung aller Knoten im etz 4

42 Inferenz: Gibbs Sampling Gibbs Sampling: Eine Version von MCMC Übergangswahrscheinlichkeiten bestimmt durch wiederholtes lokales Ziehen einer ZV, gegeben den Zustand aller anderen ZV Gegeben alter Zustand (,..., ) Ziehen des neuen Zustands ' ( ',..., ') : Im letzten Schritt gesampelte Werte ' ~ p(,..., ) ' ~ p( ',,..., ) ' ~ p( ', ',,...,... ' ~ ( ' 2', p,.., ') ) Anfangs zufällige Initialisierung 42

43 Inferenz: Gibbs Sampling Satz: Falls p( i pa( i )) 0 für alle i und alle möglichen Zustände i, so ist die resultierende Markov-Kette ergodisch mit Gleichgewichtsverteilung p( ). Einzelner Gibbs-Schritt einfach: alle Variablen bis auf Anfragevariable beobachtet, naive Inferenz in Zeit O(M ) 43

44 Gibbs-Sampling mit Evidenz Bisher haben wir Inferenz ohne Evidenz betrachtet Wie erhalten wir Samples aus der bedingten Verteilung? ( T ) Ziel: ~ p( D) ungefähr, für sehr grosse Leichte Modifikation der Gibbs-Sampling Methode: Gibbs-Sampling zieht immer eine Variable i neu, gegeben Zustand der anderen Variablen Mit Evidenz: ur die unbeobachteten Variablen werden jeweils neu gezogen, die beobachteten Variablen werden fest auf den beobachteten Wert gesetzt T 44

45 Inferenz: Gibbs Sampling Zusammenfassung Gibbs Sampling Algorithmus: Gibbs Sampling in vielen praktischen Anwendungen brauchbar (0) zufällige Initialisierung aller ZV, konsistent mit Evidenz D ( t) ( t) Für t,..., T: Gibbs-u pdate( ) () (2) (3) Die Samples,,... sind asymptotisch verteilt nach p(, ) Einzelne Update-Schritte effizient Garantierte Konvergenz (für t ) Erlaubt, Samples aus p( ) D zu ziehen, ohne dass Laufzeit eplodiert wenn Evidenzmenge groß (im Gegensatz zu Logic Sampling) D 45

46 Inferenz: Gibbs Sampling Gibbs-Sampling: Konvergenz () (2) (3) Konvergenz der Markov-Kette,,,... ist nur garantiert für t. In der Prais: Burn-In Iterationen, bevor Samples () verwendet werden (verwerfe Samples t für ) t T Burn in Es gibt auch Konvergenztests, um Anzahl der Burn-In Iterationen zu bestimmen 46

47 Inferenz: Zusammenfassung Eakte Inferenz Message-Passing Algorithmen Eakte Inferenz auf Polytrees (mit Junction-Tree Erweiterung auf allgemeinen Graphen) Laufzeit abhängig von Graphstruktur, eponentiell im worst-case Approimative Inferenz Sampling-Methoden: Approimation durch Menge von Samples, eakte Ergebnisse für t. Ancestral Sampling: einfach, schnell, keine Evidenz Logic Sampling: mit Evidenz, aber selten praktikabel MCMC/Gibbs-Sampling: Effizientes approimatives Ziehen von Samples unter Evidenz 47