Probabilistische Graphische Modelle

Transkript

1 Probabilistische Graphische Modelle 1 Probabilistische Graphische Modelle Sven Wachsmuth Universität Bielefeld, Technische Fakultät, AG Angewandte Informatik WS 2006/2007

2 Probabilistische Graphische Modelle 2 Übersicht über die Vorlesung 1

3 Probabilistische Graphische Modelle Wk.theorie + Probabilistische Inferenz Zusammenfassung Frequentisten vs. Bayesianer Cox Axiome Maximum-Likelihood-Schätzer posterior likelihood prior Bernoulli-Verteilung / Beta-Verteilung Multinomial-Verteilung / Dirichlet-Verteilung Normal-Verteilung / Normal-Verteilung Forward probabilities / inverse probabilities Dichteschätzung, Regression, Klassifikation

4 Probabilistische Graphische Modelle 4 2. Varianten von PGMs Es sind verschiedene Ausprägungen von PGMs getrennt von einander entstanden, deren Theorie erst später über den Begriff der Graphical Models zusammengeführt wurden: Bayes sche Netzwerke (BN) Finn V. Jensen, An Introduction to Bayesian Networks, London: UCL Press Limited, 1996, Kap. 2.3, 3.3. Hidden Markov Modelle (HMM) Gernot A. Fink, Mustererkennung mit Markov-Modellen, Wiesbaden: Teubner, 2003, Kap. 5. Markov Random Fields (MRF) Stan Z. Li, Markov Random Field Modeling in Computer Vision, New York, Berlin, Heidelberg, Tokyo: Springer, 1995, Kap. 1.

5 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Bayes sche Netzwerke (BN) Die Verbundwahrscheinlichkeit über eine Variablenmenge X = {X 1, X 2,..., X n } wird auf der Basis der Produkt- oder Kettenregel faktorisiert: P(x 1, x 2,..., x n ) =P(x 1 x 2,..., x n ) P(x 2 x 3,..., x n ) P(x n 1 x n )P(x n ) d.h. es wird eine Ordnung auf den Variablen angenommen (aus unterschiedlichen Ordnungen resultieren unterschiedliche BN s). Über Annahmen einer bed. Unabh. zwischen Variablen, können die Variablen in der Bedingung eingeschränkt werden

6 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Bed. Unabhängigkeit in BNs In BNs werden bedingte Unabhängigkeiten H über sogenannte Eltern (parents) definiert: P(x 1, x 2,..., x n H) n P(x i x πi ) i=1 wobei π i {X i+1,..., X n } Eltern von x i. Über die Eltern-Kind-Beziehung definiert sich der zugehörige gerichtete Graph.

7 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Beispiel: Paul arbeitet in seinem Büro in Californien. Sein Haus in einem Vorort ist durch eine Alarmanlage gesichert. Nach einer Sitzung bekommt er die Nachricht, dass seine Nachbarin Mary versucht hat ihn zu erreichen. Ist vielleicht seine Alarmanlage losgegangen? Hat eventuell ein Einbruch stattgefunden? Nach der nächsten Sitzung erfährt er, dass auch sein anderer Nachbar John versucht hat ihn anzurufen. Sehr beunruhigt setzt er sich in sein Auto und fährt nach Hause. Unterwegs hört er im Radio, dass ein kleines Erdbeben stattgefunden hat, ohne Schäden zu verursachen. Wieder beruhigt kehrt er zur Arbeitsstelle zurück.

8 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Beispiel: Paul arbeitet in seinem Büro in Californien. Sein Haus in einem Vorort ist durch eine Alarmanlage gesichert. Nach einer Sitzung bekommt er die Nachricht, dass seine Nachbarin Mary versucht hat ihn zu erreichen. Ist vielleicht seine Alarmanlage losgegangen? Hat eventuell ein Einbruch stattgefunden? Nach der nächsten Sitzung erfährt er, dass auch sein anderer Nachbar John versucht hat ihn anzurufen. Sehr beunruhigt setzt er sich in sein Auto und fährt nach Hause. Unterwegs hört er im Radio, dass ein kleines Erdbeben stattgefunden hat, ohne Schäden zu verursachen. Wieder beruhigt kehrt er zur Arbeitsstelle zurück.

9 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Anwendung der Kettenregel: P(John, Mary, Alarm, Einbruch, Erdbeben) = P(John Mary, Alarm, Einbruch, Erdbeben) P(Mary Alarm, Einbruch, Erdbeben) P(Alarm Einbruch, Erdbeden) P(Einbruch Erdbeben) P(Erdbeben) und Anwendung der bedingten Unabhängigkeitsannahmen H...

10 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Anwendung der Kettenregel: P(John, Mary, Alarm, Einbruch, Erdbeben H) = P(John Mary, Alarm, Einbruch, Erdbeben, H) P(Mary Alarm, Einbruch, Erdbeben, H) P(Alarm Einbruch, Erdbeden, H) P(Einbruch Erdbeben, H) P(Erdbeben H) = P(John Alarm) P(Mary Alarm) P(Alarm Einbruch, Erdbeden) P(Einbruch) P(Erdbeben)

11 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Einbruch Erdbeben Alarm JohnCalls MaryCalls P(John, Mary, Alarm, Einbruch, Erdbeben H) = P(John Alarm) P(Mary Alarm) P(Alarm Einbruch, Erdbeden) P(Einbruch) P(Erdbeben) wobei H die Menge der bed. Unabhängigkeitsannahmen.

12 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Def. (diskretes) Bayes sches Netzwerk (BN) (I) Ein BN besteht aus: Einer Menge von Variablen (Knoten) und einer Menge von gerichteten Kanten zwischen Variablen. Jede Variable hat eine endliche Menge von sich gegenseitig ausschließenden Zuständen. Die Variablen bilden zusammen mit den gerichteten Kanten einen gerichteten azyklischen Graphen (directed acyclic graph - DAG). D.h. Es existiert kein gerichteter Pfad mit... X 1 X k, so dass X 1 = X k

13 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Def. (diskretes) Bayes sches Netzwerk (BN) (II) Ein BN besteht aus (Fortsetzung): Jeder Variablen X i mit Eltern π i ist eine Tabelle von bedingten Wahrscheinlichkeiten zugeordnet: p(x (1) i x π (1) i )... p(x (1) i x π (L) i ) P(X i X πi ) p(x (K) i x π (1) i )... p(x (K) i x π (L) i )

14 2.1 Varianten von PGMs: Bayes sche Netzwerke Inferenz bei BNs (Problemstellungen): Sei X = {X 1, X 2,..., X n } die Menge von ZV en des BN. Sei O = (X J = x J ) = (X j1 = x j1,..., X jj = x jj ) gegeben. Belief updating (Bel): P(x i O) = P(X i = x i X j1 = x j1,..., X jj = x jj ) Most probable explanation (MPE): arg max x I A XI P(x I x J ), wobei X I = X \X J Maximum a posteriori hypothesis (MAP): arg max x I A XI P(x I x J ), wobei X I X \X J Probabilistische Graphische Modelle 12

15 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Modellierung in BN en Problem großer bed. Wk.-Tabellen P(A B, C, D): Es liegen Schätzungen für P(A B), P(A C), P(A D) vor, wie beschreiben wir ihre Kombination in P(A B, C, D)? Jede Ursache hat eine unabhängige Wirkung, wie kann dies modelliert werden?

16 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Beispiel (Noisy-or) Es gibt 3 Ereignisse, die dazu führen, dass die Alarmanlage los geht: Hintergrund-Ereignis: 0,1% aus unspezifischen Gründen Einbrecher: 95% Erdbeben: 29% Annahme: Die Faktoren, die dazu führen, dass das Ereignis trotzdem nicht eintritt sind unabhängig.

17 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Noisy-or Seien A 1,..., A n binäre Variablen der möglichen Ursachen von dem Ereignis der binären Variablen B. A i = true verursacht B = true, solange dies nicht durch andere Faktoren verhindert wird. Sei P(B = false A i = true) = q i die bed. Wk., dass B trotzdem nicht eintritt. Annahme: Verhinderungsfaktoren der Ereignisse von A 1,..., A n sind unabhängig, d.h. z.b.: P(B = true A 1 = true, A 2 = true, A 3 = = A n = false) = 1 P(B = false A 1 = true, A 2 = true, A 3 = = A n = false) = 1 q 1 q 2

18 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Beispiel (unabhängige Ursachen) Kopfschmerzen (Ko) können durch Fieber (Fi), einen Kater (Ka), Rheuma (Rh), einen Gehirntumor (Ge), oder andere Gründe (An) verursacht werden. Eventuell wird Aspirin (As) zur Linderung der Kopfschmerzen eingenommen. Die einzelnen Ursachen verstärken den Effekt. Der Einfluss der Ursachen auf die Wirkung ist unabhängig.

19 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke unabhängige Ursachen Seien C 1,..., C n die Elternknoten von A. C 1,..., C n sind unabhängig, falls das folgende für alle Konfigurationen (c 1,..., c n ) und für alle i gilt: Falls A = a und C i = c i ändert sich nach C i = c i, dann wird die resultierende Verteilung von A nur durch eine Funktion von a, c i, c i bestimmt.

20 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Divorcing Noisy-or und kausale Unabhängigkeit sind Spezialfälle von der Methode Divorcing (scheiden). Seien A 1,..., A n Elternknoten von B. A 1,..., A i is divorced from A i+1,..., A n durch die Einführung einer Zwischenvariablen C mit C wird gemeinsames Kind von A1,..., A i. C wird neben Ai+1,..., A n Elternknoten von B. Annahme: Die Konfigurationen von A 1,..., A i können partitioniert werden in die Mengen c (1),..., c (K), so dass für zwei Konfigurationen a [1,i], a [1,i] aus einer Menge c(j) gilt: P(B a [1,i], a [i+1,k] ) = P(B a [1,i], a [i+1,k])

21 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Beispiel (Ungerichtete Relationen): Um zwei zusammengehörige Socken zu finden, kann man diese nach Farbe und Muster klassifizieren. Nach mehrfachem Waschen ist dies jedoch nicht immer ganz einfach. In der letzten Waschmaschine waren 2 Paar Socken, die nicht mehr ganz eindeutig auseinander zu halten sind. Nichtsdestotrotz müssen wir zwei passende finden. Die Beschränkung dabei ist, dass es jeweils exakt 2 Socken des gleichen Typs gibt.

22 Probabilistische Graphische Modelle Varianten von PGMs: Bayes sche Netzwerke Ungerichtete Relationen Sei R(A, B, C) eine ungerichtete Relation zwischen den Variablen A, B, C, die durch die Werte {0, 1} beschrieben wird. Füge eine Variable D mit A D = {true, false}. Definiere P(D = true A, B, C) = R(A, B, C). Definiere P(D = false A, B, C) = 1 R(A, B, C). Setze die Evidenz D = true.

23 2.1 Varianten von PGMs: Bayes sche Netzwerke Zusammenfassung Bayes-Netze Ein BN ist ein DAG, wobei jedem Knoten (Variablen) eine bedingte Wk.-Tabelle zugeordnet ist. Gerichtete Kanten des DAG ergeben sich häufig über kausale Beziehungen der in den ZV modellierten Ereignisse. Die Faktorisierung der Verbundwk. ergibt sich über die Kettenregel bzw. die Elternknoten. Jede Instanziierung eines BNs (partielle Belegung der Variablen mit Werten Evidenzen) wird als unabhängiges Ereignis betrachtet. Die Theorie von Bayes-Netzen kann auch auf kontinuierliche Variablen ausgedehnt werden ( hybride Bayes-Netze) Ziel ist die Berechnung der bedingten Wahrscheinlichkeit von nicht beobachteten Variablen. Probabilistische Graphische Modelle 21

24 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Hidden Markov Modelle (HMM) HMMs beschreiben einen 2-stufigen stochastischen Prozess erste Stufe: diskreter stochastischer Prozess, stationär, kausal, einfach, endliche Zustandsmenge, endlicher Automat mit Übergangswk. P(s t s 1, s 2,..., s t 1 ) = P(s t s t 1 ) zweite Stufe: Zu jedem Zeitpunkt t wird eine Ausgabe (Emission) ot generiert, die Ausgabe ist nur vom aktuellen Zustand st abhängig P(o t o 1,..., o t 1, s 1,..., s t ) = P(o t s t )

25 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Beispiel Paul ist neu in der Stadt und versucht Mary, die sich in der Stadt recht gut auskennt, zu erklären, wo er gestern lang gegangen ist. Ich bin an einer großen Kreuzung gestartet. Dann bin ich bei einer Kirche herausgekommen und weiter gegangen zu einem Platz mit einem Brunnen. Von dort bin ich dann an einer Eisdiele vorbei gegangen, habe ein Stück weiter Straßenbahngleise überquert und bin bei meinem Hotel herausgekommen. Welcher Weg wurde genommen? An welchem Hotel ist Paul angekommen?

26 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Die Zustandsmenge besteht aus den markierten Stellen im Stadtplan. Die Beobachtungen sind markante Objekte an diesen Orten. Welcher Weg wurde genommen? An welchem Hotel ist Paul angekommen?

27 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Def. Hidden Markov Modelle Ein HMM 1. Ordnung wird vollständig beschrieben durch: eine endliche Menge von Zuständen S t {s 1 s N} eine Matrix A von Zustandsübergangswk. A = {a ij a ij = P(S t = j S t 1 = i)} einen Vektor π von Zustandsstartwk. π = {π i π i = P(S 1 = i)}. zustandsspezifische Emissionsverteilungen B = {b kj b kj = P(O t = o k S t = j)} bzw. {b j (x) b j (x) = p(x S t = j)} (kont. Dichten)

28 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Modellierung der Modellemissionen Meistens wird eine kontinuierliche Dichte durch eine Mischverteilung approximiert: M j b j (x) = c jk N (x µ jk, K jk ) k=1 wobei c jk das Mischungsgewicht mit k c k = 1 und c k 0 k, µ jk der zustandsabh. Mittelwert der Komponente, K jk die zustandsabh. Kovarianzmatrix der Komponente.

29 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Semikontinuierliche HMMs Die zu mischenden Komponenten sind unabhängig vom Zustand: M j b j (x) = c jk N (x µ k, K k ) k=1 wobei c jk das Mischungsgewicht mit k c k = 1 und c k 0 k, µ k der komponentenspezifische Mittelwert, K k die komponentenspezifische Kovarianzmatrix.

30 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Inferenz bei HMMs (Problemstellungen) Sei S = (S 1,..., S T ) eine Folge von Zustandsvariablen. Sei O = (O 1 = o k1,..., O t = o kt ) eine Folge von Beobachtungen. Produktionswk. von HMM λ (Evaluierung) P(O λ) = s 1,...,s T P(O, s 1,..., s T λ) optimale Produktionswk. von HMM λ (Dekodierung) P (O λ) = P(O, s λ) = max s 1,...,s T P(O, s 1,..., s T λ)

31 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Inferenz bei HMMs (Problemstellungen II) Sei S = (S 1,..., S T ) eine Folge von Zustandsvariablen. Sei O = (O 1 = o k1,..., O t = o kt ) eine Folge von Beobachtungen. Klassifikation (zwei oder mehr HMMs λ i ) P(λ i O) = max i P(O λ i ) P(λ i ) P(O)

32 Probabilistische Graphische Modelle Varianten von PGMs: Hidden Markov Modelle Zusammenfassung HMMs Ein HMM ist ein zweistufiger Zufallsprozess (Zustände der ersten Stufe sind nicht beobachtbar). Aufeinander folgende Ereignisse sind nicht unabhängig! Ein HMM wird beschrieben durch λ = (A, π, B). Es wird meistens zur Modellierung zeitlich organisierter Prozesse verwendet. Komplexere Problemstellungen werden meistens durch Verbund-Modelle realisiert (Zusammenschaltung einfacher Modelle) Ein entrolltes HMM entspricht einem einfachen Bayes-Netz mit rechtsseitiger Baumstruktur.

33 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Markov Random Fields (MRF) MRFs beschreiben ein Feld von Zufallsvariablen X mit ungerichteten direkten Abhängigkeiten. Dies ist darstellbar durch einen ungerichteten Graphen mit einer Nachbarschaft X Ni von Knoten X i. Jede Variable X i ist unabhängig von den Zuständen der übrigen Variablen X J gegeben die Menge der Nachbarschaftsknoten X Ni : P(x i x Ni, x J ) = P(x i x Ni ), wobei X = {X i } X J X Ni

34 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Beispiel Auf dem Tankstellenmarkt herrscht ein harter Preiskampf. Jeder Tankstellenbetreiber versucht seine Preise anhand des lokalen Preisgefüges der benachbarten Tankstellen und des Weltmarktpreises zu optimieren. Der Autofahrer unterwegs kennt zwar die Preise von Tankstelle A, B, und C, kann aber den Preis seiner nächsten Tankstelle D an einem Ort zwischen der teuren Tankstelle A und der günstigen Tankstelle C nur schätzen. Lohnt sich der Weg zur Tankstelle C?

35 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Welche Verteilung modelliert die Unabhängigkeitsbed. eines MRF? Gedankenexperiment Gegeben sei ein physikalisches System mit diskreten Energiezuständen ɛ 1, ɛ 2,..., ɛ m. N identische solche Systeme werden in einen abgeschlossenen Raum gesperrt, können aber untereinander Energie austauschen. Was ist die Verteilung der Energiezustände, die sich einstellt (am wahrscheinlichsten ist)?

36 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Boltzmann-Verteilung N s N = exp{ βɛ s} s exp{ βɛ s } wobei N s die Anzahl der Systeme im Zustand s. N die Gesamtanzahl der Systeme. β temperaturabh. Parameter.

37 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Die Faktorisierung der Boltzmann-Verteilung ergibt sich aus einer Zerlegung des Energiezustandes ɛ s in eine Summe aus einzelnen Energietermen E i (s). Faktorisierung der Boltzmann-Verteilung Ns N = exp{ β i E i(s)} Z wobei ɛ s = i E i(s) Z = s exp{ β i E i(s )} (Zustandssumme)

38 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Ein Systemzustand s wird modelliert durch eine Menge von Zufallsvariablen X = {X 1,..., X n } und entspricht einer Systemkonfiguration s (x 1, x 2,..., x n ) Ein Energieterm (Potentialfunktion V I (x I )) kann dabei nur von einer Teilmenge X I X der ZV abhängen. P(x 1,..., x n ) = 1 Z exp{ β I Q V I (x I )} wobei Q P({1, 2,..., n}) (P: Potenzmenge).

39 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields P(x 1,..., x n ) = 1 Z exp{ β I Q V I (x I )} Umsetzung der Zerlegung der Zustandsenergie ɛ s = I Q V I(x I ) in einen Graphen: Definiere für jede ZV einen Knoten. Ziehe genau dann eine Kante (i, j) zwischen zwei Knoten, wenn beide ZV in einem Teilenergieterm V I (x I ) vorkommen. ( I Q X i, X j X I ) Hieraus folgt die Unabhängigkeitbed. in einem MRF. P(x i x Ni, x J ) = P(x i x Ni ), wobei N i Nachbarschaft von X i

40 2.3 Varianten von PGMs: Markov Random Fields Def. Markov Random Fields Ein (diskretes) MRF wird beschreiben durch: Einer Menge von Variablen (Knoten) X und einer Menge von ungerichteten Kanten E. Jede Variable hat eine endliche Menge von sich gegenseitig ausschließenden Zuständen. Die Variablen bilden zusammen mit den ungerichteten Kanten einen ungerichteten Graphen G = (X, E) Es gilt die Unabhängigkeitsbed. (X = {X i } X Ni X J ) P(x i x Ni, x J ) = P(x i x Ni ), j J (i, j) E k Ni (i, k) E Probabilistische Graphische Modelle 38

41 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Bisher haben wir gezeigt, dass die Boltzmann-(Gibbs-)Verteilung die MRF-Bedingungen erfüllt. Hammersley-Clifford Theorem X ist genau dann ein MRF in Bezug auf ein Nachbarschaftssystem N, wenn P(x) eine Boltzmann-Gibbs-Verteilung ist. P(x 1,..., x n ) = 1 Z exp{ β I Q V I (x I )} wobei Q die Menge der (maximalen) Cliquen des Graphen mit Nachbarschaftssystem N ist.

42 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Def. Clique Eine Clique C in einem Graphen G = (X, E) ist eine Knotenteilmenge von G, d.h. C X, die vollverbunden ist, d.h. X i, X j : X i C X j C (i, j) E Die Beschränkung im Hammersley-Clifford-Theorem auf maximale Cliquen bedeutet keine Einschränkung für das Modell. Häufig werden größere Cliquen durch die Summe von Potentialfunktionen von Teil-Cliquen beschrieben.

43 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Inferenz bei MRFs (Problemstellung) Sei X = (X 1,..., X n ) ein Feld von Zustandsvariablen. Sei O = {O 1 = o 1,..., O n = o n } eine Menge von Beobachtungen. Most probable explanation (MPE): arg max x P(x o) = arg max P(o x) P(x) x entspricht einer Energieminimierung (meistens Annahme einer bed. Unabh. im Datenterm): arg min x E(x) = arg min x V I (x I ) I Q n log P(o i x i ) i=1

44 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Wahl des Priors U(x) = I Q V I(x I ) (Beispiele): Multi-level logistic model (nicht geordnete Labelmenge) V I (x I ) = { ζ I ζ I falls alle x i, i I den gleichen Wert haben sonst. Glattheits-Prior (meistens paarweise) U(x) = V I (x I ) = V 2 (x i, x i ), S = {1,..., n} I Q i S i N i mit V 2 (x i, x i ) = 1 2 (x i x i ) 2. andere anwendungsabh. Wahl möglich.

45 Probabilistische Graphische Modelle Varianten von PGMs: Markov Random Fields Zusammenfassung MRFs Ein MRF ist ein ungerichteter Graph, wobei den Cliquen des Graphs Potentialfunktionen zugeordnet sind. Die Faktorisierung der Verbundwk. ergibt sich über die Summe der Potentialfunktionen. Jede Instantiierung einen MRFs wird als unabhängiges Ereignis betrachtet. Die Theorie von MRFs kann auch auf kontinuierliche Variablen ausgedehnt werden. Das Minimieren der Gesamtenergie des MRF entspricht der Berechnung einer most probable explanation der entsprechenden Boltzmann-Gibbs-Verteilung.

46 Probabilistische Graphische Modelle Varianten von PGMs: Gemeinsame Sicht Probabilistische Graphische Modelle kann man sich vorstellen als probabilistische Datenbasis, die wir über einen Anfragemechanismus bezüglich der Werte von Zufallsvariablen abfragen können. Modelliert wird jedes mal die Verbundwahrscheinlichkeit über einer Menge von Zufallsvariablen. Unabhängigkeitsannahmen H ergeben sich aus der Graphstruktur und spiegeln sich in der Faktorisierung der Verbundwk. P(x 1,..., x n H) = I Q f I (x I )

47 Probabilistische Graphische Modelle Varianten von PGMs: Gemeinsame Sicht P(x 1,..., x n H) = I Q f I (x I ) Dabei ist... Bayes-Netze: Q = {({Xi } X πi ) i {1,..., n}} fi (x I ) = P(x i x πi ), wobei I = ({X i } X πi ) ausgerollte HMMs können als Spezialfall eines BNs verstanden werden. MRFs: Q Menge der (maximalen) Cliques über dem Graph. fi (x I ) = exp{ βv I (x I )}

48 Probabilistische Graphische Modelle Varianten von PGMs: Gemeinsame Sicht Bayes-Netze und MRFs modellieren eine Folge von unabhängigen, identisch verteilten (IID) Verbund-Ensembles. Es besteht kein zeitlicher Zusammenhang zwischen zwei aufeinander folgenden Belegungen HMMs modellieren eine Folge von abhängigen Verbund-Ensembles (Zustand, Beobachtung). der zeitliche Zusammenhang ist meistens auf den vorherigen Zustand beschränkt. Erweiterung von Bayes-Netzen und MRFs auf dynamische PGMs.

49 Probabilistische Graphische Modelle Varianten von PGMs: Gemeinsame Sicht Gemeinsame Fragestellungen: Lassen sich Bayes-Netze und MRFs auf einander abbilden? Wo liegen die Grenzen, was kann modelliert werden? was nicht? Gibt es ein gemeinsames Schema für Inferenzalgorithmen? Wie können Parameter und Struktur aus Daten gelernt werden?