Probabilistische Graphische Modelle

Transkript

1 Probabilistische Graphische Modelle 1 Probabilistische Graphische Modelle Sven Wachsmuth Universität Bielefeld, Technische Fakultät, AG Angewandte Informatik WS 2006/2007

2 Übersicht über die Vorlesung Probabilistische Graphische Modelle 2

3 Probabilistische Graphische Modelle Approximative Inferenz Approximative Inferenz: Grundidee: Komplexität des Inferenzverfahrens von der Komplexität des Graphen entkoppeln. Stochastische Simulation Mean field Algorithmus Loopy Belief Propagation Variationsansatz

4 4.3.1 Approximative Inferenz stochastische Simulation Stochastische Simulation Grundidee: Berechnung von (bedingten) Wk. durch Auszählen von generierten Beispielen. Sampling (Generierung von Beispielen / Abtastung) einer Verteilung P(x 1,..., x N ): Problemzerlegung durch Conditioning: P(x 1 x 2,..., x N ) }{{} Berechnung P(x 2,..., x N ) }{{} Sampling Probabilistische Graphische Modelle 4

5 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Sampling-Schritt Gegeben ein bereitsgeneriertes Beispiel x 2,..., x N : Partitioniere Intervall [0, 1] entsprechend der Verteilung P(X 1 x 2,..., x n ) Ziehe gleichverteilte Zufallszahl im Intervall [0, 1]. Wähle X 1 = x 1 nach dem ausgewählten Intervall Bayes-Netze implizieren bereits eine natürliche Variablenreihenfolge (entlang der Eltern-Kind Relation)

6 4.3.1 Approximative Inferenz stochastische Simulation Problem: Sample-Reihenfolge: X 1,..., X 6 Inferenzaufgabe P(X 1, x 6 ) Beim bisherigen Sample-Ansatz müssen alle generierten Beispiele verworfen werden, die nicht X 6 = x 6 enthalten. Lösung: X 6 = x 6 von Anfang an festklemmen Generierung von Beispielen durch eine Markov-Kette Probabilistische Graphische Modelle 6

7 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Generierung einer Markov-Kette 1 Initialisierung:. Weise alle beobachteten Werte zu. Belege nicht-beobachtete Werte mit Zufallszahlen 2 Propagierung: Berechne für alle Variablen X i, i 1... N. Berechne P(X i x J ) = P(X i x Bi ) wobei J = {1... N} {i} und B i Markov-Blanket von X i.. Generiere neuen Wert X i = x i entsprechend der Verteilung P(X i x Bi ). Falls X i Abfragevariable, erhöhe Count für x i. Wiederhole Schritt (2) bis max. Iterationen erreicht sind.

8 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Der Algorithmus generiert eine Markov-Kette über Belegzustände Propagierung in der Markov-Kette benötigt eine Burn-In-Phase (ca. 5%). Feller Theorem: Falls die Wahrscheinlichkeit von einem beliebigen Zustand i in einen beliebigen Zustand j in einer endlichen Anzahl von Schritten überzugehen positiv ist, nähert sich die Wk. für einen Belegzustand einem Grenzwert (Stationaritätsbed.) P(j) = i P(i) P(j i)

9 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Sequential Importance Sampling (SIS) Implementiert einen Bayesian Filter durch Monte-Carlo-Simulation Wird angewendet falls P(x t z {1..t} ) nicht normalverteilt ist (sonst (Extended) Kalman Filter) Technik ist auch bekannt als CONDENSATION (conditional density propagation), particle filtering, survival of the fittest, etc.

10 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Kalman-Filter [Isard & Blake, 1998]

11 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Particle-Filter [Isard & Blake, 1998]

12 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Importance Sampling Grundidee: Repräsentation der Posterior-Dichte durch eine Menge von Samples mit assoziierten Gewichten {x i {0..t}, w i t } Ns i=1. N s P(x {0..t} z {0..t} ) wt i δ(x {0..t} x{0..t} i ); i=1 wt i = 1. i Schätzungen der Zielgrößen werden auf der Basis der Samples und Gewichte bestimmt. Aufgrund der assoziierten Gewichte werden insgesamt weniger Samples als bei Monte Carlo benötigt.

13 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Importance Sampling (Fortsetzung) Die Wahl der Gewichte basiert auf dem Prinzip des importance samplings, wt i P(x {0..t} i z {1..t}) q(x{0..t} i z {1..t}), wobei P(x) bis auf einen Proportionalitätsfaktor auswertbar ist, jedoch keine Samples generiert werden können. x i q(x), i = 1..N s (importance density) ein Vorschlag für die Dichte ist, aus der einfach Samples generiert werden können.

14 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Importance Sampling [Isard & Blake, 1998]

15 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Sequential Importance Sampling Annahme: Problem kann über einen rekursiven Filter gelöst werden (Faktorisierung der Importance Density). q(x {0..t} z {0..t} ) = q(x t x {0..t 1}, z {0..t} )q(x {0..t 1} z {0..t 1} ) Jetzt kann x{0..t} i q(x {0..t} i zi {0..t}) durch Erweiterung eines existierenden Samples x{0..t 1} i q(x {0..t 1} i zi {0..t 1}) mit einem neuen Zustand xt i q(x t x{0..t 1} i, zi {0..t}) erzeugt werden.

16 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Sequential Importance Sampling (Fortsetzung) Aus der Gleichung P(x i {0..t} zi {0..t} ) P(z t x t ) P(x t x t 1 ) P(x i {0..t 1} zi {0..t 1} ) folgt direkt für das modifizierte Gewicht: wt i wt 1 i P(z t x t ) P(x t x t 1 ) q(xt x i t 1 i, z t)

17 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Sequential Importance Sampling (Algorithmus) [{x i t, w i t } Ns i=1 ] = SIS[{x i t 1, w i t 1 }Ns i=1, z k] Für alle samples i 1..N s. Ziehe x i t q(x k x i t 1, z k). Berechne neues Gewicht wt i wt 1 i P(z t x t ) P(x t x t 1 ) q(xt x i t 1 i, z t) Problem: die Gewichte degenerieren schnell zu einer Lösung mit nur einem Partikel mit signifikantem Gewicht.

18 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Reduktion des Degenerationseffekts durch Resampling Generiere einen neue Menge von Samples {xt i } N s i=1 von der approximativen diskreten Repräsentation von P(x t z {1..t} ) N s P(x t z {1..t} ) wt i δ(x t xt) i so dass P(xt i = x j t ) = wt j. Setze die Gewichte wt i auf i=1 w i t = 1 N s, da IID-Annahme für Samples gilt.

19 Problem: eventuell viele Samples mit identischem Wert (sample impoverishment) Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Resampling Algorithm [{xt j, w j t, i j } Ns j=1 ] = RESAMPLE[{x t, i wt i } Ns i=1 ]. Initialisiere CDF: c 1 = 0. Für alle i 2..N s. Konstruiere CDF: c i = c i 1 + wt i. Starte am Anfang der CDF: i = 1. Ziehe einen Startpunkt: u 1 [0, Ns 1 ]. Für alle j 1..N s. Gehe weiter entlang der CDF: u j = u 1 + Ns 1 (j 1). Solange u j > c i, i = i + 1. Zuweisung: xt j = x i t, wt j = Ns 1, i j = i

20 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Particle Filtering Algorithmus [{x i t, w i t } Ns i=1 ] = PF [{x i t 1, w i t 1 }Ns i=1, z k]. Für alle i 1..N s. Ziehe x i t q(x t x i t 1, z k). Berechne neues Gewicht w i t = w i t 1 P(z t x t) P(x t x t 1) q(x i t x i t 1,zt). Normalisiere {wt i } Ns i=1 1. Berechne ˆN eff = P Ns (Maß für degenerierte Verteilung) i=1 (w t i )2. Falls ˆN eff < N T. Resample: [{xt, i wt i, } Ns i=1 ] = RESAMPLE[{x t, i wt i } Ns i=1 ]

21 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation SIR Particle Filter (Sampling Importance Resampling) [{xt, i wt i } Ns i=1 ] = SIR[{x t 1 i, w t 1 i }Ns i=1, z k]. Für alle i 1..N s. Ziehe xt i P(x t xt 1 i ) (generiere Rauschen vt 1 i P v (v t 1 ), berechne xt i = f t (xt 1 i, v t 1 i ) über Dynamikgleichung).. Berechne neues Gewicht wt i = P(z t xt) i. Normalisiere {w i t } Ns i=1. Resample: [{x i t, w i t, } Ns i=1 ] = RESAMPLE[{x i t, w i t } Ns i=1 ] Resampling wird in jeder Iteration durchgeführt Entspricht CONDENSATION-Algorithmus

22 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation CONDENSATION [Isard & Blake, 1998]

23 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Zusammenfassung Stochastische Simulation wird häufig bei MRFs eingesetzt Sequential Importance Sampling (SIS) wendet stochastische Simulation auf State-Space-Modelle an (Zustand nicht Gaußverteilt). SIS-Techniken (Particle Filter) werden häufig eingesetzt in Tracking und SLAM-Problemen.

24 Probabilistische Graphische Modelle Approximative Inferenz stochastische Simulation Tracking-Beispiel [Isard & Blake, 1998]

25 Probabilistische Graphische Modelle Approximative Inferenz mean field Algorithmus Bisher: approximative Inferenz durch zufälliges generieren von Beispielen. Problematisch bei dichten Graphen und höher-dimensionaler ZV en, da ein sehr großer Raum abgetastet werden muss. Alternative: deterministische Verfahren zur approximativen Inferenz.

26 Probabilistische Graphische Modelle Approximative Inferenz mean field Algorithmus Wdh: Generierung einer Markov-Kette 1 Initialisierung:. Weise alle beobachteten Werte zu. Belege nicht-beobachtete Werte mit Zufallszahlen 2 Propagierung: Berechne für alle Variablen X i, i 1... N. Berechne P(X i x J ) = P(X i x Bi ) wobei J = {1... N} {i} und B i Markov-Blanket von X i.. Generiere neuen Wert X i = x i entsprechend der Verteilung P(X i x Bi ). Falls X i Abfragevariable, erhöhe Count für x i. Wiederhole Schritt (2) bis max. Iterationen erreicht sind. einfache Idee: ersetze Zufallsupdate durch Mittelwert

27 Probabilistische Graphische Modelle Approximative Inferenz mean field Algorithmus Bsp. Ising-Modell Markov Random Field mit G = (X, E), mit X = (X 1,..., X N ), V = {1,..., N} Binäre Zufallsvariablen x {0.1} N. Paare von benachbarten Knoten sind über ein Gewicht θ st gekoppelt. Jeder Knoten hat ein Observationsgewicht θ s. P(x; θ) exp{ θ s x s + θ st x s x t } s V (s,t) E

28 Probabilistische Graphische Modelle Approximative Inferenz mean field Algorithmus Gibbs-Update: { x (p+1) s = 1 falls u {1 + exp[ (θ s + t N (s) θ stx (p) t 0 sonst. Mean field Algorithmus: µ s {1 + exp[ (θ s + t N (s) θ st µ t )]} 1 )]} 1 Diese Art von Algorithmen kann als Message-Passing Algorithmus auf der Graph-Struktur interpretiert werden. (hier wird Nachricht µ s geschickt)

29 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation Loopy Belief Propagation Anwendung von Pearl s Belief Propagation Algorithmus für Polytrees bzw. von dem SUM-PRODUCT-Algorithmus auf Graphen mit Zyklen. Wie soll der Algorithmus gestartet werden? Wird der Algorithmus konvergieren? Wird der Algorithmus gegen das korrekte Ergebnis konvergieren?

30 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation SUM-PRODUCT Algorithmus Nachrichten von einem Variablenknoten i zu einem Faktorknoten s (ν-sendmessage(i, s)) ν is (x i ) = µ ti (x i ) t N (i) s Nachrichten von einem Faktorknoten s zu einem Variablenknoten i (µ-sendmessage(s, i)) µ si (x i ) = (f s (x N (s) ) ν js (x j )) x N (s) {i} j N (s) {i} Die Gleichungen werden genau dann aufgerufen, wenn die Nachrichten von allen anderen Nachbarknoten vorliegen.

31 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation Initialisierung: Alle Nachrichten werden auf den Vektor 1 gesetzt. Damit sind alle Knoten zum Aussenden von Nachrichten aktiviert. Propagierungsschedule: Spezifikation welche Nachrichten in einem Zeitschritt versendet werden. flooding schedule: Nachrichten werden für alle Kanten des Graphen in jede Richtung verschickt. serial schedule: Es wird immer nur eine Nachricht pro Zeitschritt verschickt.

32 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation Serial schedule Eine Nachricht ist anhängig an Kante e von Knoten v, falls der Knoten nach dem letzten Aussenden eine Nachricht über eine andere Kante als e bekommen hat. Der Empfang einer einer Nachricht in Knoten v über Kante e erzeugt anhängige Nachrichten an allen anderen Kanten von v. Es werden über eine First-In-First-Out Queue alle anhängigen Nachrichten abgearbeitet. Der Algorithmus wird für zyklische Graphen nicht anhalten! Abbruchkriterium ist meistens eine maximale Anzahl von Iterationen.

33 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation ALARM Bayesian network

34 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation (a) Loopy-Belief-Propagation (200 Iterationen) (b) Stochastisches Sampling (200 Iterationen) (c) Stochastisches Sampling (1000 Iterationen)

35 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation toyqmr Bayes-Netz (Diagnosen und Symptome) (a) Loopy-Belief-Propagation (b) Stochastisches Sampling

36 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation QMR-DT Bayes-Netz mit 600 Krankheiten und 4000 Symptomen, Struktur wie toyqmr (a) keine Konvergierung (b) Fehler gegenüber exakter Inferenz

37 Probabilistische Graphische Modelle Approximative Inferenz Loopy Belief Propagation Zusammenfassung von Loopy Belief Propagation Algorithmus ist als Approximation interessant, da Berechnungen lokal sind. Falls Loopy-Belief-Propagation konvergiert, ist die Lösung eine sehr gute Näherung (z.b. Turbo-Codes) Falls der Algorithmus nicht konvergiert, ist die Lösung nicht brauchbar. Es ist bisher unbekannt, wovon genau die Konvergenz abhängt.

38 Probabilistische Graphische Modelle Approximative Inferenz Variational Inference Variational Inference Gegeben sei ein PGM P(x) = 1 Z P i Ψ i(x Di ), bei dem das Inferenzproblem nicht exakt lösbar ist. Idee: Approximiere die gewünschte Zielverteilung über ein Lernverfahren auf einem vereinfachten PGM Q(x) = 1 Z Q j Φ j(x Cj ), bei dem exakte Inferenzverfahren anwendbar sind. Minimiere die KL-Distanz zwischen P und Q: min Φ D(Q P) = min Φ x Q Φ (x) log Q Φ(x) P(x)

39 Probabilistische Graphische Modelle Approximative Inferenz Variational Inference Anstatt das globale Minimum zu finden, suchen wir eine Iteration für Q, die den Abstand verringert und einen Fixpunkt bezüglich D(Q P) hat: Φ D(Q P) = 0, wobei Φ = {Φ j } j. Ansatz: D(Q P) = x Q(x) log Q(x) P(x) = [H(Q) + E Q[log P(x)]]

40 Probabilistische Graphische Modelle Approximative Inferenz Variational Inference Führt nach umformen von H(Q) und E Q [log P(x)] zu (gesucht ist die Update-Formel für Φ j (x Cj )) H(Q) = H(Q(C j )) + H(Q(X C j )) = C j Q(c j ) log Q(c j ) C j Q(c j ) Q(x c j ) log Q(x c j ) X C j = Q(c j ) log Q(c j ) Q(c j ) Q(c k c j ) log Q(c k c j ) C j C j k C k C j E Q [ log P(x)] = Q(c j ) Q(x c j ) log Ψ i (d i ) log(z P ) i C j X C j = Q(c j ) Q(d i c j ) log Ψ i (d i ) log(z P ) C j i D i C j

41 Probabilistische Graphische Modelle Approximative Inferenz Variational Inference Und beim Einsetzen in D(Q P) ergibt sich die folgenden Gleichung mit Update-Term γ j (c j ): D(Q P) = C j Q(c j ) log Q(c j) Γ j (c j ) + log(z P), Γ j (c j ) = exp(γ j (c j )). γ j (c j ) = Q(c k c j ) log Q(c k c j ) + Q(d i c j ) log Ψ i (d i ) k C k C j i D i C j }{{}}{{} Term aus H(Q), C k C j Term aus E Q [logp(x)]

42 Probabilistische Graphische Modelle Approximative Inferenz Variational Inference Variational Inference Procedure (VIP) Eingabe: Menge von Potentialen Ψ i (d i ), die die Ziel-Verteilung P(x) = 1 Z P i Ψ i(d i ) definieren und eine Menge von Clustern C j, j = 1... J mit initialen nicht-negativen Potentialen Φ j (c j ). Ausgabe: Ein revidierte Menge von Potentialen Φ j (c j ), die eine Verteilung Q(x) = 1 Z Q j Φ j(c j ) definiert, so dass Q ein Fixpunkt der KL-Distanz D(Q P) ist. Graph wird charakterisiert durch Indikatorfunktionen g kj = 0, falls C k C j = f ij = 0, falls D i C j =

43 Probabilistische Graphische Modelle Approximative Inferenz Variational Inference Variational Inference Procedure (VIP) Iteriere über alle Cluster C j bis zur Konvergenz. Für jede Instanz c j des Clusters C j, γ j (c j ) {k:g kj =1} + {i:f ij =1} Φ j (c j ) exp(γ j (c j )) Q(c k c j ) log Q(c k c j ) C k C j Q(d i c j ) log Ψ i (d i ) D i C j Zur Berechnung von Q(c k c j ) und Q(d i c j ) wird der sum-product Algorithmus auf Q(X ) = i Φ i(c i ) verwendet.

44 Probabilistische Graphische Modelle Approximative Inferenz Variational Inference Der Mean-Field Algorithmus ist ein spezieller Fall des VIP, wobei jeder Cluster C j nur eine einzelne Variable enthält. γ j (c j ) {i:f ij =1} D i C j Q(d i c j ) log Ψ i (d i ). Der Loopy-Belief-Propagation Algorithmus ist ebenfalls eine Variante des VIP.

45 Probabilistische Graphische Modelle Approximative Inferenz Zusammenfassende Bemerkungen Die vorgestellten Verfahren zur approximativen Inferenz beruhen alle auf Verfahren zum Lernen der gesuchten bedingten Wk.verteilung durch Auszählen simulierter Daten (stochastische Simulation) Anwendung des Variationsprinzip auf einem Distanzmaß zwischen der zu lernenden Wk.verteilung und der Zielverteilung.

46 Probabilistische Graphische Modelle Lernen von PGMs Lernen von PGMs: Problem-Varianten Vollständige Beobachtung vs. partielle Beobachtung Diskrete ZV en vs. kontinuierliche ZV en Gerichtete vs. ungerichtete Graphen Lernen der Parameter vs. Lernen der Struktur

47 Probabilistische Graphische Modelle Lernen von PGMs: vollst., diskret, gerichtet Gerichtete PGMs und vollst. Beobachtung Sei G = (X, E) ein gerichteter Graph auf den ZV X = {X 1,..., X N }. Das Wahrscheinlichkeitsmodell ergibt sich zu P(x θ) = N P(x i x πi, θ i ) i=1 wobei θ i die Parameter der bed. Wk. θ die Parameter des Gesamtmodells Sei V = {1,..., N} die Indexmenge der Knoten in dem PGM und x V eine vollständige Beobachtung.

48 Probabilistische Graphische Modelle Lernen von PGMs: vollst., diskret, gerichtet Gerichtete PGMs und vollst. Beobachtung Problemstellung: Was ist die Parametrisierung eines PGMs, das eine beobachtete Folge von Knotenbelegungen D = (x V,1, x V,2,..., x V,M ) mit maximaler Wk. erklärt (Maximum Likelihood Schätzer) Ansatz: P(D θ) = i P(x V,i θ) = j P(x i,j x πi,j, θ i ) Typischer Weise betrachtet als Logarithmus (log likelihood) l(θ; D) = log P(x i,j x πi,j, θ i ) j i i

49 Probabilistische Graphische Modelle Lernen von PGMs: vollst., diskret, gerichtet Gerichtete diskrete PGMs und vollst. Beobachtung Counts: Sei m(x V ) j δ(x V, x V,j ) die Anzahl, mit der die Variablen X V im Datensatz D mit der Belegung x V vorkommen. Wk.-Matrizen: Sei φ i {x i } π i (Familie von X i ) Parameter P(x i x πi, θ i ) θ i (x φi ) mit Nebenbed. x i θ i (x φi ) = x i θ i (x i, x πi ) = 1 Gesamtmodell: P(x V θ) = i θ i(x φi )

50 5.1 Lernen von PGMs: vollst., diskret, gerichtet Da sich die Nebenbedingungen nur auf die einzelnen Faktoren θ i beziehen, kann das Problem der opt. Parameterschätzung getrennt für jeden einzelnen Faktor untersucht werden. log P(D θ) = log( j P(x V,j θ)) = j log( x V P(x V θ) δ(x V,x V,j ) ) = m(x V ) log( θ i (x Φi )) x V i = m(x Φi ) log θ i (x Φi ) i x Φi }{{} Term local für Φ i definiert Probabilistische Graphische Modelle 50

51 Probabilistische Graphische Modelle Lernen von PGMs: vollst., diskret, gerichtet... mit dem Lagrange-Ansatz (Nebenbed. x i θ i (x Φi ) = 1) ergibt sich: ˆθ i,ml (x Φi ) = m(x Φ i ) m(x πi ) = m(x i, x πi ) m(x πi )