Bedingte Unabhängigkeit, Definition

Transkript

1 Bedinge Unabhängigkei, Deiniion Zwei Ereignisse a, b sind beding unabhängig, gegeben c, gdw.: P(a,b c) = P(a c) P(b c) Zwei Variable A, B sind beding unabhängig, gegeben C, gdw.: P(A, B C) = P(A C) P(B C) Dami äquivalen sind die Formulierungen P(A B,C) = P(A C) und P(B A,C) = P(B C) 301

2 Bayes-Neze repräsenieren eizien gemeinsame W vereilungen und (bzw. uner Verwendung von) Aussagen zur bedingen Unabhängigkei von Zuallsvariablen Ein Bayes-Nez is ein gericheer azyklischer Graph, wobei Knoen ensprechen Zuallsvariablen (diskre, koninuierlich) Kanen ensprechen direken Abhängigkeien zwischen Variablen; ühr eine Kane von X nach Y, so heiß X ein Elernknoen von Y, die Menge aller Elernknoen is Parens(Y) Jeder Knoen X räg als Anschri P(X Parens(X)) Inerpreaion: Sei P(x 1,, x n ) := P(X 1 =x 1,, X n =x n ). Dann gil: vgl. naives Bayessches Modell P(x 1,, x n ) = i P(x i Parens(X i )) 302

3 Beispiel ür Kaliornische Wissenschaende Hausalarm geh an bei Einbruch und manchmal bei Erdbeben Nachbarn John und Mary sollen im Büro anruen, wenn sie agsüber Alarm hören John ru im Büro an, aber nich Mary. Wie wahrscheinlich is es, dass gerade eingebrochen wird? Modellierung Variablen Burglary, Earhquake, Alarm, JohnCalls, MaryCalls Gesuch also P(B j,-m) Alarm häng direk ab von Burglary, Earhquake; JohnCalls und MaryCalls hängen direk je nur ab von Alarm W keien wie nacholgend angegeben 303

4 Beispiel-Bayes-Nez P(Q) Q P(A B,Q) Beispiel P(j,-m,a,b,-q) = P(j a)p(-m a)p(a b,-q)p(b)p(-q) = = Doch eigenlich suchen wir ja P(B j,-m)! (Forsezung olg) 304

5 Konsrukion eines Bayes-Nezes 1. Wähle eine vollsändige Ordnung X 1,, X n der Variablen 2. or i=1 o n üge X i zum Nez hinzu; wähle X i s direke Vorgänger aus X 1,, X i-1 so, dass P(X i Parens(X i )) = P(X i X 1,, X i-1 ) Bei ungeschicker Variablenordnung ensehen unnöig komplexe Neze! Beispiel: Reihenolge M, J, A, B, Q P(J M) P(J) M J P(A J,M) P(A J) und P(A J,M) P(A M) M A, J A P(B A,J,M)=P(B A) nich M B J B 305

6 Inerenz durch Ausrechnen P(B j,-m) = P(B, j,-m) / P(j,-m) J Produkregel = α P(B, j,-m) Normalisierung mi Konsane = α q a [P(B, Q=q, A=a, j, -m)] Kolmogorow 3 Weier mi B=rue (anderer Fall ensprechend) = α q a P(b)P(Q=q)P(A=a b,q)p(j a)p(-m a) bed. Unabhängigkei = α P(b) q P(Q=q) [ a P(A=a b,q)p(j a)p(-m a)] Durch Einsezen der W keien gemäß Bayes-Nez: α , α , Die W kei ür einen Einbruch is von a priori 0,1% au 0,513% gesiegen B A Q M 306

7 Inerenz durch vollsändiges Ausrechnen versecke Variablen Parens, direke Vorgänger von Y 307

8 Eigenschaen des vollsändigen Ausrechnens Terminier sicher mi korrekem Ergebnis Speicherbedar: O(n) ( Tieenraversierung ) Zeibedar: O(m n ) ür diskree ZV max. m Were (boolsche ZV: m=2) Saz: Exake Inerenz in Bayes-Nezen is NP-vollsändig Beweisidee: Abbildung proposiionaler Inerenz in Bayes-Nez-Inerenz Opimierungsmöglichkeien (s. nächse Folien) caching von mehrach auauchenden Teilergebnissen Variableneliminaion Überührung von Bayes-Nezen in Polybäume Saz: Inerenz in Bayes-Polybäumen is linear in Speicherund Zeibedar (hier ohne Beweis) 308

9 Wiederverwendung von Teilergebnissen wir haen vorher: P(B j,-m) = α P(b) q P(Q=q) [ a P(A=a b,q)p(j a)p(-m a)] Die Terme P(j a)p(-m a) (ür alle Were von a) auchen in mehreren Summanden au! Sell die Berechnung so um, dass die Vereilung von innen nach außen berechne wird (Verahren: Russell/Norvig S. 507) B J A Q M 309

10 Variableneliminaion Beispielanrage: P(J b) (wie wahrscheinlich ru John an, wenn ein Einbruch vorlieg?) P(J b) = α P(b) q P(Q=q) [ a P(A=a b,q)p(j a) m P(m a)] B J A Q M Beobachung: m P(m a) is immer =1! M häng nur ab von A, ür das immer alle Were unersuch werden: M is irrelevan ür die Anrage: M-Terme können wegallen Saz: Variable Y X is irrelevan ür die Anrage P(X E), alls M Vorgänger({X} E) (Vorgänger is rans. Hülle von Parens) (Beweis: Nach Konsrukion eines Bayes-Nezes) Im Beispiel: X=J, E={B}, Vorgänger({X} E)={A, Q} M is irrelevan 310

11 Neze zu Polybäumen Polybaum: Graph, in dem es zwischen zwei Knoen max. 1 Pad gib. Beispiel: B A Q Gegenbeispiel: P(C) J M C P(S C) S R Cloudy Sprinkler P(W S,R) We Grass C Rain P(R C) Umormungsansaz: Verbinde Knoen, bis das Resula ein Polybaum is! Errechne Vereilungen der verbundenen Knoen aus Vereilungen der Einzelknoen 311

12 Rasensprengen mi Polybäumen C S P(S C) Sprinkler R P(W S,R) Cloudy We Grass P(C).50 C Rain P(R C) W vereilungen der verbundenen Knoen nehmen Zerlegung der W vereilungen im Bayes-Nez eils zurück! Cloudy Spr.+Rain We Grass P(C).50 C P(S+R C) S+R P(W S+R)

13 Bayes-Nez-Inerenz durch Approximaion Rechne (bedinge) Vereilungen nich aus, sondern ermile sie durch Sichproben aus dem Nez! W kei, dass Funkion die Sichprobe (x 1,, x n ) erzeug: S PS (x 1,, x n ) = i P(x i Parens(X i )) = P(x 1,, x n ) d.h.: hinreichend viele Sichproben approximieren Vereilung! 313

14 Beispiel: Approximaives Rasenwässern P(C).50 Cloudy 1. Ziehe C nach P(C)= 0.5, 0.5 Ergebnis sei Cloudy=rue C P(S C) C P(R C) 2. Ziehe S nach P(S c)= 0.1, 0.9 Ergebnis sei Sprinkler=alse Ziehe S nach P(R c)= 0.8, 0.2 Ergebnis sei Rain=rue Sprinkler Rain 4. Ziehe S nach P(W s, r)= 0.9, 0.1 Ergebnis sei We_Grass=rue S R P(W S,R) We Grass Sei N PS (x 1,, x n ) die Häuigkei, mi der (x 1,, x n ) gezogen wurde. Nach N (hinreichend groß) Sichproben: P (x 1,, x n ) = N PS (x 1,, x n ) / N 314

15 Grenzen von PRIOR-SAMPLE Vorhandene Evidenz wird nich verwende: P(X) wird approximier, aber nich ohne Weieres P(X e) Bei vielen Variablen oder unwahrscheinlicher Evidenz e (kleinem P(e)) werden viele Nieen gezogen N muss groß sein Je mehr Evidenzvariable, deso kleiner P(e) Algorihmus wird relaiv schlecher bei mehr Inormaion! Lösung: Gewichee Sichproben (WEIGHTED-SAMPLE) Belege Evidenz-Variable wie durch e vorgegeben Wiche X nach P(e X e) 315

16 Gewichee Sichproben 316

17 Korrekhei von LIKELIHOOD-WEIGHTING Sichprobenw kei in WEIGHTED-SAMPLE: S WS (z,e) = l i P(z i Parens(Z i )) Gewich ür Sichprobe (z,e): w(z,e) = m i P(e i Parens(E i )) Gewichee Sichprobenw kei: S WS (z,e)w(z,e) = l ip(z i Parens(Z i )) m ip(e i Parens(E i )) = P(z,e) Es bleib das Problem, dass bei kleinem P(e) (geringe W kei des Evidenzereignisses, viele Evidenzvariablen) große Sichproben erorderlich sind! 317

18 vgl. lokale Suchverahren! Sichprobenziehen per random walk Idee: Sare mi zuälligem Ereignis, das die Evidenz spiegel Erzeuge neue Ereignisse durch lokale Änderung in Nich- Evidenz-Variablen Die lokalen Änderungen ensprechen W vereilung abhängig von den unveränderen Variablen Markow-Hülle von X: die Elern von X, die direken Nacholger von X und deren (andere) Elern Saz: X is beding unabhängig von allen anderen Knoen, gegeben seine Markow-Hülle 318

19 Markov Chain Mone Carlo Sampling Z Markow-Hülle (Markov blanke) 319

20 Qualiaives Verhalen von MCMC (Beispiel) Sei e={sprinkler=rue, We_Grass=rue}, Z={Cloudy, Rain} Sichproben ensprechen einer Markow-Kee Für P(r e) seze z.b. N=100 Zähle Sichproben aus nach r, r; haben z.b. 31 r, 69 r P(r e) = NORMALIZE( 31,69 ) = 0.31,

21 Eigenschaen von MCMC Saz: Die Markow-Kee approximier eine saionäre Vereilung: Im Limes is sie in einer Häuigkei in jedem Zusand, die der bedingen W kei des ensprechenden Ereignisses ensprich. N muss man raen wann is Markow-Kee konvergier? Bei sehr großen Markow-Hüllen lange Zei bis Konvergenz 321