Elektrotechnik und Informationstechnik

Transkript

1 Elektrotechnik und Informationstechnik Institut für utomatisierungstechnik, Professur Prozessleittechnik Bayessche Netze VL Prozessinformationsverarbeitung WS 2009/2010

2 Problemstellung Wie kann Wissen über zufällige Ereignisse und mögliche kausale Zusammenhänge zwischen diesen mathematisch effizient gefasst werden um aus Beobachtung auf die WS einer Folge zu schließen (Deduktion) aus Beobachtung (Symptomen) auf die WS bekannter Ursachen zu schließen (Induktion)? aus Beobachtungen und grundlegendem Wissen über Zusammenhänge die Verbundws zu lernen? Folie 2

3 Übersicht Bayessche Netze Einführung Modellierungsansatz Berechnung Typische Fragestellungen an ein BN Erweiterung um Zeit: Dynamische Bayessche Netze Modellierungansatz DBN = Generalisierung von MM, HMM Folie 3

4 WDH: bedingte Wahrscheinlichkeit P() WS, dass Ereignis eintritt Beispiel Wurf mit einem Würfel P(,B) WS, dass die Ereignisse und B eintreten Beispiel Zwei Würfe P(B ) bedingte WS, dass das Ereignis eintritt, wenn das Ereignis B eingetreten ist Beispiel Zwei Würfe hintereinander Folie 4

5 Baumdiagramm Pfadregel 1: WS eines Ereignisses = Produkt der WS auf dem Pfad, der zu diesem Ereignis führt P(,B) = P() * P(B ) P(B ) = P(,B) / P() Pfadregel 2: WS eines Ereignisses = Summe der WS der Pfade, die zu diesem Ereignis führen Folie 5

6 Unabhängigkeit Zwei Ereignisse,B sind unabhängig wenn P(,B) =! P(B )P() = P(B)P() P(B ) = P(B) WS von B wird durch nicht beeinflusst Zwei Ereignisse,B sind bei gegebenem C bedingt unabhängig wenn P(B,C) = P(B C) WS von B wird durch nicht beeinflusst Folie 6

7 Satz von Bayes Es existiert eine endliche nzahl von Zufallsprozessen, aus dem einer ausgewählt wird und das Eintreten gewisser Ereignisse zur Folge hat. P(k) := a priori WS des k-ten Prozesses P( k) := bedingte WS von und k P(k ) = P(k) * P( k) / P() Induktion: Schlussfolgerung von eingetretenem Ereignis auf erzeugendes Ereignis Folie 7 Beispiele Tafel

8 Bayessche Netze Kombination Graphentheorie + WSRechnung Gerichteter azyklischer Graph (DG) mit Knoten: diskretwertige Zufallsvariablen Kanten: direkte stochastische bhängigkeiten zwischen Variablen Knoten ohne Eltern: aprior WS: P(=i) i Knoten mit Eltern: Bedingte WS: P(=i B=j,C=k) i,j,k Folie 8

9 Beispiel Ich wohne in Kalifornien und bin nicht zu Hause. Mein Nachbar Harald ruft mich an, um mir mitzuteilen, dass in meinem Haus die larmanlage angegangen ist. Meine Nachbarin Stefanie ruft an und teilt mir dasselbe mit. ber: Die larmanlage wird manchmal auch durch leichte Erdbeben ausgelöst. Harald verwechselt schon mal das Geräusch meines Telefons mit dem Geräusch der larmanlage Variablen: Erdbeben, Einbruch, larm, nruf Stefanie und nruf Harald Folie 9

10 Modellierung Erdbeben & Einbruch sind unabhängig P(Erdbeben Einbruch) = P(Erdbeben) P(Einbruch Erdbeben) = P(Einbruch) Kausuale Zusammenhänge Erdbeben oder Einbruch führen unabhängig voneinander mit bestimmten WS zu larm larm/kein larm führen mit bestimmten WS zu nrufen der Nachbarn Folie 10

11 Darstellung durch einen Graphen Folie 11

12 Probabilistische Inferenz Diagnostische Inferenz: Geg: Effekt Ges: Ursache P(larm nruf Stefanie) Kausale Inferenz: Geg: Ursache Ges: Effekt P(nruf Stefani Einbruch) Interkausale Inferenz: Geg: eine mögliche Ursache, Effekt Ges: andere Ursache P(Einbruch larm, Erdbeben) + Kombination aus Folie 12

13 Inferenz nach Beobachtungen Diagnostisch Kausal Interkausal? Einbruch Erdbeben Einbruch Erdbeben Einbruch Erdbeben? larm larm larm nruf Harald nruf Stefanie nruf Harald? nruf Stefanie nruf Harald nruf Stefanie Folie 13

14 Neues einfaches Beispiel Hebebühne Batterie, hebbares Teil Batterieanzeige (Gauge), Bewegung Folie 14

15 ? Kausale Inferenz Wie WS ist es, dass wir das teil heben können, wenn es hebbar ist? nsatz Q=Query, E=Evidenz, P(Q E)=ΣP(Q,R=r i E) mit R = Eltern(Q)\E ΣP(Q,R=r i E) = ΣP(Q,R=r i,e)p(r=r i ) Folie 15

16 ? Diagnostische Inferenz Wie WS ist es, dass das Teil zu schwer ist, wenn wir sehen, dass sich nichts bewegt? nsatz Bayessche Regel P(Q E)= P(E Q)P(Q)/P(E) Folie 16

17 ? Interkausale Inferenz Wie WS ist es, dass das Teil zu schwer ist, wenn wir sehen, dass sich nichts bewegt und die Batterie leer ist? nsatz P( L B, M) Folie 17

18 Berechnung der bed. WS eines Knotens in einem einfach verbundenen Netz (1/2) Gesucht: P(X E) Vereinfachung: Netz nur einfach verbunden (Polytree) ufteilung in diagnostische und kausale Evidenz (unabhängig!) P(X E) = P(E- X) P(X E+) Folie 18

19 Berechnung der bed. WS eines Knotens in einem einfach verbundenen Netz (2/2) Berechnung diagn.evidenz P(X E+) lle Kombinationen der Werte der Elternknoten gemäß WSTabelle von X betrachten und mit ihren WS gewichten, die rekursiv auf gleiche Weise berechnet werden. Berechnung kausalen Evidenz P(E- X) lle Kombinationen der Werte der Kindknoten gemäß WSTabelle von X betrachten und mit ihren WS gewichten, die rekursiv auf gleiche Weise berechnet werden. lgorithmus O(n) Folie 19

20 Belief-Net-sk-lgorithmus Beiträge von E+ und E- P(X E+,E-) = (P(E- X,E+)+P(X E+))/P(E- E+) X d-separiert E+ und E- Exkurs bhängigkeit in BN, d-separation F. 24ff P(X E) = a P(E- X) P(X E+) Folie 20

21 Mehrfach verbundene Netze Ursache kann mehrere Effekte bewirken. Inferenz NP-vollständig! Folie 21

22 Effizienzsteigerung Cluster Methode Folie 22

23 Konditionierung Wertebelegung Folie 23

24 bhängigkeiten in Bayesschen Netzen Definition <X,Y,Z> : Bei gegebenem Y sind X und Z bedingt unabhängig <X,Y,Z> J <X,U,Z> Nein <X,{U,V},Z> Ja Folie 24

25 Kausale Verbindungen in BN Seriell B bekannt,c unabhängig Divergent bekannt B,C bedingt unabhängig B B C C Konvergent C unbekannt,b unabhängig C bekannt,b bedingt abhängig B C Folie 25

26 D-Separation - Begriff / Definition D-Separation erlaubt eine allgemeine ussage darüber, ob eine Knotenmenge X unabhängig von einer Knotenmenge Y ist, gegeben eine Evidenzknotenmenge E. Zwei verschiedene Variablen X und Y sind d-separated (directiondependent-separated), falls auf allen Pfaden zwischen X und Y eine Variable Z existiert, so dass entweder... die Verbindung seriell oder divergent und Z ein Evidenzknoten ist oder die Verbindung konvergent und weder Z noch Z s Nachfahren Evidenzknoten sind Sind zwei Knoten nicht d-separated, werden sie auch als d- connected bezeichnet Folie 26

27 Topologische Interpretation Jeder (ungerichtete) Pfad von X nach Y ist durch E blockiert. Ein Pfad ist blockiert durch einen Knoten z, wenn z E und z mit ein- und ausgehenden Unterpfad z E und beide Unterpfade ausgehend z E, beide Pfade eingehend und Nachfolger z von z gilt: z E Folie 27

28 D-Separation - Beispiel F C G H B D E Welche ussagen sind wahr? F d-separated von H bei geg. G C d-separated von G bei geg. F F d-separated von E bei geg. C d-separated von B bei geg. D d-separated von B D d-separated von F bei geg. C, G Folie 28

29 Literatur & Bibliotheken Literatur Pearl, J. (1988) Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann Charniak, E. (1991) Bayesian Networks without Tears. I Magazine Winter Korb, K. and Nicholson,. (2003) Bayesian rtificial Intelligence, Chapman&Hall Bibliotheken Kevin Murphy's Bayesian Network Toolbox for MatLab: Lernen von Bayesschen Netzen in R Bayesian network tools in Java: Tutorial: Folie 29

30 Folie 30 Grundlagen - Unbedingte/Bedingte WSK Unbedingte WS: P() Bedingte WS: P(B ) WS des Ereignisses B unter der Bedingung, dass bereits eingetreten ist Rechenregeln: llgemeiner Multiplikationssatz für 2 Ereignisse: llgemeiner Multiplikationssatz für n Ereignisse: ) ( ) ( ) ( P B P B P n n i n i P P P P P B P B P B P P B P

31 Grundlagen Totale WSK / BayesSatz Formel der totalen Wahrscheinlichkeit: Der Bayes sche Satz: P k B n PB P B i1 k P k PB P B P( i i ) n i 1 P P B k P P B i k i Folie 31

32 Darstellung kausaler Beziehungen durch bed. WS. Produktregel: Von der Ursache zur (wahrscheinlichen) Wirkung P(,B C)= P( B,C)*P(B C) = P(B,C)*P( C) Bayessche Regel: Von der Wirkung zur (wahrscheinlichen) Ursache P(B,C)= P( B,C)*P(B C) / P(,C) Folie 32