Elektrotechnik und Informationstechnik

Transkript

1 Elektrotechnik und Informationstechnik Institut für Automatisierungstechnik, Professur Prozessleittechnik Bayes'sche Netze VL PLT2 Professur für Prozessleittechnik Prof. Leon Urbas, Dipl. Ing. Johannes Pfeffer

2 Thomas Bayes Thomas Bayes [bɛi:z] * um 1702 in London 17. April 1761 Bayestheorem (Satz von Bayes) Bayesscher Wahrscheinlichkeitsbegriff Bayessche Statistik Bayes-Klassifikator Bayessches Filter Bayes'sches Netz Bayessche Ökonometrie Perfektes Bayessches Gleichgewicht (Spieltheorie) PLT2 (c) , Urbas, Pfeffer 2

3 Problemstellung Wie kann Wissen über zufällige Ereignisse und kausale Zusammenhänge zwischen diesen mathematisch effizient gefasst werden um aus Beobachtung auf die Wahrscheinlichkeit einer Folge zu schließen (Deduktion) aus Beobachtung (Symptomen) auf die Wahrscheinlichkeit bekannter Ursachen zu schließen (Induktion) aus Beobachtungen und grundlegendem Wissen über Zusammenhänge die Verbundwahrscheinlichkeit zu lernen? PLT2 (c) , Urbas, Pfeffer 3

4 Übersicht Bayes'sche Netze Einführung Modellierungsansatz Berechnung Typische Fragestellungen an ein Bayes'sches Netz Dynamische Bayes'sche Netze Erweiterung um die Dimension Zeit Modellierungsansatz DBN = Generalisierung von Markov Modellen und Hidden Markov Modellen PLT2 (c) , Urbas, Pfeffer 4

5 Bayes'sche Netze Sssst 0,05 0,95 kein Sssst Chinesische Vase auf schiefer Ebene Graphentheorie + Wahrscheinlichkeitsrechnung Gerichteter azyklischer Graph (DAG) mit Knoten: diskretwertige Zufallsvariablen Kanten: direkte stochastische Abhängigkeiten zwischen Variablen Knoten ohne Eltern: Wahrscheinlichkeit: P(A=i) i (i z.b. true, false oder Ssst, kein Ssst) Bumm Knoten mit Eltern: Bedingte Wahrscheinlichkeit: P(A=i B=j,C=k) i,j,k PLT2 (c) , Urbas, Pfeffer 5

6 Beispiel (Beobachtungsszenario) Ich wohne in Philippsburg und bin nicht zu Hause. Mein Nachbar Harald ruft mich an, um mir mitzuteilen, dass in meinem Haus die Alarmanlage angegangen ist. Meine Nachbarin Stefanie ruft an und teilt mir dasselbe mit. Aber: Die Alarmanlage wird manchmal auch durch leichte Erdbeben ausgelöst. Harald verwechselt schon mal das Geräusch meines Telefons mit dem Geräusch der Alarmanlage. Variablen: Erdbeben, Einbruch, Alarm, Anruf Stefanie und Anruf Harald PLT2 (c) , Urbas, Pfeffer 6

7 Modellierung Erdbeben & Einbruch sind unabhängig P(Erdbeben Einbruch) = P(Erdbeben) P(Einbruch Erdbeben) = P(Einbruch) Kausale Zusammenhänge Erdbeben oder Einbruch führen unabhängig voneinander mit bestimmten Wahrscheinlichkeiten zu einem Alarm Alarm/Kein Alarm führen mit bestimmten Wahrscheinlichkeiten zu Anrufen der Nachbarn PLT2 (c) , Urbas, Pfeffer 7

8 Bayes'sches Netz PLT2 (c) , Urbas, Pfeffer 8

9 Probabilistische Inferenzen Diagnostische Inferenz: Geg: Effekt Ges: Ursache P(Alarm Anruf Stefanie) Kausale Inferenz: Geg: Ursache Ges: Effekt P(Anruf Stefanie Einbruch) Interkausale Inferenz: Geg: eine mögliche Ursache, Effekt Ges: andere Ursache P(Einbruch Anruf Stefanie, Erdbeben) + Kombination aus PLT2 (c) , Urbas, Pfeffer 9

10 Inferenz nach Beobachtungen Diagnostisch Kausal Interkausal? Einbruch Erdbeben Einbruch Erdbeben Einbruch Erdbeben? Alarm Alarm Alarm Anruf Harald Anruf Stefanie Anruf Harald? Anruf Stefanie Anruf Harald Anruf Stefanie PLT2 (c) , Urbas, Pfeffer 10

11 Neues einfaches Beispiel Hebebühne Batterie, hebbares Teil Batterieanzeige (Gauge), Bewegung PLT2 (c) , Urbas, Pfeffer 11

12 (Evidenz) Kausale Inferenz Wie wahrscheinlich ist es, dass wir das Teil heben können, wenn es hebbar ist? P(M L) Allgemeiner Ansatz (Produktregel) Q=Query, E=Evidenz? (Query) P(Q E)=ΣP(Q,R=r i E) mit R = Eltern(Q), ohne Evidenzen ΣP(Q,R=r i E) = ΣP(Q R=r i,e)p(r=r i E) PLT2 (c) , Urbas, Pfeffer 12

13 ? (Query) (Evidenz) Diagnostische Inferenz Wie wahrscheinlich ist es, dass das Teil zu schwer ist, wenn wir sehen, dass sich nichts bewegt? P(M L) Allgemeiner Ansatz (Bayes'sche Regel) P(Q E)= P(E Q)P(Q)/P(E) PLT2 (c) , Urbas, Pfeffer 13

14 (Query)? (Evidenz) (Evidenz) Interkausale Inferenz Wie wahrscheinlich ist es, dass das Teil nicht angehoben werden kann, wenn wir sehen, dass sich nichts bewegt und die Gauge eine leere Batterie anzeigt? P( L G, M) Ansatz wie bei kausaler Inferenz PLT2 (c) , Urbas, Pfeffer 14

15 Berechnung d. bedingten Wahrscheinlichkeit eines Knotens in einem einfach verbundenen Netz (1/2) Gesucht: P(X E) Vereinfachung: Netz nur einfach verbunden (Polytree) Aufteilung in diagnostische und kausale Evidenz (unabhängig!) P(X E) = α P(E- X) P(X E+) PLT2 (c) , Urbas, Pfeffer 15

16 Berechnung der bed. WS eines Knotens in einem einfach verbundenen Netz (2/2) Berechnung diagn.evidenz P(X E+) Alle Kombinationen der Werte der Elternknoten gemäß WSTabelle von X betrachten und mit ihren WS gewichten, die rekursiv auf gleiche Weise berechnet werden. Berechnung kausalen Evidenz P(E- X) Alle Kombinationen der Werte der Kindknoten gemäß WSTabelle von X betrachten und mit ihren WS gewichten, die rekursiv auf gleiche Weise berechnet werden. Algorithmus Є O(n) PLT2 (c) , Urbas, Pfeffer 16

17 Belief-Net-Ask-Algorithmus Beiträge von E+ und E- P(X E+,E-) = (P(E- X,E+)+P(X E+))/P(E- E+) X d-separiert E+ und E- Exkurs Abhängigkeit in BN, d-separation F. 24ff P(X E) = a P(E- X) P(X E+) PLT2 (c) , Urbas, Pfeffer 17

18 Topologie: Mehrfach verbundene Netze Ursache kann mehrere Effekte bewirken PLT2 (c) , Urbas, Pfeffer 18

19 Effizienzsteigerung Cluster Methode PLT2 (c) , Urbas, Pfeffer 19

20 Konditionierung Wertebelegung PLT2 (c) , Urbas, Pfeffer 20

21 Abhängigkeiten in Bayes'schen Netzen Definition <X,Y,Z> : Bei gegebenem Y sind X und Z bedingt unabhängig <X,Y,Z> JA <X,U,Z> Nein <X,{U,V},Z> Ja PLT2 (c) , Urbas, Pfeffer 21

22 Kausale Verbindungen in BN Seriell B bekannt A,C unabhängig Divergent A bekannt B,C bedingt unabhängig A A B B C C Konvergent C unbekannt A,B unabhängig C bekannt A,B bedingt abhängig A B C PLT2 (c) , Urbas, Pfeffer 22

23 D-Separation - Begriff / Definition D-Separation erlaubt eine allgemeine Aussage darüber, ob eine Knotenmenge X unabhängig von einer Knotenmenge Y ist (bei gegebener Evidenzknotenmenge E) Zwei verschiedene Variablen X und Y sind d-separated (directiondependent-separated), falls auf allen (ungerichteten) Pfaden zwischen X und Y eine Variable Z existiert, so dass entweder die Verbindung seriell oder divergent und Z ein Evidenzknoten ist oder die Verbindung konvergent und weder Z noch Z's Nachfahren Evidenzknoten sind Sind zwei Knoten nicht d-separated, werden sie auch als d- connected bezeichnet PLT2 (c) , Urbas, Pfeffer 23

24 Topologische Interpretation Jeder (ungerichtete) Pfad von X nach Y ist blockiert wenn er eine Evidenz enthält. Ein Pfad ist blockiert durch einen Knoten z, wenn z E und z ein- und ausgehenden Unterpfad hat z E und beide Unterpfade ausgehend sind z E, beide Pfade eingehend und Nachfolger z von z gilt: z E PLT2 (c) , Urbas, Pfeffer 24

25 D-Separation - Beispiel A F C G H B D E Welche Aussagen sind wahr? F d-separated von H bei geg. G C d-separated von G bei geg. F A d-separated von B bei geg. D A d-separated von B D d-separated von F bei geg. C, G PLT2 (c) , Urbas, Pfeffer 25

26 Literatur & Bibliotheken Literatur Pearl, J. (1988) Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann Charniak, E. (1991) Bayesian Networks without Tears. AI Magazine Korb, K. and Nicholson, A. (2003) Bayesian Artificial Intelligence, Chapman&Hall Bibliotheken Kevin Murphy's Bayesian Network Toolbox for MatLab: Lernen von Bayesschen Netzen in R Bayesian network tools in Java: Tutorial: AIspace Java-Applet: PLT2 (c) , Urbas, Pfeffer 26

27 Grundlagen - Unbedingte/Bedingte WSK Unbedingte WS: P(A) Bedingte WS: P(B A) WS des Ereignisses B unter der Bedingung, dass A bereits eingetreten ist Rechenregeln: P B A = P A B / P A Allgemeiner Multiplikationssatz für 2 Ereignisse: P A B =P A P B A =P B P A B Allgemeiner Multiplikationssatz für n Ereignisse: n P i=1 A i =P A 1 P A 2 A 1 P A 3 A 1 A 2 P A n A 1 A n PLT2 (c) , Urbas, Pfeffer 27

28 Grundlagen Totale WSK / Bayes-Satz Formel der totalen Wahrscheinlichkeit: n P B = i=1 Der Bayes'sche Satz: P A k B = P B A k P A k P B P B A i P A i = P B A k P A k n P B A i P A i i= PLT2 (c) , Urbas, Pfeffer 28

29 Darstellung kausaler Beziehungen durch bed. WS. Produktregel: Von der Ursache zur (wahrscheinlichen) Wirkung P(A,B C)= P(A B,C)*P(B C) = P(B A,C)*P(A C) Bayes'sche Regel: Von der Wirkung zur (wahrscheinlichen) Ursache P(B A,C)= P(A B,C)*P(B C) / P(A,C) PLT2 (c) , Urbas, Pfeffer 29

30 PLT2 (c) , Urbas, Pfeffer 30