3. Kapitel: Arbeiten mit Bayesschen Netzwerken. Fakultät für Informatik Universität der Bundeswehr München FT Dozent: Dr.

Transkript

1 Bayessche Netzwerke und ihre Anwendungen 3. Kapitel: Arbeiten mit Bayesschen Netzwerken Zweiter Schwerpunktanteil einer Vorlesung im Rahmen des Moduls Systemplanung und Netzwerktheorie (Modul-Nr.: 1863) Fakultät für Informatik Universität der Bundeswehr München FT 2010 Dozent: Dr. Max Krüger

2 Inhalt 3.1 Anfragen an Bayessche Netzwerke 3.2 Softwaretool für Bayessche Netze 3.3 Graphische Unabhängigkeit: d-separation FT 2010 Bayessche Netzwerke und ihre Anwendungen 2

3 Abschnitt 3.1: Anfragen an Bayessche Netzwerke FT 2010 Bayessche Netzwerke und ihre Anwendungen 3

4 Übersicht über Anfragetypen Hauptanfragetypen Es gibt (mindestens) vier Haupttypen von Anfragen an Bayessche Netzwerke: Probability of Evidence Prior Marginal und Posterior Marginal Most Probable Explanation (MPE) Maximum A Posteriori Hypothesis (MAP) Bemerkung: Einige der zugehörigen Anfragen können unter bestimmten Bedingungen identisch sein. FT 2010 Bayessche Netzwerke und ihre Anwendungen 4

5 Anfragetyp 1: Probability of Evidence Definition: Sei ein Bayessches Netzwerk. Für eine gegebene Evidenz heißt die Wahrscheinlichkeit des Auftretens dieser Evidenz die Probability of Evidence. Bemerkung: Das Ergebnis einer Anfrage beim Anfragetyp Probability of Evidence ist eine einzelne Wahrscheinlichkeit. FT 2010 Bayessche Netzwerke und ihre Anwendungen 5

6 Beispiel zur Probability of Evidence Beispiel: In Pearl s Einbruch-Erdbeben-Beispiel berechnet sich für die Evidenz die Probability of Evidence zu. FT 2010 Bayessche Netzwerke und ihre Anwendungen 6

7 Anfragetyp 2: Prior Marginal und Posterior Marginal Verteilung Definition: Sei ein Bayessches Netzwerk. Für eine Teilmenge der Zufallsvariablen mit und eine gegebene Evidenz heißt die Prior Marginal Verteilung und die Posterior Marginal Verteilung der Variablen. Bemerkung: Das Ergebnis bei diesen Anfragetypen ist (jeweils) eine Verteilung. FT 2010 Bayessche Netzwerke und ihre Anwendungen 7

8 Beispiel zur Prior Marginal und Posterior Marginal Verteilung Beispiel: In Pearl s Einbruch-Erdbeben-Beispiel sei wiederum die Evidenz gegeben. Für die Variable durch Alarm ist die Prior Marginal Verteilung gegeben P(A) A=True A=False und die Posterior Marginal Verteilung durch Alarm P(A e) A=True A=False FT 2010 Bayessche Netzwerke und ihre Anwendungen 8

9 Anfragetyp 3: Most Probable Explanation (MPE) Definition: Sei ein Bayessches Netzwerk. Für eine gegebene Evidenz heißt ein gemeinsamer Zustand der Zufallsvariablen die Most Probable Explanation (MPE) der Evidenz, falls die Wahrscheinlichkeit maximal unter allen gemeinsamen Zuständen der Zufallsvariablen ist. Bemerkung: Das Ergebnis einer Anfrage beim Anfragetyp Most Probable Explanation ist ein gemeinsamer Zustand und die zugehörige Wahrscheinlichkeit. FT 2010 Bayessche Netzwerke und ihre Anwendungen 9

10 Beispiel zur Most Probable Explanation (MPE) Beispiel: In Pearl s Einbruch-Erdbeben-Beispiel ist für die Evidenz die Most Probable Explanation gegeben durch mit. FT 2010 Bayessche Netzwerke und ihre Anwendungen 10

11 Anfragetyp 4: Maximum A Posteriori Hypothesis (MAP) Definition: Sei ein Bayessches Netzwerk und sei eine Teilmenge der Zufallsvariablen. Für eine gegebene Evidenz heißt ein gemeinsamer Zustand mit für die Maximum A Posteriori Hypothesis (MAP) der Zufallsvariablen bezüglich der Evidenz, falls die Wahrscheinlichkeit maximal unter allen gemeinsamen Zuständen der Zufallsvariablen ist. Bemerkung: Das Anfrageergebnis ist ein gemeinsamer Zustand der MAP- Variablen und die zugehörige Wahrscheinlichkeit. FT 2010 Bayessche Netzwerke und ihre Anwendungen 11

12 Übungsaufgabe 3.1 (1): Das zu betrachtende Netzwerk A: Asienreise gemacht S: Raucher T: Hat Tuberkulose C: Hat Lungenkrebs B: Hat Bronchitis P: Symptomatik für Tuberkulose oder Krebs X: Röntgenbefund ist positiv D: Hat Atemnot FT 2010 Bayessche Netzwerke und ihre Anwendungen 12

13 Übungsaufgabe 3.1(2): Aufgabenstellung Betrachten Sie bitte das vorangehende Bayessche Netzwerk aus dem Bereich der medizinischen Diagnose, dessen Zufallsvariablen jeweils die Zustände Ja/Nein annehmen können: Erläutern Sie die dargestellten Zusammenhänge des zugrundeliegenden Problembereichs. Erläutern Sie die Struktur des Netzwerkes, z.b. hinsichtlich Variablentypen, Kausalbeziehungen und eventuellen Besonderheiten. Welche Fragestellungen könnten dem Netzwerk zugrunde liegen? Formulieren Sie zu jedem der Hauptanfragetypen eine Anfrage, die ein Mediziner an das Netzwerk richten könnte (bzw. würde). Geben Sie Beispiele von Anfragen, die verschiedenen Hauptanfragetypen zugeordnet werden können. FT 2010 Bayessche Netzwerke und ihre Anwendungen 13

14 Abschnitt 3.2: Softwaretool für Bayessche Netze FT 2010 Bayessche Netzwerke und ihre Anwendungen 14

15 Softwaretool für Bayessche Netzwerke: GeNIe 2.0 & SMILE The GeNIe (Graphical Network Interface) software package can be used to create decision theoretic models intuitively using the graphical click-and-drop interface. GeNIe is the graphical interface to SMILE, a fully portable Bayesian inference engine developed by the Decision Systems Laboratory [ ] [ SMILE (Structural Modeling, Inference, and Learning Engine) is a fully platform independent library of C++ classes implementing graphical probabilistic and decision-theoretic models, such as Bayesian networks, influence diagrams, and structural equation models. Its individual classes, defined in SMILE API (Application Programming Interface), allows you create, edit, save, and load graphical models, and use them for probabilistic reasoning and decision making under uncertainty. [ ] [ Download und Lizenzbedingungen unter Hinweis: Die Verwendung dieses Tools ist beispielhaft. Alternativ ist eine Vielzahl kommerzieller und nicht-kommerzieller Tools für Bayessche Netzwerke über das Internet erhältlich. FT 2010 Bayessche Netzwerke und ihre Anwendungen 15

16 Screenshot mit Pearl s Einbruch-Erdbeben-Beispiel FT 2010 Bayessche Netzwerke und ihre Anwendungen 16

17 Bedienung (1): Modellierung und Aufbau von Bayes-Netzen Modellierung und Aufbau: Erzeugung von Knoten und Namensgebung Bestimmung der Zustände und Namensgebung Erzeugung der Pfeile (graphische Abhängigkeiten) Befüllung der Bedingten Wahrscheinlichkeitstabellen FT 2010 Bayessche Netzwerke und ihre Anwendungen 17

18 Bedienung (2): Darstellung und Ansichten von Bayes-Netzen Darstellung und Ansichten: Knotendarstellung: Icon / Bar Chart Fullscreen / Fit to Window Überblick Menüleiste FT 2010 Bayessche Netzwerke und ihre Anwendungen 18

19 Bedienung (3): Anfragen und Berechnungen in Bayes-Netze Anfragen und Berechnungen: Evidenzen: Set Evidence Clear Evidence / Clear all Evidence Posterior Marginal Verteilung des Zufallsknoten : Update Beliefs / Update Immediately Invalidate Values Probability of Evidence: FT 2010 Bayessche Netzwerke und ihre Anwendungen 19

20 Übungsaufgabe 3.2: Modellieren Sie Pearl s Einbruch-Erdbeben mittels eines Softwaretools, beispielsweise mittels GeNIe 2.0 & SMILE. Berechnen Sie die folgende Evidenzwahrscheinlichkeit. FT 2010 Bayessche Netzwerke und ihre Anwendungen 20

21 Abschnitt 3.3: Graphische Unabhängigkeit: d-separation FT 2010 Bayessche Netzwerke und ihre Anwendungen 21

22 Einleitendes Beispiel zur d-separation Gegeben sei das nebenstehende Bayessche Netzwerk und die zugehörige Evidenz. B=b A B C D E F G Wenn man dann erfährt, dass Zusätzlich gilt, kann dies die Zustandswahrscheinlichkeiten von für irgendeine Parametrisierung ändern? (Antwort: Ja, siehe später.) Hätte eine nachträgliche Information über über möglicherweise Einfluss auf? (Antwort: Nein, siehe später.) H I J K L M=m M Quelle: Jensen&Nielsen 2007, S. 31 anstelle der Information FT 2010 Bayessche Netzwerke und ihre Anwendungen 22

23 Fragestellung bei der d-separation Sei ein Bayessches Netzwerk gegeben. Für eine Teilmenge der Zufallsvariablen seien die Zustände gegeben mittels einer Evidenz gegeben. Zudem seien weitere Zufallsvariablen des Bayesschen Netzwerkes. A B C D E F G H I J K L Fragestellung (informell): Bei der d-seperation wird die Frage behandelt, ob unabhängig von der konkreten Parametrisierung des Bayesschen Netzwerks neu hinzu gewonnenes Wissen bezüglich, d.h., die aktuellen Wahrscheinlichkeiten der Zustände von beeinflussen könnte. M Quelle: Jensen&Nielsen 2007, S. 31 FT 2010 Bayessche Netzwerke und ihre Anwendungen 23

24 Vorgehen zur Untersuchung eines Netzes auf d-separation Für die Untersuchung eines Bayesschen Netzwerkes hinsichtlich der Fragestellung, ob zwei Knoten für eine gegebene Evidenz (die beide Knoten nicht beinhaltet, d.h. festlegt) d-separiert sind, untersuchen wir (zumindest im Prinzip) jeden möglichen ungerichteten Pfad zwischen diesen beiden Knoten. Für die Untersuchung kann man sich alle Knoten eines verbindenden Pfads als Absperrhähne vorstellen, jeweils offen oder geschlossen. Ist auf jedem dieser Pfade zwischen mindestens ein solcher Absperrhahn (Zwischenknoten) geschlossen, so sind die Knoten d-separiert und können sich nicht gegenseitig beeinflussen, wenn über einen der beiden Knoten neues Wissen (Evidenz) hinzukommt. FT 2010 Bayessche Netzwerke und ihre Anwendungen 24

25 Typen von Verbindungsstücken Ein ungerichteter Pfad zwischen zwei Knoten ist aus einer Reihe von Verbindungsstücken mit jeweils einem Zwischenknoten zusammengesetzt. Es gibt genau drei verschiedene Typen von Verbindungsstücken: Typ 1: Serielles Verbindungsstück A B C D E F G Typ 2: Divergentes Verbindungsstück H I J Typ 3: Konvergentes Verbindungsstück K L M Quelle: Jensen&Nielsen 2007, S. 31 FT 2010 Bayessche Netzwerke und ihre Anwendungen 25

26 Übungsaufgabe 3.3: Modellieren Sie jeweils das nebenstehende serielle, divergente und konvergente Verbindungsstück jeweils in Ihrem Softwaretool für Bayessche Netzwerke und befüllen Sie jeweils die CPT s mit (nicht-trivialen) Werten. A B C B A C Setzen Sie nacheinander jeweils eine Evidenz nur in B eine Evidenz nur in D und in eine Evidenz nur in E. Was passiert mit den Wahrscheinlichkeiten der Zustände von C bzw. A, wenn Sie in A bzw. C eine weitere Evidenz setzen? A C D E FT 2010 Bayessche Netzwerke und ihre Anwendungen 26

27 Offene und geschlossene serielle Verbindungsstücke Definition: Sei ein Bayessches Netzwerk und sei eine Teilmenge der Knoten (die in einer gegebenen Evidenz bezüglich ihres Zustands festgelegt sind). Ein serielles Verbindungsstück mit dem Zwischenknoten heißt (in beide Richtungen) offen gegeben, falls gilt. Für heißt das Verbindungsstück geschlossen (bzw. blockiert) gegeben. FT 2010 Bayessche Netzwerke und ihre Anwendungen 27

28 Notation offene/geschlossene serielle Verbindungsstücke Notationsbeispiele: W A A W W B sind Beispiele für offene serielle Verbindungsstücke. W A B A W B W sind Beispiele für geschlossene serielle Verbindungsstücke. FT 2010 Bayessche Netzwerke und ihre Anwendungen 28

29 Informationstransport über ein serielles Verbindungsstück Beispiel: Gegen sei das folgende Netzwerk mit den Knoten und Zuständen Rainfall mit, Water level mit und Flooding mit : R W F Quelle: Jensen&Nielsen 2007, S. 27 Beispiele für den Informationstransport: Bei unbekanntem Zustand von kann die Evidenz die Zustandswahrscheinlichkeit von und dies wiederum die Zustandswahrscheinlichkeit von erhöhen. Umgekehrt erhöht bei unbekanntem Zustand von möglicherweise auch die Evidenz die Wahrscheinlichkeit des Zustands. Bei bekanntem Zustand von verändern die Evidenzen die Zustandswahrscheinlichkeiten des jeweils anderen Knotens dagegen sicher nicht. FT 2010 Bayessche Netzwerke und ihre Anwendungen 29

30 Offene und geschlossene divergente Verbindungsstücke Definition: Sei ein Bayessches Netzwerk und sei eine Teilmenge der Knoten (die in einer gegebenen Evidenz bezüglich ihres Zustands festgelegt sind). Ein divergentes Verbindungsstück mit dem Zwischenknoten heißt offen gegeben, falls gilt. Für heißt das Verbindungsstück geschlossen (bzw. blockiert) gegeben. FT 2010 Bayessche Netzwerke und ihre Anwendungen 30

31 Notation offene/geschlossene divergente Verbindungsstücke Notationsbeispiele: W A A W B W sind Beispiele für offene divergente Verbindungsstücke. W A A W W sind Beispiele für geschlossene divergente Verbindungsstücke. FT 2010 Bayessche Netzwerke und ihre Anwendungen 31 B

32 Informationstransport über ein divergentes Verbindungsstück Beispiel: Gegen sei das folgende Netzwerk mit den Knoten und Zuständen Sex mit, Hair Length mit und Height mit : L S H Quelle: Jensen&Nielsen 2007, S Beispiele für den Informationstransport: Bei unbekanntem Geschlecht kann eine beobachtete Haarlänge die Zustandswahrscheinlichkeit des Geschlechts und die wiederum die Zustandswahrscheinlichkeit der Größe verändern. Bei bekanntem Geschlecht verändern Beobachtungen die Zustandswahrscheinlichkeiten des jeweils anderen Knotens dagegen sicher nicht. FT 2010 Bayessche Netzwerke und ihre Anwendungen 32

33 Offene und geschlossene konvergente Verbindungsstücke Definition: Sei ein Bayessches Netzwerk und sei eine Teilmenge der Knoten (die in einer gegebenen Evidenz bezüglich ihres Zustands festgelegt sind). bezeichne die Menge, die aus dem Knoten und allen (gerichteten direkten und indirekten) Nachfolgern (Kinderknoten) von besteht. Ein konvergentes Verbindungsstück mit dem Zwischenknoten heißt offen gegeben, falls gilt. Für heißt das Verbindungsstück geschlossen (bzw. blockiert) gegeben. FT 2010 Bayessche Netzwerke und ihre Anwendungen 33

34 Notation offene/geschlossene konvergente Verbindungsstücke Notationsbeispiele: W A B A W B W sind Beispiele für offene konvergente Verbindungsstücke. W A A W W B B sind Beispiele für geschlossene konvergente Verbindungsstücke. FT 2010 Bayessche Netzwerke und ihre Anwendungen 34

35 Informationstransport über ein konvergentes Verbindungsstück Beispiel: Gegen sei das folgende Netzwerk mit den Knoten und Zuständen Salmonella mit, Flu (Grippe) mit, Nausea (Brechreiz) mit und Pallor (Blässe) mit : Beispiele für den Informationstransport: Bei unbekanntem Zustand der Knoten Nausea und Pallor verändert eine Beobachtung von Flu die Zustandwahrscheinlichkeit von Salmonella nicht (und umgekehrt). Bei bekanntem Brechreiz kann eine Beobachtung hinsichtlich einer möglichen Ursache die Zustandswahrscheinlichkeit der anderen möglichen Ursachen verändern. Explaining Away -Effekt Bei bekannter Blässe (und damit erhöhter Wahrscheinlichkeit für den Brechreiz) kann der Explaining Away -Effekt ebenfalls auftreten. Quelle: Jensen&Nielsen 2007, S FT 2010 Bayessche Netzwerke und ihre Anwendungen 35 S N P F

36 Formale Definition der d-separation Definition: Sei ein Bayessches Netzwerk und seien paarweise disjunkte Knotenmengen darin, wobei die Teilmenge der (in einer gegebenen Evidenz bezüglich ihres Zustands festgelegten Knoten) bezeichne. Die Mengen heißen durch d-separiert, genau dann wenn jeder (ungerichtete) Pfad zwischen einem Knoten aus und einem Knoten aus durch blockiert wird. Dabei heißt ein Pfad durch blockiert, wenn er bei gegebener Menge mindestens ein geschlossenes Zwischenstück enthält. Anmerkung: Bei der Definition der d-separation wird formal nicht verwendet, dass die Menge gerade die Variablen einer Evidenz enthält. FT 2010 Bayessche Netzwerke und ihre Anwendungen 36

37 Übungsaufgabe 3.4: d-separation Bestimmen Sie bitte für das unten gezeigte Netzwerk die größtmögliche Knotenmenge die von der Menge durch d-separiert wird. B=b A B C D E F G H I J K L M M=m Quelle: Jensen&Nielsen 2007, S. 31 FT 2010 Bayessche Netzwerke und ihre Anwendungen 37

38 Bedingte Unabhängigkeit und d-separation Satz: Sei ein Bayessches Netzwerk und seien paarweise disjunkte Teilmengen der Knoten menge. Die Zufallsvektoren und seien jeweils aus allen in der zugehörigen Menge oder enthaltenen Zufallsvariablen zusammengesetzt. Dann gelten die folgenden Zusammenhänge: Wenn durch d-separiert sind, dann sind für alle möglichen Parametrisierungen von die Zufallsvektoren bedingt unabhängig gegeben den Zufallsvektor. Wenn durch nicht d-separiert sind, so hängt eine mögliche bedingte Unabhängigkeit von der gegebenen Parametrisierung ab. Dabei bezeichnet eine Parametrisierung von eine konkrete Befüllung der bedingten Wahrscheinlichkeitstabellen aus. FT 2010 Bayessche Netzwerke und ihre Anwendungen 38

39 Kriterium für d-separation: Markov-Decke Definition und Satz: Sei Zufallsvariable. ein Bayessches Netzwerk und eine Die Markov-Decke des Knotens ist die Menge, die alle Elternknoten von (gerichete Vorgänger), alle Kinderknoten von (gerichtete Nachfolger) und alle Knoten die mit ein gemeinsames Kind haben (Partnerknoten) enthält. Die Menge wird durch die Markov-Decke des Knotens von allen übrigen Knoten des Netzwerkes d-separiert. FT 2010 Bayessche Netzwerke und ihre Anwendungen 39

40 Übungsaufgabe 3.5: Markov-Decke Bitte betrachten Sie das nachfolgend dargestellte Netzwerk. B D F A C E G H I J K L M N Quelle: Jensen&Nielsen 2007, S. 32 Bestimmen Sie bitte die Markov-Decke des Knotens I. Wird der Knoten I vom Rest des Netzwerkes bereits durch die Menge seiner Nachbarknoten d-separiert? FT 2010 Bayessche Netzwerke und ihre Anwendungen 40

41 Literatur (Auswahl) Finn v. Jensen & Thomas D. Nielsen: Bayesian Networks and Decision Graphs (2. ed.). Springer Science + Business Media, Adnan Darwiche: Modeling and Reasoning with Bayesian Networks. Cambridge University Press, Stuart Russel & Peter Norvig: Künstliche Intelligenz Ein moderner Ansatz (2. Aufl.). Pearson Education, Judea Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (revised second printing). Morgan Kaufmann Publishers Inc., FT 2010 Bayessche Netzwerke und ihre Anwendungen 41

42 Ende Vielen Dank für Ihre Mitarbeit! FT 2010 Bayessche Netzwerke und ihre Anwendungen 42