Evidenzpropagation in Bayes-Netzen und Markov-Netzen

Transkript

1 Einleitung in Bayes-Netzen und Markov-Netzen Thomas Thüm 20. Juni /26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

2 Übersicht Einleitung Motivation Einordnung der Begriffe 1 Einleitung Motivation Einordnung der Begriffe 2 3 Bedingte Unabhängigkeit Markov-Netz Bayes-Netz 4 Ausblick und Literaturverzeichnis 2/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

3 Motivation Einleitung Motivation Einordnung der Begriffe In vielen Fällen ist unser Wissen: unvollständig Der Zeuge hat das Kennzeichen nicht gesehen. unscharf, unpräzise Das Auto war grün. unsicher Ich bin mir nicht sicher, ob es wirklich ein Audi war. Wir müssen trotzdem agieren! Schließen bei Unschärfe Fuzzy-Logik Schließen unter Unsicherheit Schließen über Eintretenswahrscheinlichkeiten 3/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

4 Einleitung Einordnung der Begriffe Motivation Einordnung der Begriffe Andrej Markov ( ) Markow-Netze (auch Markov Networks) probabilistische (auch graphische Modelle) Thomas Bayes ( ) Bayes-Netze (auch Bayessches-Netze oder Bayesian Networks) 4/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

5 Einleitung Mehrdimensionaler Raum Modellierung eines Weltausschnitts durch einen mehrdimensionalen Raum Beispiel: alle deutschen Autos Dimension Attribut Hersteller, Farbe,... Attribute: erschöpfend, sich gegenseitig ausschließend jedes Auto hat genau einen Hersteller Fahrzeug Punkt im mehrdimensionalen Raum mehrere Fahrzeuge ein Punkt alle Attribute sind gleich ein Punkt kein Fahrzeug Fahrzeug mit den Attributen wurde nicht verkauft 5/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

6 Einleitung Verteilung im mehrdimensionalen Raum wir betrachten nur Wahrscheinlichkeitsverteilungen ordnet jedem Punkt eine Zahl aus dem Intervall [0, 1] zu gibt die Wahrscheinlichkeit an, dass der entsprechende Zustand vorliegt Daten werden geschätzt oder gehen aus statistischen Analysen hervor z.b. relative Häufigkeit mit der Fahrzeuge verkauft wurden 6/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

7 Einleitung Zerlegung der Verteilung Eine Verteilung δ auf einem Raum R kann in Verteilungen φ 1,..., φ n auf niedrigdimensionalen Unterräumen von R (näherungsweise) zerlegt und wieder rekonstruiert werden. Verteilung δ (hochdimensional) effizientere Speicherung aufwendige Berechnung effizientere Berechnung Verteilungen φ 1,..., φ n (niedrigdimensional) Schlussfolgerungen 7/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

8 Einleitung Ein einfaches Beispiel 10 einfache geometrische Objekte, 3 Attribute 8/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

9 Einleitung Die Relation im Folgerungsraum Jeder Kubus repräsentiert ein Tupel. 9/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

10 Schlussfolgern Einleitung Nehmen wir an, wir wissen das Objekt sei grün. Diese Information reduziert den Raum der möglichen Attributkombinationen. Aus diesem Wissen folgt, dass das Objekt ein Dreieck oder Quadrat sein muss und nicht klein sein kann. 10/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

11 Einleitung A-priori-Wissen und Projektionen 11/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

12 Einleitung Zylindrische Erweiterung und ihr Durchschnitt Wir bilden die zylindrische Erweiterung der Projektionen. Der Schnitt entspricht der ursprünglichen Relation 12/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

13 Einleitung Das gleiche Ergebnis kann mit den Projektionen berechnet werden ohne das der 3-dimensionale Raum rekonstruiert werden muss: Das induziert folgendes Netzwerk: 13/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

14 Einleitung Andere Projektionen 14/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

15 Einleitung Zerlegung immer möglich? 15/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

16 Einleitung Eine Wahrscheinlichkeitsverteilung 16/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

17 Einleitung Schlussfolgern - Bedingte Wahrscheinlichkeiten berechnen 17/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

18 Einleitung Das gleiche Ergebnis kann mit den Projektionen berechnet werden ohne das der 3-dimensionale Raum rekonstruiert werden muss: Das induziert folgendes Netzwerk: 18/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

19 Einleitung Bedingte Unabhängigkeit Bedingte Unabhängigkeit Markov-Netz Bayes-Netz Warum funktioniert die im Beispiel? A B C graphentheoretisch: weil der einzige Pfad zwischen A und C durch B geblockt wird wahrscheinlichkeitstheoretisch: weil A bedingt unabhängig von C gegeben das Attribut B ist formal: P(a c b) = P(a b) wobei b die Evidenz ist es gilt auch die Umkehrung: P(c a b) = P(c b) vgl. bedingte Wahrscheinlichkeit: P(x y) = P(x) gdw. x unabhängig von y ist 19/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

20 Markov-Netz Einleitung Bedingte Unabhängigkeit Markov-Netz Bayes-Netz Zerlegung eines ungerichteten Graphen Sei δ die Wahrscheinlichkeitsverteilung über einer Menge von Attributen U = {A 1,..., A r } und (U, E) der Graph G 1 maximale Cliquen N = {M 1,..., M s } ermitteln 2 Funktionen φ i suchen, sodass δ( A i = a i ) = φ i ( A i = a i ) A i U M i N A i M i wobei a i dom(a i ) und dom(a) der Wertebereich des Attributes A ist δ heißt zerlegbar (faktorisierbar) genau dann, wenn die Funktionen φ i existieren G heißt bedingter Unabhängigkeitsgraph für δ G und φ i bilden ein Markov-Netz 20/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

21 Markov-Netz Einleitung Bedingte Unabhängigkeit Markov-Netz Bayes-Netz Beispielgraph: A 1 A 2 A 3 A 4 A 5 A 6 1 maximale Cliquen: M 1 = {A 1, A 2, A 3 }, M 2 = {A 3, A 5, A 6 }, M 3 = {A 2, A 4 }, M 4 = {A 4, A 6 } 2 Zerlegung: δ(a 1 = a 1... A 6 = a 6 ) = φ 1 (A 1 = a 1 A 2 = a 2 A 3 = a 3 ) φ 2 (...) φ 3 (...) φ 4 (...) 21/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

22 Bayes-Netz Einleitung Bedingte Unabhängigkeit Markov-Netz Bayes-Netz Zerlegung eines gerichteten azyklischen Graphen (DAG) Sei δ die Wahrscheinlichkeitsverteilung über einer Menge von Attributen U = {A 1,..., A r } und (U, E) der Graph G Wir betrachten nun die folgende Gleichung δ( A i = a i ) = P(A i = a i A j = a j ) A i U A i U A j parents(a i ) wobei a i dom(a i ) und parents(b) = {C (C, B) E} gilt vgl. Produktsatz: P(x y) = P(x y)ṗ(y) δ heißt zerlegbar (faktorisierbar) genau dann, wenn die obige Gleichung erfüllt ist G heißt bedingter Unabhängigkeitsgraph für δ G und die bedingten Wahrscheinlichkeitsverteilungen bilden ein Bayes-Netz 22/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

23 Bayes-Netz Einleitung Bedingte Unabhängigkeit Markov-Netz Bayes-Netz Beispielgraph: A 1 A 2 A 3 A 4 A 5 A 6 A 7 δ(a 1 = a 1 A 2 = a 2... A 6 = a 6 ) = P(A 1 = a 1 ) P(A 2 = a 2 A 1 = a 1 ) P(A 3 = a 3 ) P(A 4 = a 4 A 1 = a 1 A 2 = a 2 ) P(A 5 = a 5 A 2 = a 2 A 3 = a 3 ) P(A 6 = a 6 A 4 = a 4 A 5 = a 5 ) P(A 7 = a 7 A 5 = a 5 ) 23/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

24 Ausblick Einleitung Ausblick und Literaturverzeichnis Anwendungen für : Medizinische Diagnose Wissen über Abhängigkeiten zwischen Symptomen Krankheiten identifizieren Wahrscheinlichkeitstheoretische Wettervorhersage Langjährige, statistische Daten über Niederschlag in verschiedenen Orten + aktuelle Daten von einem Ort Niederschläge in übrigen Orten Arten der : exakt: numerische Berechnung aproximativ: wenn kein exaktes Verfahren bekannt ist oder zu hohen Aufwand hat symbolisch: es wird eine Funktion von Symbolen (Variablen) ermittelt 24/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

25 Einleitung Ausblick und Literaturverzeichnis Schließen unter Unsicherheit Unsicherheit wird meist durch Wahrscheinlichkeiten modelliert praktische Anwendungen sehr große, hochdimensionale Verteilungen sind nicht zum Schlussfolgern geeignet (zu aufwendig) daher: mehrere kleine, niedrigdimensionale Verteilungen transportiert Wissen zwischen niedrigdimensionalen Verteilungen ein Markov-Netz ist ein ungerichteter Graph und ein Bayes-Netz ein gerichteter azyklischer Graph 25/26 Thomas Thüm in Bayes-Netzen und Markov-Netzen

26 Literaturverzeichnis Einleitung Ausblick und Literaturverzeichnis C. Borgelt, H. Timm, and R. Kruse. Graphical Models - Methods for Data Analysis and Mining Cofino, Cano, Sordo, and Gutierrez. Bayesian Networks for Probabilistic Weather Prediction. Technical report, 15th European Conference on Artificial Intelligence, E. Castillo, J. M. Gutierrez, and A. S. Hadi. Expert Systems and Probabilistic Network Models Werner Dilger. Unsicherheit und Probabilistische Schlussfolgerungssysteme. Technical report, Fakultät für Informatik, Technische Universität Chemnitz, April /26 Thomas Thüm in Bayes-Netzen und Markov-Netzen