Bayessche Netzwerke und ihre Anwendungen

Transkript

1 Bayessche Netzwerke und ihre Anwendungen 1. Kapitel: Grundlagen Zweiter Schwerpunktanteil einer Vorlesung im Rahmen des Moduls Systemplanung und Netzwerktheorie (Modul-Nr.: 1863) Fakultät für Informatik Universität der Bundeswehr München FT 2010 Dozent: Dr. Max Krüger

2 Inhalt 0 Literatur 1.1 Diskrete endliche Zufallsvariablen und Zufallsvektoren 1.2 Bedingte Wahrscheinlichkeiten FT 2010 Bayessche Netzwerke und ihre Anwendungen 2

3 Literatur (Auswahl) Finn v. Jensen & Thomas D. Nielsen: Bayesian Networks and Decision Graphs (2. ed.). Springer Science + Business Media, Adnan Darwiche: Modeling and Reasoning with Bayesian Networks. Cambridge University Press, Stuart Russel & Peter Norvig: Künstliche Intelligenz Ein moderner Ansatz (2. Aufl.). Pearson Education, Judea Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (revised second printing). Morgan Kaufmann Publishers Inc., FT 2010 Bayessche Netzwerke und ihre Anwendungen 3

4 Abschnitt 1.1: Diskrete endliche Zufallsvariablen und Zufallsvektoren FT 2010 Bayessche Netzwerke und ihre Anwendungen 4

5 Diskrete endliche Zufallsvariablen Definition: (informell; für Details vgl. Vorlesung W-Theorie) Eine diskrete endliche Zufallsvariable (auch: Variable, Zufallsgröße, Zustandsvariable) ist eine Funktion, die jedem Ausgang eines zugrunde liegenden Zufallsexperiments genau einen Zustand (Ergebnis) (Schreibeweise: ) aus einer endlichen Zustandsmenge (Ergebnismenge) zuordnet. Die endlich vielen verschiedenen Zustände schließen sich gegenseitig aus und sind erschöpfend. Wir bezeichnen Zufallsvariablen mit Großbuchstaben (insb. ) und Zustände mit Kleinbuchstaben (z. B. ). FT 2010 Bayessche Netzwerke und ihre Anwendungen 5

6 Wahrscheinlichkeitsfunktion einer endlichen Zufallsvariablen Definition: Für eine diskrete endliche Zufallsvariable mit ordnet die Wahrscheinlichkeitsfunktion für mit und jedem Zustand eine durch eine Wahrscheinlichkeit ausgedrückte Unsicherheit zu. Wir schreiben für die Wahrscheinlichkeitsfunktion auch bzw. kurz. Abkürzend wird für zudem notiert, sofern aus dem Kontext klar ist, zu welcher Variable der Zustand gehört. FT 2010 Bayessche Netzwerke und ihre Anwendungen 6

7 Wahrscheinlichkeitsmaß einer endlichen Zufallsvariablen Definition: Eine Wahrscheinlichkeitsfunktion diskrete endliche Zufallsvariable Wahrscheinlichkeitsmaß auf wird zu einem diskreten erweitert: für eine für alle. FT 2010 Bayessche Netzwerke und ihre Anwendungen 7

8 Diskrete endliche Zufallsvektoren Definition: (informell; für Details vgl. Vorlesung W-Theorie) Die diskreten endlichen Zufallsvariablen werden zu einem -dimensionalen Zufallsvektor mit der Zustandsmenge zusammengesetzt. Bemerkung: Sofern im Kontext nicht extra als vektorwertig herausgestellt werden muss, werden wir ebenfalls einfach als Zufallsvariable bezeichnen. FT 2010 Bayessche Netzwerke und ihre Anwendungen 8

9 Gemeinsame Wahrscheinlichkeitsfunktion Definition: Für mit hat die gemeinsame Wahrscheinlichkeitsfunktion die Form mit und. Bemerkung: Wie bei Zufallsfallsvariablen kann auch für Zufallsvektoren das zur gemeinsamen Wahrscheinlichkeitsfunktion gehörende gemeinsame Wahrscheinlichkeitsmaß auf definiert werden. FT 2010 Bayessche Netzwerke und ihre Anwendungen 9

10 Schreibweisen für die gemeinsame Wahrscheinlichkeitsfunktion Schreibweisen: (1) Wir vereinbaren als Bezeichner für die gemeinsame Wahrscheinlichkeitsfunktion des Zufallsvektors. (2) Die Reihenfolge der Zufallsvariablen sei irrelevant, d.h. wir setzen für jede Permutation. (3) Es sei. (4) Die Schreibweisen (1), (2) und (3) sind kombinierbar, wobei dann in der gemeinsamen Wahrscheinlichkeitsfunktion die aus (3) übernommenen Zufallsvariablen mit gegebenem Zustand als Argument in festgehalten werden. Z.B. ist der Ausdruck zulässig. FT 2010 Bayessche Netzwerke und ihre Anwendungen 10

11 Marginalisierung Satz: Sei mit Zufallsvektor mit Verteilungsfunkton. Für eine fest gewählte Zufallsvariable ist die Funktion eine gemeinsame Wahrscheinlichkeitsfunktion des (reduzierten) Zufallsvektors. Dieser Vorgang zur Reduktion des Zufallsvektors heißt Marginalisierung bezüglich der Variable (auch: Aussummierung). FT 2010 Bayessche Netzwerke und ihre Anwendungen 11

12 Rekursive und simultane Marginalisierung Eigenschaften der Marginalisierung: Marginalisierung kann rekursiv durchgeführt werden, d.h. hintereinander für mehrere Variablen. Marginalisierung kann simultan durchgeführt werden, d.h. für mehrere Variablen gleichzeitig. Dabei wird dann während der Marginalisierung über alle möglichen Zustandskombination der auszusummierenden Variablen summiert. Rekursive Marginalisierung bezüglich mehrerer Variablen mit beliebiger Marginalisierungsreihenfolge und simultane Marginalisierung bezüglich der gleichen Zufallsvariablen ergeben immer die gleiche (reduzierte) gemeinsame Wahrscheinlichkeitsfunktion. FT 2010 Bayessche Netzwerke und ihre Anwendungen 12

13 Übungsaufgabe 1.1: Sei ein Zufallsvektor gegeben mit den Zustandsmengen, und. Die gemeinsame Wahrscheinlichkeitsfunktion des Zufallsvektors ist durch die folgende gemeinsame Wahrscheinlichkeitstabelle festgelegt: Berechnen bzw. bestimmen Sie bitte: (1.) (2.) (3.) (4.) FT 2010 Bayessche Netzwerke und ihre Anwendungen 13

14 Abschnitt 1.2: Bedingte Wahrscheinlichkeiten FT 2010 Bayessche Netzwerke und ihre Anwendungen 14

15 Bedingte Wahrscheinlichkeit und Wahrscheinlichkeitsfunktion Definition: Sei ein -dim. Zufallsvektor. (1) Für die Elementarergebnisse und mit heißt der Ausdruck für für die bedingte Wahrscheinlichkeit von unter der Bedingung. (2) Durch Teil (1) wird die bedingte Wahrscheinlichkeitsfunktion elementweise definiert. Vorsicht: Nur ist Wahrscheinlichkeitsfunktion! FT 2010 Bayessche Netzwerke und ihre Anwendungen 15

16 Satz von Bayes (in bekannter Formulierung) Satz: (Satz, Regel bzw. Theorem von Bayes) Sei ein diskreter Wahrscheinlichkeitsraum, eine Partition von mit für alle und sei ein Ereignis mit, dann gilt:. FT 2010 Bayessche Netzwerke und ihre Anwendungen 16

17 Satz von Bayes für Zufallsvariablen (1.Formulierung) Satz: (Satz von Bayes für Zustände von Zufallsvariablen) Sei ein -dim. Zufallsvektor. Für die Elementarergebnisse und ( ) mit gilt:. FT 2010 Bayessche Netzwerke und ihre Anwendungen 17

18 Satz von Bayes für Zufallsvariablen (2.Formulierung) Satz: (Satz von Bayes für Wahrscheinlichkeitsfunktionen) Sei ein -dim. Zufallsvektor, dann gilt:. Diese Formulierung mittels (bedingter ) Wahrscheinlichkeitsfunktionen ist ungenau, da der Fall für einen Zustand nicht abgefangen wird. Trotzdem ist sie im Kontext Bayesscher Netzwerke üblich. FT 2010 Bayessche Netzwerke und ihre Anwendungen 18

19 Übungsaufgabe Bestimmen Sie bitte ausgehend vom Zufallsvektor aus Übungsaufgabe 1.1: a) b) und c) und zur Erinnerung: 2. Beweisen Sie bitte den Satz von Bayes! FT 2010 Bayessche Netzwerke und ihre Anwendungen 19

20 Bedingte Wahrscheinlichkeitstabellen Bemerkung: Sei ein -dim. Zufallsvektor. Eine bedingte Wahrscheinlichkeitsfunktion kann in einer bedingten Wahrscheinlichkeitstabelle (Conditional Probability Table CPT) dargestellt werden: FT 2010 Bayessche Netzwerke und ihre Anwendungen 20

21 A-priori und A-posteriori Wahrscheinlichkeiten Bezeichnungen: Sei ein -dim. Zufallsvektor und ein zugehöriges gemeinsames Ereignis. heißt die A-priori Wahrscheinlichkeit (oder auch unbedingte Wahrscheinlichkeit) des Ereignisses. heißt die A-posteriori Wahrscheinlichkeit (oder auch bedingte Wahrscheinlichkeit) des Ereignisses gegeben das Ereignis. FT 2010 Bayessche Netzwerke und ihre Anwendungen 21

22 Multiplikationsregel Satz: (Multiplikationsregel, Kettenregel) Sei ein -dimensionaler Zufallsvektor, dann lässt sich die gemeinsame Wahrscheinlichkeitsfunktion wie folgt darstellen: Beweisidee: Anwendung der Definition für die bedingten Wahrscheinlichkeiten und anschließendes Kürzen. FT 2010 Bayessche Netzwerke und ihre Anwendungen 22

23 Unabhängigkeit und bedingte Unabhängigkeit Definition: Zwei Zufallsvariablen (Zufallsvektoren) und heißen (1) (paarweise) unabhängig, falls... bzw. (2)... bedingt unabhängig gegeben die Zufallsvariable (Zufallsvektor), falls... jeweils für, und ggf. gilt. Als Kurzschreibweise wird auch bzw. verwendet. Diese Definitionen werden kanonisch auf voneinander total unabhängige Zufallsvariablen erweitert: bzw.. FT 2010 Bayessche Netzwerke und ihre Anwendungen 23

24 Übungsaufgabe 1.3: 1. Alternative Darstellung (bedingter) Unabhängigkeit: Zeigen Sie bitte, dass für (bzw. ) die Zufallsvariablen und genau dann (bedingt) unabhängig sind, wenn (bzw. ) gilt. Hinweis: Die Schreibweise bzw. bedeutet, dass die Funktionen jeweils für alle Argumente größer als Null sind. 2. Sind die Zufallsvariablen total unabhängig? FT 2010 Bayessche Netzwerke und ihre Anwendungen 24

25 Spam-Filterung mittels Naive-Bayes-Filter (1): Voraussetzungen Die Zugehörigkeit einer E zu Klasse Ham oder Spam wird als Zufallsvariable modelliert: mit. Für jedes in der E enthaltene Wort gibt es eine Zufallsvariable mit die angibt, ob dass Wort in der enthalten ist. Wir setzen die Kurznotation. Aus der Auswertung früherer, bereits klassifizierter s sind folgende Wahrscheinlichkeiten bekannt:, sowie und. Das Auftreten der Wörter in der wird als bedingt unabhängig modelliert:. FT 2010 Bayessche Netzwerke und ihre Anwendungen 25

26 Spam-Filterung mittels Naive-Bayes-Filter (2): Berechnung Die E soll als Spam klassifiziert werden, falls gilt: Mittels des Satzes von Bayes berechnet man:. und analog. Somit wird die E als Spam klassifiziert, falls gilt:. FT 2010 Bayessche Netzwerke und ihre Anwendungen 26

27 Ende Vielen Dank für Ihre Mitarbeit! FT 2010 Bayessche Netzwerke und ihre Anwendungen 27