Bayes sche und probabilistische Netze

Transkript

1 Bayes sche und probabilistische Netze

2 Gliederung Wahrscheinlichkeiten Bedingte Unabhängigkeit, Deduktion und Induktion Satz von Bayes Bayes sche Netze D-Separierung Probabilistische Inferenz Beispielanwendung 2

3 Wahrscheinlichkeiten P( A) Wahrscheinlichkeit, dass ein Ereignis A eintritt P( A, B) Wahrscheinlichkeit, dass die Ereignisse A und B eintreten P( A B) Wahrscheinlichkeit, dass das Ereignis A eintritt, wenn das Ereignis B eingetreten ist (bedingte Wahrscheinlichkeit) 3

4 Baumdiagramme Erste Pfadregel: Die W ahrscheinlichkeit eines Ereignisses ist gleich dem Produkt der W ahrscheinlichkeiten auf dem Pfad, der zu diesem Ereignis führt. Zweite Pfadregel: Die W ahrscheinlichkeit eines Ereignisses ist gleich der Summe der D W ahrscheinlichkeiten der Pfade, die dieses Ereignis bilden Start 1/3 2/3 B 1/2 1/4 1/4 E F G C 1/3 2/3 H Aus der ersten Pfadregel folgt: P(B,D) = P(B) * P(D B) Daraus folgt: P(D B) = P(B,D) / P(B) P(B,D)=P(B)*P(D B)=1/6 4

5 Unabhängigkeit Zwei Ereignisse A und B sind unabhängig wenn: P( A, B) P( B A) P( A) P( B) P( A) Daraus folgt P( B A) P( B) Die Wahrscheinlichkeit von B wird von A nicht beeinflusst. Zwei Ereignisse heißen bei gegebenem B bedingt unabhängig, wenn gilt: P( C A, B) P( C B) Die Wahrscheinlichkeit von C wird durch A nicht beeinflusst. 5

6 Deduktion und Induktion Bei der Deduktion wird aus einem eingetretenen Ereignis auf ein davon abhängiges Ereignis geschlossen Bei der Induktion wird aus einem eingetretenen Ereignis auf ein erzeugendes Ereignis zurück geschlossen. 6

7 Satz von Bayes Es existiert eine endliche Anzahl von Zufallsprozessen, aus dem einer ausgewählt wird und das Eintreten gewisser Ereignisse zur Folge hat. P(k) sei die Apriori Wahrscheinlichkeit des k-ten Prozesses und P(A k) sei die bedingte W ahrscheinlichkeit von A und k, dann gilt : P( k A) P( k) P( A k) P( A) Mit der Formel von Bayes kann von einem eingetretenen Ereignis auf ein erzeugendes Ereignis geschlossen werden (Induktion). 7

8 Bayes sche Netze allgemein(1) Systeme mit Unsicherheiten werden durch Bayes sche Netze dargestellt Bayes sche Netz stellt einen gerichteten azyklischen Graphen dar (DAG) Knoten repräsentieren Zufallsvariablen Kanten repräsentieren direkte stochastische Abhängigkeiten Gesamtmenge der Zufallsvariablen stellt das unsichere Wissen dar Bayes-Netz stellt die Wahrscheinlichkeitsverteilung des unsicheren Wissens graphisch dar. 8

9 Bayes sche Netze allgemein(2) Das Modell besteht aus bedingten Wahrscheinlichkeiten und bedingt unabhängigen Variablen. Jede Variable ist von den Variablen abhängig mit deren Knoten sie durch eine Kante verbunden ist. Die Kanten werden mit den bedingten Wahrscheinlichkeiten der benachbarten Knoten gewichtet 9

10 Beispielszenario Beispielszenario für ein Bayes sches Netz: Ich bin nicht zu Hause. Mein Nachbar Harald ruft mich an, um mir mitzuteilen, dass in meinem Haus die Alarmanlage angegangen ist. Meine Nachbarin Stefanie ruft an und teilt mir dasselbe mit. Die Alarmanlage wird manchmal durch leichte Erdbeben ausgelöst oder es könnte sich um einen Einbrecher handeln. Variablen: Erdbeben, Einbruch, Alarm, Anruf Stefanie und Anruf Harald 10

11 Beispielszenario Man weiß, dass Erdbeben und Einbruch voneinander unabhängig sind. P(Erdbeben Einbruch) = P(Erdbeben) P(Einbruch Erdbeben) = P(Einbruch) Weiterhin weiß man, dass Harald und Stefanie anrufen, wenn sie den Alarm gehört haben. Dieses Wissen kann in einem Bayes schen Netz dargestellt werden. 11

12 Beispielszenario Das W issen kann graphisch mit den dazugehörigen W ahrscheinlichkeiten dargestellt werden. P(Erdbeben) P(Einbruch) Einbruch Erdbeben 0,002 0,001 Einb. Erdb. P(A) A True P(H) 0,9 Alarm True True False False True False True False 0,95 0,94 0,29 0,001 False 0,05 Anruf Harald Anruf Stefanie A True P(S) 0,7 False 0,01 12

13 Konstruktion von Bayes schen Netzen 1. Man wählt geeignete Zufallsvariablen aus 2. Reihenfolge der Variablen wird bestimmt 3. Solange noch nicht alle Variablen in s Netz eingefügt sind: a) Nimm nächste Variable X i b) Setze die Eltern von X i auf minimale Menge c) Bestimme die Wahrscheinlichkeitstabelle für X i Die Kompaktheit eines Netzes hängt von der Reihenfolge der Variablen sehr stark ab. Beachtet man die Abhängigkeiten der Variablen nicht, kann dies zu sehr komplexen Netzen führen. 13

14 Beispiel für eine ungünstige Reihenfolge Wählt man im Beispielszenario den Anruf Stefanie als erste und den Anruf Harald als zweite Variable aus, muss man überprüfen, ob Haralds Anruf von Stefanies Anruf unabhängig ist. P(Anruf Harald Anruf Stefanie) = P(Anruf Harald)??? Nein Anruf Stefanie Hinzufügen von Alarm Anruf Stefanie Anruf Harald Anruf Harald Alarm 14

15 Beispiel für eine ungünstige Reihenfolge Beim Hinzufügen von Einbruch, muss überprüft werden, ob Einbruch von Alarm, Anruf Stefanie und Anruf Harald bedingt unabhängig ist. Da Einbruch von den Anrufen unabhängig ist folgt: P(Einbruch Anruf Stefanie, Anruf Harald, Alarm) = P(Alarm) Anruf Stefanie Anruf Harald Alarm Einbruch 15

16 Beispiel für eine ungünstige Reihenfolge Beim Hinzufügen von Erdbeben muss überprüft werden, wovon Erdbeben bedingt unabhängig ist. Da bei einem Alarm die Information über einen Einbruch relevant ist, hängt Erbeben sowohl von Alarm wie auch von Einbruch ab. Anruf Stefanie Alarm Anruf Harald P(Erdbeben Einbruch, Alarm, Anruf Stefanie, Anruf Harald) = P(Alarm, Einbruch) Einbruch Erdbeben 16

17 Vergleich von günstiger und ungünstiger Reihenfolge Einbruch Erdbeben Anruf Stefanie Alarm Anruf Harald Alarm Anruf Harald Anruf Stefanie Einbruch Erdbeben 17

18 Un / Abhängigkeiten in Bayes schen Netzen Definition: <X,Y,Z> bedeutet: Bei gegebenem Y sind X und Z bedingt unabhängig. Y Z X Z U V X <X,Y,Z>?? Ja <X,U,Z>?? Nein <X,{U,V},Z>?? JA 18

19 D-Separierung Definition: Zwei Knoten X und Y sind d-separiert, durch eine Menge von Evidenzvariablen( Variablen deren Belegung bekannt ist), wenn jeder ungerichtete Pfad zwischen X und Y blockiert ist. Ein Pfad heißt blockiert, wenn eine der folgenden Situationen zutreffen: X Z E Y Z Z 19

20 Beispiel zur D-Separierung Batterie Radio Zündung Benzin Benzin und Radio sind unabhängig, wenn bekannt ist, ob die Zündung funktioniert oder ob die Batterie voll ist. Aber sie werden voneinander abhängig, wenn bekannt wird, ob das Auto startet oder fährt. Start Fahrt 20

21 Nutzen der D-Separierung Mit Tiefensuche kann die D-Separierung in linearer Zeit erfolgen Die D-Separierung liefert einen schnellen Algorithmus um anzugeben ob eine Belegung einer Variablen zusätzliche Hinweise über andere Variablen liefert. 21

22 Probabilistische Inferenz(1) 1. Diagnostische Inferenz: Es wird vom Symptom auf die Diagnose geschlossen P(Alarm Anruf Stefanie) 3. Kausale Inferenz: Es wird von der Ursache auf den Effekt geschlossen. P(Anruf Stefanie Einbruch) 3. Interkausale Inferenz: Zwischen verschiedenen Ursachen desselben Effektes. Die Gegenwart des einen Effektes macht den anderen weniger wahrscheinlich P(Einbruch Alarm&Erdbeben) 22

23 Probabilistische Inferenz(2) 1. Gemischte Inferenz: Kombinationen aus 1-3 P(Alarm Anruf Harald & Erdbeben) Symptom Ursache Ursache Effekt Ursache Effekt Diagnose Effekt Ursache Diagnost. Kausale Interkausale Gemischte Inferenz Inferenz Inferenz Inferenz 23

24 Berechnung der bedingten Wahrscheinlichkeit eines Knotens im probabilistischen Netzwerk(1) 1. Vereinfachte Annahme, dass das Netz nur einfach verbunden ist; es gibt nur einen ungerichteten Pfad zwischen zwei Knoten. (Polytree) 2. Ein Knoten X wird nach seiner diagnostischen und kausalen Evidenz aufgeteilt, die voneinander unabhängig sind. - + P( X E) P( E X ) P( X E ) X P( X E + X ) 5. Berechnung der kausalen Evidenz : Es werden alle Kombinationen der Werte der Elternknoten gemäß der Wahrscheinlichkeitstabelle von X betrachtet und diese werden mit ihren Wahrscheinlichkeiten gewichtet, die rekursiv auf die gleiche W eise berechnet wurden. X 24

25 Berechnung der bedingten Wahrscheinlichkeit eines Knotens im probabilistischen Netzwerk(2) - 4. Berechnung der kausalen Evidenz X : Es werden alle Kombinationen der Werte der Kinderknoten gemäß der W ahrscheinlichkeitstabelle der Kinder betrachtet und diese werden mit ihren Wahrscheinlichkeiten gewichtet, die rekursiv auf die gleiche W eise berechnet wurden. P( E X ) Dieser Algorithmus ist proportional zur Anzahl der Knoten n im Netz, also O(n). 25

26 Aufteilung der Evidenz für einen Knoten E1.. Em E + X E + X X E - X K1.. Km 26

27 Inferenz in mehrfach verbundenen probabilistischen Netzen Beispiel: wolkig P(w)=0,5 w P(S) T 0,1 F 0,5 Sprinkler Regen S T T F R T F T P(nG) 0,99 0,90 0,90 nasses Gras w T F P(R) 0,8 0,2 T T 0,00 Die Ursache kann mehrere Effekte bewirken. Inferenz in mehrfach verbundenen Netzwerken ist NP-vollständig. 27

28 Methoden zur Effizienzsteigerung mehrfach verbundener Netzwerke (1) Cluster Methode: Gruppen von mehrfach verbundenen Knoten werden zu Superknoten zusammengefügt wolkig P(w)=0,5 Sprinkler und Regen nasses Gras S + R T T T F F T T T P(nG) 0,99 0,90 0,90 0,00 28

29 Methoden zur Effizienzsteigerung mehrfach verbundener Netzwerke (2) Konditionale Methode: Durch W ertebelegung bestimmter Variablen werden einfach verbundene Netze erzeugt. wolkig - wolkig - wolkig+ wolkig+ Spronkler Regen Spronkler Regen nasses Grass nasses Grass 29

30 Methoden zur Effizienzsteigerung mehrfach verbundener Netzwerke (3) Stochastische Simulationsmethode: Es werden für die Knoten W erte entsprechend ihrer W ahrscheinlichkeiten gewählt und dies so oft wiederholt, dass man im Mittel eine bestimmt Frage ausreichend sicher beantworten wolkig=t kann. wolkig=t wolkig=t Spronkler=F wolkig=t Regen=T Spronkler=F wolkig=t Regen=T Spronkler=F Regen=T Spronkler=F Regen=T nasses Spronkler=F Regen=T Gras=T nasses Gras=T nasses Gras=T nasses Gras=T nasses Gras=T Spronkler=F wolkig=t nasses Gras=T Regen=T 30

31 Beispielanwendung Online Erstellung individueller Kundenprofile auf elektronischen Markt- Plätzen, um den potentiellen Kunden bei der Suche und Auswahl eines Produktes zu unterstützen. Verschiedene Aspekte des Produktes werden in Dimensionen eingeteilt und Kunde gibt Bewertung für diese Produkt 1 Dimensionen ab. Umweltverträglichkeit unscharfe Kundenwünsche Raumangebot Sportlichkeit Produkt 2 kommt eventuell in Betracht 31

32 Beispielanwendung Bayes sches Netz Geschlecht Soziales Milieu Grundorientierung zu Autos Relatives Gewicht von Attribut A auf Dimension D1 für Kunden im allgemeinen Relatives Gewicht von Dimension D1 für Kunde K Relatives Gewicht von Attribut A auf Dimension D2 für Kunden im Allgemeinen Absolutes Gewicht von Dimension D2 für Kunde K Absolutes Gewicht für Attribut A für Kunde K Signalisierte Präferenz für Dimension1 Relatives Gewicht für Attribut A für Kunde K Signalisierte Präferenz für Dimension2 Bewertung der Attributsausprägung durch Kunde K 32

33 Zusammenfassung Bayes sche Netze sind eine Kombination von Graphentheorie und Wahrscheinlichkeitstheorie Wissen wird als Ansammlung von Wahrscheinlichkeiten ausgedrückt Bei Polytree exakte Inferenz in linearer Zeit möglich, ansonsten exponentielle Laufzeit Anwendungen: Entscheidungsfindung, Wissensrepräsentation, Wettervorhersagen, Diagnosen.. Expertensystem Pathfinder soll besser in der Diagnose sein, als die besten Experten 33