Bayes-Netze (1) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Transkript

1 Bayes-Netze (1) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl KI) Bayes-Netze (1) 1 / 22

2 Gliederung 1 Unsicheres Wissen 2 Schließen mit unsicherem Wissen (Lehrstuhl KI) Bayes-Netze (1) 2 / 22

3 Unsicherheit warum? Notwendigkeit, unter Unsicherheit zu handeln: Rationale Entscheidungen hängen ab von der relativen Wichtigkeit verschiedener Ziele. Ziele hängen ab von der Wahrscheinlichkeit, dass und in welchem Umfang sie erreicht werden können. Bestenfalls ein Überzeugungsgrad ( Degree of Belief ) für die Wahrheit von Aussagen. In 50% der Fälle Ist eine Falle Kiste ist zu Kiste ist verschlossen Fast nie ein Schatz In 50% der Fälle Enthält einen Schatz Ist es gefährlich, die Kiste zu öffnen? Beobachtung: Die Kiste ist zu. Erfahrung: Es gibt viele Schätze, aber auch viele Fallen. Die meisten verschlossenen Kisten sind Fallen. (Lehrstuhl KI) Bayes-Netze (1) 3 / 22

4 Quellen der Unsicherheit Vernachlässigen: Aufwand zur kompletten Auflistung aller Antezedens- und Konsequens-Elemente für Regeln ohne Ausnahmen zu gross; Schwierigkeiten der Handhabung komplexer und umfangreicher Regelsysteme. Theoretische Unkenntnis: Es existiert keine geschlossene Bereichstheorie. Praktische Unkenntnis: Selbst bei Kenntnis aller Regeln ist es oft nicht möglich, vollständige Information über einen bestimmten Anwendungsfall zu gewinnen. (Lehrstuhl KI) Bayes-Netze (1) 4 / 22

5 Unsicherheit und rationale Entscheidungen Wahrscheinlichkeitstheorie ist ein Mittel zur Darstellung und Verarbeitung von Überzeugungsgraden für die Wahrheit von Sätzen. Markierung von Sätzen mit einem Wahrscheinlichkeitsmass bedeutet ein Mass für die Erwartung, dass solche Sätze zutreffen. Die Wahrscheinlichkeit, eine Aussage für richtig zu halten, hängt von den Erfahrungen ab, die (bis dato) gemacht wurden: Evidenz Wahrscheinlichkeit vor Evidenz: a priori (nicht-konditional) Wahrscheinlichkeit nach Evidenz: a posteriori (konditional) (Lehrstuhl KI) Bayes-Netze (1) 5 / 22

6 Wahrscheinlichkeit (1) Das Etikett P (p) gibt die Wahrscheinlichkeit für die Wahrheit der Formel p an: P (p) [0, 1] Werte von P (p): 0: p ist sicher falsch, 1: p ist sicher wahr, 0.5: p ist gleich wahrscheinlich wahr wie falsch. Bedingte Wahrscheinlichkeiten: P (p q) = y genau dann, wenn y die Wahrscheinlichkeit angibt, unter der p (auch) wahr ist, falls man weiss, dass q wahr ist (und nicht mehr). (Lehrstuhl KI) Bayes-Netze (1) 6 / 22

7 Wahrscheinlichkeit (2) Allgemein gilt: 1 P (p q) = P (p)p (q p) 2 P ( p) = 1 P (p) 3 p q P (p) = P (q) Wichtige Konsequenz: Die Regel von Bayes Für zwei Sätze H (Hypothese) und E (Evidenz) gilt: P (E) 0 P (H E) = P (E H)P (H), P (E) d.h. Posteriori = Likelihood * Priori / Evidenz, denn P (H)P (E H) = P (E H) = P (H E) = P (E)P (H E). (Lehrstuhl KI) Bayes-Netze (1) 7 / 22

8 Konsequenzen aus der Bayes-Regel 1 Falls H die Evidenz E ausschließt, dann auch umgekehrt: P (E H) = 0 P (H E) = 0; 2 E hat keinen Einfluss auf die relativen Wahrscheinlichkeiten von H 1 und H 2, wenn die Hypothesen H 1 und H 2 die gleiche Information über die Evidenz E liefern: P (E H 1 ) = P (E H 2 ) P (H 1 E) P (H 2 E) = P (H 1) P (H 2 ). (Lehrstuhl KI) Bayes-Netze (1) 8 / 22

9 Unabhängigkeit (Bedingte) Unabhängigkeit: H ist unabhängig von E, falls P (H E) = P (H); H ist bedingt unabhängig von E bei Evidenz F, falls P (H E F ) = P (H F ). Falls H unabhängig von E ist, dann auch E von H. Aus den Wahrscheinlichkeitsaxiomen folgt auch: P (p q) = P (p) + P (q) P (p q). (Lehrstuhl KI) Bayes-Netze (1) 9 / 22

10 Totale Wahrscheinlichkeit Ist w 1,..., w n eine Menge von Sätzen mit P (w 1... w n ) = 1 und i j P (w i w j ) = 0, gilt für beliebige Sätze p: P (p) = i P (p w i )P (w i ). Die Wahrscheinlichkeit von p kann abhängig von den Wahrscheinlichkeiten für w i rekonstruiert werden. Jedes w i liefert den eigenen Beitrag gewichtet mit der Wahrscheinlichkeit für w i selbst. Beispiel: P (zu) = P (zu Falle) P (Falle) + P (zu Schatz) P (Schatz) (Lehrstuhl KI) Bayes-Netze (1) 10 / 22

11 Vier Arten von Inferenz In 50% der Fälle Ist eine Falle Kiste ist zu Kiste ist verschlossen Fast nie ein Schatz In 50% der Fälle Enthält einen Schatz Diagnostische Inferenz Ist es eine Falle, daß die Kiste verschlossen ist? Kausale Inferenz Ist die Kiste verschlossen, weil es eine Falle ist? Interkausale Inferenz Ist es eine Falle, wenn die Kiste verschlossen und ein Schatz drin ist? Knoten stehen für Zufallsvariablen. Kanten geben an, welche Zufallsvariablen direkten Einfluß auf welche anderen haben. (Lehrstuhl KI) Bayes-Netze (1) 11 / 22

12 BAYES-Netze repräsentieren unsicheres Wissen BAYES-Netze sind gerichtete Graphen ohne Zyklen. Jeder Knoten hat eine Tabelle mit den bedingten Wahrscheinlichkeiten für den Einfluß der Eltern auf ihn. Für Knoten ohne Eltern gibt es eine Tabelle für die Wahrscheinlichkeit für jeden Wert der Zufallsvariablen. Falle 40% keine Falle 60% Schatz 20% kein Schatz 80% Ist eine Falle Enthält einen Schatz Kiste ist verschlossen Falle Schatz Kiste zu P(Kiste zu=x Falle=y und Schatz=z) (Lehrstuhl KI) Bayes-Netze (1) 12 / 22

13 Benötigte Daten für Inferenzen a-priori Wahrscheinlichkeiten Falle 40% keine Falle 60% Ist eine Falle Kiste ist verschlossen P (Falle) P (Falle) 0, 4 0, 6 bedingte Wahrscheinlichkeiten Falle Kiste zu Wahrscheinlichkeit (F ) (K) P (K F ) = 2 4 (F ) ( K) P ( K F ) = 2 4 ( F ) (K) P (K F ) = 4 6 ( F ) ( K) P ( K F ) = 2 6 Anhand dieser Werte können Schlußfolgerungen gezogen werden (Inferieren). Beobachtungen können die a-priori Wahrscheinlichkeiten verändern. (Lehrstuhl KI) Bayes-Netze (1) 13 / 22

14 Beobachten und Inferieren (1) A-posteriori Wahrscheinlichkeiten für Kiste zu aufgrund der gegebenen a-priori Wahrscheinlichkeiten: P (K) = P (F )P (K F ) + P ( F )P (K F ) = = 3 5 P ( K) = P (F )P ( K F ) + P ( F )P ( K F ) = = 2 5 Beobachtung: Es ist eine Falle. P (K) = P (F )P (K F ) + P ( F )P (K F ) = = 1 2 P ( K) = P (F )P ( K F ) + P ( F )P ( K F ) = = 1 2 (Lehrstuhl KI) Bayes-Netze (1) 14 / 22

15 Beobachten und Inferieren (2) Für kausale Inferenzen muß man a-posteriori oder totale Wahrscheinlichkeiten berechnen. Feind territorium Ist eine Falle P (F ) = P (T )P (F T ) + P ( T )P (F T ) P ( F ) = P (T )P ( F T ) + P ( T )P ( F T ) P (K) = P (F )P (K F ) + P ( F )P (K F ) P ( K) = P (F )P ( K F ) + P ( F )P ( K F ) Kiste ist verschlossen Beobachtung: Die Kiste ist zu. P (F K) = P (F ) 0, 4 P (K F ) = P (K) = 1 5 Bei der diagnostischen Inferenz hilft die Regel von BAYES. (Lehrstuhl KI) Bayes-Netze (1) 15 / 22

16 Beobachten und Inferieren (3) Ist eine Falle Kiste ist verschlossen Enthält einen Schatz Falle (F ) Schatz (S) Kiste zu (K) Für die Berechnung von P (K F S) gilt die Bedingung P (K F S) + P ( K F S) = P (K F S) + P ( K F S) P (F S) = (disjunkte Ereignisse) P ((K K) F S) P (F S) = P (F S) P (F S) = 1 (Lehrstuhl KI) Bayes-Netze (1) 16 / 22

17 Rekursionsformel für bedingte Wahrscheinlichkeiten Hat man mehrere Zufallsvariablen A 1,... A n und will die Wahrscheinlichkeit berechnen, daß A 1 = a 1 und A 2 = a 2 und... A n = a n, nutzt man folgenden Zusammenhang zwischen der gemeinsamen Verteilung der A i und bedingten Wahrscheinlichkeiten: n P ( A i = a i ) = P (a 1 )P (a 2 a 1 )... P (a n a 1... a n 1 ) i=1 = P (a 1 ) P (a 1 a 2 ) P (a 1 )... P (a 1... a n ) P (a 1... a n 1 ) (Lehrstuhl KI) Bayes-Netze (1) 17 / 22

18 Beobachten und Inferieren (4) Interkausale Inferenz (explaining away) (Lehrstuhl KI) Bayes-Netze (1) 18 / 22

19 Beobachten und Inferieren (5) Wie wahrscheinlich ist es, daß der Sprinkler an ist, wenn daß Gras naß ist, und es regnet? P (S = W = R = ) = P (S = W = R = ) P (W = R = ) Berechnung des Zählers: P (S = W = R = ) = P (S = W = R = C = ) + P (S = W = R = C = ) Anwendung der Rekursionsformel: P (S W R C) = P (C) P (S C) P (R S C) P (W S C R) = P (C) P (S C) P (R C) P (W S R) (Lehrstuhl KI) Bayes-Netze (1) 19 / 22

20 Beobachten und Inferieren (6) Die letzte Gleichung der vorigen Folie nutzt Annahmen über die Unabhängigkeit von Zufallsvariablen, die sich aus der Netztopologie ergeben. Jetzt kann der Wert des Zählers ermittelt werden: P (S = W = R = ) = P (C) P (S C) P (R C) P (W S R) + P ( C) P (S C) P (R C) P (W S R) = = = Beachte (zur Addition der Wahrscheinlichkeiten): (S W R C) (S W R C) = (Lehrstuhl KI) Bayes-Netze (1) 20 / 22

21 Beobachten und Inferieren (7) Berechnung des Nenners: P (W R) = P (W R C S) + P (W R C S) + P (W R C S) + P (W R C S) = (C) P (S C) P (R C) P (W S R) + (C) P ( S C) P (R C) P (W S R) + ( C) P (S C) P (R C) P (W S R) + ( C) P ( S C) P (R C) P (W S R) = = (Lehrstuhl KI) Bayes-Netze (1) 21 / 22

22 Fazit Im Beispiel ergibt sich also insgesamt: Zusammenfassend: P (S = W = R = ) = = Ausgangspunkt ist die gemeinsame Verteilung aller Variablen im Netz. Über die Rekursionsformel wird die gemeinsame Verteilung aufgelöst nach der gesuchten Variablen. Dabei sind alle Variablen voander unabhängig, die nicht durch eine Kante im Graphen miteinander verbunden sind. Für alle Variablen deren Wert nicht bekannt ist, wird die Summenformel für disjunkte Ereignisse ausgenutzt. (Lehrstuhl KI) Bayes-Netze (1) 22 / 22