Wahrscheinlichkeitsrechnung und Statistik. 9. Vorlesung

Transkript

1 Wahrscheinlichkeitsrechnung und Statistik 9. Vorlesung

2 Anwendung der Bayesschen Theorie in ML Bayessche Netzwerke Bayessche Netze werden in modernen Expertensystemen benutzt. Das Wissen wird über Zufallsvariablen und deren Beziehungen untereinander dargestellt. Zur effektiven Erfassung des Wissens ist es nötig, mit möglichst wenigen Angaben eine hinreichende Beschreibung der spezifischen Merkmale eines Systems zu erhalten. Bayessche Netze sind auf Effizienz für Speicher und Rechenzeit ausgelegt. Im Folgenden wird erklärt wie ein solches Netzwerk aufgebaut ist und damit Vorhersagen getroffen werden können.

3 Bayessches Netz Graph + Wahrscheinlichkeitsverteilungen: Der Graph enthält Knoten (Zufallsgrößen), sowie Kanten zwischen den Knoten, die kausale Abhängigkeiten darstellen. Die Kanten im Graph sind gerichtet und stellen damit jeweils einen kausalen Einfluss vom Knoten an dem die Kante beginnt (der Ursache) auf den Knoten auf den die Kante verweist (der Wirkung) dar. Ein gerichteter Pfad bezeichnet eine Verbindung in der nur entsprechend der Kantenrichtung vorgegangen werden darf.

4 Es sind nur solche Graphen zulässig, die keine (gerichteten) Zyklen enthalten. D.h. es dürfen keine zwei Knoten A und B existieren, bei denen man, unter Beachtung der Kantenrichtung, von Knoten A zum Knoten B und wieder zurück zu Knoten A gelangen könnte. Ein Graph der diese Bedingung erfüllt wird gerichteter azyklischer Graph genannt (DAG - Directed Acyclic Graph).

5 Durch die Graphen-Struktur hat jeder Knoten X eine Menge von Elternknoten pa(x) (Engl. parents). Diese umfasst all jene Knoten von denen eine Kante ausgeht, die auf den Knoten X zeigt. Menge der Elternknoten kann auch leer sein (pa(x) = ). Entsprechendes gilt auch für die Menge der Kindknoten ch(x) (Engl. child), also jene Knoten zu denen von X ausgehend eine Kante führt). z.b.: pa(e) =, pa(b) = {E, A}, pa(c) = {B}, ch(a) = {B, D}

6 Für jeden Knoten X im Graph müssen bedingte Wahrscheinlichkeitsverteilungen P(X pa(x)) definiert werden. Im Falle der kategorialen Variablen haben diese Wahrscheinlichkeitsverteilungen die Form (mehrdimensionaler) Tafeln (Engl. CPTs - conditional probability tables). Für elternlose Knoten X wird die sogenannte a-priori Verteilung P(X) verlangt. A-priori Verteilungen für die Knoten E und A E P(E=...) A P(A=...)

7 Bedingte Wahrscheinlichkeiten P(B E, A) B P(B=... E=0,A=0) P(B=... E=1,A=0) P(B=... E=1,A=0) P(B... E=1,A=1) b b b

8 Bedingte Wahrscheinlichkeiten P(D A), P(C B) D P(D=... A=0) P(D=... A=1) d d C P(C=... B = b 1 ) P(C=... B = b 2 ) P(C=... B = b 3 ) c c

9 Neben der direkten kausalen Abhängigkeit zwischen Elternund Kindknoten gibt es in einem Bayesschen Netz auch weiterreichende indirekte Abhängigkeitsbeziehungen. Dabei spielen auch die Mengen der Vorgänger an(x) (Engl. ancestor, antecedent; Rum. predecesor) und Nachfolger de(x) (Engl. descendant; Rum. succesor) eines Knotens X eine Rolle. Diese Mengen enthalten neben den Elternknoten bzw. Kindknoten auch Knoten die über längere gerichtete (von X ausgehende bzw. zu X hinführende) Pfade mit X verbunden sind. Alle nicht-nachfolger Knoten von X werden mit nde(x) (Engl. non-descendant) bezeichnet. im gegebenen Beispiel: de(b) = {C}, nde(b) = {A, D, E}, nde(d) = {A, B, C, E}

10 Im Folgenden seien X diskrete ZG mit Werten {x i : i I} Y diskrete ZG mit Werten {y j : j J} Z diskrete ZG mit Werten {z k : k K } Bedingte Unabhängigkeit von diskreten ZG Definition: X ist bedingt unabhängig von Y gegeben Z, wenn i I, j J, k K : P(X = x i, Y = y j Z = z k ) = P(X = x i Z = z k )P(Y = y j Z = z k ), solche Formeln werden oft kompakt geschrieben P(X, Y Z ) = P(X Z )P(Y Z ). Man kann zeigen, dass X ist bedingt unabhängig von Y gegeben Z ist äquivalent mit (in kompakter Schreibweise) P(X Y, Z ) = P(X Z ) P(Y X, Z ) = P(Y Z )

11 Definition: X 1,..., X n sind bedingt unabhängig, gegeben Z, wenn (in kompakter Schreibweise) P(X 1,..., X n Z ) = P(X 1 Z ) P(X 2 Z )... P(X n Z ). Sind X 1,..., X n bedingt unabhängig, gegeben Z, dann gilt P(X 1 X 2, X 3,...X n, Z ) = P(X 1 Z ) P(X 2 X 1, X 3,...X n, Z ) = P(X 2 Z ). P(X n X 1, X 2,...X n 1, Z ) = P(X n Z ).

12 Grundlegende Rechenregeln aus der Theorie der bedingten Wahrscheinlichkeiten Marginalisierung: Aufsummierung, bei der die Wahrscheinlichkeiten für jeden möglichen Wert der anderen Variablen summiert werden: P(X = x i ) = j J P(X = x i, Y = y j ) Konditionierung: Aufsummierung durch Verwendung von bedingten Wahrscheinlichkeiten: P(X = x i ) = j J P(X = x i Y = y j )P(Y = y j ) P(X = x i Y = y j ) = k K P(X = x i Y = y j, Z = z k )P(Z = z k Y = y j ) gemeinsame Wahrscheinlichkeit (Multiplikationsregel): n 1 P(X 1, X 2,..., X n ) = P(X 1 ) P(X i+1 X 1,..., X i 1 ). i=1

13 Ein bayessches Netzwerk erfüllt folgende Eigenschaft: jeder Knoten X mit pa(x) und die nicht-nachfolger Knoten nde(x) sind bedingt unabhängig, wenn pa(x) bekannt sind; wenn X keine Elternknoten hat (d.h. pa(x) = ), dann ist X unabhängig von allen nicht-nachfolger Knoten nde(x). Das Bayes-Netz reduziert die Komplexität der Darstellung der Daten für die Berechnung von P(X 1,..., X n ), so dass nur die bedingten Wahrscheinlichkeiten P(X i pa(x i )) und die a-priori Warscheinlichkeiten der elternlosen Knoten abzuspeichern sind.

14 Beispiel: X 1,...X 6 sind die Zustände von 6 Komponenten in einem technischen Prozess (X i {0, 1} i = 1, 6, 1=funktioniert, 0=funktioniert nicht). X2 X1 X3 X4 X5 X6 Die Knoten X 1 und X 2 sind die a-priori Wahrscheinlichkeiten P(X 1 ) und P(X 2 ) gegeben, da diese Knoten keine Vorfahren (Eltern) haben.

15 Für X i ist die bedingte Wahrscheinlichkeitsverteilung P(X i pa(x i )), i = 3, 6 zugeordnet. Z.B. Für den Knoten X 3 ist dies die bedingte Wahrscheinlichkeit P(X 3 X 1, X 2 ), die sich aus acht möglichen Wahrscheinlichkeitswerten besteht; sind vier Wahrscheinlichkeiten gegeben, so kann man die restlichen vier durch die Komplementeigenschaft berechnen. X2 X5 X3 X1 X4 X6 die Knoten X 3, X 4, X 5, X 6 sind von allen nicht-nachfolger-knoten, bedingt unabhängig, wenn die Elternknoten bekannt sind; die Wurzelknoten X 1 und X 2 sind unabhängig.

16 Zur Berechnung von P(X 1,..., X 6 ) benutzen wir die Multiplikationsregel und Eigenschaft der Baysschen Netze P(X 1,..., X 6 ) = P(X 1 ) 5 P(X i+1 X 1,.., X i ) i=1 =P(X 1 )P(X 2 )P(X 3 X 1, X 2 )P(X 4 X 3 ) P(X 5 X 3 )P(X 6 X 1, X 4, X 5 ). Diese strukturierte Darstellung bringt eine starke Reduktion der Informationen mit sich.

17 Normalerweise, für P(X 1,..., X 6 ) benötigt man 2 6 = 64 Wertekombinationen. Für dieses bayessche Netz speichert man folgende Anfangsdaten: einen Wert: der a-priori-wahrscheinlichkeiten P(X 1 ) und P(X 2 ) je zwei Werte: der bedingten Wahrscheinlichkeiten P(X 4 X 3 ), P(X 5 X 3 ) vier Werte: für die bedingte Wahrscheinlichkeit P(X 3 X 1, X 2 ) acht Werte: für die bedingte Wahrscheinlichkeit P(X 6 X 1, X 4, X 5 ) für die Berechnung von P(X 1,..., X 6 ) müssen = 18 Anfangswerte gespeichert werden.

18 Im bayesschen Netzwerk mit Causal-Chain-Struktur: P(Z X, Y ) = P(Z Y ), d.h. X und Z sind bedingt unabhängig, gegeben Y. Es gilt: P(X, Y, Z ) = P(X)P(Y X)P(Z Y )

19 Im bayesschen Netzwerk mit Common-Cause-Struktur: P(Z X, Y ) = P(Z Y ) und P(X Y, Z ) = P(X Y ) d.h. X und Z sind bedingt unabhängig, gegeben Y. Es gilt: P(X, Y, Z ) = P(Y )P(X Y )P(Z Y )

20 Im bayesschen Netzwerk mit Common-Effect-Struktur: P(Z X) = P(Z ), d.h. X und Z sind unabhängig. P(X, Y, Z ) =?

21 Aufgabenbeispiel Bayessches Netz - Aufgabenbeispiel Wir betrachten folgende ZG, welche den Abend einer Person beschreiben (1=ja, 0=nein ): F im Kino ist Filmpremiere F = 1 oder nicht F = 0 T die Eintrittskarte zum Film ist teuer T = 1 oder nicht T = 0 K Person geht ins Kino K = 1 oder nicht K = 0 R Person geht zum Abendessen ins Restaurant R = 1 oder nicht R = 0 B Person geht zu einem Drink in die Bar B = 1 oder nicht B = 0

22 Die obigen (kategorialen) ZG bilden ein bayessches Netzwerk und es sind folgende Tabellen mit Wahrscheinlichkeiten und bedingten Wahrscheinlichkeiten gegeben: P(F = 1) P(F = 0) T P(T =... F = 1) P(T =... F = 0)

23 K P(K=... T=1,F=1) P(K=... T=1,F=0) P(K=... T=0,F=1) P(K=... T=0,F=0) R P(R =... K = 1) P(R =... K = 0) B P(B =... K = 1) P(B =... K = 0)

24 Man berechne folgende Wahrscheinlichkeiten: a) Die Person geht ins Kino, wo ein Film, der keine Premiere ist, läuft. b) Die Person geht zum Abendessen ins Restaurant. c) Die Person trinkt ein Cocktail in der Bar, wenn man weiß, dass sie die Filmpremiere im Kino nicht verfolgt, weil die Eintrittskarte teuer ist.

25 Lsg.: a) P(K = 1, F = 0) = P(K = 1, F = 0, T = 1) + P(K = 1, F = 0, T = 0) = P(K = 1 T = 1, F = 0) P(T = 1 F = 0) P(F = 0) + P(K = 1 T = 0, F = 0) P(T = 0 F = 0) P(F = 0) = = = 5, 6%.

26 b) P(R = 1) = P(R = 1 K = 1) P(K = 1) + P(R = 1 K = 0) P(K = 0) = 0.3 P(K = 1, T = i, F = j) P(K = 0, T = i, F = j) i,j {0,1} = i,j {0,1} i,j {0,1} i,j {0,1} P(K = 1 T = i, F = j) P(T = i F = j) P(F = j) P(K = 0 T = i, F = j) P(T = i F = j) P(F = j) = = 38.8%.

27 c) P(B = 1, F = 1, T = 1, K = 0) P(B = 1 F = 1, T = 1, K = 0) = P(F = 1, T = 1, K = 0) P(B = 1, F = 1, T = 1 K = 0) = P(F = 1, T = 1 K = 0) P(B = 1 K = 0)P(F = 1, T = 1 K = 0) = P(F = 1, T = 1 K = 0) = P(B = 1 K = 0) = 0.8.

28 Statistik Statistik = wissenschaftliche Disziplin, deren Gegenstand die Entwicklung und Anwendung formaler Methoden zur Gewinnung, Beschreibung und Analyse und Beurteilung von Daten (Beobachtungen) ist. Aufgaben und Ziele der Statistik Design von Experimenten: Wie sollen die Daten gewonnen werden? Beschreibende (deskriptive) Statistik: Wie sollen große Datensätze beschrieben werden, um die Gesetzmäßigkeiten und Strukturen in ihnen entdecken zu können? Schließende Statistik: Welche Schlußfolgerungen kann man aus den Daten ziehen?

29 Arbeitsweise in der Statistik Datenerhebung (Beobachtung, Befragung, Experiment) Visualisierung und beschreibende Datenanalyse: graphische Präsentation, Zusammenfassung (Darstellung der Daten in einer Tabelle oder Darstellung mit Hilfe von Grafiken) Explorative Datenanalyse (man sucht nach Gesetzmäßigkeiten in den Daten) Modellierung der Daten Modellanpassung (Schätzung von Modellparametern) Modellvalidierung (Wie gut war die Modellanpassung?)

30 Anwendung der Statistik: in politischen Umfragen: z.b. Befragung zur Beliebtheit von Politikern oder einer Partei in der Analyse von Finanzmarktdaten: z.b. Analyse von Aktien-, Zinskursen in klinischen und epidemiologischen Studien (Medizin und Pharmazie) in der Technik: z.b. die Lebensdaueranalyse oder die Zuverlässigkeit von elektronischen Systemen in der Wirtschaft: z.b. Data Mining und Data Warehousing sind zwei Bereiche, in denen man versucht mit Hilfe von statistischen Methoden aus einer Vielzahl von Kundendaten jene herauszufiltern und aufzubereiten, die für den Erfolg des Betriebs von Interesse sind

31 Grundbegriffe der Statistik statistische Einheiten = Objekte an denen interessierende Größen erfaßt werden z.b. Bevölkerung einer Stadt; Schüler einer bestimmten Schule; Patienten einer Klinik Grundgesamtheit (Population) = Menge aller statistischen Einheiten über die man Aussagen erhalten will z.b. wahlberechtigte Bevölkerung einer Stadt; Schüler der 10. Klasser einer bestimmten Schule; Patienten einer bestimmten Station einer Klinik statistisches Merkmal = Eigenschaft einer statistischen Einheit für die man sich bei einer statistischen Untersuchung interessiert z.b. Alter; Geschlecht; Wert BMW Aktie , 17 Uhr; Merkmalsausprägung = konkreter Wert des Merkmals z.b. 25 Jahre; weiblich; 82.5 Euro Stichprobe = tatsächlich untersuchte Teilmenge der Grundgesamtheit