Kapitel ML:IV (Fortsetzung)

Transkript

1 Kapitel ML:IV (Fortsetzung) IV. Statistische Lernverfahren Wahrscheinlichkeitsrechnung Bayes-Klassifikation Maximum-a-Posteriori-Hypothesen ML:IV-18 Statistical Learning c STEIN

2 Satz 3 (Bayes) Seien (Ω, P(Ω), P) ein Wahrscheinlichkeitsraum, B 1,...,B k disjunkte Ereignisse mit Ω = B 1... B k, P(B i ) > 0, i = 1,..., k, und A P(Ω) mit P(A) > 0. Dann gilt: P(B i A) = P(B i ) P(A B i ) k i=1 P(B i) P(A B i ) P(B i ) heißt a-priori-wahrscheinlichkeit von B i. P(B i A) heißt a-posteriori-wahrscheinlichkeit von B i. ML:IV-19 Statistical Learning c STEIN

3 Satz 3 (Bayes) Seien (Ω, P(Ω), P) ein Wahrscheinlichkeitsraum, B 1,...,B k disjunkte Ereignisse mit Ω = B 1... B k, P(B i ) > 0, i = 1,..., k, und A P(Ω) mit P(A) > 0. Dann gilt: P(B i A) = P(B i ) P(A B i ) k i=1 P(B i) P(A B i ) P(B i ) heißt a-priori-wahrscheinlichkeit von B i. P(B i A) heißt a-posteriori-wahrscheinlichkeit von B i. Beweis Aus den bedingten Wahrscheinlichkeiten für P(A B i ) und P(B i A) folgt: P(B i A) = P(A B i) P(A) = P(B i) P(A B i ) P(A) Anwendung des Satzes der totalen Wahrscheinlichkeit für P(A) im Nenner des Bruches gibt die Behauptung. ML:IV-20 Statistical Learning c STEIN

4 Satz von Bayes für kombinierte Ereignisse Bezeichne P(B i A 1,..., A p ) die Wahrscheinlichkeit für das Eintreten von Ereignis B i unter der Voraussetzung, dass die Ereignisse A 1,...,A p eingetreten sind. Anwendung zur Klassifikation: die A j, j = 1,..., p, entsprechen den Ereignissen Attribut j =Wert j, die B i, i = 1,..., k, entsprechen den Ereignissen Klasse=c i beobachtbarer Zusammenhang: A 1,..., A p B i Umkehrschluss- bzw. Diagnosesituation: B i A 1,..., A p ML:IV-21 Statistical Learning c STEIN

5 Satz von Bayes für kombinierte Ereignisse Bezeichne P(B i A 1,..., A p ) die Wahrscheinlichkeit für das Eintreten von Ereignis B i unter der Voraussetzung, dass die Ereignisse A 1,...,A p eingetreten sind. Anwendung zur Klassifikation: die A j, j = 1,..., p, entsprechen den Ereignissen Attribut j =Wert j, die B i, i = 1,..., k, entsprechen den Ereignissen Klasse=c i beobachtbarer Zusammenhang: A 1,..., A p B i Umkehrschluss- bzw. Diagnosesituation: B i A 1,..., A p Wenn Daten zur Schätzung von P(B i ) und P(A 1,..., A p B i ) akquirierbar sind, dann lässt sich P(B i A 1,...,A p ) mit dem Satz von Bayes berechnen: P(B i A 1,...,A p ) = P(B i) P(A 1,..., A p B i ) P(A 1,..., A p ) ( ) ML:IV-22 Statistical Learning c STEIN

6 Bemerkungen: P(B i A 1,..., A p ) heißt bedingte Wahrscheinlichkeit für B i unter den Bedingungen A 1,..., A p. Äquivalente Schreibweisen: 1. P(B i A 1,..., A p ) 2. P(B i A 1... A p ) 3. P(B i A 1... A p ) Anwendung der Wahrscheinlichkeitsrechnung zur Klassifikation: Klassen und Attribut-Wert-Paare werden als Ereignisse aufgefasst; Ereignisse sind Teilmengen eines Ergebnisraums Ω = {ω 1,..., ω n }. Beobachtbarer, evtl. kausaler Zusammenhang: es wird (wurde in der Vergangenheit) immer wieder festgestellt, dass in der Situation B i die Symptome A 1,..., A p auftreten. Umkehrschluss- bzw. Diagnosesituation: es treten die Symptome A 1,..., A p auf; gesucht ist die Wahrscheinlichkeit für das Vorliegen von B i. Aus den a-priori-wahrscheinlichkeiten für die Klassen, P(Klasse=c), und den Wahrscheinlichkeiten für die unmittelbar beobachtbaren Zusammenhänge, P(Attribut=Wert Klasse=c), lässt sich in der Diagnosesituation mit dem Satz von Bayes die Wahrscheinlichkeit P(Klasse=c Attribut=Wert) berechnen. Dem bedingten Ereignis Attribut=Wert Klasse=c liegt nicht zwangsläufig ein kausaler Zusammenhang zugrunde: das Ereignis Klasse=c kann, muss aber nicht das Ereignis Attribut=Wert verursachen. ML:IV-23 Statistical Learning c STEIN

7 Naive-Bayes Der Aufbau einer Datenbasis, um verlässliche Werte für P(A 1,..., A p B i ) schätzen zu können, ist in der Praxis unmöglich. Ansatz: (a) Unter dem Ereignis / der Bedingung B i sind die Ereignisse A 1,..., A p stochastisch unabhängig. (Naive Bayes Assumption). In Zeichen: p P(A 1,...,A p B i ) NB = P(A j B i ) j=1 ML:IV-24 Statistical Learning c STEIN

8 Naive-Bayes Der Aufbau einer Datenbasis, um verlässliche Werte für P(A 1,..., A p B i ) schätzen zu können, ist in der Praxis unmöglich. Ansatz: (a) Unter dem Ereignis / der Bedingung B i sind die Ereignisse A 1,..., A p stochastisch unabhängig. (Naive Bayes Assumption). In Zeichen: p P(A 1,...,A p B i ) NB = P(A j B i ) (b) P(A 1,...,A p ) ist eine Konstante und braucht nicht bekannt zu sein, um das unter der Naive-Bayes-Annahme wahrscheinlichste Ereignis B NB {B 1,..., B k } mit dem Satz von Bayes ( ) zu bestimmen: j=1 P(B i ) P(A 1,..., A p B i ) argmax B i {B 1,...,B k } P(A 1,...,A p ) NB = argmax P(B i ) B i {B 1,...,B k } p P(A j B i ) = B NB j=1 ML:IV-25 Statistical Learning c STEIN

9 Bemerkungen: In der Praxis sind die Wahrscheinlichkeiten P(A 1,..., A p B i ) oft nicht schätzbar: Angenommen, die Anzahl der Klassen sei k und es gäbe für jedes der p Attribute mindestens l Ausprägungen, dann wären über k p l verschiedene Instanzen (= Klassen- Attributvektor-Kombinationen) in der Datenbasis möglich. Um sinnvolle Aussagen bzgl. der relativen Häufigkeit machen zu können, muss eine Instanz auch noch entsprechend häufig in der Datenbasis vorkommen. Die Wahrscheinlichkeiten P(A j B i ) hingegen lassen sich wesentlich einfacher schätzen. Trifft die Naive-Bayes-Annahme zu, so maximiert B NB auch die a-posteriori- Wahrscheinlichkeit P(B NB A 1,..., A p ), die mit dem Satz von Bayes ( ) berechnet wird. Stichwort: diskriminative versus generative Verfahren Das Lernen bei einem Naive-Bayes-Klassifikator besteht in der Schätzung der a-priori- Wahrscheinlichkeiten P(B i ) und der Wahrscheinlichkeiten P(A j B i ) für die beobachtbaren Zusammenhänge auf Basis von Traningsdaten D. Die geschätzten Wahrscheinlichkeiten entsprechen der gelernten Hypothese, die dazu verwendet wird, neue Beispiele gemäß der Optimierungsformel für B NB zu klassifizieren. Der Hypothesenraum H besteht aus der Menge aller Werte, die P(B i ) und P(A j B i ) annehmen können. Bei der Konstruktion eines Naive-Bayes-Klassifikators wird der Hypothesenraum H nicht durchsucht, sondern die gesuchte Hypothese wird direkt aus einer Häufigkeitsanalyse von D berechnet. ML:IV-26 Statistical Learning c STEIN

10 Naive-Bayes Sei neben der Naive-Bayes-Annahme weiterhin vorausgesetzt: k (c) die Menge der B i ist vollständig: P(B i ) = 1 (d) die B i schließen sich gegenseitig aus: P(B i, B ι ) = 0, i=1 1 i, ι k, i ι ML:IV-27 Statistical Learning c STEIN

11 Naive-Bayes Sei neben der Naive-Bayes-Annahme weiterhin vorausgesetzt: k (c) die Menge der B i ist vollständig: P(B i ) = 1 (d) die B i schließen sich gegenseitig aus: P(B i, B ι ) = 0, dann gilt: i=1 1 i, ι k, i ι P(A 1,..., A p ) = k P(B i ) P(A 1,..., A p B i ) i=1 NB = k i=1 P(B i ) p P(A j B i ) j=1 (totale Wahrscheinlichkeit) (Naive-Bayes-Annahme) ML:IV-28 Statistical Learning c STEIN

12 Naive-Bayes Sei neben der Naive-Bayes-Annahme weiterhin vorausgesetzt: k (c) die Menge der B i ist vollständig: P(B i ) = 1 (d) die B i schließen sich gegenseitig aus: P(B i, B ι ) = 0, dann gilt: i=1 1 i, ι k, i ι P(A 1,..., A p ) = k P(B i ) P(A 1,..., A p B i ) i=1 NB = k i=1 P(B i ) p P(A j B i ) j=1 (totale Wahrscheinlichkeit) (Naive-Bayes-Annahme) und es folgt mit dem Satz von Bayes ( ) für die bedingten Wahrscheinlichkeiten: P(B i A 1,..., A p ) = P(B i) P(A 1,..., A p B i ) P(A 1,..., A p ) NB,c,d = P(B i ) p j=1 P(A j B i ) k i=1 P(B i) p j=1 P(A j B i ) ML:IV-29 Statistical Learning c STEIN

13 Bemerkungen: Auf Basis von argmax B i {B 1,...,B k } P(B i ) p j=1 P(A j B i ) lässt sich eine Rangordnung zwischen den Ereignissen B i berechnen. Unter weiteren bestimmten Voraussetzungen lassen sich die Rangordnungswerte der B i in die a-posteriori-wahrscheinlichkeiten P(B i A 1,..., A p ) umrechnen. Kann nämlich (c) Vollständigkeit und (d) Exklusivität der B i angenommen werden, so gilt, dass die Summe aller a-posteriori-wahrscheinlichkeiten 1 ergeben muss, in Zeichen: k i=1 P(B i A 1,..., A p ) = 1. Unter diesen Voraussetzungen dürfen die Rangordnungswerte nach der Normalisierung als a-posteriori-wahrscheinlichkeiten interpretiert werden. Die Normalisierung geschieht mittels Division durch die Summe aller Rangordnungswerte, k i=1 P(B i) p j=1 P(A j B i ). ML:IV-30 Statistical Learning c STEIN

14 Naive-Bayes: Zusammenfassung Sei D eine Menge von Trainingsbeispielen der Form (x, c(x)); die k Ausprägungen (= Klassen) des Zielkonzeptes c entsprechen den Ereignissen B 1,..., B k, die Ausprägungen der x = p Attribute den Ereignissen A 1,..., A p. ML:IV-31 Statistical Learning c STEIN

15 Naive-Bayes: Zusammenfassung Sei D eine Menge von Trainingsbeispielen der Form (x, c(x)); die k Ausprägungen (= Klassen) des Zielkonzeptes c entsprechen den Ereignissen B 1,..., B k, die Ausprägungen der x = p Attribute den Ereignissen A 1,..., A p. Konstruktion und Anwendung eines Naive-Bayes-Klassifikators: 1. Schätzung von P(B i ) auf Basis der relativen Häufigkeiten in D. 2. Schätzung von P(A j B i ) auf Basis der relativen Häufigkeiten in D. 3. Klassifikation eines neuen Beispiels x als B NB, mit B NB = argmax B i {B 1,...,B k } p(b i ) p(a j B i ) A j x j=1,...,p 4. Gegebenenfalls Berechnung der a-posteriori-wahrscheinlichkeit für B NB durch Normalisierung von p(b NB ) p(a j B NB ) A j x j=1,...,p ML:IV-32 Statistical Learning c STEIN

16 Bemerkungen: Die Wahrscheinlichkeiten P sind unbekannt und werden durch die relativen Häufigkeiten, in Zeichen: p, geschätzt. Naive-Bayes ist angesagt für Trainingsmengen D, die mittelgroß bis sehr groß sind. Naive-Bayes fordert, dass die Attributausprägungen der Beispiele stochastisch unabhängig von den Ausprägungen des Zielkonzeptes sind. Die Praxis im Bereich der Textklassifikation zeigt, dass auch bei Verletzung der Naive-Bayes-Annahme hervorragende Klassifikationsergebnisse mit einem Naive-Bayes-Klassifikator erzielbar sind. Möchte man nicht nur Rangordnungswerte sondern auch a-posteriori-wahrscheinlichkeiten berechnen, wird noch die Vollständigkeit der B i (Closed World Assumption) und der gegenseitiger Ausschluss der B i (Single Fault Assumption) gefordert. Insgesamt muss gelten, dass sich die betrachtete Welt nur langsam ändert: die Daten müssen über einen längeren Zeitraum relativ konstant bleiben. ML:IV-33 Statistical Learning c STEIN

17 Naive-Bayes: Beispiel Outlook Temperature Humidity Wind EnjoySport 1 sunny hot high weak no 2 sunny hot high strong no 3 overcast hot high weak yes 4 rain mild high weak yes 5 rain cold normal weak yes 6 rain cold normal strong no 7 overcast cold normal strong yes 8 sunny mild high weak no 9 sunny cold normal weak yes 10 rain mild normal weak yes 11 sunny mild normal strong yes 12 overcast mild high strong yes 13 overcast hot normal weak yes 14 rain mild nigh strong no Das Zielkonzept der Instanz x = (sunny, cool, high, strong) sei unbekannt. ML:IV-34 Statistical Learning c STEIN

18 Naive-Bayes: Beispiel (Fortsetzung) B NB = argmax p(b i ) p(a j B i ) B i {yes,no} A j x = argmax p(b i ) p(outlook=sunny B i ) p(temperature=cool B i )... B i {yes,no} A j x bezeichnet die im Merkmalsvektor x codierten Ereignisse. Zum Beispiel werden durch x = (sunny, cool, high, strong) die folgenden Ereignisse definiert: A 1 : Outlook=sunny A 2 : Temperature=cool A 3 : Humidity=high A 4 : Wind=strong ML:IV-35 Statistical Learning c STEIN

19 Naive-Bayes: Beispiel (Fortsetzung) Zur Klassifikation von x sind Wahrscheinlichkeiten zu schätzen: p(enjoysport=yes) = 9 14 = 0.64 p(enjoysport=no) = 5 14 = 0.36 p(wind=strong EnjoySport=yes) = 3 9 = Rangordnung: 1. p(enjoysport=no) A j x p(a j EnjoySport=no) = p(enjoysport=yes) A j x p(a j EnjoySport=yes) = Normalisierung: 1. P(EnjoySport=no x) = = P(EnjoySport=yes x) = = ML:IV-36 Statistical Learning c STEIN