Bayes sches Lernen: Übersicht

Transkript

1 Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V. 1.0) 1 c G. Grieser

2 2 Zielrichtungen der Bayes schen Methoden Bereitstellen von praktischen Lernalgorithmen: Naive Bayes Bayes sche Netze Kombiniere Wissen (a priori-wahrscheinlichkeiten) und beobachtete Daten Erfordert a priori-wahrscheinlichkeiten Bereitstellen eines konzeptuellen Modells Standard zum Vergleich mit anderen Lernalgorithmen Zusätzliche Einsichten in Occam s Razor Teil 5: Naive Bayes + IBL (V. 1.0) 2 c G. Grieser

3 Bayes sches Theorem P (h D) = P (D h)p (h) P (D) P (h) = a priori Wahrscheinlichkeit der Hypothese h P (D) = a priori Wahrscheinlichkeit der Trainingsdaten D P (h D) = Wahrscheinlichkeit von h gegeben D P (D h) = Wahrscheinlichkeit von D gegeben h Teil 5: Naive Bayes + IBL (V. 1.0) 3 c G. Grieser

4 Auswahl von Hypothesen P (h D) = P (D h)p (h) P (D) Suchen wahrscheinlichste Hypothese gegeben die Traingsdaten Maximum a posteriori Hypothese h MAP : h MAP = arg max P (h D) = arg max = arg max P (D h)p (h) P (D) P (D h)p (h) Unter der Annahme P (h i ) = P (h j ) kann man weiter vereinfachen und wählt die Maximum likelihood (ML)-Hypothese: h ML = arg max h i H P (D h i) Teil 5: Naive Bayes + IBL (V. 1.0) 4 c G. Grieser

5 Grundlegende Formeln für Wahrscheinlichkeiten Produktregel: Wahrscheinlichkeit P (A B) der Konjunktion zweier Ereignisse A und B: P (A B) = P (A B)P (B) = P (B A)P (A) Summenregel: Wahrscheinlichkeit P (A B) der Disjunktion zweier Ereignisse A und B: P (A B) = P (A) + P (B) P (A B) Theorem der totalen Wahrscheinlichkeiten: Wenn die Ereignisse A 1,..., A n n sich gegenseitig ausschließen und i=1 P (A i) = 1, dann n P (B) = P (B A i )P (A i ) i=1 Teil 5: Naive Bayes + IBL (V. 1.0) 5 c G. Grieser

6 Brute Force MAP-Hypothesen-Lerner 1. Für jede Hypothese h in H, berechne a posteriori Wahrscheinlichkeit P (h D) = P (D h)p (h) P (D) 2. Gib Hypothese h MAP mit höchster a posteriori Wahrscheinlichkeit aus h MAP = argmax P (h D) Teil 5: Naive Bayes + IBL (V. 1.0) 6 c G. Grieser

7 Beispielanwendung: Lernen einer reelwertigen Funktion Betrachte reelwertige Zielfunktion f Trainingsbeispiele sind x i, d i, wobei die d i verrauscht sind y f d i = f(x i ) + e i e i ist Zufallsvariable (Noise) die unabhängig voneinander für jedes x i bezüglich einer Normalverteilung mit Mittelwert=0 gezogen werden Die Maximum-Likelihood-Hypothese h ML ist nun genau diejenige, die die Summe der Quadrate der Fehler minimiert: h ML = arg min n (d i h(x i )) 2 i=1 e h ML x Teil 5: Naive Bayes + IBL (V. 1.0) 7 c G. Grieser

8 Warum? h ML = argmax = argmax = argmax = argmax = argmax = argmax = argmin p(d h) n p(d i h) i=1 n i=1 n ln i=1 i=1 1 2πσ 2 e 1 2 ( d i h(x i ) σ ) 2 1 2πσ n 1 ( di h(x i ) 2 σ n (d i h(x i )) 2 i=1 n (d i h(x i )) 2 i=1 ( di h(x i ) ) 2 σ ) 2 Teil 5: Naive Bayes + IBL (V. 1.0) 8 c G. Grieser

9 Minimum Description Length Principle Occam s Razor: wähle kleinste Hypothese MDL: bevorzuge Hypothese h, die folgendes minimiert: h MDL = argmin L C1 (h) + L C2 (D h) wobei L C (x) die Beschreibungslänge von x unter Kodierung C ist Beispiel: H = Entscheidungsbäume, D = Labels der Traingsdaten L C1 (h) ist # Bits zum Beschreiben des Baums h L C2 (D h) ist # Bits zum Beschreiben von D gegeben h Anmerkung: L C2 (D h) = 0 falls alle Beispiele korrekt von h klassifiziert werden. Es müssen nur die Ausnahmen kodiert werden. h MDL wägt Baumgröße gegen Traingsfehler ab Teil 5: Naive Bayes + IBL (V. 1.0) 9 c G. Grieser

10 Minimum Description Length Principle h MAP = arg max P (D h)p (h) = arg max 2 P (D h) + log 2 P (h) = arg min 2 P (D h) log 2 P (h) (1) Interessanter Fakt aus der Kodierungstheorie: Die optimale (kürzeste) Kodierung für ein Ereignis mit Wahrscheinlichkeit p benötigt log 2 p Bits. Interpretiere (1): log 2 P (h): Größe von h bei optimaler Kodierung log 2 P (D h): Größe von D gegeben h bei optimaler Kodierung wähle Hypothese die folgendes minimiert: length(h) + length(misclassifications) Teil 5: Naive Bayes + IBL (V. 1.0) 10 c G. Grieser

11 Klassifikation neuer Instanzen Bis jetzt haben wir die wahrscheinlichste Hypothese für gegebene Daten D gesucht (d.h., h MAP ) Gegeben neue Instanz x, was ist die wahrscheinlichste Klassifikation? h MAP (x) ist es nicht unbedingt!!! Beispiel: Betrachte 3 Hypothesen und gegebene Daten D: P (h 1 D) = 0, 4; P (h 2 D) = 0, 3; P (h 3 D) = 0, 3 Gegeben sei neue Instanz x, h 1 (x) = +, h 2 (x) =, h 3 (x) = Was ist h MAP (x), was ist wahrscheinlichste Klassifikation von x? Teil 5: Naive Bayes + IBL (V. 1.0) 11 c G. Grieser

12 Bayes sche optimale Klassifikation Bayes sche optimale Klassifikation: arg max v j V h i H P (v j h i )P (h i D) Für unser Beispiel: P (h 1 D) = 0, 4; P ( h 1 ) = 0; P (+ h 1 ) = 1 P (h 2 D) = 0, 3; P ( h 2 ) = 1; P (+ h 2 ) = 0 P (h 3 D) = 0, 3; P ( h 3 ) = 1; P (+ h 3 ) = 0 Deshalb: h i H P (+ h i)p (h i D) = 0, 4 h i H P ( h i)p (h i D) = 0, 6 Teil 5: Naive Bayes + IBL (V. 1.0) 12 c G. Grieser

13 Gibbs Klassifikation Bayes sche Klassifikation optimal, aber teuer bei vielen Hypothesen Gibbs Algorithmus: 1. Wähle zufällig eine Hypothese h bezüglich P (h D) 2. Benutze h zur Klassifikation Überraschung: Sei ein Zielkonzept zufällig bezüglich D aus H gewählt. Dann: E[error Gibbs ] 2 E[error BayesOptimal ] Teil 5: Naive Bayes + IBL (V. 1.0) 13 c G. Grieser

14 Naive Bayes Klassifikation Neben Entscheidungsbäumen, Neuronalen Netzen, Nearest Neighbour eine der am meisten eingesetzten Lernmethoden. Wann anwendbar: Mittlere oder große Traingsmengen Attribute sind bedingt unabhängig gegeben die Klassifikation Erfolgreiche Anwendungsgebiete: Diagnose Klassifikation von Textdokumenten Teil 5: Naive Bayes + IBL (V. 1.0) 14 c G. Grieser

15 Naive Bayes Klassifikation Ziel f : X V, jede Instanz durch Attribute a 1, a 2... a n beschrieben Wahrscheinlichster Wert von f(x): v MAP = argmax P (v j a 1, a 2... a n ) v j V = argmax v j V = argmax v j V P (a 1, a 2... a n v j )P (v j ) P (a 1, a 2... a n ) P (a 1, a 2... a n v j )P (v j ) Annahme von Naive Bayes: P (a 1, a 2... a n v j ) = i P (a i v j ) Naive Bayes Klassifikation: v NB = argmax v j V P (v j ) i P (a i v j ) Teil 5: Naive Bayes + IBL (V. 1.0) 15 c G. Grieser

16 Naive Bayes Algorithmus Naive Bayes Learn(examples): Für jeden Klassifikationswert v j ˆP (v j ) schätze P (v j ) Für jeden Attributwert a i jedes Attributs a ˆP (a i v j ) schätze P (a i v j ) Ergebnis: Tabelle mit geschätzten WKen Classify New Instance(x): v NB = argmax v j V ˆP (v j ) ai x ˆP (a i v j ) Teil 5: Naive Bayes + IBL (V. 1.0) 16 c G. Grieser

17 Naive Bayes: Beispiel Betrachte PlayTennis mit neuer Instanz Outlk = sun, T emp = cool, Humid = high, W ind = strong Wollen berechnen: v NB = argmax v j V P (v j ) i P (a i v j ) P (yes) P (sun yes) P (cool yes) P (high yes) P (strong yes) =.005 P (no) P (sun no) P (cool no) P (high no) P (strong no) =.021 v NB = no Teil 5: Naive Bayes + IBL (V. 1.0) 17 c G. Grieser

18 Naive Bayes: Diskussion (1) Annahme der bedingten Unabhängigkeit ist oft nicht erfüllt P (a 1, a 2... a n v j ) = i P (a i v j )...aber es funktioniert trotzdem erstaunlich gut. Warum? Abschätzungen für ˆP (v j x) müssen nicht notwendig korrekt sein, sondern nur argmax v j V ˆP (v j ) i ˆP (a i v j ) = argmax v j V P (v j )P (a 1..., a n v j ) Teil 5: Naive Bayes + IBL (V. 1.0) 18 c G. Grieser

19 Naive Bayes: Diskussion (2) Was, wenn aufgrund kleiner Trainingsmengen keines der Trainingsbeispiele mit Klassifikation v j den Attributwert a i hat? Dann ˆP (a i v j ) = 0, und... ˆP (v j ) i ˆP (a i v j ) = 0 Typische Lösung: m-abschätzung: ˆP (a i v j ) n c+mp n+m wobei n... Anzahl der Trainingsbeispiele mit v = v j, n c... Anzahl der Beispiele mit v = v j und a = a i p... a priori Schätzung für ˆP (a i v j ) (z.b. durch Annahme uniformer Verteilung der Attributwerte p = 1 values(a i ) ) m... Gewicht für a priori-abschätzung p (Anzahl virtueller Beispiele) Teil 5: Naive Bayes + IBL (V. 1.0) 19 c G. Grieser