Kapitel VI. Wahrscheinlichkeitsbegriff. Wahrscheinlichkeitsbegriff. LF: VI Bayesian Learning c STEIN

Transkript

1 Kapitel VI VI. Bayes sches Lernen Maximum-a-Posteriori-Hypothesen 1 Definition 18 (Zufallsexperiment, Zufallsbeobachtung) Ein Zufallsexperiment ist ein im Prinzip beliebig oft wiederholbarer Vorgang mit folgenden Eigenschaften: 1. Anordnung: durch eine Beschreibung festgelegte reproduzierbare Gegebenheit Der Vorgang kann mehrmalig mit demselben System oder einmalig mit gleichartigen Systemen durchgeführt werden. Auch Zufallsexperimente laufen kausal im Sinne von Ursache und Wirkung ab. Die Zufälligkeit des Ergebnisses beruht nur auf dem Fehlen von Informationen über die Ursachenkette. Somit kann ein Zufallsexperiment durch neue Erkenntnisse sein ganze Zufälligkeit verlieren. 2. Prozedur: Vorgehen zur Durchführung des Experiments mit der Anordnung 3. Unvorhersagbarkeit des Resultats Werden Anordnung und Prozedur nicht künstlich geschaffen, so spricht man von natürlichen Zufallsexperimenten bzw. von Zufallsbeobachtungen. 2 2a Definition 19 (Ergebnisraum, Ereignisraum) Eine Menge Ω={ω 1,ω 2,..., ω n} heißt Ergebnisraum eines Zufallsexperiments, wenn jedem Versuchsausgang höchstens ein Element ω Ω zugeordnet ist. Die Elemente von Ω heißen Ergebnisse. Jede Teilmenge A eines Ergebnisraums Ω heißt Ereignis. Ein Ereignis A tritt genau dann ein, wenn ein Ergebnis ω vorliegt mit ω A. Die Menge aller Ereignisse P(Ω) heißt Ereignisraum. 3

2 Definition 19 (Ergebnisraum, Ereignisraum) Eine Menge Ω={ω 1,ω 2,..., ω n} heißt Ergebnisraum eines Zufallsexperiments, wenn jedem Versuchsausgang höchstens ein Element ω Ω zugeordnet ist. Die Elemente von Ω heißen Ergebnisse. Jede Teilmenge A eines Ergebnisraums Ω heißt Ereignis. Ein Ereignis A tritt genau dann ein, wenn ein Ergebnis ω vorliegt mit ω A. Die Menge aller Ereignisse P(Ω) heißt Ereignisraum. Definition 20 (wichtige Ereignistypen) Sei Ω ein Ergebnisraums, A Ω und B Ω zwei Ereignisse. Dann sei vereinbart: heißt unmögliches, Ω heißt sicheres Ereignis Ω \ A =: A heißt Gegenereignis zu A A =1 A heißt Elementarereignis A B A heißt Teilereignis von B bzw. A zieht B nach sich A = B (A B B A) A B = A und B sind unvereinbar (ansonsten vereinbar) 3 Klassische Begriffsbildung Empirisches Gesetz der großen Zahlen: Es gibt Ereignisse, deren relative Häufigkeit nach einer hinreichend großen Anzahl von Versuchen ungefähr gleich einem festen Zahlenwert ist. 4

3 Klassische Begriffsbildung Empirisches Gesetz der großen Zahlen: Es gibt Ereignisse, deren relative Häufigkeit nach einer hinreichend großen Anzahl von Versuchen ungefähr gleich einem festen Zahlenwert ist. Definition 21 (klassischer / Laplace scher ) Wird jedem Elementarereignis aus Ω die gleiche Wahrscheinlichkeit zugeordnet, so gilt für die Wahrscheinlichkeit P (A) eines Ereignisses A: P (A) = A Anzahl der für A günstigen Elementarereignisse = Ω Anzahl aller möglichen Elementarereignisse Ein Zufallsexperiment, bei dem auf Basis einer Analyse der Anordnung und Prozedur angenommen werden kann, daß alle Ergebnisse gleich wahrscheinlich sind heißt Laplace- Experiment. Die Wahrscheinlichkeiten der Ergebnisse heißen Laplace- Wahrscheinlichkeiten. Laplace-Annahme: Annahme, daß es sich bei einem Experiment um ein Laplace- Experiment handelt. Trifft die Laplace-Annahme nicht zu, so können die Wahrscheinlichkeiten nur als relative Häufigkeiten bei der Durchführung vieler Versuche geschätzt werden. Strenggenommen handelt es sich bei der Definition des Laplace scher s nicht um eine Definition. Motiviert durch das empirische Gesetz der großen Zahlen wurde versucht, den frequentistisch, über den (fiktiven) Grenzwert der relativen Häufigkeit zu definieren (hier insbesondere v. Mises, 1951). Dieser Versuch scheiterte, weil dieser Grenzwert im Gegensatz zu Grenzwerten in der Infinitesimalrechnung nicht nachweisbar ist. 4 4a Axiomatische Begriffsbildung 1. Postulierung einer Funktion, die jedem Element des Ereignisraums eine Wahrscheinlichkeit zuordnet. 2. Formulierung grundlegender Eigenschaften dieser Funktion in Form von Axiomen. Definition 22 (Wahrscheinlichkeitsmaß) Sei Ω eine Menge, genannt Ergebnisraum, und sei P(Ω) die Menge aller Ereignisse, genannt Ereignisraum. Dann heißt eine Funktion P : P(Ω) R, die jedem Ereignis A P(Ω) eine relle Zahl P (A) zuordnet, Wahrscheinlichkeitsmaß, wenn sie folgende Eigenschaften besitzt: 1. P (A) 0 (Axiom I) 2. P (Ω) = 1 (Axiom II) 3. A B = P (A B) =P (A) +P (B) (Axiom III) [Kolmogorow 1933] 5 Axiomatische Begriffsbildung Definition 23 (Wahrscheinlichkeitsraum) Sei Ω ein Ergebnisraum, P(Ω) ein Ereignisraum und P : P(Ω) R ein Wahrscheinlichkeitsmaß. Dann heißt das Paar Ω,P bzw. das Tripel Ω, P(Ω),P Wahrscheinlichkeitsraum. Die drei Axiome heißen auch das Axiomensystem von Kolmogorow. P (A) wird als Wahrscheinlichkeit für das Eintreffen von A bezeichnet. Es ist nicht definiert, wie die Wahrscheinlichkeiten P verteilt sind. Allgemein nennt man eine Funktion, welche die drei Bedingungen der Definition erfüllt, ein nicht-negatives, normiertes und additives Maß. Satz 5 (Folgerungen der Axiome von Kolmogorov) 1. P (A) +P (A) =1 (aus Axiomen II und III) 2. P ( ) =0 (aus 1. mit A =Ω) 3. Monotoniegesetz des Wahrscheinlichkeitsmaßes: A B P (A) P (B) (aus Axiomen I und II) 4. P (A B) =P (A) +P (B) P (A B) (aus Axiom III) 5. Seien A 1,A 2..., A p paarweise unvereinbar, dann gilt: P (A 1 A 2... A p)=p (A 1)+P (A 2) P (A p) 6a 6

4 Bedingte Wahrscheinlichkeiten Definition 24 (bedingte Wahrscheinlichkeit) Seien Ω, P(Ω),P ein Wahrscheinlichkeitsraum und A, B P(Ω) zwei Ereignisse. Die Wahrscheinlichkeit, daß A eintritt, wenn man bereits weiß, daß B eingetreten ist, ist wie folgt definiert: P (A B) P (A B) =, falls P (B) > 0 P (B) P (A B) heißt bedingte Wahrscheinlichkeit für A unter der Bedingung B. 7 Bedingte Wahrscheinlichkeiten Satz 6 (totale Wahrscheinlichkeit) Seien Ω, P(Ω),P ein Wahrscheinlichkeitsraum, B 1,..., B k disjunkte Ereignisse mit Ω=B 1... B k, P (B i) > 0, i =1,..., k, und A P(Ω). Dann gilt: P (A) = P (B i) P (A B i) 8 Bedingte Wahrscheinlichkeiten Satz 6 (totale Wahrscheinlichkeit) Seien Ω, P(Ω),P ein Wahrscheinlichkeitsraum, B 1,..., B k disjunkte Ereignisse mit Ω=B 1... B k, P (B i) > 0, i =1,..., k, und A P(Ω). Dann gilt: P (A) = P (B i) P (A B i) Beweisidee P (A) = P (Ω A) Die bedingte Wahrscheinlichkeit P (A B) erfüllt für variables A und festes B die Axiome von Kolmogorov und stellt ein Wahrscheinlichkeitsmaß dar. Im allgemeinen gilt P (A B) 1 P (A B). Wichtige Folgerungen aus der Definition der bedingten Wahrscheinlichkeit: 1. P (A B) =P (B) P (A B) (Multiplikationsregel) 2. P (A B) =P (B A) =P (A) P (B A) 3. P (B) P (A B) =P (A) P (B A) P (A B) P (B) P (A B) P (B A) = = P (A) P (A) 4. P (A B) =1 P (A B) = P ((B 1... B k) A) = P ((B 1 A)... (B k A)) = P (B i A) = P (A B i) = P (B i) P (A B i) 8 8a

5 Unabhängigkeit von Ereignissen Definition 25 (stochastische Unabhängigkeit von zwei Ereignissen) Seien Ω, P(Ω),P ein Wahrscheinlichkeitsraum und A, B P(Ω) zwei Ereignisse. A und B heißen stochastisch unabhängig (bei P ) genau dann, wenn gilt: P (A B) =P (A) P (B) Produktregel Mit 0 <P(B) < 1 gelten folgende Äquivalenzen: P (A B) = P (A) P (B) P (A B) = P (A B) P (A B) = P (A) 9 Unabhängigkeit von Ereignissen Definition 26 (stochastische Unabhängigkeit von m Ereignissen) Seien Ω, P(Ω),P ein Wahrscheinlichkeitsraum und A 1,..., A p P(Ω) Ereignisse. A 1,..., A p heißen gemeinsam stochastisch unabhängig (bei P ) genau dann, wenn für alle Teilmengen {A i1,..., A il } aus {A 1,..., A p} mit i 1 <i 2 <... < i l und 2 l m die Produktregel gilt: P (A i1... A il )=P(A i1 )... P (A il ) 10

6 Kapitel VI VI. Bayes sches Lernen Maximum-a-Posteriori-Hypothesen 11 Satz 5 (Bayes) Seien Ω, P(Ω),P ein Wahrscheinlichkeitsraum, B 1,..., B k disjunkte Ereignisse mit Ω=B 1... B k, P (B i) > 0, i =1,..., k, und A P(Ω) mit P (A) > 0. Dann gilt: P (B i) P (A B i) P (B i A) = k P (Bi) P (A Bi) P (B i) heißt a-priori-wahrscheinlichkeit von B i. P (B i A) heißt a-posteriori-wahrscheinlichkeit von B i. 12 Satz 5 (Bayes) Seien Ω, P(Ω),P ein Wahrscheinlichkeitsraum, B 1,..., B k disjunkte Ereignisse mit Ω=B 1... B k, P (B i) > 0, i =1,..., k, und A P(Ω) mit P (A) > 0. Dann gilt: Anwendung zur Klassifikation: Aus den a-priori-wahrscheinlichkeiten für die Klassen, P (Klasse=C), und den Wahrscheinlichkeiten für Kausalzusammenhänge, P (Attribut=Wert Klasse=C), läßt sich in einer Umkehrschlußsituation mittels Bayes die Wahrscheinlichkeit P (Klasse=C Attribut=Wert) berechnen. Klassen und Attribut-Wert-Paare werden als Ereignisse aufgefaßt; Ereignisse sind Teilmengen eines Ergebnisraums Ω={ω 1,..., ω n }. P (B i) P (A B i) P (B i A) = k P (Bi) P (A Bi) P (B i) heißt a-priori-wahrscheinlichkeit von B i. P (B i A) heißt a-posteriori-wahrscheinlichkeit von B i. Beweisidee Aus der Multiplikationsregel für P (A B i) und P (B i A) folgt: P (A Bi) P (Bi) P (A Bi) P (B i A) = = P (A) P (A) Anwendung des Satzes der totalen Wahrscheinlichkeit für P (A) im Nenner des Bruches gibt die Behauptung a

7 Satz von Bayes für kombinierte Ereignisse Bezeichne P (B i A 1,..., A p) die Wahrscheinlichkeit für das Eintreten von Ereignis B i unter der Voraussetzung, daß die Ereignisse A 1,..., A p eingetreten sind. Anwendung zur Klassifikation: die A j, j =1,..., p, stehen für Ereignisse der Form Attribut_j=Wert_j, die B i, i =1,..., k, stehen für Ereignisse der Form Klasse=C_i Kausalzusammenhang: A 1,..., A p B i Umkehrschlußsituation: B i A 1,..., A p 13 Satz von Bayes für kombinierte Ereignisse Bezeichne P (B i A 1,..., A p) die Wahrscheinlichkeit für das Eintreten von Ereignis B i unter der Voraussetzung, daß die Ereignisse A 1,..., A p eingetreten sind. Anwendung zur Klassifikation: P (B i A 1,..., A p ) heißt bedingte Wahrscheinlichkeit für B i unter den Bedingungen A 1,..., A p. Andere Schreibweisen für P (B i A 1,..., A p ): P (B i A 1... A p ), P (B i A 1... A p ) Kausalzusammenhang: Es wird (wurde in der Vergangenheit) immer wieder festgestellt, daß in der Situation B i die Symptome A 1,..., A p beobachtbar sind. Umkehrschlußsituation: Beobachtet werden die Symptome A 1,..., A p ; gesucht ist die Wahrscheinlichkeit für das Vorliegen von B i. die A j, j =1,..., p, stehen für Ereignisse der Form Attribut_j=Wert_j, die B i, i =1,..., k, stehen für Ereignisse der Form Klasse=C_i Kausalzusammenhang: A 1,..., A p B i Umkehrschlußsituation: B i A 1,..., A p Wenn sich Daten zur Berechnung von P (B i) und P (A 1,..., A p B i) akquirieren lassen, läßt sich P (B i A 1,..., A p) mit dem Satz von Bayes berechnen: P (Bi) P (A1,..., Ap Bi) P (B i A 1,..., A p)= ( ) P (A 1,..., A p) 13 13a Naive-Bayes Der Aufbau einer Datenbasis, um verläßliche Werte für P (A 1,..., A p B i) schätzen zu können, ist in der Praxis unmöglich. Ausweg durch die Naive-Bayes-Assumption : Unter dem Ereignis (der Bedingung) B i sind die Ereignisse A 1,..., A p stochastisch unabhängig. p P (A 1,..., A p B i)= P (A j B i) j=1 14

8 Naive-Bayes Der Aufbau einer Datenbasis, um verläßliche Werte für P (A 1,..., A p B i) schätzen zu können, ist in der Praxis unmöglich. Ausweg durch die Naive-Bayes-Assumption : Unter dem Ereignis (der Bedingung) B i sind die Ereignisse A 1,..., A p stochastisch unabhängig. p P (A 1,..., A p B i)= P (A j B i) j=1 Trifft die Naive-Bayes-Assumption zu, so maximiert B NB auch die a-posteriori- Wahrscheinlichkeit P (B NB A 1,..., A p ), die mit dem Satz von Bayes ( ) berechnet wird. Das Lernen bei einem Naive- besteht in der Schätzung der a-priori- Wahrscheinlichkeiten P (B i ) und der Wahrscheinlichkeiten für Kausalzusammenhänge P (A j B i ) auf Basis von Traningsdaten D. Die geschätzten Wahrscheinlichkeiten entsprechen der gelernten Hypothese, die dazu verwendet wird, neue Beispiele gemäß der Optimierungsformel für B NB zu klassifizieren. Der Hypothesenraum H besteht aus der Menge aller Werte, die P (B i ) und P (A j B i ) annehmen können. Beachte, daß bei der Konstruktion eines Naive-Bayes- Classifiers der Hypothesenraum H nicht durchsucht wird, sondern daß sich die gesuchte Hypothese direkt aus einer Häufigkeitsanalyse von D berechnet. Die Wahrscheinlichkeit P (A 1,..., A p) ist eine Konstante und braucht nicht bekannt zu sein, um das unter der Naive-Bayes-Assumption wahrscheinlichste Ereignis B NB {B 1,..., B k} mit Hilfe von Bayes zu bestimmen: P (B i) P (A 1,..., A p B i) argmax B i {B 1,...,B k} P (A 1,..., A p) p argmax B i {B 1,...,B k} P (B i) j=1 NB = P (A j B i)=b NB 14 14a Naive-Bayes Wird weiterhin vorausgesetzt: die Menge der B i ist vollständig: P (B i)=1 die B i schließen sich gegenseitig aus: P (B i,b j)=0, 1 i, j k, i j 15 Naive-Bayes Wird weiterhin vorausgesetzt: die Menge der B i ist vollständig: dann gilt: P (B i)=1 die B i schließen sich gegenseitig aus: P (B i,b j)=0, 1 i, j k, i j P (A 1,..., A p) = P (B i) P (A 1,..., A p B i) p = P (B i) P (A j B i) j=1 (totale Wahrscheinlichkeit) (Naive-Bayes-Assumption) 15

9 Naive-Bayes Wird weiterhin vorausgesetzt: die Menge der B i ist vollständig: P (B i)=1 die B i schließen sich gegenseitig aus: P (B i,b j)=0, 1 i, j k, i j Auf Basis von argmax P (B i ) p P (A j=1 j B i ) läßt sich eine Rangordnung B i {B 1,...,B k} zwischen den Ereignissen B i berechnen. Unter bestimmten Voraussetzungen lassen sich die Rangordnungswerte der B i in die a- Posteriori-Wahrscheinlichkeiten P (B i A 1,..., A p ) umrechnen. Kann nämlich Vollständigkeit und Exklusivität der B i angenommen werden, so gilt, daß die Summe aller a-posteriori-wahrscheinlichkeiten Eins sein muß, in Zeichen: k P (B i A 1,..., A p )=1. Damit ergeben sich die Wahrscheinlichkeiten aus den Rangordnungswerten durch Normalisierung (Division) mit der Summe ( ) aller Rangordnungswerte. dann gilt: P (A 1,..., A p) = P (B i) P (A 1,..., A p B i) p = P (B i) P (A j B i) j=1 (totale Wahrscheinlichkeit) (Naive-Bayes-Assumption) und es folgt für die bedingten Wahrscheinlichkeiten: P (Bi) P (A1,..., Ap Bi) P (B i A 1,..., A p) = = P (A 1,..., A p) P (B i) p j=1 P (Aj Bi) p P (Bi) j=1 P (Aj Bi) ( ) k 15 15a Naive-Bayes: Zusammenfassung Sei D eine Menge von Trainingsbeispielen der Form x,c(x) ; diek Ausprägungen (Klassen) des Zielkonzeptes c werden als Ereignisse B 1,..., B k aufgefaßt, die Ausprägungen (Werte) der m = dim(x) Attribute als Ereignisse A 1,..., A m. Konstruktion und Anwendung eines Naive-s: 1. Schätzung von P (B i) auf Basis der relativen Häufigkeiten in D durch p(b i) 2. Schätzung von P (A j B i) auf Basis der relativen Häufigkeiten in D durch p(a j B i) 3. Klassifikation eines neuen Beispiels x als B NB, mit B NB = argmax p(b i) p(a j B i) B i {B 1,...,B k} A j x j=1,...,p 4. Berechnung der a-posteriori-wahrscheinlichkeit für B NB durch Normalisieren von p(b NB) A j x p(aj BNB) 16 Die echten Wahrscheinlichkeiten P sind unbekannt und werden durch die relativen Häufigkeiten, in Zeichen p, geschätzt. Naive-Bayes ist angesagt für Trainingsmengen D, die mittelgroß bis sehr groß sind. Naive-Bayes fordert, daß die Attributausprägungen der Beispiele stochastisch unabhängig von den Ausprägungen des Zielkonzeptes sind. Die Praxis hat gezeigt, daß auch bei Verletzung der Naive-Bayes-Assumption hervorragende Klassifikationsergebnisse mit einem Naive- erzielbar sind. Beispiel: Textklassifikation Möchte man nicht nur Rangordnungswerte sondern auch a-posteriori- Wahrscheinlichkeiten berechnen, wird noch die Closed-World-Assumption (Vollständigkeit der B i ) und die Single-Fault-Assumption (gegenseitiger Ausschluß der B i ) gefordert. Insgesamt muß gelten, daß sich die betrachtete Welt nur langsam ändert: die statistischen Daten müssen über einen längeren Zeitraum relativ konstant bleiben. 16a

10 Naive-Bayes: Beispiel Outlook Temperature Humidity Wind PlayTennis 1 sunny hot high weak no 2 sunny hot high strong no 3 overcast hot high weak yes 4 rain mild high weak yes 5 rain cold normal weak yes 6 rain cold normal strong no 7 overcast cold normal strong yes 8 sunny mild high weak no 9 sunny cold normal weak yes 10 rain mild normal weak yes 11 sunny mild normal strong yes 12 overcast mild high strong yes 13 overcast hot normal weak yes 14 rain mild nigh strong no Die Wert des Zielkonzeptes der folgenden Instanz x sei unbekannt: x = Outlook=sunny, Temperature=cool, Humidity=high, Wind=strong 17 Naive-Bayes: Beispiel (Fortsetzung) B NB = argmax p(b i) p(a j B i) A j x = argmax p(b i) p(outlook=sunny B i)... A j x bezeichnet die Ereignisse {x Outlook(x) =sunny }, {x Temperature(x) =cool}, {x Humidity(x) =high}, {x Wind(x) =strong} a Naive-Bayes: Beispiel (Fortsetzung) B NB = argmax p(b i) p(a j B i) A j x = argmax p(b i) p(outlook=sunny B i)... Zur Klassifikation von x sind 10 Wahrscheinlichkeiten zu schätzen: p(playtennis=yes) = 9 14 =0.64 p(playtennis=no) = 5 14 =0.36 p(wind=strong PlayTennis=yes) = 3 9 =

11 Naive-Bayes: Beispiel (Fortsetzung) B NB = argmax p(b i) p(a j B i) A j x = argmax p(b i) p(outlook=sunny B i)... Zur Klassifikation von x sind 10 Wahrscheinlichkeiten zu schätzen: p(playtennis=yes) = 9 14 =0.64 p(playtennis=no) = 5 14 =0.36 p(wind=strong PlayTennis=yes) = 3 9 = Rangordnung: 1. p(playtennis=no) A j x p(aj PlayTennis=no) = p(playtennis=yes) A j x p(aj PlayTennis=yes) = Normalisierung: P (PlayTennis=no x) = =