Wahrscheinlichkeitsrechnung und Statistik. 8. Vorlesung

Transkript

1 Wahrscheinlichkeitsrechnung und Statistik 8. Vorlesung - 208

2 ) Monte Carlo Methode für numerische Integration Sei g : [0, ] R stetige Funktion; man möchte numerisch approximieren mit Hilfe von Zufallszahlen: Sei (U n ) n eine Folge von unabhängigen ZG mit U n Unif [0, ]. Sei X n = g(u n ). (X n ) n erfüllt das SGGZ (siehe Satz 36, Vorl. 7), d.h. Es gilt E(X k ) = in der Praxis: 0 n n k= 0 ( ) f.s. X k E(X k ) 0. g(t)dt k N n (X + + X n ) f.s. 0 g(t)dt 0 g(t)dt g(t)dt n (g(u ) + + g(u n )) für n hinreichend groß

3 2) Monte Carlo Methode für numerische Integration Sei g : [a, b] R stetige Funktion mit 0 g(t) M t [a, b]; man möchte b a g(t)dt numerisch approximieren mit Hilfe von Zufallszahlen: Seien X k, Y k unabhängige ZG mit X k Unif [a, b], Y k Unif [0, M] k =, n. Sei N n = #{k {,..., n} : Y k g(x k )} b a g(t)dt = Flächeninhalt unter der Funktion g P( zufälliger Punkt unter der Funktion g) N n n Fl. unter der Funktion g Fl. vom Rechteck [a, b] [0, M] = b g(t)dt (b a)m a in der Praxis: b für n hinreichend groß a g(t)dt #{k {,..., n} : Y k g(x k )} n (b a)m

4 Anwendung der Bayesschen Theorie in ML Maschinelles Lernen (ML): Künstliche Generierung von Wissen aus Erfahrung, Erkennung komplexer Muster und Regelmäßigkeiten in vorhandenen Daten Was wollen wir lernen? Zu welcher Klasse eine neue Instanz gehört Klassifizieren ist eine Art von maschinellem Lernen.

5 Beispiel: Der Manager einer Sportanlage im Freien möchte wissen, wann er viele Kunden und wann er wenige Kunden zu erwarten hat. Zwei Wochen lang notiert er, wie das Wetter ist und ob er viele oder wenige Kunden an dem Tag hat. Er schreibt sich auf: ob das Wetter heiter, bewölkt oder regnerisch ist, ob es warm, mild oder kalt ist, ob der Wind weht oder nicht, ob er viele oder wenige Kunden an dem Tag hat. Man möchte lernen bei welchen Wetterkonditionen viele bzw. wenige Kunden Sport treiben!

6 Features (unabhängige Variablen) Wetterprognose (WP): heiter, bewölkt, regnerisch Temperatur (T): warm, mild, kalt Wind (W): ja (d.h. es ist windig), nein (d.h. es ist nicht windig) Zielgröße (abhängige Variable, Engl. target, response variable, output) Kunden (K): viele, wenige

7 Gegeben sind folgende Daten (Feature-Matrix und Zielgröße): Wetterprognose Temperatur Wind Kunden regnerisch warm nein wenige 2 regnerisch warm ja wenige 3 bewölkt warm nein viele 4 heiter mild nein viele heiter kalt nein viele 6 heiter kalt ja wenige 7 bewölkt kalt ja viele 8 bewölkt mild nein wenige regnerisch kalt nein wenige 0 heiter mild nein viele regnerisch mild ja viele 2 bewölkt mild ja viele 3 bewölkt kalt nein viele 4 heiter warm ja viele

8 Begriffe: Instanz: Ein einzelnes Beispiel aus dem Datensatz. Beispiel: eine Zeile aus der Tabelle Attribut / Feature: Eine Eigenschaft einer Instanz. Beispiel: Wetterprognose, Temperatur, Wind Wert: Wert eines Attributs, Beispiel: heiter, bewölkt oder regnerisch für Attribut Wetter Konzept: das was wir lernen wollen, Beispiel: eine Klassifikation von Instanzen in viele Kunden und wenige Kunden Ziel: lernen, bei welchen Wetterkonditionen viele Kunden sind Klassifikation: Instanzen einer vordefinierten Klasse zuordnen Beispiel: Wenn es heute bewölkt, warm, windig ist, werden viele Kunden oder eher wenige Kunden Sport im Freien treiben? neue Intanz: bewölkt, warm, windig soll klassifiziert werden in: viele Kunden oder wenige Kunden

9 Häufigkeitstabellen: v=viele; w=wenige WP K=v K=w P(WP=... K=v) P(WP=... K=w) 4 heiter 4 4 bewölkt 4 regnerisch 3 Summe 3 T K=v K=w P(T=... K=v) P(T=... K=w) 2 warm mild 4 3 kalt 3 2 Summe 2 2

10 v=viele; w=wenige W K=v K=w P(W=... K=v) P(W=... K=w) 4 ja 4 2 nein 3 Summe 2 3 K P(K=...) viele 4 wenige 4 Summe 4

11 Annahme für die naive Bayes Klassifikatoren: alle Features sind bedingt unabhängig, gegeben die Zielgröße ( naive Annahme ) Formel von Bayes: P(B i A) = P(A B i)p(b i ), i {,..., n} A: Evidenz (beobachtetes Ereignis) P(B i ) a-priori Wahrscheinlichkeit (Wahrscheinlichkeit des Ereignisses B i bevor die Evidenz gesehen wurde) P(B i A) a-posteori Wahrscheinlichkeit (Wahrscheinlichkeit des Ereignisses B i nachdem die Evidenz gesehen wurde) Entscheidungsregel MAP (Maximum-A-Posteori): Man entscheidet sich für B i0 für welches gilt: i 0 = argmax i {,...,n} P(B i A) = argmax i {,...,n} P(A B i )P(B i ) = argmax i {,...,n} P(A B i )P(B i )

12 In unserem Beispiel: Wenn es heute bewölkt, warm, windig ist, werden viele Kunden oder eher wenige Kunden Sport im Freien treiben? B : K=v (viele), B 2 = B : K=w (wenige) A : {WP=bewölkt} { T=warm} {W=ja} bedingte Unabhängigkeit wird vorausgesetzt (WP, T, W sind bedingt unabhängig, gegeben K): z.b.: ( ) P {WP = be.} {T = wa.} {W = ja} K = v = P(WP = be. K = v)p(t = wa. K = v)p(w = ja K = v) ( ) P {WP = be.} {T = wa.} {W = ja} K = w = P(WP = be. K = w)p(t = wa. K = w)p(w = ja K = w)

13 Man rechnet anhand der bedingten Unabhängigkeit und den Häufigkeitstabellen B : K=v (viele), B : K=w (wenige) A = {WP = be.} {T = wa.} {W = ja} P(A K = v)p(k = v) P(B A) = P(K = v A) = ( ) P {WP = be.} {T = wa.} {W = ja} K = v P(K = v) = P(WP = be. K = v)p(t = wa. K = v)p(w = ja K = v)p(k = v) = = = 6 67

14 B : K=v (viele), B : K=w (wenige) A = {WP = be.} {T = wa.} {W = ja} P(A K = w)p(k = w) P( B A) = P(K = w A) = ( ) P {WP = be.} {T = wa.} {W = ja} K = w P(K = w) = P(WP = be. K = w)p(t = wa. K = w)p(w = ja K = w)p(k = w) = = = 2 7.

15 Es gilt P(B A) > P( B A), somit wird B gewählt, also gilt die Entscheidungsregel (Vorhersage): Wenn es heute bewölkt, warm, windig ist, werden viele Kunden Sport im Freien treiben Klassifikation in die Klasse: viele Kunden.

16 Mit Hilfe der Formel P(B A) + P( B A) = (siehe Vorlesung 2) kann zusätzlich berechnet werden, dass ( ) = P {WP = be.} {T = wa.} {W = ja} = , und ( ) P(B A) = P K = v {WP = be.} {T = wa.} {W = ja} P( B A) = P = = ( ) K = w {WP = be.} {T = wa.} {W = ja} = P(B A)