Kapitel 5. Bayes Klassifikator

Transkript

1 Kapitel 5 Bayes Klassifikator Theoretische Grundlagen Bayes Entscheidungstheorie Allgemeiner Bayes Klassifikator Bayes Klassifikator bei Normalverteilung Parameterschätzung Nichtparametrische Klassifikatoren Anwendung: Filterung von Spam-Mails Vergleich mit Nearest-Neighbor Klassifikator Kapitel 5 Bayes Klassifikator p./48

2 Theoretische Grundlagen () Ziel: Entwicklung optimaler Entscheidungsregeln mithilfe der Wahrscheinlichkeitslehre Folgende Größen spielen eine zentrale Rolle: Bayes Satz: P(C i ): Wahrscheinlichkeit für das Auftreten der Klasse C i, i =,...,N (sog. a priori Wahrscheinlichkeit) P(x C i ): Wahrscheinlichkeit für das Auftreten von Muster x, wenn die Klasse C i vorgegeben ist (sog. klassenbedingte Wahrscheinlichkeit) P(x): Wahrscheinlichkeit für das Auftreten von Muster x; hier ist keine Klasse vorgegeben P(C i x): Wahrscheinlichkeit, dass ein gegebenes Muster x aus der Klasse C i stammt (sog. a posteriori Wahrscheinlichkeit) P(C i x) = P(x C i) P(C i ) P(x) ; P(x) = N k= P(x C k ) P(C k ) Kapitel 5 Bayes Klassifikator p.2/48

3 Theoretische Grundlagen (2) Beispiel: Gegeben zwei nach außen identische Urnen U und U 2 Urne U enthält 900 weiße und 00 rote Kugeln Urne U 2 enthält 00 weiße und 900 rote Kugeln Zwei Aufgaben:. Man wähle zufällig eine Urne. Wie groß ist die Wahrscheinlichkeit, dass es U ist? 2. Man wähle zufällig eine Urne. Aus der gewählten Urne darf man eine Kugel ziehen; sie ist weiß. Wie groß ist die Wahrscheinlichkeit, dass es U ist? Lösung zu ): P(U ) = P(U 2 ) = 0.5 Lösung zu 2): P(weiß U ) = = 0.9; P(weiß U 2) = = 0. P(U weiß) = P(weiß U )P(U ) P(weiß U )P(U ) = P(weiß) P(weiß U )P(U ) + P(weiß U 2 )P(U 2 ) = = 0.9 P(U 2 weiß) = 0. Kapitel 5 Bayes Klassifikator p.3/48

4 Theoretische Grundlagen (3) Stetige Merkmale x = folgende Größen: P(C i ): Wahrscheinlichkeit für das Auftreten der Klasse C i, i =,...,N (sog. a priori Wahrscheinlichkeit) p(x C i ): Verteilungsdichte für Muster x, wenn die Klasse C i vorgegeben ist (sog. klassenbedingte Verteilungsdichte). Es gilt p(x C i )dx =. p(x): Verteilungsdichte für Muster x; hier ist keine Klasse vorgegeben. Es gilt p(x)dx =. P(C i x): Wahrscheinlichkeit, dass ein gegebenes Muster x aus der Klasse C i stammt (sog. a posteriori Wahrscheinlichkeit) Beispiel: Verteilungsdichte p(x C i ) für zwei Klassen x Kapitel 5 Bayes Klassifikator p.4/48

5 Intuitive Einführung () Zwei Klassen C und C 2 und nur ein Merkmal, d.h. x = Z.B. Unterscheidung von Jockeys/Schwergewichtsboxern aufgrund ihrer Größe Intuitiv optimale Entscheidung hängt von verfügbarer Information ab Fall : Nur die a priori Wahrscheinlichkeiten P(C ) und P(C 2 ) bekannt Das Merkmal x unbekannt Intuitiv sinnvolle Entscheidungsregel: x { C P(C ) > P(C 2 ) C 2 P(C 2 ) > P(C ) Kapitel 5 Bayes Klassifikator p.5/48

6 Intuitive Einführung (2) Fall 2: Die a priori Wahrscheinlichkeiten gleich, d.h. P(C ) = P(C 2 ) = 0.5 Die klassenbedingten Verteilungsdichten p(x C ) und p(x C 2 ) gegeben p(x C i) 0.2 p(x C ) p(x C 2) C x C 2 x Intuitiv sinnvolle Entscheidungsregel: { C p(x C ) > p(x C 2 ) x C 2 p(x C 2 ) > p(x C ) Kapitel 5 Bayes Klassifikator p.6/48

7 Intuitive Einführung (3) Fall 3: Die klassenbedingten Verteilungsdichten p(x C ) und p(x C 2 ) bekannt Die a priori Wahrscheinlichkeiten P(C ) und P(C 2 ) verschieden (P(C ) P(C 2 )) p(x C i ) P(C i ) p(x C )P(C ) Intuitiv sinnvolle Entscheidungsregel: x C p(x C ) P(C ) > p(x C 2 ) P(C 2 ) C 2 p(x C 2 ) P(C 2 ) > p(x C ) P(C ) p(x C ) 2 P(C ) 2 Man beachte, dass für Spezialfall p(x C ) = p(x C 2 ) die Entscheidung einzig und allein von P(C ) und P(C 2 ) abhängt -5 0 x C x C 2 Kapitel 5 Bayes Klassifikator p.7/48

8 Bayes Entscheidungstheorie () Bayes Entscheidungsregel: { C P(C x) > P(C 2 x) x C 2 P(C 2 x) > P(C x) Gemäß Bayes Satz gilt: P(C i x) = p(x C i )P(C i ) p(x C )P(C ) + p(x C 2 )P(C 2 ), i =, 2 Nenner unabhängig von der Klasse C i = Bayes Entscheidungsregel: { C p(x C )P(C ) > p(x C 2 )P(C 2 ) x C 2 p(x C 2 )P(C 2 ) > p(x C )P(C ) Bayes Entscheidungsregel = Fall 3 Fall und 2 sind Spezialfälle der Bayes Entscheidungsregel Kapitel 5 Bayes Klassifikator p.8/48

9 Bayes Entscheidungstheorie (2) Allgemeiner Fall N > 2: Unbekanntes Muster x wird der Klasse C i mit der größten a posteriori Wahrscheinlichkeit zugeordnet: oder x C i P(C i x) > P(C j x), j i x C i p(x C i )P(C i ) > p(x C j )P(C j ), j i Kapitel 5 Bayes Klassifikator p.9/48

10 Minimierung der Fehlerwahrscheinlichkeit () Bayes Entscheidungsregel: Spezialfall des allgemeinen Bayes Klassifikators (später) optimal bezüglich der Fehlerwahrscheinlichkeit Fehlerwahrscheinlichkeit bei gegebenem Muster x: P(Fehler x, nach C 2 klassifiziert) = P(C x) P(Fehler x, nach C klassifiziert) = P(C 2 x) Gesamte Fehlerwahrscheinlichkeit durch Integration über gesamten Merkmalsraum: P(Fehler) = P(Fehler x, Entscheidung) p(x) dx P(Fehler x, Entscheidung) minimal für jedes x = P(Fehler) minimal Vorgehen: Man wählt für ein gegebenes x die Klasse C bzw. C 2, so dass P(Fehler x, Entscheidung) minimal wird Kapitel 5 Bayes Klassifikator p.0/48

11 Minimierung der Fehlerwahrscheinlichkeit (2) Entsprechende Regel: x C P(Fehler x, nach C 2 klassifiziert) > P(Fehler x, nach C klassifiziert) P(C x) > P(C 2 x) Wir klassifizieren x nach C g.d.w. die Fehlerwahrscheinlichkeit für diesen Fall (d.h. P(C 2 x)) kleiner ist als die Fehlerwahrscheinlichkeit, die sich bei der Klassifikation von x nach C 2 ergibt Kapitel 5 Bayes Klassifikator p./48

12 Minimierung der Fehlerwahrscheinlichkeit (2) Entsprechende Regel: x C P(Fehler x, nach C 2 klassifiziert) > P(Fehler x, nach C klassifiziert) P(C x) > P(C 2 x) Wir klassifizieren x nach C g.d.w. die Fehlerwahrscheinlichkeit für diesen Fall (d.h. P(C 2 x)) kleiner ist als die Fehlerwahrscheinlichkeit, die sich bei der Klassifikation von x nach C 2 ergibt Die obige Entscheidungsregel minimiert für N = 2 die Fehlerwahrscheinlichkeit. Dieses Ergebnis gilt auch für allgemeinen Fall von N > 2 Klassen Bayesian classifier is optimal in terms of minimizing the classification error probability Kapitel 5 Bayes Klassifikator p./48

13 Minimierung der Fehlerwahrscheinlichkeit (3) Bayes Entscheidungsregel legt die Klassengrenze in den Schnittpunkt der beiden a posteriori Wahrscheinlichkeiten P(C x) und P(C 2 x) Beliebige andere Klassengrenze = Fehlerwahrscheinlichkeit nimmt zu P(C i x) P(C x) P(C 2 x) C C 2 Der Merkmalsraum besteht aus R und R 2 : P(Fehler) = R P(Fehler x)p(x)dx = Klassengrenze des Bayes Klassifikators R willkürliche andere Klassengrenze 2 R P(C 2 x)p(x)dx + P(Fehler) wird minimal wenn R = C und R 2 = C 2 x R 2 P(C x)p(x)dx Kapitel 5 Bayes Klassifikator p.2/48

14 Allgemeiner Bayes Klassifikator () Fehlerwahrsscheinlichkeit nicht immer bestes Kriterium zur Minimierung (Gleichbehandlung der verschiedenen Fehler) Gewichtung dieser Fehler = allgemeiner Bayes Klassifikator Annahme: jede Entscheidung für eine bestimmte Klasse verursacht Kosten λ ik 0, i, k =,...,N: Kosten, wenn der Klassifikator für die Klasse C i entscheidet, aber C k die wahre Musterklasse ist Mittlere Kosten (auch mittleres Risiko genannt) bei gegebenem x und Entscheidung für C i : r i (x) = N λ ik P(C k x) k= Klassenindex i von r i (x) von x und Klassifikationsregel abhängig Kapitel 5 Bayes Klassifikator p.3/48

15 Allgemeiner Bayes Klassifikator (2) Mittlere Klassifikationskosten (Erwartungswert der Klassifikationskosten) für den Klassifikator durch Integration über alle x (gesamten Merkmalsraum) r = r i (x) p(x) dx = N λ ik P(C k x) p(x) dx Mittlere Klassifikationskosten r werden minimal g.d.w. sich der Klassifikator bei jedem x für diejenige Klasse entscheidet, die r i (x) minimiert Entsprechende Klassifikationsregel: k= x C i r i (x) < r j (x), j i Der Klassifikator berechnet die mittleren Kosten r i (x) für jede Klasse C i und entscheidet sich für die Klasse mit minimalen mittleren Kosten Kapitel 5 Bayes Klassifikator p.4/48

16 Allgemeiner Bayes Klassifikator (3) Zur praktischen Anwendung wird die Entscheidungsgröße r i umgeformt: r i (x) = r i (x) = N λ ik P(C k x) = k= N λ ik p(x C k )P(C k ) k= N k= λ ik p(x C k )P(C k ) p(x) Allgemeiner Bayes Klassifikator: oder x C i r i (x) < r j(x), j i x C i N λ ik p(x C k )P(C k ) < k= N λ jk p(x C k )P(C k ), j i k= Kapitel 5 Bayes Klassifikator p.5/48

17 Allgemeiner Bayes Klassifikator (4) Spezialfall: N = 2 r(x) = λ p(x C )P(C ) + λ 2 p(x C 2 )P(C 2 ) r2(x) = λ 2 p(x C )P(C ) + λ 22 p(x C 2 )P(C 2 ) Entscheidung für C g.d.w. r (x) < r 2(x) = (λ 2 λ 22 )p(x C 2 )P(C 2 ) < (λ 2 λ )p(x C )P(C ) Da i.a λ ii < λ ik, i k (korrekter Entscheid verursacht weniger Kosten als Fehlklassifikation) = x C p(x C ) p(x C 2 ) > P(C 2) P(C ) (λ 2 λ 22 ) (λ 2 λ ) Es handelt sich um eine schwellwertbasierte Entscheidungsregel Kapitel 5 Bayes Klassifikator p.6/48

18 Allgemeiner Bayes Klassifikator (5) Beispiel: N = 2. A priori Wahrscheinlichkeiten: P(C ) = /3, P(C 2 ) = 2/3 Klassenbedingte Verteilungsdichten: p(x C ) = 4x x 2, p(x C 2 ) = x + x 2 ; 0 x, x 2 Es gilt: p(x C )dx dx 2 =, p(x C 2 )dx dx 2 = Kosten: λ = ( Zuordnung nach C g.d.w. /4 /2 /8 ) x 2 (/3,) C + = 4 x x 2 x C 4x x 2 > 2/3 x + x 2 /3 (/2 /8) ( /4) = C 2 x (,/3) Kapitel 5 Bayes Klassifikator p.7/48

19 Allgemeiner Bayes Klassifikator (6) Spezialfall: Kosten λ ik = { 0; i = k ; i k i, k =, 2,,..., N Entscheidungsgröße: N ri (x) = λ ik p(x C k )P(C k ) = k= = p(x) p(x C i )P(C i ) N p(x C k )P(C k ) p(x C i )P(C i ) k= Allgemeiner Bayes Klassifikator: x C i p(x) p(x C i )P(C i ) < p(x) p(x C j )P(C j ), j i äquivalent x C i p(x C i )P(C i ) > p(x C j )P(C j ), j i Fazit: Unter Verwendung dieser speziellen Kosten maximiert der Bayes Klassifikator die a posteriori Wahrscheinlichkeiten P(C i x) Kapitel 5 Bayes Klassifikator p.8/48

20 Bayes Klassifikator bei Normalverteilung Wir benötigen: a priori Wahrscheinlichkeiten P(C i ) klassenbedingte Verteilungsdichten p(x C i ) Schätzung der a priori Wahrscheinlichkeiten aus Stichprobe: P(C i ) = M i M M: Grösse der Stichprobe M i : Anzahl der Samples der Klasse C i in der Stichprobe Kapitel 5 Bayes Klassifikator p.9/48

21 Bayes Klassifikator bei Normalverteilung Wir benötigen: a priori Wahrscheinlichkeiten P(C i ) klassenbedingte Verteilungsdichten p(x C i ) Schätzung der a priori Wahrscheinlichkeiten aus Stichprobe: P(C i ) = M i M M: Grösse der Stichprobe M i : Anzahl der Samples der Klasse C i in der Stichprobe Häufige Annahme: p(x C i ) normalverteilt Normalverteilungen lassen sich analytisch einfach handhaben Die für die Implementierung benötigten Größen der Verteilung lassen sich einfach aus einer Stichprobe schätzen Die Annahme einer Normalverteilung ist für zahlreiche praktische Anwendungen gerechtfertigt Kapitel 5 Bayes Klassifikator p.9/48

22 Einvariate Normalverteilung [ ( ) ] 2 D Normalverteilung: p(x C i ) = 2πσi exp x µi 2 σ i Vollständig definiert durch zwei Parameter: µ i = E i {x}: Mittelwert der Klasse C i σ 2 i = E i{(x µ i ) 2 }: Varianz der Klasse C i E i : Erwartungswert nur bezüglich der Samples der Klasse C i p(x) σ i Das Maximum wird für x = µ i angenommen und hat den Wert 2πσi. Etwa 95% der Werte liegen im Intervall x µ i 2σ i. x m i 2σ i m i σ i m i m i +σ i m i +2σ i Kapitel 5 Bayes Klassifikator p.20/48

23 Multivariate Normalverteilung () n-d Normalverteilung: p(x C i ) = (2π) n 2 K i 2 exp[ 2 (x µ i)k i (x µ i ) t ] vollständig definiert durch n + 2 (n + )n Parameter: µ i = E i {x}: Mittelvektor der Klasse C i K i = E i {(x µ i ) t (x µ i )}: Kovarianzmatrix der Klasse C i Kovarianzmatrix K i : n n Matrix; K i : Determinante von K i Eigenschaften der Kovarianzmatrix K i = [k jl ]: K i ist symmetrisch, d.h. k jl = k lj. [k jj ] ist die Varianz des j-ten Merkmals, j =,...,n [k jl ] ist die Kovarianz des j-ten und l-ten Merkmals x j und x l statistisch unabhängig = k jl = 0 für j l In diesem Fall: p(x C i ) = Produkt der n D Normalverteilungen p(x j C i ), j =,...,n Kapitel 5 Bayes Klassifikator p.2/48

24 Multivariate Normalverteilung (2) Beispiel: Bivariate Normalvertelung µ = (0, 0), K = ( ) Entsprechende Normalverteilung: p(x) = = 2π 2 exp( x2 4 x2 2 2 ) [ exp ( ) ] 2 x 2π }{{} D normal: σ = 2 [ exp ( ] x 2 2π 2 ) }{{} D normal: σ 2 = Kapitel 5 Bayes Klassifikator p.22/48

25 Multivariate Normalverteilung (3) Bis auf entartete Fälle K i > 0 und K i Für n-d Fall gilt: existiert Das Maximum wird für x = µ i angenommen (anschaulich das Maximum = Zentrum eines Häufungsgebiets) Form der Verteilung (Abnahme der Werte entlang verschiedenen Richtungen im n-d Merkmalsraum) eindeutig durch Kovarianzmatrix K i definiert Punkte x mit konstanter Verteilungsdichte p(x C i ) liegen auf einem Hyperellipsoid: (x µ i )K i (x µ i ) t = Konstante Hauptachsen dieses Hyperellipsoids durch die Eigenvektoren von K i definiert Ausdehnung des Hyperellipsoids entlang der Hauptachsen durch die zugehörigen Eigenwerte definiert Kapitel 5 Bayes Klassifikator p.23/48

26 Multivariate Normalverteilung (4) Beispiel: Punkte mit konstanter Dichte für Fall n = 2 Fall : Kreis Fall 2: Ellipse mit Hauptachsen parallel zu x und x 2 ; wegen σ 22 > σ liegt die erste Hauptachse parallel zu x 2 Fall 3: σ 2 0 = Rotation x 2 x 2 x 2 x x x K i = σ 0 0 σ 22 K i = σ 0 0 σ 22 K i = σ σ 2 σ 2 σ 22 σ = σ 22 > 0 σ 22 > σ > 0 σ, σ 22, σ 2 > 0 Kapitel 5 Bayes Klassifikator p.24/48

27 Normalverteilungen: Trennfunktion () Bayes Klassifikationsregel (Minimierung der Fehlerwahrscheinlichkeit) unter Verwendung der Normalverteilung. Anstatt p(x C i )P(C i ) Verwendung einer monotonen Funktion wie z.b. ln[.] D i (x) = ln [ p(x C i )P(C i ) ] p(x C i )P(C i ) Entsprechende Klassifikationsregel: x C i D i (x) > D j (x), j i Kapitel 5 Bayes Klassifikator p.25/48

28 Normalverteilungen: Trennfunktion (2) Nach Einsetzung der Normalverteilung: D i (x) = ln [ p(x C i )P(C i ) ] = lnp(c i ) n 2 ln(2π) 2 ln K i 2 (x µ i)k i (x µ i ) t 2. Summand unabhängig von Klasse C i = Vereinfachung: D i (x) = ln P(C i ) 2 ln K i 2 (x µ i)k i (x µ i ) t = Quadratische Trennfunktion (Hyperquadrik) Fazit: bei normalverteilten Merkmalvektoren bereits eine quadratische Trennfunktion optimal. Mit anderen Worten: keine Trennfunktion höherer Ordnung kann im Durchschnitt niedrigere Fehlerrate erzielen. Kapitel 5 Bayes Klassifikator p.26/48

29 Normalverteilungen: Trennfunktion (3) Beispiel: Zwei Klassen mit P(C ) = P(C 2 ) = 0.5 µ = (3, 6) µ 2 = (3, 2) ( ) ( K = K 2 = Trennfunktion: D (x) = ln0.5 2 ln 2 (x 3, x 2 6) D 2 (x) = ln0.5 2 ln4 2 (x 3, x 2 + 2) ) ( ( x 2 µ x µ ) (x 3, x 2 6) t ) (x 3, x 2 + 2) t Klassifikationsgrenze: D (x) D 2 (x) = 0.875x x + x = 0 Kapitel 5 Bayes Klassifikator p.27/48

30 Normalverteilungen: Trennfunktion (4) Spezialfall : Identische Kovarianzmatrizen K i = K, i =,...,N Summand 2 ln K i kann weggelassen werden Weiterhin gilt 2 (x µ i)k i (x µ i ) t = 2 [xk x t xk µ t i µ ik x t + µ i K µ t i ] = 2 [xk x t 2xK µ t i + µ ik µ t i ] (wegen xk µ t i = µ ik x t ) xk x t von Klasse C i unabhängig = aus allgemeiner quadratischer Trennfunktion ergibt sich: D i (x) = xk µ t i 2 µ ik µ t i + lnp(c i ) Fazit: Bei identischen Kovarianzmatrizen aller Klassen wird aus allgemeiner quadratischer Trennfunktion eine lineare Trennfunktion Kapitel 5 Bayes Klassifikator p.28/48

31 Normalverteilungen: Trennfunktion (5) Spezialfall : Identische Kovarianzmatrizen K i = K, i =,...,N (Fort.) Eigenchaften der Hyperebene D i (x) D j (x) = 0: Sie steht nicht notwendig senkrecht zu µ i µ j P(C i ) = P(C j ) = Sie schneidet die Verbindungsgerade zwischen µ i und µ j genau in der Mitte P(C i ) P(C j ) = Sie wird entlang dem Vektor µ i µ j in Richtung der Klasse mit kleinerer a priori Wahrscheinlichkeit verschoben Kapitel 5 Bayes Klassifikator p.29/48

32 Normalverteilungen: Trennfunktion (6) Spezialfall 2: K i = K = σ 2 I, i =,...,N Spezialfall von Fall : Alle Merkmale haben gleiche Varianz σ 2 und alle Kovarianzen sind gleich Null. Es gilt K = σ 2 I Vereinfachung der Trennfunktion: D i (x) = σ 2 xµt i 2σ 2 µ iµ t i + ln P(C i ) Eigenschaften der Hyperebene D i (x) D j (x): Sie steht senkrecht zu µ i µ j Für den Schnittpunkt der Hyperebene mit der Verbindungsgeraden von µ i nach µ j gelten Bemerkungen zu Spezialfall Kapitel 5 Bayes Klassifikator p.30/48

33 Normalverteilungen: Trennfunktion (7) Spezialfall 2: K i = K = σ 2 I, i =,...,N (Fort.) Geometrische Interpretation durch alternative, direkt aus allgemeiner quadratischer Trennfunktion ableitbare Trennfunktion: D i (x) = lnp(c i ) 2 (x µ i)k i (x µ i ) t = (x µ i)(x µ i ) t 2σ 2 + lnp(c i ) = x µ i 2 2σ 2 + lnp(c i ) Muster x gleich weit von µ i und µ j entfernt = Der optimale Bayes Klassifikator favorisiert die Klasse mit der grösseren Auftrittswahrscheinlichkeit Kapitel 5 Bayes Klassifikator p.3/48

34 Normalverteilungen: Trennfunktion (8) Spezialfall 3: (Minimum distance classifier) a) Identische Kovarianzmatrizen K i = K, i =,...,N b) Gleiche Wahrscheinlichkeiten P(C i ) = n, i =,...,N Allgemeine quadratische Trennfunktion wird vereinfacht: D i (x) = 2 (x µ i)k (x µ i ) t K = σ 2 I: Minimierung von d e = (x µ i )(x µ i ) t (Euklidische Distanz vom Mittelpunkt) K σ 2 I: Minimierung von d m = (x µ i )K (x µ i ) t (Mahalanobis Distanz) Kapitel 5 Bayes Klassifikator p.32/48

35 Normalverteilungen: Trennfunktion (9) Spezialfall 3 (Beispiel): Klassifikation von x = (.0, 2.2) bei p(x C ) = N(µ, K), p(x C 2 ) = ( N(µ 2, K). 0.3 µ = (0, 0), µ 2 = (3, 3), K = Berechne (quadratische) Mahalanobis Distanz für C und C 2 : ( ) ( ) d m(c, x) = (.0, 2.2) = ( ) ( ) d m(c 2, x) = ( 2.0, 0.8) = Muster x wird nach C klassifiziert (obwohl x bezüglich Euklidischer Distanz näher zu µ 2 ist) Fazit: Bereits der Minimum-Abstand-Klassifikator (mittels euklidischer Distanz zum Mittelpunkt) erzeilt im Durchschnitt die niedrigst mögliche Fehlerrate! ) Kapitel 5 Bayes Klassifikator p.33/48

36 Parameterschätzung () {y,...,y M }: Muster der Klasse C in der Stichprobe (Zur Vereinfachung der Notation der Klassenindex weggelassen) Mittelwertvektor: Kovarianzmatrix der Klasse C: µ = E{x} = M K = E{(x µ) t (x µ)} M i= = E{x t x} E{x t µ} E{µ t x} + E{µ t µ} = E{x t x} µ t µ y i Konkret: K = M M yiy t i µ t µ i= Kapitel 5 Bayes Klassifikator p.34/48

37 Parameterschätzung (2) Beispiel: Zwei Klassen; Vergleich Normalverteilungen: Trennfunktion (3) C = { (2, 6), (3, 4), (3, 8), (4, 6) } C 2 = { (, 2), (3, 0), (3, 4), (5, 2) } Es ergibt sich: P(C ) = P(C 2 ) = 0.5 µ = (3, ( 6) ) µ 2 = (3, ( 2) ) K = K 2 = ( ) ( K 2 0 = K = ) x 2 x µ µ 2 Klassfikationsgrenze: D (x) D 2 (x) = 0.875x x + x = 0 Kapitel 5 Bayes Klassifikator p.35/48

38 Parameterschätzung (3) Beispiel: Zwei Klassen C = {(0, 0,0),(,, 0),(,0,0),(,0, )}; C 2 = {(0,,0),(0,0, ),(0,,),(,, )} Es ergibt sich P(C ) = P(C 2 ) = 0.5 (0,0,) (0,,) µ = 4 (3,,), µ 2 = 4 (,3,3) 3 K = K 2 = (,0,) (,0,0) (0,0,0) (,,) (,,0) (0,,0) C 2 C Kovarianzmatrizen identisch = Anwendung von D i (x) = xk µ t i 2 µ ik µ t i K = ; D (x) = 4x 3 2, D 2(x) = 4x +8x 2 +8x Trennfunktion: D (x) D 2 (x) = 8x 8x 2 8x = 0 Kapitel 5 Bayes Klassifikator p.36/48

39 Nichtparametrische Klassifikatoren Probleme mit parametrischen Ansätzen: Situationen, wo klassenbedingte Verteilungsdichte p(x C i ) nicht mit einer Normalverteilung modelliert werden kann Generell sind Modellierung mit bestimmter anaytischer Dichtefunktion Grenzen gesetzt Nichtparametrische Klassifikatoren: keinerlei Einschränkung der Form der Verteilungsdichte voraussetzen; aus Stichprobe entsprechende Dichtefunktion beliebiger Form ableiten, ohne Vorkenntnisse über die parametrische Familie zu verlangen Wichtig: alle Dichtefunktionen anwendbar Kapitel 5 Bayes Klassifikator p.37/48

40 Nichtparametrische Klassifikatoren: Direkte Schätzung Schätzung der Verteilungsdichte p(x 0 C i ) für gegebenes Muster x 0 durch Betrachtung einer Nachbarschaft R um x mit Volumen V Annahme: Verteilungsdichte innerhalb von R konstant p(x R C i ) = p(x C i )dx = p(x 0 C i ) dx = p(x 0 C i )V R R Wahrscheinlichkeit p(x R C i ) = M V /M i bei Stichprobenumfang M i für C i und davon M V Samples in R = p(x 0 C i ) = M V V M i Nachbarschaft R durch um x 0 zentrierten Würfel der Seitenlänge h: p(x 0 C i ) = M V h n M i Gute Schätzwerte erfordern M i und V 0 (d.h. h 0) Kapitel 5 Bayes Klassifikator p.38/48

41 Nichtparametrische Klassifikatoren: Parzen-Schätzung () Fensterfunktion: φ(u = (u, u 2,...,u n )) = { ; falls max j 0; sonst u j 2 Verteilungsdichte: p(x 0 C i ) = h n M i M i l= φ( x 0 y l h ) wobei y, y 2,...,y Mi Samples der Klasse C i aus der Stichprobe φ(u) 2 2 u Kapitel 5 Bayes Klassifikator p.39/48

42 Nichtparametrische Klassifikatoren: Parzen-Schätzung (2) Parzen-Schätzung: Harte Fensterfunktion durch stetige Funktion mit Eigenschaft φ(u) 0, φ(u)du = ersetzen. D.h. Fensterfunktion ist ihrerseits eine Dichtefunktion. Häufig angewendete Fensterfunktion: Normalverteilung φ(u) = (2π) n 2 e uut 2 Intuitive Interpretation: Zur Berechnung von p(x 0 C i ) trägt jedes Trainingssample y l mit Gewicht φ( x 0 y l h ) bei Kapitel 5 Bayes Klassifikator p.40/48

43 Nichtparametrische Klassifikatoren: Parzen-Schätzung (3) Beispiel: Originaldichtefunktion (Strichlinien) und geschätzte Dichtefunktion (durchgezogene Linien) M i = 000, h = 0. M i = 000, h = 0.8 M i = 20000, h = 0. For large enough number of samples, the smaller the h the better the accuracy of the resulting estimate Kapitel 5 Bayes Klassifikator p.4/48

44 Nichtparametrische Klassifikatoren: Parzen-Schätzung (4) Beispiel: D Merkmalsraum, Normalverteilung Änderung der Notation: n M i, h h h = h = 0.5 h = 0. n = n = n = n = FIGURE 4.5. Parzen-window estimates of a univariate normal density using different window widths and numbers of samples. The vertical axes have been scaled to best show the structure in each graph. Note particularly that the n = estimates are the same (and match the true density function), regardless of window width. From: Richard O. Duda, Peter E. Hart, and David G. Stork, Pattern Classification. Copyright c 200 by John Wiley & Sons, Inc. Kapitel 5 Bayes Klassifikator p.42/48

45 Nichtparametrische Klassifikatoren: Parzen-Schätzung (5) Beispiel: D Merkmalsraum, bimodale Verteilung Änderung der Notation: n M i, h h h = h =0.5 h =0.2 n= n= n= n= FIGURE 4.7. Parzen-window estimates of a bimodal distribution using different window widths and numbers of samples. Note particularly that the n = estimates are the same (and match the true distribution), regardless of window width. From: Richard O. Duda, Peter E. Hart, and David G. Stork, Pattern Classification. Copyright c 200 by John Wiley & Sons, Inc. Kapitel 5 Bayes Klassifikator p.43/48

46 Nichtparametrische Klassifikatoren: Parzen-Schätzung (6) Beispiel: 2D Merkmalsraum, komplexe Verteilung Mit Parzen-Schätzung bestimmte Klassifikationsregionen Generell: Fensterparameter h genügend klein = Klassifikationsfehler der Trainingssamples beliebig reduzieren (Das obige Beispiel: der Klassifikationsfehler null) Gefahr des Übertrainierens (grössere Fehler bei Testsamples) Kapitel 5 Bayes Klassifikator p.44/48

47 Application: Filtering of Spam Mails Bayesian classification has become popular for distinguishing spam s from legitimate s. Many modern mail programs implement Bayesian spam filtering. Server-side filters, such as SpamAssassin and ASSP, also make use of Bayesian spam filtering techniques. Features: tokens (words); unimportant tokens are removed Decision theory: P(Spam words) = P(words Spam)P(Spam) P(words) Decision term (discriminant function): Assume the independence of featues: P(words Spam)P(Spam) = P(words Spam)P(Spam) P(word Spam) P(Spam) word words General Bayesian classifier: design of suitable costs Classifying a legitimate as spam is undesired Classifying a spam as legitimate is acceptable Learning: offline / online (at run-time; the use increases knowledge of the system by feedback) Kapitel 5 Bayes Klassifikator p.45/48

48 Comparison with Nearest-Neighbor Classifier () K-nearest-neighbor method for nonparametric density estimation: For some fixed k, determine the volume which contains k samples centered at the sample x to be classified (Comparison: the estimation method discussed before determines the number k for some fixed volume V ). Assume that there N are k i samples from C i among them (i.e. k i = k). Then, the density can be estimated by: i= p(x C i ) = M V V M i = k i V M i Given P(C i ) = M i /M, the Bayesian decision rule becomes: x C i p(x C i )P(C i ) > p(x C j )P(C j ), j i k i V M i Mi M > k i > k j, j i k j V M j Mj M, j i which is simply the k-nearest-neighbor decision rule! Kapitel 5 Bayes Klassifikator p.46/48

49 Comparison with Nearest-Neighbor Classifier (2) For large enough training set (large M), the nearest-neighbor classifier exhibits good performance N: number of classes P NN : error probability of NN rule as M P knn : error probability of k-nn rule as M P B : optimal Bayesian error probability P B P NN P B (2 N N P B) 2P B The error committed by the NN classifier is asymptotically at most twice that of the optimal Bayesian classifier The asymptotic performance of k-nn is better than NN. For N = 2: P B P knn P B + 2PNN As k, the performane of k-nn classifier tends to become that of the optimal Bayesian classifier k Kapitel 5 Bayes Klassifikator p.47/48

50 Comparison with Nearest-Neighbor Classifier (3) For small Bayesian errors: P NN 2P B, P 3NN P B + 3(P B ) 2 For large training set and small Bayesian error, we expect the 3-NN classifier to give performance almost identical to that of the optimal Bayesian classifier In conclusion it can be stated that the nearest neighbor techniques are among the serious candidates to be adopted as classifiers in a number of applications Kapitel 5 Bayes Klassifikator p.48/48