One-class Support Vector Machines

Größe: px

Ab Seite anzeigen:

Download "One-class Support Vector Machines"

Babette Heinrich
vor 8 Jahren
Abrufe

1 One-class Support Vector Machines Seminar Wissensbasierte Systeme Dietrich Derksen 3. Januar 204

2 Motivation One-class Support Vector Machines: Detektion von Ausreißern (Systemfehlererkennung) Klassifikation unterrepresentierter Klassen Vergleich von Datenmengen (Sprechererkennung) Dietrich Derksen 2

Klassifikation unterrepresentierter Klassen

3 Überblick Support Vector Machines Zweiklassenproblem mit linear separierbaren Trainingsdaten Erweiterung auf das Mehrklassenproblem Nicht linear trennbare Trainingsdaten Soft Margin Kernel Trick One-class Support Vector Machines ν-support Vector Classifier (ν-svc) SVDD Zusammenfassung Dietrich Derksen 3

Trainingsdaten Soft Margin Kernel Trick One-class Support Vector Machines

4 Support Vector Machines Gegeben: Trainingsdaten x = [x,...,xk] im mehrdiminsionalem Vektorraum aus zwei verschiedenen Klassen (Abstand der Vektoren als Ähnlichkeitsmaß) Ziel: Lineare Diskriminante mit maximalem Abstand zu den am nächsten liegenden Merkmalsvektoren zu bestimmen x 2 g(x) = - g(x) = 0 g(x) = g(x) w w Margin x Dietrich Derksen 4

Vektoren als Ähnlichkeitsmaß) Ziel: Lineare Diskriminante mit maximalem Abstand zu den

5 Mehrklassenproblem One-versus-All: K Diskriminanten zwischen der k-ten Klasse und allen anderen Klassen Datum gehört zur k-ten Klasse wenn die Diskriminante für diese Klasse den maximalen Wert liefert One-versus-One: K(K-)/2 Diskriminanten zwischen jeweils zwei Klassen Abstimmungsprinzip: Vergleich der K(K-)/2 Diskriminanten Klasse mit den meisten Stimmen gewinnt Dietrich Derksen 5

liefert One-versus-One: K(K-)/2 Diskriminanten zwischen jeweils zwei Klassen Abstimmungsprinzip:

6 Nicht linear separierbare Trainingsdaten Trainingsdaten nur durch eine nichtlineare Hyperebene trennbar x 2 x Dietrich Derksen 6

7 Soft Margin Einige Merkmalsvektoren können im Margin liegen Robuster gegen Overfitting x 2 g(x) = - g(x) = 0 g(x) = w g(x) w ξ=0 ξ> ξ< Margin x Dietrich Derksen 7

8 Kernel Trick Exclusive-Or Problem: Liner nicht trennbar Dietrich Derksen 8

5 2.5 0.5 0 0.5.5 2 2.5 2.5 2.5 0.5 0 0.5.5 2 2.5 3.

9 Kernel Trick (Exclusive-Or Problem) Exclusive-Or Problem: nach Transformation vom zweidimensionalen in den dreidimensionalen Vektorraum Margin Entscheidungsgrenze Dietrich Derksen 9

dreidimensionalen Vektorraum Margin Entscheidungsgrenze 2.

10 Kernel Trick Kreisförmig angeordnete Daten 3 Entscheidungsgrenze Dietrich Derksen 0

11 Kernel Trick Transformation der kreisförmig angeordneten Daten in den dreidimensionalen Vektorraum Margin Entscheidungsgrenze Dietrich Derksen

12 Kernel Trick Transformation: ϕ(x) = (x, x²) Kernel (von D = 2 nach D = 3): k (x n,x m )=(x n T x m ) 2 = l= N N k = x nl x ml x nk x mk = 2 n =(x 2 x n x n2 2 x n2 )T 2 (xm 2 x m2 2 x m x )=ϕ m2 (x n ) T ϕ (x m ) Dietrich Derksen 2

13 Kernel Funktionen Polynomialkernel: k (x n,x m )=(a x T n x m +c) p Radial Basis Function-Kernel (RBF): k (x n,x m )=e x n x m 2 /(2σ 2 ) Sigmoid Kernel: k (x n,x m )=tanh (a x n T x m +c) Dietrich Derksen 3

14 One-class Support Vector Machines Zwei Verfahren: ν-support Vector Classifier nach Schölkopf et al. (999) Support Vector Data Description (SVDD) nach Tax und Duin (2004) Dietrich Derksen 4

15 ν-svc Maximiert den Abstand der Trainingsdaten zum Ursprung Soft Margin: Erlaubt einige Ausreißer in den Trainingsdaten Robuster gegenüber Overfitting Kernel Trick: ϕ(x 2 ) Transformation der Trainingsdaten auf eine ξ=0 Hypersphäre für k(xn,xm) = const ξ< Vergrößert Abstand zum Ursprung w Margin g(x) = 0 g(x) = ϕ(x ) Dietrich Derksen 5

ϕ(x 2 ) Transformation der Trainingsdaten auf eine ξ=0 Hypersphäre für k(xn,xm) =

16 SVDD Minimiert das Volumen eines Hyperballs um die Trainingsdaten Soft Margin: Erlaubt einige Ausreißer in den Trainingsdaten Robuster gegenüber Overfitting x 2 Kernel Trick: Beschreibung der Trainingsdaten durch Hyperball im höherdiminsionalen Merkmalsraum entspricht einer Hyperwolke im Ursprungsraum ξn- R a g(x) = ξn Dietrich Derksen 6 x

Beschreibung der Trainingsdaten durch Hyperball im höherdiminsionalen Merkmalsraum

17 Vergleich SVDD und ν-svc SVDD Lösung äquivalent mit ν-svc wenn ein translationsinvarianter Kernel wie z.b. der RBF-Kernel verwendet wird ϕ(x 2 ) ξ< ξ=0 R a w 0 Margin w g(x) = 0 ξ< g(x) = ϕ(x ) Dietrich Derksen 7

der RBF-Kernel verwendet wird ϕ(x 2 ) ξ< ξ=0 R a w 0

18 Zusammenfassung Support Vector Machines One-versus-One, One-versus-All Soft-Margin-SVM Kernel Trick One-class Support Vector Machines ν-support Vector Classifier (ν-svc) SVDD ϕ(x 2 ) x 2 ξn- g(x) = ξ< ξ=0 R a w Margin g(x) = 0 g(x) = ϕ(x ) ξn Dietrich Derksen 8 x

Vector Machines ν-support Vector Classifier (ν-svc) SVDD ϕ(x 2 ) x

Ähnliche Dokumente

Vorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke

Vorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,