Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen

Transkript

1 Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Einführung Auf binären Klassifikatoren beruhende Methoden One-Against-All One-Against-One DAGSVM Methoden die alle Daten zugleich betrachten (All-Together Methoden) Eine von Vapnik beschriebene Methode Eine Methode von Crammer und Singer Eperimente und Resultate Einführung SVM wurden ursprünglich für Zweiklassenprobleme entworfen. Wie sie effizient zur Multi-Klassen Klassifikation erweitert werden können, ist immer noch ein aktives Forschungsfeld. Grundsätzlich gibt es zwei Typen von Ansätzen für Multi-Klassen SVM: Eine Methode besteht darin mehrere binäre SVM zu kombinieren. Die andere behandelt direkt alle Daten in einer Optimierungsgleichung. (All-together Methoden)

2 One-Against-All. SVM. SVM. SVM 4. SVM. SVM. SVM. SVM 4. SVM One-Against-All min w i, b i, w i j w i j ij i w i b i b i 0, j,..., l C ij,y j j ij,y j l i, i, ij w... w k b b k argma i,..., k w i b i

3 One-Against-All vs Rest vs Rest X vs Rest One-Against-One. SVM. SVM. SVM 4. SVM 5. SVM 6. SVM

4 One-Against-One Es werden k(k-)/ SVMs erzeugt. Zum Testen wird die Ma Wins Strategie benutzt. Ein Test sign(w ij + b ij ) entscheidet zwischen den Klassen i und j Für jede Klasse wird die Anzahl der für sie positiven Tests gezählt. Die Klasse die die meisten Tests für sich entschieden hat, wird als Ergebnis ausgegeben. Directed Acyclic Graph SVM (DAGSVM) Die DAGSVM Trainings Phase ist die selbe wie bei der One- Agains-One Methode. Zum Testen wird ein binärer azyklischer Graph benutzt. Der Graph enthält k(k-)/ interne Knoten und k Randknoten. Jeder interne Knoten steht für eine SVM. Vorteil: Kürzere Testzeiten im Vergleich zu One-Against-One

5 Directed Acyclic Graph SVM (DAGSVM) 4 4 vs 4 Nicht Nicht vs vs 4 4 N N 4 N N 4 vs 4 vs 4 vs N 4 N N N 4 N N vs SVM Die Idee ist der des One-Against-All Ansatzes ähnlich. Es werden k zwei Klassen Regeln erzeugt. Die Regeln werden, im Gegensatz zu One-Against-All, durch das Lösen einer Gleichung erzeugt. Die Entscheidungsfunktion ist wieder identisch zu One-Against-All.

6 min w, b, m k w i C i l m y i mi w y i i b y i w m i b m mi, ij 0, j,..., l,m,..., k y i w... w k b b k argma m,..., k w m b m vs Rest vs Rest vs Rest

7 Zur Implementation wurde eine Decomposition Methode verwendet. Methode von Crammer und Singer Das Prinzip ist das selbe, wie bei der. Im Gegensatz zur werden hier nur l Lockerungsvariablen eingesetzt. l entspricht der Anzahl der Trainingsdatensätze. Diese Methode verzichtet ausserdem auf den Koeffizienten b i. min w m, i m k w m C i l i w y i i w m i e mi i,i,..., l, wenn y i m dann e mi 0, sonst e mi

8 Eperimente und Resultate Quellen: UCI Repository und Statlog Collection Für jedes Problem werden die bestmöglichen Parameter gesucht. γ = [ 4,,,..., -0 ] und C = [,, 0,..., - ] Das entspricht 55 = 55 Kombinationen. Als Stopkriterium für den Optimierungsalgorithmus wurde in den Tests eine KKT Verletzung von < 0 - verwendet. Vergleich der Klassifikationsgenauigkeit (in Prozentangaben) One-against-one DAG One-aganst-all C&S iris wine glass vowel vehicel segm dna satim letter shuttle

9 Training Zeit (Logarithmisch Dargestellt) One-against-one DAG One-aganst-all C&S 0. iris wine glass vowel vehicel segm dna satim letter shuttle Test Zeit (Logarithmisch Dargestellt) One-against-one DAG One-aganst-all C&S dna satimage letter shuttle

10 Quellenverweise [] C.W.Hsu, C.J. Lin. A Comparison of Methods for Multi-class Support Vector Machines. National Taiwan University, Department of Computer Science and Information Engineering. [] Blake, C.L. & Merz, C.J. (998). UCI Repository of machine learning databases [ Irvine, CA: University of California, Department of Information and Computer Science. [] J. C. Platt, N. Cristiani, and J. Shawe-Taylor. Large margin DAGs for multiclass classification. In Advances in Neural Information Processing Systems, volume, pages MIT Press, 000. [4] V.Vapnik. Statistical Learning Theory. Wiley, New York, NY, 998.