Approximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes

Transkript

1 Approximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes Seminar Maschinelles Lernen VORTRAGENDER: SEBASTIAN STEINMETZ BETREUT VON: ENELDO LOZA MENCÍA

2 Inhalt Vorbedingungen an die Daten Perceptron-Like Large Margin Classifiers Der Neue: MICRA Herleitung & Konvergenzbetrachtungen Effiziente Implementierung Das Experiment: MICRA gegen den Rest der Welt Zusammenfassung

3 Die Daten Linear separierbar wenn nicht -> Transformation in einen höheren Raum ( Considered Space ) Augmentierung des Raums um eine weitere Dimension. daraus folgt: Trennende Hyperebene verläuft durch den Ursprung.

4 Die Daten (II) Fallunterscheidung (Positiv-/Negativbeispiel) Punktspiegelung am Ursprung Einheitliche Darstellung in den Formeln

5 Lineare Separierbarkeit Was tun, wenn sie nicht gegeben ist?

6 Augmentierung des Raums Wie sieht das aus, und welchen Vorteil hat man davon?

7 Inhalt Vorbedingungen an die Daten Perceptron-Like Large Margin Classifiers Der Neue: MICRA Herleitung & Konvergenzbetrachtungen Effiziente Implementierung Das Experiment: MICRA gegen den Rest der Welt Zusammenfassung

8 Large Margin Klassifikation Gesucht: Die Lineare Hyperebene, welche genau zwischen den Clustern liegt bei maximalem Abstand. Beispiel: Support Vector Machines (SVM) oder Perceptron Like Algorithms (PLA) γd

9 PLAs - formal Update-Regel, Aktiviertheit Update-Regel, Weight-Vectors u ist nur normiertes a Effektive Lernrate: a t+1 = (a t + η t f t y k ) N 1 t+1 u t+1 = u t + η eff tf t y k /R u t + η eff tf t y k /R u t a t / a t η eff t η t R a t 1 Σ

10 PLAs - formal (II) Misclassification Condition C(t) -> 0 für große t Dann erhält man einen möglichst großen Korridor u y k γ d u t y k C(t) max min u : u =1 i {u y i } k

11 Inhalt Vorbedingungen an die Daten Perceptron-Like Large Margin Classifiers (PLAs) Der Neue: MICRA Herleitung & Konvergenzbetrachtungen Effiziente Implementierung Das Experiment: MICRA gegen den Rest der Welt Zusammenfassung

12 MICRA ε,ζ u t+1 = u t + η eff tf t y k /R u t + η eff tf t y k /R Update-Rule: u t+1 = u t + ηy k t ζ R u t + ηy k t ζ R u t y k C(t) Misclassification Condition: u t y k β t ɛ

13 Konvergenz für ζ 1 Konvergenz in endlicher Schrittzahl wenn η = η0(β/r) -δ konvergiert der Margin für β/r gegen den maximalen Margin γd vorausgesetzt 0 < εδ+ζ < 1 Für ζ + 2ε = 1 mit ζ > 1/2 obere Schranke für die Anzahl der benötigten Updates (tb) untere Schranke für den Anteil, des Margins, den der Algorithmus erzielt (fb)

14 Algorithm 1 MICRA ɛ,ζ Input: A linearly separable augmented set with reflection assumed S =(y 1,..., y k,..., y m ) Fix: η, β Define: R = max y k, q k = y k 2, k Initialise: t = 1, a 1 = y 1, a 1 = y 1, η 1 = a 1 η, β 1 = a 1 β repeat for k = 1 to m do p tk = a t y k if p tk β t then a t+1 = a t + η t y k a t 2 + η t (2p tk + η t q k ) a t+1 = t t + 1 η t = a t ηt ζ, β t = a t βt ɛ end if end for until no update made within the for loop η = η/r misclassification condition update-rule gilt jetzt (Kommentar) t++ ALGORITHMUS MICRA ε,ζ IMPLEMENTIERUNG IN PSEUDOCODE

15 Weitere Optimierungmöglichkeiten Epoche: einmal alle Traningsbeispiele dem Algorithmus zeigen bilden eines reduzierten active set TRAININGS-DATEN FALSCH enthält nur, in der aktuellen Epoche, falsch klassifizierte Beispiele dieser Algorithmus wird red-micra genannt Epoche FALSCH Mini- Epoche

16 Inhalt Vorbedingungen an die Daten Perceptron-Like Large Margin Classifiers (PLAs) Der Neue: MICRA Herleitung & Konvergenzbetrachtungen Effiziente Implementierung Das Experiment: MICRA gegen den Rest der Welt Zusammenfassung

17 MICRA vs. PLAs MICRA wird mit sinnvoll gewählten Parametern gegen agg- ROMMA und den normalen Perceptron-Algorithmus getestet. ROMMA: Relaxed Online Maximum Margin Algorithm Testdaten aus dem Machine Learning Repository der UCI (University of California - Irvine) Asuncion, A. & Newman, D.J. (2007). UCI Machine Learning Repository [ Irvine, CA: University of California, School of Information and Computer Science.

18 Experiment 1 (sonar classification prob.) linear Sonar-Signale von zylindrischen Metallgegenständen vs. Sonar-Signale von Zylindrischen Steinen Instanzen Trainingsinstanzen Attribute Fehlerhafte Daten Entfernte Daten gewähltes ρ R γd ,8121 0,00841

19 Experiment 1 (sonar classification prob.) linear Perceptron agg-romma MICRA 0.05, γ d upds 10 3 γ d upds 10 3 γ d upds 7, , , , , , , , , , , , η = 50

20 Experiment 2.1 (wisconsin breast cancer) Gutartiger Tumor vs. Bösartiger Tumor Zwecks linearer Separierbarkeit, entfernen von 11 Datenpunkten Instanzen Trainingsinstanzen Attribute Fehlerhafte Daten Entfernte Daten gewähltes ρ R γd (11) 30 41,4246 0,0243

21 Experiment 2.1 (WBC-11) linear Perceptron agg-romma MICRA 0.1, γ d upds 10 3 γ d upds 10 3 γ d upds 2, , , , , , , , , η = 2,3

22 Experiment 2.2 (wisconsin breast cancer) Gutartiger Tumor vs. Bösartiger Tumor Vollständiges WBC-Set (-> linear nicht separierbar) Instanzen Trainingsinstanzen Attribute Fehlerhafte Daten Entfernte Daten gewähltes ρ R γd ,282 0,13033

23 Experiment 2.2 (WBC) non-linear Perceptron agg-romma MICRA 0.05, γ d upds 10 3 γ d upds 10 3 γ d upds 11, , , , , , , , , η = 20

24 MICRA vs. SVMs PLAs konvergieren in der nähe der optimalen Hyperebene extrem langsam Deswegen: Anforderung an γ lediglich 99% des maximalen margins Vergleich nur auf Prozessorzeit-Ebene, da SVMs nicht Epochen-Basiert arbeiten.

25 MICRA vs. SVMs LIBSVM und SVM light SVMs erlauben weiche Ränder, feature space ist aber hart separierbar Dekompositions-Basierte SVMs. Viel schneller als Standard-SVMs MICRA wird vertreten durch red-micra, also Training mit Hilfe von Micro-Epochen Stop von red-micra, wenn γm > γs< UND γm > γs> 0,99

26 data LIBSVM SVM light red MICRA 0.05,0.9 set 10 2 γ Secs 10 2 γ Secs 10 2 γ Secs 10 2 γ Secs ρ η N 10 5 β R 102 γ Secs sonar ionosphere votes WBC tic-tac-toe german mushroom Margins der Algorithmen: ε = 0,001;ε > 0,001;anhalte-margin EXPERIMENT 3: MICRA vs. SVMs VERSCHIEDENE UCI-DATENSÄTZE

27 Experiment 4 (subsets des Adult-Datensatzes) Einkommen < $ 50k / Jahr vs. Einkommen > $ 50k / Jahr Augmentierung nicht notwendig -> ρ=0 Instanzen Trainingsinstanzen Attribute (binär) Fehlerhafte Daten Entfernte Daten gewähltes ρ (123) 0 0 0

28 subset LIBSVM SVM light red MICRA 0.05,0.9 size 10 2 γ Secs 10 2 γ Secs 10 2 γ Secs 10 2 γ Secs η N 10 2 β R 102 γ Secs Margins der Algorithmen: ε = 0,03; ε = 0,025;anhalte-margin 4: MICRA vs. SVMs ADULT-DATENSATZ

29 Experiment 5 (subsets des Web-Datensatzes) Fichten-/Tannenwald vs. Jede andere Art bewaldung Linear nicht separierbar, Δ=10 Für SVM light genauigkeit: ε=0,01 data SVM light red MICRA 0.05,0.9 size 10 3 γ Secs η N 10 5 β R 103 γ Secs Instanzen Trainingsinstanzen Attribute Fehlerhafte Daten Entfernte Daten gewähltes ρ

30 Zusammenfassung MICRA ist ein schnell konvergierender Perceptron- Like-Large-Margin-Classifier Geringer Speicherbedarf Perceptron MICRA SVM Genauigkeit Geschwindigkeit Speicherbedarf o + ++ o ++ o o

31 Vielen Dank für Ihre Aufmerksamkeit