Sequential minimal optimization: A fast Algorithm for Training Support Vector machines

Transkript

1 Sequental mnmal optmzaton: A fast Algorthm for Tranng Support Vector machnes By John C. Platt (998) Referat von Joerg Ntschke

2 Fall der ncht-trennbaren Tranngs-Daten (/) In der Realtät kommen lnear ncht-trennbare Daten eher vor: H We können de erarbeteten Konzepte dennoch weterhn benutzt werden? => Relaxaton der Bedngungen, d.h. Enführung ener Schlupf-Varable - jedoch nur da, wo der Fehler auftrtt: H w Für y = +: x w b Für y = -: Falls also en Fehler auftrtt, muß überschreten; d mt: x w b Ene Obergrenze für de Anzahl der Tranngs-Fehler st: l

3 Fall der ncht-trennbaren Tranngs-Daten (/) Statt des ursprünglchen O.P.: mnmeren wr nun ½ w ² ½ w ² + C( ) k H wobe C en vom Benutzer wählbarer Parameter zur Gewchtung der Strafterme st. Für belebge k: Für k={,}: Für k=: Weterhn konvexes Problem QP-Problem Weder noch deren Lagrange-Multplkatoren tauchen m dualen O.P. auf: H w L D l l l j j y y x x j j d De Lösung st also we berets gegeben: C N.B.: w SV y x l y Für y = +: x w b Für y = -: x w b mt:

4 KKT-Bedngungen mt Schlupf-Varablen Das prmale O.P. ändert sch zu: L p w C l l { y ( x w b) } l Geänderte KKT-Bedngungen: () w () (3) L p w l y x L p y b (4) y ( x w b) (5) L p C l mt =,,d (Dmenson) mt =,,l Hnzu kommt en neuer Lagrange- Multplkator für de Schlupfvarable Super!: In den Gradenten nach w und b tauchen weder noch. Anhand des Gradenten nach und letzter Bedngung seht man, dass =, wenn < C Daher kann belebges < C (mt = ) gewählt werden, um b zu berechnen. (6) { y ( x w b) } (7)

5 3. Lneare SVMs Spätere Bedeutung für unsere Tranngsbespele n SMO: Unser QP-Problem st gelöst wenn für alle glt: C C y u y u y u Herbe st u deausgabe der SVM für das -te Tranngs-Bespel Mt. u N j y j j K( x j, x) b

6 Probleme be Lösung mttels QP: Matrx mt n² Datenpunkten nötg Enormes Aufblähen der Matrx schon be wengen benutzten Tranngsbespelen Sehr schnell anstegender RAM-Bedarf Lösungsansätze: Chunkng Vapnk, 98 Methode nach Osuna Osuna et al., 997 SMO Platt et al, 998

7 Chunkng: Vorüberlegung: Nur Tranngsbespele mt > nteresseren uns (da nur se als Stützvektoren n Frage kommen) Folgerung: Tranngsbespele mt = können aus der Matrx ausgelassen werden Verklenerung der Matrx Anwendung: Schrttweses Aufbauen der Matrx Jeder Schrtt benhaltet alle Tranngsbespele mt > aus dem vorhergen Tranngsschrtt, sowe jene Tranngsbespele aus der Restmenge, welche de KKT- Bedngung am extremsten verletzen.

8 Chunkng: Was haben wr gewonnen? Verklenerung der Matrx auf l² (Mt l = Zahl der Tranngsbespele mt > ) Problem Chunkng verschebt de das Problem nur, Matrxgrösse stegt weterhn stark an, so dass wr mt hnrechend grossen Tranngsmengen (bzw. ener grossen Zahl an Stützvektoren) weder lecht de Grenze der RAM-Kapaztät errechen

9 Methode nach Osuna: Osunas Theorem Grosse QP-Probleme können n ene Zahl klenerer QP-Subprobleme gesplttet und schrttwese bearbetet werden. Verletzt n jedem Tranngs-Schrtt mndestens enes der Tranngs-Bespele de KKT-Bedngung, so führt jeder deser Schrtte zu ener weteren Optmerung und schlussendlch zu enem Konvergeren der Funkton. Anwendung: Es wrd ene feste Grösse für de Trangsmatrx vorgegeben In jedem Tranngs-Schrtt werden Bespele aus der Tranngsmatrx gelöscht, und dafür k Bespele aus der Restmenge hnzugefügt, welche de KKT-Bedngung verletzen. Osunas Ansatz sah noch k = vor, Was zu ener grossen Anzahl von Tranngschrtten führte Daher arbeten Forscher heutzutage mt grösseren k

10 Allgemenes Problem mt Osuna und Chunkng: Bede Methoden erfordern enen numerschen QP-Solver Deser st jedoch u.a. aufgrund velfältger Präzsonsprobleme schwerg zu handhaben Vortel von SMO: Auf numersche QP-Optmerung wrd verzchtet Statt dessen wrd das Gesamt-Problem n de klenstmöglchen Sub-Probleme aufgetelt (=Verglech zweer Tranngs-Bespele) und dese dann analytsch gelöst. Specherplatz für ene Matrx wrd ncht benötgt, da n jedem Schrtt mmer nur Tranngsbespele betrachtet werden

11 Programmschrtte von SMO:. Anwendung heurstscher Methoden, um de beden Tranngsbespele zu ermtteln, de m nächsten Schrtt analysert werden. Lösung des Optmerunsproblems für de beden gewählten Tranngs- Bespele um deren und zu bestmmen. b) Update der SVM mt den neu ermttelten -Werten

12 Auswählen neuer Tranngsdaten für den nächsten Tranngs-Schrtt: Ernnerung: Osunas Theorem Grosse QP-Probleme können n ene Zahl klenerer QP-Subprobleme gesplttet und schrttwese bearbetet werden. Verletzt n jedem Tranngs-Schrtt mndestens enes der Tranngs-Bespele de KKT-Bedngung, so führt jeder deser Schrtte zu ener weteren Optmerung und schlussendlch zu enem Konvergeren der Funkton. Folgerung Gezelt nach Tranngsdaten suchen, welche de KKT-Bedngungen verletzen

13 Auswählen neuer Tranngsdaten für den nächsten Tranngs-Schrtt: Defnton: Ungebundene Untermenge (unbound subset) Telmenge der Tranngsdaten, be denen!= und!= C glt Dese Telmenge hat de höchste Wahrschenlchket, Tranngsdaten zu benhalten, welche de KKT-Bedngung verletzen Vorgehenswese von SMO Unterschedlche Vorgehenswesen für jeden Kanddaten. Wahl des Kanddaten für (=äussere Schlefe). Wahl des Kanddaten für (=nnere Schlefe) Preprocessng Für jedes Tranngsbespel wrd der Fehlerwert E ermttelt und ständg aktuell gehalten

14 Wahl des Kanddaten für : De Schlefe zur Auswahl von sucht gezelt nach Daten, welche de KKT-Bedngung verletzen. Se alternert dabe zwschen Durchgängen n denen der gesamte Tranngs-Datensatz durchsucht wrd und Durchgängen, n denen nur de ungebundene Untermenge durchsucht wrd Wahl des Kanddaten für : Zel: Maxmerung des m jewelgen Tranngs-Schrtt erzelten Erfolges Methodk: Verglech des Fehlerwertes des ersten Tranngsbespels (E ) mt dem Fehlerwert von möglchen Kanddaten für das Zwete (E ). Falls E postv, wähle Kanddaten mt negatvem E. Falls E negatv, wähle Kanddaten mt postvem E Sonderfälle: Wahl des Kanddaten für resulterte ncht n Fortschrtten be der Optmerung

15 Behandlung von Sonderfällen: Herarche an alternatven Auswahlmöglchketen für : Iteraton durch de anderen ungebundenen Tranngs-Bespele Enbezehung des ganzen Tranngs-Datensatzes Falls mmer noch ken gefunden wurde mt dem Fortschrtte erzelt werden konnten: Wahl enes neuen Tranngsdatensatzes für

16 SMO, Optmerungsfunkton:. Lösen des Optmerungsproblems Engabe n Prozedur: Tranngsbespele x und x Zu ermtteln: Optmale Lagrange-Multplkatoren und Wchtge Nebenbedngungen für unsere : a) < < C b) N y Mt N = Anzahl der Tranngsbespele =

17 SMO, Optmerungsfunkton: Mt desen Nebenbedngungen lassen sch wchtge Aussagen über de gesuchten Kombnaton der gesuchten und herleten Aus < < C: De -Werte legen n ener Box, begrenzt von und C N Aus : y De -Werte legen auf ener Lne nnerhalb der Box Um de Zwete Bedngung hnen zu brngen benötgen wr auch mndestens Tranngs- Bespele

18 SMO, Optmerungsfunkton: Bestmmung von : Obere/Untere Schranke für : Unterschedung nach Verglech von y und y : Falls y == y (bede Tranngsbespele n selber Klasse): L = max (, Dff) H= mn (C, C + Dff) Falls y!= y (bede Tranngsbespele n unterschedlcher Klasse): L = max (, C Sum) H = mn ( C, Sum ) Mt Dff = - und Sum = + Bestmmung von Fehlerwert E und E : E = u - y Aus der. Abletung der Zelfunkton lässt sch K( x, x ) K( x, x) K( x, x) berechnen:

19 Daraus lässt sch nun en neues berechnen: new y ( E E ) Aufgrund der erwähnten Constrants für L und H müssen wr den so berechneten Wert ggf. noch clppen um unser neues zu erhalten: new, clpped H new L falls falls falls L new new new H L H Se s=y y dann bekommen wr so drekt auch en neues : new s( new, clpped )

20 Sollten wr enen negatven Wert für bekommen haben, müssen wr allerdngs ggf. noch de Zelfunkton neu auswerten:

21 Berechnung des Bas b: Erfolgt nach jedem Tranngs-Schrtt, falls und den KKT-Bedngungen gehorchen. Wr berechnen en Bas für jedes der beden Tranngsbespele, und leten daraus unser Gesamtbas her. Berechnung: Für bede b glt: Se snd gültg. Falls das dazugehörge ncht auf den Grenzen (also oder C) legt Für das Gesamtbas b glt: Falls b =b b = b Falls b!= b b = (b +b )/ b x x K y x x K y E b new clpped new ), ( ) ( ), ( ) (, b x x K y x x K y E b new clpped new ), ( ) ( ), ( ) (,

22 Berechnung von w: w new w y ( x new new, clpped ) x y( ) Deser Wert muss nur für de gesamte SVM abgespechert/aktualsert werden

23 Verglech von SMO und Chunkng Exemplarsch für Kategorserung von Webseten: Gegeben: Datensatz mt Webseten Gesucht: Klassfkaton Ergebnsse:

24 Zusammenfassung: Vortele von SMO: Kommt ohne numerschen QP-Solver aus kene Präzsonsprobleme Ken Specherplatz für ene Matrx nötg ken zur Zahl der Tranngsbespele exponentell anstegender Specherplatzbedarf Erheblch bessere Rechenzet, zumndest m Verglech mt Chunkng (allerdngs kene Verglechsdaten zu Osuna vorhanden) Enfach zu mplementeren (Pseudocode-Verson m Paper kommt mt 9 LOC aus)

25 Velen Dank für Ihre Aufmerksamket