3.7 Support Vector Maches Motvato: Leare Separato Vektore R d repräsetere Objekte. Objekte gehöre zu geau eer vo je 2 Klasse Klassfkato durch leare Separato: Suche Hperebee de bede Klasse mamal stabl voeader tret. treede Hperebee Od Orde ubekate Elemete der Sete der Ebee zu auf der se sch befde. 94
Support Vector Maches Probleme be learer Separato: Was st de mamal stable Hperebee ud we berechet ma se effzet? Klasse cht mmer lear trebar. Berechug vo Hperebee ach Auswahl sehr aufwedg. Eschräkug auf 2 Klasse.... Lösuge deser Probleme mt Support Vector Maches(SVMs ) [Vapk 979 u. 995]. 95
Mamum Marg Hperplae Problem: Hperebee de P ud P 2 tret st cht edeutg. Welche Hperebee st für de Separato de Beste? P 2 P 2 P P Krtere: Stabltät bem Efüge Abstad zu de Objekte beder Klasse 96
Mamum Marg Hperplae Leare Separato mt der Mamum Marg Hperplae Mamum Marg Hperplae P 2 Abstad zu Pukte aus bede Mege st mamal d.h. md. ξ. Wahrschelchket dass bem Efüge de treede Hperebee verschobe werde muss st mmal. geeralsert am beste. ξ ξ P Mamum Marg Hperplae (MMH) st mamal stabl Rad d( (marg) MMH st ur vo Pukte P abhägg de Abstad ξ zur Ebee aufwese. P heßt Support Vector 97
Mamum Marg Hperplae Zusammefassug der Schrebwese der beötgte algebrasche Kostrukte für Featurespace FS: Skalarprodukt zweer Vektore: = d ( ) FS z.b. kaosches Skalarprodukt = ( ) Beschrebug eer Hperebee: w b H = FS 0 = w + b dst H ( w b) = w + w w Abstad ees Vectors zur Ebee: ( ) b 98
Mamum Marg Hperplae Berechug der Mamum Marg Hperplae. Bedgug: ke Klassfkatosfehler (Klasse: =Klasse 2: =-) ( ) [ ] 0 [ ] = w + b < w + b > 0 ( = ) [ w + b ] > 0 2. Bedgug: Mamaler Rad (Marg) ( ) mamere: ξ = m w + b (Abstad vo zur Ebee H( w b) ) TR w w oder mamere: ξ so dass w w [ ] w + b ξ für [..] 99
Mamum Marg Hperplae mamere ξ w w [ ] w + b ξ ; für [..] Setze = ξ : ma. mt w w ( ( ( ) ) ξ w + b ξ w w [..] ma. mt w w ( ( ) ) w + b [..] Statt vertere quadrere ud mmere das Ergebs: w w Prmäres OP: mmere J ( w b ) = w w ( ( ) ) uter Nebebedgug für [..] se w +b 00
Mamum Marg Hperplae Zur Berechug wrd das prmäre Optmerugsproblem e duales OP überführt. (Umformulerug Form mt Lagrage Multplkatore ach Karush- Kuh-Tucker) Duales OP: mamere L( ) = = 2 = j= j j j uter Bedgug g = 0 0 ud = R Lösug des Problems mt Algorthme aus der Optmerugstheore bs jetzt ur lear separerbarer Fall: Soft Marg Optmerug Eführug vo Kerelfuktoe zur Stegerug der Kapaztät 0
Soft Marg Behadlug cht lear trebarer Date: Soft Marg Optmerug Date cht separerbar vollstädge Separato st cht optmal Trade-Off zwsche Tragsfehler ud Brete des Rades 02
Soft Marg Betrachte bem Optmere zusätzlch och de Azahl der Tragsfehler. P ξ 2 ξ ξ st der Abstad vo P zum Rad P 2 (wrd auch Slack-Varable geat) 2 g C regulert de Efluss ees ezele Tragsvektors Prmäres OP : mmere J ( w b ξ ) = w w + C ξ 2 uter Nebebedgug b für [..] se w + b ξ ud ξ 0 Prmäres Optmerugsproblem uter weche Greze (Soft Marg) = ( ) 03
Soft Marg Das duale OP mt Lagrage Multplkatore verädert sch we folgt: Duales OP: mamere L( ) = = 2 = j= mt Bedgug = 0 ud 0 C = j j j 0 < <C Support Vektor mt ξ = 0 pp ξ = C Support Vektor mt ξ >0 = 0 sost ξ 2 P P 2 Etschedugsregel: () h = sg + b SV ξ 04
Kerel Maches Lere be cht lear trebare Datemege Problem: Be reale Probleme st häufg kee leare Separato mt hoher Klassfkatosgeaugket mehr möglch. Idee: Trasformere Date ee cht leare Feature-Raum ud versuche se m eue e Raum lear zu separere. (Erweterug des Hpotheseraumes) Bespel: quadratsche Trasformato 05
Kerel Maches Erweterug der Hpotheseraumes Egaberaum φ erweterter Feature Raum Versuche jetzt erwetertem Feature Raum lear zu separere Bespel: a b c φ a b c a a a b a c b b b c c c her: Ee Hperebee m erweterte Feature Raum st e Polom 2. Grades m Egaberaum. 06
Kerel Maches Egaberaum: = ( ) 2 (2 Attrbute) m erweterte Raum: φ (6 Attrbute) ( ) ( 2 2 2 ) 2 2 = 2 2 2 2 2 2 07
Kerel Maches Eführug ees Kerels (Implzte) Featuretrasformato mttels φ ( ) : FS alt FS eu Duales OP: mamere L ( ) = j j φ ( ) φ ( j 2 = = j= 0 mt Bedgug = ud 0 C = Zusätzlche Featuretrasformato wrkt sch ur auf das Skalarprodukt der Tragsvektore aus. Kerel K st ee Fukto mt: K ( ) j φ( ) φ( j ) φ = ) 08
Kerel Maches Wa st ee Fukto K() e Kerel? We de Kerel-Matr (Gram Matr) KM K( ).. K( ) KM ( K) =...... K ( ).. K ( ) postv (sem) deft st also kee egatve Egewerte bestzt t da st K() e Kerel (sehe Mercer s Theorem) Notwedge Bedguge: g ( ) ( ) φ ( ) 2 ( ) ( ) K = φ ( ) φ( ) = φ( ) φ( ) = K (Smmetre) φ K K K (Cauch-Schwarz) Sh φ φ φ Smmetre ud Cauch-Schwarz sd kee hrechede Bedguge! 09
Kerel Maches ege Regel zur Kombato vom Kerel: ( ) = K ( ) K ( ) K 2 ( ) ( ) ( ) = K K K + 2 ( ) = a K ( ) K K( ( ) T K = B für K K 2 Kerelfuktoe a ee postve Kostate ud B ee smmetrsche postv sem-defte Matr. 0
Kerel Maches Bespele für verwedete Kerel-Fuktoe: lear: K ( ) ) = polomell: ( ) c d K ( ) = + Radale Bassfuktoe: Gauss Kerel: 2 K( ) = ep γ K( ) ep 2 = 2 2σ ( ) Sgmod: K ( ) = tah γ + c
Kerel Maches Polomeller Kerel (Grad 2) Radal Bass Kerel 2
Trag eer SVM zu löse st folgedes Problem: g Duales OP: mamere ( ) j j j j K L 2 ) ( = = = = mt Bedgug ud 0 C 0 mt Bedgug ud 0 C = = 0 d T T K K ) (.. ) ( oder K K.. ) (.. ) (........ 2.... ma ) ( ) ( mt Bedgug ud 0 C = 0 3 mt Bedgug ud 0 C = 0
Trag eer SVM zur Lösug: Stadardalgorthme aus der Optmerugstheore für kovee quadratsche Probleme für große Tragsmege umersche Algorthme otwedg es estere ege Spezalalgorthme für SVM-Trag: Chukg / Decomposto Sequetal Mmal Optmsato (SMO) 4
Mult-Class SVMs Bsher SVMs ur awedbar auf 2 Klasse Probleme!! Idee: Kombato mehrere 2-Klasse SVMs zu Klassfkatore de belebg vele Klasse uterschede köe. Mult-Class SVMs 2 klasssche Asätze: Uterschede jede Klasse vo alle adere (-versus-rest) Uterschede je 2 Klasse (-versus-) ) 5
-versus-rest Asatz B A C SVMs: A B C R E S T Klassfkato A B ξ C ξ A C O ξ B A B C - - Klasse vo O R E S T -versus-rest Asatz : SVM für jede Klasse. SVM tret jedes Klasse vo Veregug aller adere Klasse ab Klassfzere O mt alle Bass-SVMs. Multple Klassezugehörgket g möglch (Mult-Classfcato) oder Etschedug für de Klasse be der Abstad ξ am größte st. 6
-versus- Asatz B A C SVMs: A B C A-B A-C B-C A B C Klassfkato A B o C SVMs: A B C A C C A B C 0 2 Votg-Vektor A B C -versus- Asatz : SVM für jedes Paar vo Klasse. Klassfkato vo Objekt O:. Klassfzere O mt alle Bass-SVMs. 2. Zähle Stmme (Votes) für jede Klasse. Mamale Azahl a Votes => Ergebs. 7
Verglech -versus-rest ud -versus- DATABASE Krterum -versus-rest -versus- Aufwad Trag Aufwad Klassfkato lear zur Azahl der Klasse ( O( K ) ) lear zur Azahl der Klasse ( O( K ) ) Quadratsch zur azahl der Klasse ( O( K 2 ) ) Quadratsch zur Azahl der Klasse ( O( K 2 ) ) Verbesserug: Decso Drected Acclc Graphs Klassfkato O( K ) [PlattChrsta 999] Geaugket tedezell schlechter tedezell höher (utzt wsse über uterschedlche Klasse besser aus) 8
Support Vector Maches Dskusso + erzeugt Klassfkatore mt hoher Geaugket + verhältsmäßg schwache Tedez zu Overfttg (Begrüdug durch Geeralserugtheore) + effzete Klassfkato euer Objekte + kompakte Modelle - uter Umstäde lage Tragszete t - aufwedge Implemeterug - gefudee Modelle schwer zu deute 9
Support Vector Maches Lteratur: C. Cortes V. Vapk: Support-vector etworks. Mache Learg 20:273-297 November 995. C.J.C. Burges: A tutoral o support vector maches for patter recogto. Data Mg ad Kowledge Dscover 2(2):2-67998. T. Joachms:Tet categorsato wth Support Vector Maches. Proceedgs of Europea Coferece o Mache Learg (ECML) 998. N. Crsta J Shawe-Talor: A Itroducto to Support Vector Maches ad other kerel-based learg methods. Cambrdge Uverst Press 2000. 20