3.7 Support Vector Machines

Transkript

1 3.7 Support Vector Maches Motvato: Leare Separato Vektore R d repräsetere Objekte. Objekte gehöre zu geau eer vo je 2 Klasse Klassfkato durch leare Separato: Suche Hperebee de bede Klasse mamal stabl voeader tret. treede Hperebee Od Orde ubekate Elemete der Sete der Ebee zu auf der se sch befde. 94

2 Support Vector Maches Probleme be learer Separato: Was st de mamal stable Hperebee ud we berechet ma se effzet? Klasse cht mmer lear trebar. Berechug vo Hperebee ach Auswahl sehr aufwedg. Eschräkug auf 2 Klasse.... Lösuge deser Probleme mt Support Vector Maches(SVMs ) [Vapk 979 u. 995]. 95

3 Mamum Marg Hperplae Problem: Hperebee de P ud P 2 tret st cht edeutg. Welche Hperebee st für de Separato de Beste? P 2 P 2 P P Krtere: Stabltät bem Efüge Abstad zu de Objekte beder Klasse 96

4 Mamum Marg Hperplae Leare Separato mt der Mamum Marg Hperplae Mamum Marg Hperplae P 2 Abstad zu Pukte aus bede Mege st mamal d.h. md. ξ. Wahrschelchket dass bem Efüge de treede Hperebee verschobe werde muss st mmal. geeralsert am beste. ξ ξ P Mamum Marg Hperplae (MMH) st mamal stabl Rad d( (marg) MMH st ur vo Pukte P abhägg de Abstad ξ zur Ebee aufwese. P heßt Support Vector 97

5 Mamum Marg Hperplae Zusammefassug der Schrebwese der beötgte algebrasche Kostrukte für Featurespace FS: Skalarprodukt zweer Vektore: = d ( ) FS z.b. kaosches Skalarprodukt = ( ) Beschrebug eer Hperebee: w b H = FS 0 = w + b dst H ( w b) = w + w w Abstad ees Vectors zur Ebee: ( ) b 98

6 Mamum Marg Hperplae Berechug der Mamum Marg Hperplae. Bedgug: ke Klassfkatosfehler (Klasse: =Klasse 2: =-) ( ) [ ] 0 [ ] = w + b < w + b > 0 ( = ) [ w + b ] > 0 2. Bedgug: Mamaler Rad (Marg) ( ) mamere: ξ = m w + b (Abstad vo zur Ebee H( w b) ) TR w w oder mamere: ξ so dass w w [ ] w + b ξ für [..] 99

7 Mamum Marg Hperplae mamere ξ w w [ ] w + b ξ ; für [..] Setze = ξ : ma. mt w w ( ( ( ) ) ξ w + b ξ w w [..] ma. mt w w ( ( ) ) w + b [..] Statt vertere quadrere ud mmere das Ergebs: w w Prmäres OP: mmere J ( w b ) = w w ( ( ) ) uter Nebebedgug für [..] se w +b 00

8 Mamum Marg Hperplae Zur Berechug wrd das prmäre Optmerugsproblem e duales OP überführt. (Umformulerug Form mt Lagrage Multplkatore ach Karush- Kuh-Tucker) Duales OP: mamere L( ) = = 2 = j= j j j uter Bedgug g = 0 0 ud = R Lösug des Problems mt Algorthme aus der Optmerugstheore bs jetzt ur lear separerbarer Fall: Soft Marg Optmerug Eführug vo Kerelfuktoe zur Stegerug der Kapaztät 0

9 Soft Marg Behadlug cht lear trebarer Date: Soft Marg Optmerug Date cht separerbar vollstädge Separato st cht optmal Trade-Off zwsche Tragsfehler ud Brete des Rades 02

10 Soft Marg Betrachte bem Optmere zusätzlch och de Azahl der Tragsfehler. P ξ 2 ξ ξ st der Abstad vo P zum Rad P 2 (wrd auch Slack-Varable geat) 2 g C regulert de Efluss ees ezele Tragsvektors Prmäres OP : mmere J ( w b ξ ) = w w + C ξ 2 uter Nebebedgug b für [..] se w + b ξ ud ξ 0 Prmäres Optmerugsproblem uter weche Greze (Soft Marg) = ( ) 03

11 Soft Marg Das duale OP mt Lagrage Multplkatore verädert sch we folgt: Duales OP: mamere L( ) = = 2 = j= mt Bedgug = 0 ud 0 C = j j j 0 < <C Support Vektor mt ξ = 0 pp ξ = C Support Vektor mt ξ >0 = 0 sost ξ 2 P P 2 Etschedugsregel: () h = sg + b SV ξ 04

12 Kerel Maches Lere be cht lear trebare Datemege Problem: Be reale Probleme st häufg kee leare Separato mt hoher Klassfkatosgeaugket mehr möglch. Idee: Trasformere Date ee cht leare Feature-Raum ud versuche se m eue e Raum lear zu separere. (Erweterug des Hpotheseraumes) Bespel: quadratsche Trasformato 05

13 Kerel Maches Erweterug der Hpotheseraumes Egaberaum φ erweterter Feature Raum Versuche jetzt erwetertem Feature Raum lear zu separere Bespel: a b c φ a b c a a a b a c b b b c c c her: Ee Hperebee m erweterte Feature Raum st e Polom 2. Grades m Egaberaum. 06

14 Kerel Maches Egaberaum: = ( ) 2 (2 Attrbute) m erweterte Raum: φ (6 Attrbute) ( ) ( ) 2 2 =

15 Kerel Maches Eführug ees Kerels (Implzte) Featuretrasformato mttels φ ( ) : FS alt FS eu Duales OP: mamere L ( ) = j j φ ( ) φ ( j 2 = = j= 0 mt Bedgug = ud 0 C = Zusätzlche Featuretrasformato wrkt sch ur auf das Skalarprodukt der Tragsvektore aus. Kerel K st ee Fukto mt: K ( ) j φ( ) φ( j ) φ = ) 08

16 Kerel Maches Wa st ee Fukto K() e Kerel? We de Kerel-Matr (Gram Matr) KM K( ).. K( ) KM ( K) = K ( ).. K ( ) postv (sem) deft st also kee egatve Egewerte bestzt t da st K() e Kerel (sehe Mercer s Theorem) Notwedge Bedguge: g ( ) ( ) φ ( ) 2 ( ) ( ) K = φ ( ) φ( ) = φ( ) φ( ) = K (Smmetre) φ K K K (Cauch-Schwarz) Sh φ φ φ Smmetre ud Cauch-Schwarz sd kee hrechede Bedguge! 09

17 Kerel Maches ege Regel zur Kombato vom Kerel: ( ) = K ( ) K ( ) K 2 ( ) ( ) ( ) = K K K + 2 ( ) = a K ( ) K K( ( ) T K = B für K K 2 Kerelfuktoe a ee postve Kostate ud B ee smmetrsche postv sem-defte Matr. 0

18 Kerel Maches Bespele für verwedete Kerel-Fuktoe: lear: K ( ) ) = polomell: ( ) c d K ( ) = + Radale Bassfuktoe: Gauss Kerel: 2 K( ) = ep γ K( ) ep 2 = 2 2σ ( ) Sgmod: K ( ) = tah γ + c

19 Kerel Maches Polomeller Kerel (Grad 2) Radal Bass Kerel 2

20 Trag eer SVM zu löse st folgedes Problem: g Duales OP: mamere ( ) j j j j K L 2 ) ( = = = = mt Bedgug ud 0 C 0 mt Bedgug ud 0 C = = 0 d T T K K ) (.. ) ( oder K K.. ) (.. ) ( ma ) ( ) ( mt Bedgug ud 0 C = 0 3 mt Bedgug ud 0 C = 0

21 Trag eer SVM zur Lösug: Stadardalgorthme aus der Optmerugstheore für kovee quadratsche Probleme für große Tragsmege umersche Algorthme otwedg es estere ege Spezalalgorthme für SVM-Trag: Chukg / Decomposto Sequetal Mmal Optmsato (SMO) 4

22 Mult-Class SVMs Bsher SVMs ur awedbar auf 2 Klasse Probleme!! Idee: Kombato mehrere 2-Klasse SVMs zu Klassfkatore de belebg vele Klasse uterschede köe. Mult-Class SVMs 2 klasssche Asätze: Uterschede jede Klasse vo alle adere (-versus-rest) Uterschede je 2 Klasse (-versus-) ) 5

23 -versus-rest Asatz B A C SVMs: A B C R E S T Klassfkato A B ξ C ξ A C O ξ B A B C - - Klasse vo O R E S T -versus-rest Asatz : SVM für jede Klasse. SVM tret jedes Klasse vo Veregug aller adere Klasse ab Klassfzere O mt alle Bass-SVMs. Multple Klassezugehörgket g möglch (Mult-Classfcato) oder Etschedug für de Klasse be der Abstad ξ am größte st. 6

24 -versus- Asatz B A C SVMs: A B C A-B A-C B-C A B C Klassfkato A B o C SVMs: A B C A C C A B C 0 2 Votg-Vektor A B C -versus- Asatz : SVM für jedes Paar vo Klasse. Klassfkato vo Objekt O:. Klassfzere O mt alle Bass-SVMs. 2. Zähle Stmme (Votes) für jede Klasse. Mamale Azahl a Votes => Ergebs. 7

25 Verglech -versus-rest ud -versus- DATABASE Krterum -versus-rest -versus- Aufwad Trag Aufwad Klassfkato lear zur Azahl der Klasse ( O( K ) ) lear zur Azahl der Klasse ( O( K ) ) Quadratsch zur azahl der Klasse ( O( K 2 ) ) Quadratsch zur Azahl der Klasse ( O( K 2 ) ) Verbesserug: Decso Drected Acclc Graphs Klassfkato O( K ) [PlattChrsta 999] Geaugket tedezell schlechter tedezell höher (utzt wsse über uterschedlche Klasse besser aus) 8

26 Support Vector Maches Dskusso + erzeugt Klassfkatore mt hoher Geaugket + verhältsmäßg schwache Tedez zu Overfttg (Begrüdug durch Geeralserugtheore) + effzete Klassfkato euer Objekte + kompakte Modelle - uter Umstäde lage Tragszete t - aufwedge Implemeterug - gefudee Modelle schwer zu deute 9

27 Support Vector Maches Lteratur: C. Cortes V. Vapk: Support-vector etworks. Mache Learg 20: November 995. C.J.C. Burges: A tutoral o support vector maches for patter recogto. Data Mg ad Kowledge Dscover 2(2): T. Joachms:Tet categorsato wth Support Vector Maches. Proceedgs of Europea Coferece o Mache Learg (ECML) 998. N. Crsta J Shawe-Talor: A Itroducto to Support Vector Maches ad other kerel-based learg methods. Cambrdge Uverst Press