Inhalt: Mustererkennungsexperiment. Die Support-Vektor-Maschine (SVM)

Transkript

1 Inhalt: Kaptel 0 De SupportVektorMaschne (SVM) En statstscher Ansatz der Lerntheore zum Entwurf enes optmalen Klassfkators. Problemstellung. VCDmenson und Gesamtfehlermnmerung 3. Lneare SVM Separerbare Klassen (Bespel) Nchtseparerbare Klassen (Bespel) 4. Nchtlneare SVM Trck mt Kernfunkton (Bespel) Mercer`s Theorem 5. Egenschaften und Berechnungskompletät 6. Vorstellung von Forschungsprojekten: Claus Bahlmann: Handschrfterkennung Olaf Ronneberger: Autom. Erkennung von Blütenpollen Bernard Haasdonk: Tangentendstanz und SVM H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 Durch Normalvertelungen schlecht darstellbare Klassen H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 3 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 Mustererkennungseperment Lern Datensatz l Emprscher Fehler R ( ) emp Test Datensatz TestFehler (Generalserungsfähgket) Rtest ( ) Stochastscher Prozess mt unbekannter Verbundvertelung: P(,y) Gesucht st ene Zuordnungsfunkton f(,): y welche durch de unbekannten Parameter des Vektors charaktersert wrd, welche den Erwartungswert des Zuordnungsfehlers mnmert: R()=E{R test ()} H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 4

2 Lerntheoretscher Ansatz Überwachtes Lernen: Gegeben: l Beobachtungen (Lernstchprobe) aus dem Mustererkennungseperment mt der Verbundvertelung P(,y) mt den dazugehörgen Klassenzuordnungen (Labels) (Zunächst Beschränkung auf Zweklassenproblem); ansonsten estert kenerle Vorwssen: (, y ) P(, y),, l mt: N, y, Gesucht: determnstsche Zuordnungsfunkton, f(,): y aufbauend auf ene Lernstchprobe, welche den Erwartungswert des Zuordnungsfehlers bem Testdatensatz (epected rsk) mnmert: test y f p y ddy R( ) E R ( ) E y f(, ) y f(, ) dp(, y) (, ) (, ) falls Verbundvertelungsdchte bekannt Problem: deser Ausdruck kann jedoch ncht ausgewertet werden, da P(,y) ncht zur Verfügung steht und st somt weng hlfrech! H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 5 Ene Obergrenze für de Generalserungsfähgket des Lernens mt der VCTheore (Vapnk/Chervonenks) Mt der Wahrschenlchket () glt de folgende obere Abschätzung für den tatsächlchen Fehler (d.h. z.bsp. mt = 0,05 und damt mt ener Wahrschenlchket von 95%): R( ) Remp ( ) ( h, l, ) mt: ( hl,, ) H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 7 VCKonfdenz l hlog log h 4 l l Anzahl der Tranngsbespele h VCDmenson des verwendeten Hypothesenraums Bemerkenswert st, dass deser Ausdruck unabhängg st von der zugrundelegenden Verbundvertelung P(,y)! (vorausgesetzt, de Tranngs und Testdatensätze werden statstsch unabhängg gezogen). D.h. falls man de Auswahl zwschen verschedenen Lernmaschnen hat (enhergehend mt spezellen Famlen von Abbldungsfunktonen f(,)), entschedet man sch für de Maschne, welche den gerngsten Wert be gegebener VCDmenson für de Konfdenz lefert. Zentrales Problem der statstschen Lerntheore: Wann führt en nedrger Tranngsfehler zu enem nedrgen echten Fehler? Das emprsche Rsko, nämlch de Fehlerrate für enen gegebenen Tranngsdatensatz lässt sch lecht berechnen gemäß: l emp l R ( ) y f(, ) Der Ansatz mt enem Neuronalen Netz und dem Backpropagaton Learnng z.bsp. begnügt sch mt ener Emprschen Rsko Mnmerung (ERM) Her nun de Frage: We nah st man nach l Tranngsbespelen am echten Fehler? Und: We gut kann aus dem emprschen Rsko das echte Rsko abgeschätzt werden (Structural Rsc Mnmzaton (SRM) anstatt Emprcal Rsc Mnmzaton (ERM))? Des benhaltet de Generalserungsfähgket! Ene Antwort darauf versucht de Lerntheore von VapnkChervonenks zu geben! H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 6 De VCDmenson st ene Egenschaft für gegebene Funktonenklassen {f()} Ene gegebene Menge von l Punkten kann für den ZweklassenFall n l möglche Klassen aufgetelt werden. De VCDmenson ener Menge von Funktonen {f()}, st defnert als de mamale Anzahl von Tranngspunkten, welche durch dese Klasse von Funktonen n allen möglchen Zuordnungen separert werden können. Lefert Maße für Kapaztät von Funktonenklassen Funktonenklassen z.b. Menge der lnearen Klassfkatoren Menge der Klassfkatoren, de en NN realseren kann Menge der Klassfkatoren, de ene SVM realseren kann De VCKonfdenz wächst monoton mt h: Demnach würde man be ener Auswahl von Lernmaschnen, deren emprsches Rsko 0 st, sch für dejenge entscheden, deren assozerte Menge von Abbldungsfunktonen mnmale VCDmenson bestzt. H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 8

3 VCDmenson von Hyperebenen n Dre Punkte n lassen sch mt Hyperebenen (Geraden) n allen Konstellatonen trennen VCDmenson von SVM Aussagen über VCDmensonen be SVM möglch! VCDmenson der Menge der Hyperebenen n M Ver Punkte n lassen sch ncht mehr mt Hyperebenen n allen Konstellatonen trennen => Hyperebenen n : VCdm=3 Allgemen: Hyperebenen n N : VCdm=N+ de VCDmenson be Polynomen wächst mt hrem Grad! H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 9 h mn( R A, M ) w A, K(, ) R SVM mt Polynomkernen K(,y)=( y) p h N p p H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 0 Hermt Structural Rsk Mnmzaton möglch Structural Rsk Mnmzaton (SRM) SRM st Mnmeren der Abschätzung für R() über anwachsende Funktonenklassen S. Dese blden Hypothesenräume mt anwachsender VCDmenson VCdm=h (h <h <h 3 <...). Kompromss zwschen emprschem Rsko und Generalserungsfähgket R() Entwurfshnwese Mehrere Ausdrücke für das gleche Phänomen: Bas/VaranzKompromss Generalserungs/OverfttngKompromss Emprscher Fehler/VCDmensons(Kapaztätskontrolle) Kompromss S S S 3 S 4 R emp opt VCdm: h wächst an mt h R emp wrd klener mt h (overfttng) H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0

4 BasVaranzTradeoff Lnear separerbare Klassen ŷ yˆ f ( ) yˆ f ( ) n Bas n ( y f( )) klen f : n Varanz n ( y f( )) groß gute Generalserung (enfaches Modell)! Daten n RI y, n Bas n ( y f( )) groß f : schlechte Generalserung (overfttng)! n Varanz n ( y f( )) klen Allgemene Hyperebene w, b 0 Klassfkaton va f ( ) sgn( w, b) z.b. Rosenblatt s Perceptron (956) Iteratves Lernen, Korrektur nach jeder Fehlklassfkaton >kene Endeutgket der Lösung H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 3 Optmale Hyperebene: Mamerung des Randes Geht man von enem lnear separerbarem Zweklassenproblem aus, so errechen alle Geraden, welche bede Klassen trennen enen emprschen Fehler Null De Konfdenz wrd mnmert durch en Polynom mnmaler VCDmenson, nämlch ene Hyperebene De VCDmenson kann weter abgesenkt werden durch brete Hyperebenen (large margn hyperplanes) H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 4 Largemargn Klassfkator Hyperebene mt größtem Rand [Vap63] S : h 3 3 S : h S : h Trennende Hyperebene mt mamalem Rand Trennende Hyperebene mt mnmaler VCDmenson Deses Ergebs st plausbel. Be konstanter Intraklassenstreuung, wächst de Klassfkatonsscherhet mt wachsendem Interklassenabstand. oder: be konstant gehaltenem Interklassenabstand (z.bsp. 0) muss de Intraklassenstreung mamal zulässg werden H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 5 hohe VCDmenson N n : N mttlere VCDmenson Varabltät wrd klener! Anschaulch snnvoll theoretsch begründet Lösung abhängg von wengen Daten: => SupportVektoren klenste VCDmenson mt mamaler Brete Varabltät glech Null 3 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 6 S S h h h S 3

5 VCDmenson von breten Hyperebenen Formalserung w, b w, b 0 w, b De Daten werden korrekt klassfzert, falls: y ( w, b) 0 R R Deser Ausdruck st nvarant gegenüber ener postven Reskalerung: y ( aw, ab) 0 h h Enführung von kanonschen Hyperebenen: w, b für de blaue Klasse w, b für de rote Klasse De VCDmenson h von Hyperebenen mt enem Mndestabstand von den zu trennenden Punkten st begrenzt durch: R VC dm => grosser Margn, klene VCdm H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 7 Prmales OP: Enführung ener Lagrangefunkton: Optmerungsproblem H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 9 mnmere J( w, b) w w, w unter der N.B.: y ( w, b) l L( w, b, ) w [ y( w, b) ] mt: 0 De partellen Abletungen nach w, b und den führen nach Ensetzen n das prmale OP auf das äquvalente: Wolfduale OP: l l l j j j j l y mamere L( w, b, ) y y, unter der N.B.: 0 und 0 Des st en postv semdefntes Problem, welches mt Hlfe der konveen quadratschen Programmerung numersch teratv gelöst werden kann! Der Abstand zwschen den kanonschen Hyperebenen ergbt sch durch Projekton von auf den Normalenvektor w/ w : ( w, b ) ( w, b ) w,( ) w,( ) w H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 8 / w De Mamerung von st glechwertg mt ener Mnerung von w => l w y y SV Lösung: Lösung des dualen Problems lefert endeutg gewünschte Hyperebene ma y (, ) mn (, ) w y w b Klassfkaton: f ( ) sgn( w, b ) sgn( y ) b ) Lösung nur abhängg von den Supportvektoren!! SV Beobachtungen: Für de SupportVektoren glt: 0< < Für alle Bespele ausserhalb des Randes st =0 > SupportVektoren, sparse Darstellung der Lösung Endeutgket der Ebene, globales Optmum!! H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 0 w

6 f Optmerung von f () unter gegebenen Nebenbedngungen g()=0 mt Hlfe des LagrangeAnsatzes f f Gradent = Normalenvektor f( ) c! f g g( ) 0 Aus der LagrangeFunkton: ( LagrangeMultplkator) L(, ) f( ) g( ) folgt mt der notwendgen Bedngung für en Etremum: L L f g0 f g f g des st aber genau de Bedngung für enen statonären Punkt! H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 f ( ) mn NB: g( ) 0 Ene Lösung für das Optmerungsproblem zu fnden st glechbedeutend mt der Aufgabe, statonäre Punkte * zu fnden, n denen glt: f g Des st nur ene notwendge Bedngung für en lokales Optmum; es kann mehrere Lösungen geben! Der Gradent st en Normalenvektor an de Kurve g()=0 Betrachten wr de Taylorentwcklung von g bzgl. ener klenen vektorellen Störung an ener Stelle auf der Kurve g()=0, so erhält man: T g( ) g( ) g Bewegt sch de Störung entlang der Kurve, so glt g(+ ) = g() und somt auch T g() = 0. Daraus erkennen wr, dass der Gradent senkrecht steht auf de Oberfläche g()=0 (Normalenvektor). H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 Bedngung für enen statonären Punkt * f( ) c f( ) c f( t) f( t) f( ) f t Bespel: ) f( ) ) NB: g( ) 0 f( ) c f f f g g g ft, t g f g( ) 0 g( ) 0 a) Verhältnsse an enem nchtstatonären Punkt b) Verhältnsse an enem statonären Punkt a) Enthält de Projekton von f auf de Tangentenrchtung t enen von Null verschedenen Betrag, so kann das Optmerungskrterum durch Bewegung n dese Rchtung entlang der Kurve der NB verbessert werden! => ken statonärer Punkt! b) An enem statonären Punkt wrd das Gütekrterum f() n beden tangentalen Rchtungen verschlechtert. f steht senkrecht auf t. H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 3 f g f g f g g( ) 0 L(, ) f( ) g( ) notw. Bed. für en Optmum: L ) L f g0 ) 0 0 L ) g( ) 0 ) 0 und f ( ) ( ) g H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 4

7 Demos mt MATLAB (svmmatlab, uclass.m) Lnearer Klassfkator Harter Rand, Problem separerbar Harter klener Rand wegen Ausreßer, Problem separerbar, aber schlechte Generalserung => emp. Fehler vergrößern mt Gewnn be Generalserung => wechen Rand enführen Nchtlnearer Klassfkator Für nchtlneare Probleme muss VCDmenson der trennenden Hyperflächen und damt hre Kapaztät vergrößert werden! Lneare Separerung enes quadratschen Problems mt wechem Rand Polynomale Separerung (p=), harter Rand Polynomale Separerung (p=4), harter Rand Bananenshape mt Polynomkernen Bananenshape mt GaussRadalbassfunktonen Lnear separerbare Klassen; harter Rand Start der MatlabDemo matlabsvm.bat H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 5 Lnear separebare Klassen; harter, klener Rand, schlechte Generalserung H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 6 Nchtseparabler Fall w, b w, b 0 w, b Bestrafen von Randverletzungen va slack Varablen [Smth68] > SoftMargn SVM l mnmeren von: w C mt: y ( w, b) und 0 Gründe für dese Verallgemenerung: Lösung ncht estent mt bshergem Ansatz mt hartem Rand Verbesserung der Generalserung be Ausreßern n der Randzone H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 7 Fallunterschedung: 0< <C SV mt =0 =C SV mt >0 =0 für de restlchen Vektoren H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 8

8 Lnear sep. Klassen; wecher, breter Rand => R emp größer, gute Generalserung Lnear sep. Klassen; wecher, breter Rand => R emp größer, gute Generalserung H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 9 Lnear separebare Klassen; harter Rand H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 30 Lnear separebare Klassen; harter Rand H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 3 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 3

9 Lnear separebare Klassen; harter Rand Lnear separebare Klassen; harter Rand H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 33 Globales, endeutges Optmum Optmerung enes quadratschen Problems n w (konve) unter lnearen Nebenbedngungen Lneare Nebenbedngungen mtenander geschntten ergeben konvees Gebet; deses geschntten mt quadratscher Form => ergbt wederum konvees Gebet => endeutges Mnmum! H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 34 Nchtlneare Probleme manche Probleme haben nchtlneare Klassengrenzen Hyperebenen errechen kene zufredenstellende Genaugket 0,c y 0 0,c H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 35 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 36

10 Erweterung des Hypothesenraumes Idee: Fnde Hyperebene m höherdmensonalen Merkmalsraum dm = N Nchtlneare Probleme Endmensonaler Orgnalraum: Zwedmensonaler Merkmalsraum: T T ( ) z z, z Orgnalraum := N : z Merkmalsraum dm = M>>N z z De trennende Hyperebene m Merkmalsraum st ene nchtlneare Trennfläche m Orgnalraum (sehe XORProblem mt Polynomklassfkator) H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 37 lnear ncht separerbar lneare Separaton H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 38 Nchtlneare Probleme Orgnalraum: =(, ) (zwedmensonal) Merkmalsraum: T ( ) z z, z, z3, z4, z5, z6 T z 4 Nchtlneare Erweterung Nchtlneare Abbldung vorschalten Bespel XORProblem: ( ): N z ( ) nchtlneare Separaton z z 4 4 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 39 z z lneare Separaton H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 40

11 Konsequenzen Effekt: Stegerung der Separabltät Trennfläche m Ursprungsraum nchtlnear Fragen:. Optmaltät der Hyperebene?. Hoher Rechenaufwand n hochdmensonalen Räumen? Zu : Optmaltät blebt erhalten, erneut postv semdefnte Form, da n der zu optmerenden Funkton de glechen Skalarprodukte auftauchen, nur n enem neuen Raum Zu : der hohe Aufwand n den hochdmensonalen Merkmalsraum wr durch den Trck mt Kernfunktonen reduzert. Das Innenprodukt n H hat enen äquvalente Formulerung mt Kernfunktonen m Orgnalraum H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 4 Der Trck mt Kernfunktonen Problem: Sehr hohe Dmenson des Merkmalraumes! Polynome pten Grades über der Dmenson N des Orgnalraums führen zu O(M=N p ) Dmensonen m Merkmalsraum! Lösung: Im dualen OP tauchen nur Skalarprodukte <, j > auf. Im korresponderenden Problem m Merkmalsraum tauchen dann ebenfalls nur Skalarprodukte n < ( ), ( j ) > auf. Dese müssen ncht eplzt ausgerechnet werden, sondern können mt reduzerter Kompletät mt Kernfunktonen m Orgnalraum ausgedrückt werden: K(, ) ( ), ( ) j j Bespel: T Für ( ) z z, z, z3, z4, z5, z6 berechnet K(, j) (, j) ( ), ( j) das Skalarprodukt m Merkmalsraum. H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 4 T Häufg verwendete Kernfunktonen PolynomKerne K(, ) (, ) j j GaussKerne K(, j) ep j /( ) SgmodKerne K(, ) tanh(, ) j j De resulterenden Klassfkatoren snd verglechbar mt Polynomklassfkatoren, radalen Bassfunkten und mt Neuronalen Netzen (se werden allerdngs anders motvert). Allgemene Anforderung: Mercer s Bedngung. Se garantert, dass ene bestmmte Kernfunkton tatsächlch auch en Skalarprodukt n rgendenem Raum st, aber se erklärt ncht we das dazugehörge Abbldung ausseht und we der Raum beschaffen st. Ausserdem: Lnearkombnatonen von gültgen Kernen lefern neue Kerne (de Summe er pos. def. Fkten st weder pos. def.) H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 43 Das Theorem von Mercer Es estert ene Abbldung und ene Entwcklung. K(, ) ( ), ( ) j j genau dann, wenn für en belebges g() mt ( ) g d glt (K st ene symmetrsche, postv semdefnte Funkton n ): K(, j) g( ) g( j) dd j 0 Es gbt allerdngs auch Fälle, wo Kernfunktonen de MercerBedngung ncht erfüllen, aber für enen bestmmten Tranngsdatensatz zu ener postv semdefnten HesseMatr führen und damt zu enem globalen Optmum konvergeren. H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 44

12 Lneare Separerung enes quadratschen Problems; wecher Rand Traneren: Endformulerung n n mamere: L( ) (, ) y, j yj jk j l mt: y 0 und 0 C Klassfzeren ( 0 für alle SV): n f( ) sgn (, ) sgn (, ) yk j b yk j b SV n n ma y (, ) mn (, ) yj jk j j y y j j jk j b H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 45 Polynomale Separerung enes quadratschen Problems; harter Rand H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 46 Polynomale Separerung enes quadratschen Problems; harter Rand H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 47 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 48

13 Nchtlnear separerbare Klassen; harter Rand Nchtlnear separerbare Klassen; harter Rand H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 49 Bespel: Inseln, Polynom mt p = H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 50 Bespel: Inseln, Polynom mt p = 3 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 5 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 5

14 Bespel: Inseln, Polynom mt p = 4 Bespel: Inseln, RBFs mt = H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 53 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 54 Anwendungsbespel: Zechenerkennung Bespel: US Postal Servce Dgts [Schö95/96] 66 Grauwertblder 79 Tranng, 007 TestSamples Ergebnsse: Klassfkator Fehlerrate Mensch.5% Schcht NN 5.9% 5Schcht NN 5.% SVM (Polynom Grad 3) 4.0% SVM + Invaranz 3.% SVM+Invaranz: Ursprünglche Datenmenge verfünffachen durch Shft n alle Hauptrchtungen H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 55 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 56

15 SVM mt RBF, VCGrenze m Verglech zur tatsächlchen Testfehlerrate (Nur en Parameter: ) VCGrenze (analytsch) ( ) 00 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 57 Rtest Leder sehr grobe Abschätzungen, aber qualtatv aussagekräftg (Mnmum an der glechen Stelle). Alternatve: Suche nach durch Testfehlermnmerung durch Kreuzvalderung. Bldet man den Erwartungswert über alle leaveoneout Epermente, so erhält man ene Abschätzung des echten Rskos Der Aufwand kann reduzert werden auf de Überprüfung der SV, da nur dese enen Enfluss auf de gemessene Fehlerrate haben. SVM: Egenschaften und Berechnungskompletät Stärken: De SVM lefert nach den derzetgen Erkenntnssen sehr gute Ergebnsse und fndet (unter gewssen Voraussetzungen) en globales Mnmum (Be NN erhält man n der Regel nur suboptmale Lösungen) SparseDarstellung der Lösung über N s SupportVektoren Lecht anwendbar (weng Parameter (C,), es wrd ken aprorwssen benötgt, ken Desgn); de genaue Wahl von (C,) st jedoch zuglech ene der größten Schwächen m Entwurf Geometrsch anschaulche Funktonswese Theoretsche Aussagen über Ergebns: globales Optmum, Generalserungsfähgket SRM möglch, wenn auch schwer kontrollerbar auch Probleme n großen Merkmalsräumen lösbar ( Tranngs und Testmuster) Be Semdefnthet des Problems: das duale Problem hat dann vele Lösungen, aber alle lefern de gleche Hyperebene! H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 58 Schwächen: VCAbschätzung nur sehr ungenau und praktsch weng verwertbar Multklassenansatz noch Gegenstand der Forschung Ansatz: ene SVM pro Klasse, d.h. Aufwand und Specherbedarf stegt mt der Anzahl der Klassen / /3 /3 3 Redukton enes Multklassenproblems auf ene Rehe von bnären Entschedungsproblemen Schwächen: Kene quanttatve Qualtätsaussage der Klassfkaton Langsames, specherntensves Lernen: 3 Laufzet: ON ( s ) (Inverson der HesseMatr) Specher: ON ( s ) Ansatz zur Verbesserung: Zerlegen n Telprobleme VCAbschätzung nur sehr ungenau und praktsch weng verwertbar Langsames Klassfzeren mt O(MN s ), wobe M=O(dm()) (d.h. m Fall ohne Kernfunktonen M=N), aber be geegnet gewählten Kernfunktonen glt auch her: M=N. H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 59 H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 60

16 Lteratur: () C.J.C. Burges, A tutoral on support vector machnes for pattern recognton, Knowledge Dscovery and Data Mnng, (), 998. ( () V. Vapnk, Statstcal Learnng Theory, Wley, New York, 998. (3) N. Crstann, J. ShaweTaylor, An ntroducton to support vector machnes and other kernelbased learnng methods, Cambrdge Unv. Press, Cambrdge 000. (4) B. Schölkopf, A. J. Smola, Learnng wth kernels, MIT Press, Boston, 00. (5) S.R. Gunn, Support Vector Machnes for Classfcaton and Regresson, Techncal Report, Department of Electroncs and Computer Scence, Unversty of Southampton, 998. H Burkhardt Insttut für Informatk Unverstät Freburg ME II Kap 0 6