Erinnerung: Funktionslernen. 5.6 Support Vector Maschines (SVM) Beispiel: Funktionenlernen. Reale Beispiele

Transkript

1 Ererug: Fuktoslere 5.6 Support Vector Masches (SVM) überomme vo Stefa Rüpg, Kathara Mork Uverstät Dortmud Vorlesug Maschelles Lere ud Data Mg WS 2002/03 Gegebe: Bespele X LE de ahad eer Wahrschelchketsvertelug P auf X erzeugt wurde ud mt eem Fuktoswert Y = t(x) versehe sd (alteratv: Ee Wahrschelchketsvertelug P(Y X) der möglche Fuktoswerte - verrauschte Date). H de Mege vo Fuktoe LH. Zel: Ee Hypothese h(x) H, de das erwartete Fehlerrsko R(h) mmert. Rsko: R ( h) Q( x, h) P( x) x Vorlesug Kowledge Dscovery 353 Vorlesug Kowledge Dscovery 354 Bespel: Fuktoelere 0% 50% 5% % 0% 20% Reale Bespele Klassfkato: Q(x,h) = 0, falls t(x) = h(x), 1 sost Textklassfkato (x = Worthäufgkete) Hadschrfteerkeug (x = Pxel Bld) Vbratosaalyse Trebwerke (x = Frequeze) Itesvmedzsche Alarmfukto (x = Vtalzeche) Regresso: Q(x,h) = (t(x)-h(x))) 2 Zetreheprogose (x = Zetrehe, t(x) = ächster Wert) H = { f a f a (x) = 1, für x a, f a (x) = -1 sost, a} R(f 0 ) = 0, ,20 = 0,45 R(f 1,5 ) = ,20 = 0,20 R(f 3,5 ) = 0 + 0,5 + 0,05 = 0,55 Vorlesug Kowledge Dscovery 355 Vorlesug Kowledge Dscovery 356

2 Ererug: Mmerug des beobachtete Fehlers Bespel Fuktosleraufgabe cht drekt lösbar. Problem: De tatsächlche Fukto t(x) st ubekat. De zugrude legede Wahrschelchket st ubekat. Asatz: ee hreched große Lermege ehme ud für dese de Fehler mmere. Emprcal Rsk Mmzato Vorlesug Kowledge Dscovery 357 Vorlesug Kowledge Dscovery 358 Bespel II Probleme der ERM Aufgabe st cht edeutg beschrebe: Mehrere Fuktoe mt mmalem Fehler exstere. Welche wähle? Overfttg: Verrauschte Date ud zu weg Bespele führe zu falsche Ergebsse. Vorlesug Kowledge Dscovery 359 Vorlesug Kowledge Dscovery 360

3 De optmale Hyperebee Berechug der opt. Hyperebee Bespele heße lear trebar, we es ee Hyperebee H gbt, de de postve ud egatve Bespele voeader tret. H heßt optmale Hyperebee, we hr Abstad d zum ächste postve ud zum ächste egatve Bespel maxmal st. Satz: Es exstert ee edeutg bestmmte optmale Hyperebee. d d Hyperebee H = {x w*x+b = 0} H tret (x,y ), y {±1} H st optmale Hyperebee H Etschedugsfukto f(x) = w*x+b f(x ) > 0 y > 0 w mmal ud f(x ) 1, we y = 1 f(x ) -1, we y = f H -1 Vorlesug Kowledge Dscovery 361 Vorlesug Kowledge Dscovery 362 Optmerugsaufgabe der SVM Ncht lear trebare Date Mmere w 2 so dass für alle glt: f(x ) = w*x +b 1 für y = 1 ud f(x ) = w*x +b -1 für y = -1 Äquvalete Nebebedgug: y *f(x ) 1 Kovexes, quadratsches Optmerugs-problem edeutg O( 3 ) lösbar. Satz: w = 1/d, d = Abstad der optmale Hyperebee zu de Bespele. I der Praxs sd lear trebare Date selte. 1. Asatz: Etfere ee mmale Mege vo Datepukte, so dass de Date lear trebar werde (mmale Fehlklassfkato). Problem: Algorthmus wrd expoetell.? Vorlesug Kowledge Dscovery 363 Vorlesug Kowledge Dscovery 364

4 Wech treede Hyperebee Duales Optmerugsproblem Wähle C >0 ud mmere C so dass für alle glt: f(x ) = w*x +b 1- für y = 1 ud f(x ) = w*x +b -1+ für y = -1 Äquvalet: y *f(x ) 1- w 2 1 Umformug mt Lagrage-Multplkatore lefert efacheres Optmerugsproblem: Maxmere 1 uter 0 C für alle ud y = 0 Es glt w = y x, also f(x) = y (x *x)+b 1 W ( ) y y x x f Vorlesug Kowledge Dscovery 365 Vorlesug Kowledge Dscovery 366 Bedeutug vo ud Optmerugsalgorthmus =0, =0 =0, 0<C s = Gradet vo W() // s = (x *x ) whle(cht kovergert(s)) // auf geau WS = workg_set(s) // suche k gute Varable = optmere(ws) // k eue -Werte s = update(s, ) // s = Gradet vo W( ) >1, =C f(x)=-1 f(x)=0 f(x)=1 0<<1, 0<<C Gradetesuchverfahre Trck: Stützvektore alle defere Lösug Wetere Trcks: Shrkg, Cachg vo x *x Bespele x mt >0 heße Stützvektore SVM Vorlesug Kowledge Dscovery 367 Vorlesug Kowledge Dscovery 368

5 Was wsse wr etzt über SVM s? Fuktoslere als allgemee Leraufgabe Mmerug des emprsche Rskos als Lösugsstratege Optmale Hyperebee präzsert de ERM Praxs: wech treede Hyperebee Berechug mttels SVM ud dualem Problem Offee Frage: Geerelles Przp hter der optmale Hyperebee? Ncht leare Date? Vorlesug Kowledge Dscovery 369