Stützvektormethode (SVM) Erinnerung: Funktionslernen. Beispiel: Funktionenlernen. Reale Beispiele

Transkript

1 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Stützvektorethode (SVM) Maxeren der Brete ener separerenden Hyperebene axu argn ethod Transforaton des Datenraus durch Kernfunkton Strukturelle Rskonerung Vladr Vapnk The Nature of Statstcal Learnng Theory Sprnger Vg. 995 W.N. Wapnk, A. Tscheronenks Theore der Zechenerkennung Akadee Vg. 979 Chrstopher Burges A Tutoral on Support Vector Machnes for Pattern Recognton n: Data Mnng and Knoledge Dscovery, 998, -67 Ernnerung: Funktonslernen Gegeben: Bespele X n LE de anhand ener Wahrschenlchketsvertelung P auf X erzeugt urden und t ene Funktonsert Y = t(x) versehen snd (alternatv: Ene Wahrschenlchketsvertelung P(Y X) der öglchen Funktonserte). H de Menge von Funktonen n LH. Zel: Ene Hypothese h(x) H, de das erartete Fehlerrsko R(h) nert. Rsko: R ( h) = Q( x, h) P( x) x Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Bespel: Funktonenlernen 0% 50% 3 5% 0% 0% H = { f a f a (x) = für x a, f a (x) = - sonst, a} R(f 0 ) = 0,5 0 0,0 = 0,45 R(f,5 ) = 0 0 0,0 = 0,0 R(f 3,5 ) = 0 0,5 0,05 = 0,55 5% Reale Bespele Klassfkaton: Q(x,h) = 0, falls t(x) = h(x), sonst Textklassfkaton (x = Worthäufgketen) Handschrftenerkennung (x = Pxel n Bld) Vbratonsanalyse n Treberken (x = Frequenzen) Intensvedznsche Therape (x = Vtalzechen) Regresson: Q(x,h) = (t(x)-h(x)) Zetrehenprognose (x = Zetrehe, t(x) = nächster Wert) Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

2 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Ernnerung: Mnerung des beobachteten Fehlers Bespel Funktonslernaufgabe ncht drekt lösbar. Proble: De tatsächlche Funkton t(x) st unbekannt. De zugrunde legende Wahrschenlchket st unbekannt. Ansatz: ene hnrechend große Lernenge nehen und für dese den Fehler neren. % Eprcal Rsk Mnzaton Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Bespel II Problee der ERM Aufgabe st ncht endeutg beschreben: Mehrere Funktonen t nale Fehler exsteren. Welche ählen? Overfttng: Verrauschte Daten und zu eng Bespele führen zu falschen Ergebnssen. Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

3 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Bespel III Enführung Bernhard Schölkopf, Alexander Sola Learnng th Kernels MIT Press 00 Ze-Klassen-Proble: Tranngsdaten (x, y ),..., (x, y ), x X, y {, -} Ähnlchket enes neuen x bestt y Ähnlchketsaß k: X & X (x, x ) k(x, x ) z.b. Skalarprodukt x*x :=(... [x] [x ]... ) Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Grundbegrffe Skalarprodukt x*y: Seen x und y Vektoren aus p x * y = [ x][ y] = Eukldsche Länge (Betrag) enes Vektors x : p p & x = x* x = '[ x] % = Hyperebene H: Se '0 der Noralenvektor und b der bas { x * x 0} H (, b) = b = Waru Skalarprodukt? Cosnus des Wnkels zschen x und x, enn bede Vektoren auf de Länge norert snd. Abstand zschen x und x st Länge des Dfferenzvektors. Voraussetzung: Bespele snd Vektoren. Überführung n enen Rau t Skalarprodukt ( : XH Wenn X berets en Rau t Skalarprodukt st, kann nchtlneare Abbldung ( auch snnvoll sen. Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

4 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Enfachster Lernalgorthus Lernalgorthus Bld Bespele n ene Rau t Skalarprodukt. Durchschntt ener Klasse: c = x { y = } n der Mtte legt Punkt c:=(c c - )/ c = x Vektor x-c verbndet { y = } neues Bespel und c Ähnlchket zu Durchschntt ener Klasse: Wnkel zschen :=c - c - und x-c Berechnen über Skalarprodukt Anzahl postver Bespele: c c c - x-c x Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Lernalgorthus n Foreln y = sgn = sgn = sgn& ' ( = sgn& ' = sgn ( x c) ) ( x ( c c )/ ) ( c c ) ( ( x c ) ( x c ) c % ( x c ) ( x c ) ( c c ) ( x c ) ( x c ) b) % c c c c c Entschedungsfunkton Wr setzen nun de Mttelerte für c und c - en: & y = sgn ( x * x ' ( x * x b % { y = } ' { y =' } & ( ) ( ) = sgn ' ( k x, x ( k x, x b % { y = } ' { y =' } Das neue Bespel rd also t allen Tranngsbespelen verglchen. Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

5 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Fast... De optale Hyperebene... äre das schon de Stützvektorethode. Aber: Enfach den Mttelpunkt der Bespele ener Klasse zu berechnen st zu enfach, u en ordentlches zu bekoen. Man erhält so ncht de optale Hyperebene. Bespele heßen lnear trennbar, enn es ene Hyperebene H gbt, de de postven und negatven Bespele vonenander trennt. H heßt optale Hyperebene, enn hr Abstand d zu nächsten postven und zu nächsten negatven Bespel axal st. Satz: Es exstert ene endeutg bestte optale Hyperebene. d d H Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Grundbegrffe II Der Noralenvektor steht senkrecht auf allen Vektoren der Hyperebene. Es glt: > 0 falls x postven Rau * x b = 0 falls x auf H < 0 falls x negatven Rau Bld *xb=0 *xb=- *xb= Skaleren von und b, so dass *xb = für alle Bespele a nächsten zur Hyperebene. Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

6 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Separerende Hyperebene Bespele n For von Vektoren x aus p und Klassfkaton y= (postve Bespele) oder y=- (negatve Bespele) E={ [x,y ], [x,y ],..., [x,y ]} Separerende Hyperebene H: postve Bespele postven Halbrau, negatve Bespele negatven Halbrau, x*b=0 für Punkte auf der Hyperebene. Der Abstand von H zu Ursprung st b / De Separerbarket erfüllen vele Hyperebenen. Margn für separerbare Bespele Abstand d von H zu nächsten postven Bespel Abstand d - von H zu nächsten negatven Bespel Margn: d d - H x * b be y = H x * b be y = zusaengefasst: x : y( * x b) > 0 Der Abstand von H zu Ursprung st -b / Der Abstand von H zu Ursprung st -b / d = d - = / und argn = / Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Margn H und H snd parallel, haben denselben Noralenvektor. Per Konstrukton legt ken Bespel zschen H und H. U / zu axeren, üssen r neren. De Nebenbedngungen üssen engehalten erden: ( x * ) 0 : y b H H d d Mneren der Länge U de geoetrsche Brete zu axeren, üssen r de Länge von neren. Wr können genauso gut * neren. So fnden r nun ene endeutge Hyperebene aus den velen öglchen trennenden. Für alle Bespele st se rchtg: f(x )>0 gd. y >0 Wr können se anenden, u neue unklassfzerte Beobachtungen zu klassfzeren: f(x)=*xb das Vorzechen gbt de Klasse an. H Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

7 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Opterungsaufgabe Lagrange-Funkton Mnere so dass für alle glt: f(x ) = *x b für y = und f(x ) = *x b ) - für y = - Äquvalente Nebenbedngungen: y *f(x ) 0 Konvexes, quadratsches Opterungsproble % endeutg n O(n 3 ) für n Bespele lösbar. Satz: = /d, d = Brete der optalen Hyperebene bzgl. der Bespele. Se das Opterungsproble gegeben, f() zu neren unter der Nebenbedngung g ()0 =,...,, dann st de Lagrange-Funkton L(, ) = f ( ) g = ( ) Dabe uss gelten 0 Für Unglechhetsbedngungen erden *-Multplkatoren engeführt, Glechhetsbedngungen erden drekt engesetzt. Es st lechter, Vektor * zu besten, als drekt nach der Erfüllung der Bedngungen zu suchen. Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Opterungsfunkton als Lagrange Mnere L(,b,*) L(, b, ) = = ( y ( x * b) ) Ene optale Lösung zechnet sch durch de folgenden notendgen Bedngungen an * aus: = yx y = 0 = = L soll bezüglch und b nert, bezüglch * axert erden. Karush-Kuhn-Tucker Bedngungen Für das prale Opterungsproble gelten de KKT Bedngungen gd., b, * de Lösung st. v L(, b, &) = v & yx, L(, b, &) = & y b y 0 :& % ( x * b) % :& 0 = 0 = 0 ( y ( * x b) ) = 0 v =,..., d Bespele, v Attrbute der Bespele=Koponenten der Vektoren v Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

8 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Duales Proble Anschaulch? De Glechhetsbedngungen erden n L(,b,*) engesetzt. Der duale Lagrange-Ausdruck L(*) soll axert erden. Das Mnu des ursprünglchen Opterungsprobles trtt genau be enen Werten von,b,* auf e das Maxu des dualen Probles. Wr ollen neren, also =0, also Mnu von n Rchtung des Gradenten suchen. De Nebenbedngungen snd enteder et ab oder der auf hnen legende nächste Punkt zu Mnu gbt das Mnu unter Enhaltung der Nebenbedngungen an. Y (*x b)= unbeschränkt Nebenbedngung beschränkt Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Uforung * = * = * = * = = = = Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 y x * y x * [ y ( x * b) ] y ( x * b) = y b Be gute * uss gelten 0 = = y = = = Uforung II Es glt für optalen Vektor * = y x r ersetzen * = = = = = Mt den Nebenbedngungen: 0 = = y y x * x y und * 0 = = = = Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 = = y x * y y x * x y y x * x = =

9 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk SVM Opterungsproble Maxere unter 0 ) * für alle und,* y = 0 n L( ) = y y = n n = = ( x x ) Für edes Bespel gbt es en * n der Lösung. 0 = * heßt, dass das Bespel x passenden Halbrau legt. 0 < * heßt, dass das Bespel x auf H oder H legt (Stützvektor). Es glt =,* y x, Also f(x) =,* y (x *x)b Also st der beste Noralenvektor ene Lnearkobnaton von Stützvektoren (* '0). Was ssen r etzt? Maxeren des Margns ener Hyperebene ergbt ene endeutge Festlegung der optalen trennenden Hyperebene. Dazu neren r de Länge des Noralenvektors. Forulerung als Lagrange-Funkton Forulerung als duales Opterungsproble Das Lernergebns st ene Lnearkobnaton von Stützvektoren. Mt den Bespelen üssen r nur noch das Skalarprodukt rechnen. Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Ncht lnear trennbare Daten In der Praxs snd lnear trennbare Daten selten.. Ansatz: Entferne ene nale Menge von Datenpunkten, so dass de Daten lnear trennbar erden (nale Fehlklassfkaton). Proble: Algorthus rd exponentell.? Wech trennende Hyperebene Wähle C >0 und nere C = so dass für alle glt: f(x ) = *x b -- für y = und f(x ) = *x b ) -- für y = - Äquvalent: y *f(x ) - - f n - - Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008 Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008

10 technsche unverstät Fakultät für Inforatk Bedeutung von - und * -=0, *=0 -=0, 0)*<C ->, *=C 0<-<, 0<*<C f(x)=- f(x)=0 f(x)= Bespele x t * >0 heßen Stützvektoren % SVM Prof. Dr. Katharna Mork Wssensentdeckung n Datenbanken SoSe 008