Support Vector Machines (SVM)

Transkript

1 Universität Ulm 12. Juni 2007

2 Inhalt Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

3 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

4 Ausgangslage: Idee: N Trainingsdaten (x 1, y 1 ), (x 2, y 2 ),..., (x N, y N ) mit x i und y i R g {+1, 1} (i=1,2,...,n) Unterteile eine Menge von Objekten durch eine Hyperebene in zwei Klassen

5 Vorgehensweise 1 Suche f : R g { 1, +1}, so dass f (x i ) = y i im Fall der Trennbarkeit i = 1,..., N sonst für zumindest viele i erfüllt ist. 2 Klassen-Zuordnung neuer Punkte x neu durch f (x neu )

6 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

7 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

8 Fragestellung Voraussetzung: Die Trainingsdaten sind linear trennbar. Aber: Wie genau ist die Hyperebene zu wählen?

9 Idee Erhalte einen möglichst breiten Rand um die Klassengrenzen herum large - margin - classification

10 Definition der Hyperebene Eine trennende Hyperebene H ist folgendermaßen definiert: H := {x R g w, x + b = 0} mit den bestimmenden Elementen -w R g orthogonal zu H -b R (Verschiebung)

11 Trennende Hyperebene - Skalierung Problem: Keine eindeutige Beschreibung der Hyperebene: H = {x R g aw, x + ab = 0} a R \ {0} Ausweg durch Skalierung: (w, b) R g R heißt kanonische Form der Hyperebene, wenn gilt: min w, x i + b = 1 i=1,..,n

12 Definition Rand Als Rand bezeichnet man nun den Abstand der kanonischen Hyperebene zu dem Punkt, der ihr am nächsten liegt. Er lässt sich zu 1 w berechnen. Beweis: w, x 1 + b = +1 w, x 2 + b = 1 w, (x 1 x 2 ) = 2 w w, (x 1 x 2 ) = 2 w

13 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

14 Das Optimierungsproblem Aufgabenstellung: maximiere den Rand minimiere w 2 die Entscheidungsfunktion f (x) = sgn( w, x + b) erfülle f (x i ) = y i y i ( x i, w + b) 1 i = 1,..., N Primales Programm: minimiere w R g,b R 1 2 w 2 NB: y i ( x i, w + b) 1 i = 1,..., N

15 Lagrange-Funktion L(w, b, α) = 1 2 w 2 N α i (y i ( x i, w + b) 1) mit α = (α 1,..., α N ) und α i 0 (Lagrange Multiplikatoren) bezüglich α zu maximieren bezüglich w und b zu minimieren, d.h. Damit folgt i=1 L(w, b, α) = 0, b N α i y i = 0 und w = i=1 L(w, b, α) = 0 w N α i y i x i i=1

16 Definition: Support Vektoren Sattelpunkt-Bedingungen laut Kuhn-Tucker: Damit gilt: α i [y i ( x i, w + b) 1] = 0 i = 1,..., N Punkte mit α i > 0 liegen direkt auf dem Rand. (Support Vectors ( Stützvektoren )) Die restlichen Trainingspunkte haben keinen Einfluss auf H (α i = 0) w = α i y i x i {i {1,...,N}:x i Support vector}

17 Das Duale Programm Zugehöriges duales Programm: maximiere α R N unter den Bedingungen N α i 1 2 i=1 N α i α j y i y j x i, x j i,j=1 α i 0 i = 1,..., N N α i y i = 0 i=1

18 Vorgehensweise einer SVM 1 Berechne die Lagrange-Multiplikatoren α i der Support Vektoren durch das duale Programm 2 Bestimme damit den Vektor w = N α i y i x i der kanonischen Hyperebene i=1 3 Die Verschiebung ergibt sich zu b = y j N y i α i x j, x i 4 Stelle die gesuchte Entscheidungsfunktion f (x) = sgn( w, x + b) folgendermaßen auf: i=1 i=1 ( N ) f (x) = sgn α i y i x, x i + b

19 Grundlegende Idee Der Kern-Trick Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

20 Grundlegende Idee Der Kern-Trick Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

21 Grundlegende Idee Der Kern-Trick Voraussetzung: nicht linear trennbare Trainingsdaten Idee: Überführe die Trainingsdaten in einen Raum M mit so hoher Dimension, dass sich die Trainingsdaten dort linear trennen lassen. Die kanonische trennende Hyperebene kann in M bestimmt werden. Bei der Rücktransformation in den ursprünglichen Raum wird die Hyperebene zu einer nicht-linearen Trennfläche.

22 Beispiel Grundlegende Idee Der Kern-Trick ursprüngliche Daten höher dimensionaler Raum M (hier: M = R 3 ) nichtlineare Entscheidungsfläche im ursprünglichen Raum.

23 Grundlegende Idee Der Kern-Trick Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

24 Grundlegende Idee Der Kern-Trick Der Kern-Trick Problematik: Ausweg: Im höherdimensionalen Raum sind Skalarprodukt-Berechnungen der Form Φ(x i ), Φ(x j ) nötig. Sehr komplex und rechenlastig. Benutze eine sog. Kern-Funktion k, die sich wie ein Skalarprodukt in M verhält: k(x i, x j ) = Φ(x i ), Φ(x j )

25 Grundlegende Idee Der Kern-Trick Wdh.: Eigenschaften der Kern-Funktion k : R g R g M wobei M mit einem Skalarprodukt versehen sein soll k symmetrisch und positiv definit typische Funktionen: POLYNOMIELL VOM GRAD d: k(x i, x j ) = (c + x i, x j ) d für c konstant RADIAL BASIS: k(x i, x j ) = exp( x i x j 2 c ) für c > 0 NEURONALES NETZWERK: k(x i, x j ) = tanh(κ x i, x j + θ) wobei κ > 0 und θ R

26 Grundlegende Idee Der Kern-Trick Beispiel Betrachte zwei Trainingsdaten (x 1, y 1 ) und (x 2, y 2 ), wobei y 1, y 2 {±1} und x 1, x 2 R 2, d.h. x 1 = (x 11, x 12 ) und x 2 = (x 21, x 22 ) polynomieller Kern zweiten Grades mit c = 1 Dann gilt: k(x 1, x 2 ) = (1 + x 1, x 2 ) 2 = (1 + x 11 x 21 + x 12 x 22 ) 2 = 1 + 2x 11 x x 12 x 22 + (x 11 x 21 ) 2 + (x 12 x 22 ) 2 + 2x 11 x 21 x 12 x 22 Mit Φ(x 1 ) = Φ((x 11, x 12 )) (1, 2x 11, 2x 12, x 2 11, x 2 12, 2x 11 x 12 ) folgert: Φ(x 1 ), Φ(x 2 ) = k(x 1, x 2 )

27 Grundlegende Idee Der Kern-Trick Nicht-lineare Lösung Damit ergibt sich nun Der Raum M muss nicht bekannt sein. Die Kern-Funktion als Maß der Ähnlichkeit ist für alle Berechnungen ausreichend. Die Lösung des optimalen Programms ergibt sich durch Ersetzen des ursprl. Skalarproduktes durch die Kern-Funktion. Die Entscheidungsfunktion hat dann die folgende Form: ( N ) f (x) = sgn α i y i k(x, x i ) + b i=1

28 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

29 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

30 Bisherige Problematik Ein einzelner Ausreißer in den Trainingsdaten kann die Ausprägung der Hyperebene stark beeinflussen ( höherdimensionale Berechnungen) Oft nützlich eine bestimmte Anzahl an Ausreißern/ Fehlern zuzulassen Idee: Erlaube, aber bestrafe derartige Fehleinordnungen

31 Grundidee Vorgehen: Schwäche die Randbedingung ab, d.h. führe die sogenannten Schlupfvariablen ξ i 0 ein mit y i ( x i, w + b) 1 ξ i i = 1,..., N Lege eine Strafe in Form des Kostenterms γξ i fest. γ kann als Fehlergewicht interpretiert werden.

32 trennbare Daten überlappende Daten ξ i = 0 für korrekt klassifizierte Trainingsdaten 0 < ξ i 1 für korrekt klassifizierte Daten innerhalb des Randes ξ i > 1 für Trainingsdaten auf der falschen Seite von H

33 Bemerkungen Schlupfvariablen drücken folgendes aus: Bevorzugung eines Randes, der die Trainingsdaten korrekt klassifiziert Abschwächung der Nebenbedingungen, so dass im nicht-trennbaren Fall die Strafe propotional zum Ausmaß der Misklassifikation ist γ kontrolliert die Gewichtung zwischen den konkurrierenden Zielen breiter Rand mit großen Fehlern kleine Fehler, aber schmaler Rand

34 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

35 Zugehöriges Optimierungsproblem Aufnahme des Strafterms in das Minimierungsproblem führt zu unter den Bedingungen 1 minimiere w M,b R,ξ R N 2 w 2 + γ ξ i 0 N i=1 y i ( x i, w + b) 1 ξ i i = 1,..., N ξ i

36 Minimierung der Lagrange-Funktion L(w, b, α, µ) = 1 N N N 2 w 2 +γ ξ i α i (y i ( x i, w +b) (1 ξ i )) µ i ξ i i=1 i=1 i=1 bezüglich w, b und ξ i ergibt analog zu oben die Lösung: w = 0 = N α i x i y i i=1 N α i y i i=1 α i = γ µ i i = 1,..., N

37 wobei die α i durch Lösen des quadratischen Programmes NB: maximiere α R N N α i 1 2 i=1 N α i α j y i y j x i, x j i,j=1 0 α i γ i = 1,..., N N α i y i = 0 i=1 bestimmt werden können.

38 Support Vektoren Mit den Kuhn-Tucker-Bedingungen α i [y i ( x i, w + b) (1 ξ i )] = 0 µ i ξ i = 0 y i ( x i, w + b) (1 ξ i ) 0 i = 1,.., N ergeben sich zwei mögliche Arten von Support Vektoren: Punkte direkt auf dem Rand (mit ξ i = 0 und daraus folgend 0 < α i < γ) Punkte jenseits ihres Randes (mit ξ i > 0 und α i = γ > 0)

39 Bemerkungen die Schlupfvariablen verschwinden aus dem dualen Problem die Konstante γ taucht dort nur noch als zusätzliche Beschränkung der Lagrange-Multiplikatoren α i auf auch im Fall der Soft-Margin-Klassifikation kann der Kern-Trick angewendet werden Entscheidungsfunktion f und Verschiebung b bestimmen sich analog zu oben.

40 Die Konstante γ Bisher wurde keine Aussage über die Wahl von γ gemacht. γ groß hohes Fehlergewicht kleiner Rand Fokusierung auf Punkte nahe H γ klein schwaches Fehlergewicht breiter Rand Einbeziehung ferner Punkte Intuitive Bestimmung von γ schwierig Üblicherweise wird dazu Kreuzvalidierung genutzt.

41 Multi-Klassen-Einteilung Vor- und Nachteile der SVM Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

42 Multi-Klassen-Einteilung Vor- und Nachteile der SVM Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

43 Mehrklassige SVM Multi-Klassen-Einteilung Vor- und Nachteile der SVM Einteilung in M Klassen (mit M > 2) One Versus the Rest Bilde eine Klassifikatoren-Menge f 1,..., f M durch jeweiliges Trennen einer Klasse von den Restlichen f (x) := arg max g j (x), wobei g j (x) = N y i α j i k(x, x i) + b j j=1,...,m i=1

44 Multi-Klassen-Einteilung Vor- und Nachteile der SVM Paarweise Klassifikation Bilde Klassifikatoren für jedes mögliche Paar von Klassen ( M(M 1) 2 Stück) Einordnung eines neuen Datenpunktes in diejenige Klasse, die die höchste Anzahl an Stimmen (d.h. Klassifikatoren, die den Datenpunkt in diese Klasse einordnen) aufweisen kann

45 Multi-Klassen-Einteilung Vor- und Nachteile der SVM Error-Correcting Output Coding Generiere L binäre Klassifikatoren f 1,..., f L durch Aufteilung der ursprünglichen Trainingsdaten in jeweils zwei disjunkte Klassen Die Auswertung eines Datenpunktes anhand aller L Funktionen bestimmt seine Klasse eindeutig ( Jede Klasse entspricht einem eindeutigen Vektor in {±1} L ) Für M Klassen ergibt sich damit die sogenannte decoding matrix D {±1} M L Ein neuer Datenpunkt wird durch Vergleich von dessen L-dimensionalem Vektor mit den Zeilen der Matrix D einer Klasse zugeteilt.

46 Multi-Klassen-Einteilung Vor- und Nachteile der SVM Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM

47 Multi-Klassen-Einteilung Vor- und Nachteile der SVM Zusammenfassung Vorteile: Klassifikation sehr schnell möglich ( basierend auf wenigen Support Vektoren) hohe Generalisierungsfähigkeit ( gute Anwendbarkeit auf reale Probleme) Arbeiten in hohen Dimensionen möglich

48 Multi-Klassen-Einteilung Vor- und Nachteile der SVM Zusammenfassung Nachteile: neues Training für neue (verschiedene) Eingabedaten erforderlich Umgang mit nicht-linear separierbaren Problemen trickreich ( Größe der Dimension) Wahl des Kerns schwierig ( muss empirisch gesucht werden)

49 Fragen? Multi-Klassen-Einteilung Vor- und Nachteile der SVM Vielen Dank für die Aufmerksamkeit.