Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen

Transkript

1 5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus Weihs, Universität Dortmund Wissensentdeckung in Datenbanken, SS 2006 Funktionslernen Gegeben: Beispiele X in LE die anhand einer Wahrscheinlichkeitsverteilung P auf X erzeugt wurden und mit einem Funktionswert Y = t(x) versehen sind (alternativ: Eine Wahrscheinlichkeitsverteilung P(Y X) der möglichen Funktionswerte - verrauschte Daten). H die Menge von Funktionen in LH. Ziel: Eine Hypothese h(x) H, die das erwartete Fehlerrisiko R(h) minimiert. Risiko: R ( h) = Q( x, h) P( x) x Vorlesung Knowledge Discovery 1 Vorlesung Knowledge Discovery 2 Beispiel: Funktionenlernen 0% 50% 5% % 0% 20% Reale Beispiele Klassifikation: Q(x,h) = 0, falls t(x) = h(x), 1 sonst Textklassifikation (x = Worthäufigkeiten) Handschriftenerkennung (x = Pixel in Bild) Vibrationsanalyse in Triebwerken (x = Frequenzen) Intensivmedizinische Alarmfunktion (x = Vitalzeichen) Regression: Q(x,h) = (t(x)-h(x))) 2 Zeitreihenprognose (x = Zeitreihe, t(x) = nächster Wert) H = { f a f a (x) = 1, für x a, f a (x) = -1 sonst, a R} R(f 0 ) = 0, ,20 = 0,45 R(f 1,5 ) = ,20 = 0,20 R(f 3,5 ) = 0 + 0,5 + 0,05 = 0,55 Vorlesung Knowledge Discovery 3 Vorlesung Knowledge Discovery 4

2 Erinnerung: Minimierung des beobachteten Fehlers Beispiel Funktionslernaufgabe nicht direkt lösbar. Problem: Die tatsächliche Funktion t(x) ist unbekannt. Die zugrunde liegende Wahrscheinlichkeit ist unbekannt. Ansatz: eine hinreichend große Lernmenge nehmen und für diese den Fehler minimieren. Empirical Risk Minimization Vorlesung Knowledge Discovery 5 Vorlesung Knowledge Discovery 6 Beispiel II Probleme der ERM Aufgabe ist nicht eindeutig beschrieben: Mehrere Funktionen mit minimalem Fehler existieren. Welche wählen? Overfitting: Verrauschte Daten und zu wenig Beispiele führen zu falschen Ergebnissen. Vorlesung Knowledge Discovery 7 Vorlesung Knowledge Discovery 8

3 Die optimale Hyperebene Beispiele heißen linear trennbar, wenn es eine Hyperebene H gibt, die die positiven und negativen Beispiele voneinander trennt. H heißt optimale Hyperebene, wenn ihr Abstand d zum nächsten positiven und zum nächsten negativen Beispiel maximal ist. Satz: Es existiert eine eindeutig bestimmte optimale Hyperebene. d d H Vorlesung Knowledge Discovery 9 Vorlesung Knowledge Discovery 10 Vorlesung Knowledge Discovery 11 Vorlesung Knowledge Discovery 12

4 Vorlesung Knowledge Discovery 13 Vorlesung Knowledge Discovery 14 Berechnung der opt. Hyperebene Hyperebene H = {x w*x+b = 0} H trennt (x i,y i ), y i {±1} H ist optimale Hyperebene Entscheidungsfunktion f(x) = w*x+b f(x i ) > 0 y i > 0 w minimal und f(x i ) 1, wenn y i = 1 f(x i ) -1, wenn y i = -1 H +1 f -1 Vorlesung Knowledge Discovery 15 Vorlesung Knowledge Discovery 16

5 Optimierungsaufgabe der SVM Minimiere w 2 so dass für alle i gilt: f(x i ) = w*x i +b 1 für y i = 1 und f(x i ) = w*x i +b -1 für y i = -1 Äquivalente Nebenbedingung: y i *f(x i ) 1 Konvexes, quadratisches Optimierungsproblem eindeutig in O(n 3 ) lösbar. Satz: w = 1/d, d = Abstand der optimalen Hyperebene zu den Beispielen. Vorlesung Knowledge Discovery 17 Vorlesung Knowledge Discovery 18 Vorlesung Knowledge Discovery 19 Vorlesung Knowledge Discovery 20

6 Vorlesung Knowledge Discovery 21 Vorlesung Knowledge Discovery 22 Vorlesung Knowledge Discovery 23 Vorlesung Knowledge Discovery 24

7 Optimierungsalgorithmus s = Gradient von W(α) // s i = α j (x j *x i ) while(nicht konvergiert(s)) // auf ε genau WS = working_set(s) // suche k gute Variablen α = optimiere(ws) // k neue α-werte s = update(s, α ) // s = Gradient von W(α ) Gradientensuchverfahren Trick: Stützvektoren allein definieren Lösung Weitere Tricks: Shrinking, Caching von x i *x j Vorlesung Knowledge Discovery 25 Vorlesung Knowledge Discovery 26 Nicht linear trennbare Daten Weich trennende Hyperebene In der Praxis sind linear trennbare Daten selten. 1. Ansatz: Entferne eine minimale Menge von Datenpunkten, so dass die Daten linear trennbar werden (minimale Fehlklassifikation). Problem: Algorithmus wird exponentiell.? Praktikable Lösung, wenn Daten fast linear separabel sind: Wähle C R >0 und minimiere + C i= 1 so dass für alle i gilt: f(x i ) = w*x i +b 1-ξ i für y i = 1 und f(x i ) = w*x i +b -1+ξ i für y i = -1 Äquivalent: y i *f(x i ) 1- ξ i w 2 n ξ i +1 f ξ ξ Vorlesung Knowledge Discovery 27 Vorlesung Knowledge Discovery 28

8 Bedeutung von ξ und α Kernel-Methoden Problem: Daten sind oft nicht linear trennbar. ξ>1, α=c ξ=0, α=0 ξ=0, 0 α<c 0<ξ<1, 0<α<C Lösungsidee: 1. Nicht-lineare Einbettung in einen höher-dimensionalen Raum 2. Dort Suchen der optimal trennenden Hyperebene 3. Rücktransformation f(x)=-1 f(x)=0 f(x)=1 Beispiele x i mit α i >0 heißen Stützvektoren SVM Vorlesung Knowledge Discovery 29 Vorlesung Knowledge Discovery 30 Kernel-Methoden Beispiel: φ: R 3 R 6 mit φ 1 (x)=x 1, φ 2 (x)=x 2, φ 3 (x)=x 3, φ 4 (x)=(x 1 ) 2, φ 5 (x)= x 1 x 2, φ 6 (x)= x 1 x 3, für x=(x 1, x 2, x 3 ) R 3. Eine trennende Hyperebene im R 6 hat die Form d(z) =wz+b. Wir lösen das Problem für w und b und übersetzen die Lösung zurück: d(z) = w 1 z 1 +w 2 z 2 +w 3 z 3 +w 4 z 4 +w 5 z 5 +w 6 z 6 +b = w 1 x 1 +w 2 x 2 +w 3 x 3 +w 4 (x 1 ) 2 +w 5 x 1 x 2 +w 6x1 x 3 +b Vorlesung Knowledge Discovery 31 Kernel-Methoden Probleme: Welche Einbettung verwenden? Das Skalarprodukt im hochdimensionalen Raum ist teuer. Lösung: Kernel-Funktion: Die Trainingsdaten tauchen nur in der Form φ(x i ) φ(x j ) auf. Eine Kernelfunktion K(x i,x j ) ist eine Funktion mit K(x i,x j ) = φ(x i ) φ(x j ). Sie kann im niedrigdimensionalen Raum berechnet werden! Typische Kernelfunktionen: K(x i,x j ) = (x i x j +1) h, für h N K(x i,x j ) = e - x i - xj 2 /2σ 2 K(x i,x j ) = tanh(κx i x j -δ) Vorlesung Knowledge Discovery 32