Wissensentdeckung in Datenbanken

Transkript

1 Wissensentdeckung in Datenbanken Support Vector Machine Nico Piatkowski und Uwe Ligges von 14

2 Überblick Was bisher geschah... Modellklassen Verlustfunktionen Numerische Optimierung Regularisierung Überanpassung SQL, Häufige Mengen Klassifikation Heute 2 von 14

3 Überblick Was bisher geschah... Modellklassen Verlustfunktionen Numerische Optimierung Regularisierung Überanpassung SQL, Häufige Mengen Klassifikation Heute 2 von 14

4 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

5 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

6 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

7 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

8 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

9 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

10 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

11 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

12 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

13 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

14 Klassifikation mit Hyperebenen x 2 x 1 3 von 14

15 Hyperebenen Hier: Daten x aus R n, Klasse y aus { 1, 1} Geradengleichung: y = f β0,β(x) = β 0 + β, x Wir wissen: β, x = β 2 x 2 cos (β, x) cos (β, x) bestimmt das Vorzeichen von β, x sign( β, x ) = sign(cos (β, x)) +1 β 0 > β 2 x 2 cos (β, x) sign(β 0 + β, x ) = 1 β 0 < β 2 x 2 cos (β, x) 0 sonst x 2 durch Daten bestimmt, β 0 und β werden gelernt 4 von 14

16 Hyperebenen Hier: Daten x aus R n, Klasse y aus { 1, 1} Geradengleichung: y = f β0,β(x) = β 0 + β, x Wir wissen: β, x = β 2 x 2 cos (β, x) cos (β, x) bestimmt das Vorzeichen von β, x sign( β, x ) = sign(cos (β, x)) +1 β 0 > β 2 x 2 cos (β, x) sign(β 0 + β, x ) = 1 β 0 < β 2 x 2 cos (β, x) 0 sonst x 2 durch Daten bestimmt, β 0 und β werden gelernt 4 von 14

17 Hyperebenen Hier: Daten x aus R n, Klasse y aus { 1, 1} Geradengleichung: y = f β0,β(x) = β 0 + β, x Wir wissen: β, x = β 2 x 2 cos (β, x) cos (β, x) bestimmt das Vorzeichen von β, x sign( β, x ) = sign(cos (β, x)) +1 β 0 > β 2 x 2 cos (β, x) sign(β 0 + β, x ) = 1 β 0 < β 2 x 2 cos (β, x) 0 sonst x 2 durch Daten bestimmt, β 0 und β werden gelernt 4 von 14

18 Hyperebenen Hier: Daten x aus R n, Klasse y aus { 1, 1} Geradengleichung: y = f β0,β(x) = β 0 + β, x Wir wissen: β, x = β 2 x 2 cos (β, x) cos (β, x) bestimmt das Vorzeichen von β, x sign( β, x ) = sign(cos (β, x)) +1 β 0 > β 2 x 2 cos (β, x) sign(β 0 + β, x ) = 1 β 0 < β 2 x 2 cos (β, x) 0 sonst x 2 durch Daten bestimmt, β 0 und β werden gelernt 4 von 14

19 Hyperebenenbestimmung als Optimierungsproblem (I) Datensatz D = {(y 1, x 1 ), (y 2, x 2 ),..., (y N, x N )} Idealisiert: 1 min β 0,β 2 β 2 2 s.t. y i = sign(β 0 + β, x i ) 1 i N Pragmatisch: 1 min β 0,β 2 β 2 2 s.t. y i (β 0 + β, x i ) 1 1 i N 5 von 14

20 Hyperebenenbestimmung als Optimierungsproblem (I) Datensatz D = {(y 1, x 1 ), (y 2, x 2 ),..., (y N, x N )} Idealisiert: 1 min β 0,β 2 β 2 2 s.t. y i = sign(β 0 + β, x i ) 1 i N Pragmatisch: 1 min β 0,β 2 β 2 2 s.t. y i (β 0 + β, x i ) 1 1 i N 5 von 14

21 Hyperebenenbestimmung als Optimierungsproblem (I) Datensatz D = {(y 1, x 1 ), (y 2, x 2 ),..., (y N, x N )} Idealisiert: 1 min β 0,β 2 β 2 2 s.t. y i = sign(β 0 + β, x i ) 1 i N Pragmatisch: 1 min β 0,β 2 β 2 2 s.t. y i (β 0 + β, x i ) 1 1 i N 5 von 14

22 Klassifikation mit Hyperebenen x 2 x 1 5 von 14

23 Klassifikation mit Hyperebenen x 2 x 1 5 von 14

24 Klassifikation mit Hyperebenen (nicht trennbar) x x 1 6 von 14

25 Klassifikation als Optimierungsproblem (II) 1 min β 0,β,ζ 2 β C N ζ i i=1 s.t. y i (β 0 + β, x i ) 1 ζ i, 1 i N ζ i 0, 1 i N Also suchen wir die kleinsten ζ i mit ζ i 1 y i (β 0 + β, x i ) und ζ i 0 für jedes 1 i N und damit ζ i = max{0, 1 y i (β 0 + β, x i )} 7 von 14

26 Klassifikation als Optimierungsproblem (II) 1 min β 0,β,ζ 2 β C N ζ i i=1 s.t. y i (β 0 + β, x i ) 1 ζ i, 1 i N ζ i 0, 1 i N Also suchen wir die kleinsten ζ i mit ζ i 1 y i (β 0 + β, x i ) und ζ i 0 für jedes 1 i N und damit ζ i = max{0, 1 y i (β 0 + β, x i )} 7 von 14

27 Klassifikation als Optimierungsproblem (III) Einsetzen in Zielfunktion: ζ i = max{0, 1 y i (β 0 + β, x i )} 1 min β 0,β 2 β C N max{0, 1 y i (β 0 + β, x i ) i=1 Minimierung der l 2 -regularisierten Hinge-Verlustfunktion Hinge(β 0, β; D)+λR 2 (β) = 1 max{0, 1 yf β0,β(x)}+λ β 2 2 D (x,y) D 8 von 14

28 Klassifikation als Optimierungsproblem (III) Einsetzen in Zielfunktion: ζ i = max{0, 1 y i (β 0 + β, x i )} 1 min β 0,β 2 β C N max{0, 1 y i (β 0 + β, x i ) i=1 Minimierung der l 2 -regularisierten Hinge-Verlustfunktion Hinge(β 0, β; D)+λR 2 (β) = 1 max{0, 1 yf β0,β(x)}+λ β 2 2 D (x,y) D 8 von 14

29 Hinge Verlustfunktion y = +1 y = -1 Hinge(f;x,y) f(x) 8 von 14

30 Klassifikation mit Hyperebenen (nicht trennbar) x x 1 8 von 14

31 Klassifikation mit Hyperebenen (nicht trennbar) x x 1 8 von 14

32 Nicht-linear trennbare Daten x x 1 9 von 14

33 Nicht-linear trennbare Daten x x 1 9 von 14

34 Nicht-linear trennbare Daten x 2 x 1 9 von 14

35 Nicht-lineare Trennbarkeit durch Merkmalstransformation Trennung nicht-linearer Daten durch Transformation φ R n R d φ kann jede beliebige Funktion sein Bild von φ kann höher- oder niedrig-dimensionaler als X sein φ soll möglichst einfach zu berechnen sein (!!) Daten sollen im Bildraum von φ möglichst linear trennbar sein Wo kommt φ her?? Oft: Abstand im neuen Raum einfacher zu berechnen als φ 10 von 14

36 Nicht-lineare Trennbarkeit durch Merkmalstransformation Trennung nicht-linearer Daten durch Transformation φ R n R d φ kann jede beliebige Funktion sein Bild von φ kann höher- oder niedrig-dimensionaler als X sein φ soll möglichst einfach zu berechnen sein (!!) Daten sollen im Bildraum von φ möglichst linear trennbar sein Wo kommt φ her?? Oft: Abstand im neuen Raum einfacher zu berechnen als φ 10 von 14

37 Optimierung mit Nebenbedingungen Lagrange-Dualität: min f(β) β s.t. g(β) c min β s.t. α 0 max f(β) α(g(β) c) α 11 von 14

38 Optimierung mit Nebenbedingungen Lagrange-Dualität: min f(β) β s.t. g(β) c min β s.t. α 0 max f(β) α(g(β) c) α 11 von 14

39 Duales Problem und Stützvektoren Lagrange-Dual der : s.t. max α N i=1 N α i 1 N 2 α iα j y i y j φ(x), φ(x ) i=1 α i y i = 0 0 α i C, 1 i N N i=1 j=1 Neues Problem hat nur N Parameter (ist das gut?) Original Gewichte: β = N i=1 α iy i x i Datenpunkte mit α i > 0 heißen Stützvektor (Support-Vector) 12 von 14

40 Duales Problem und Stützvektoren Lagrange-Dual der : s.t. max α N i=1 N α i 1 N 2 α iα j y i y j φ(x), φ(x ) i=1 α i y i = 0 0 α i C, 1 i N N i=1 j=1 Neues Problem hat nur N Parameter (ist das gut?) Original Gewichte: β = N i=1 α iy i x i Datenpunkte mit α i > 0 heißen Stützvektor (Support-Vector) 12 von 14

41 Duales Problem und Stützvektoren Lagrange-Dual der : s.t. max α N i=1 N α i 1 N 2 α iα j y i y j φ(x), φ(x ) i=1 α i y i = 0 0 α i C, 1 i N N i=1 j=1 Neues Problem hat nur N Parameter (ist das gut?) Original Gewichte: β = N i=1 α iy i x i Datenpunkte mit α i > 0 heißen Stützvektor (Support-Vector) 12 von 14

42 Klassifikation mit Hyperebenen x 2 x 1 12 von 14

43 Kernel Trick Anstatt φ(x) für jeden x auszurechnen, Finde Funktion K, mit K(x, x ) = φ(x), φ(x ) K heißt Kernel oder Kernfunktion φ(x) (und φ(x )) muss nie explizit berechnet werden! φ muss nicht bekannt sein!! K γ,δ,... (x, x ) kann Parameter haben 13 von 14

44 Kernel Trick Anstatt φ(x) für jeden x auszurechnen, Finde Funktion K, mit K(x, x ) = φ(x), φ(x ) K heißt Kernel oder Kernfunktion φ(x) (und φ(x )) muss nie explizit berechnet werden! φ muss nicht bekannt sein!! K γ,δ,... (x, x ) kann Parameter haben 13 von 14

45 Kernfunktionen K Linear (x, x ) = x, x K Poly,k,c (x, x ) = ( x, x + c) k K Gauss,γ (x, x ) = exp ( 1 γ x x 2 2) Graph Kernel (common subgraphs, Bäume, Pfade) String Kernel (gemeinsame Zeichenketten, gemeinsame Parsebäume) 14 von 14