Lineare Klassifikatoren III

Transkript

1 Uiversität Potsdam Istitut für Iformatik Lehrstuhl Maschielles Lere Lieare Klassifikatore III Christoph Sawade, Blaie Nelso, Tobias Scheffer

2 Ihalt Klassifikatiosproblem Bayes sche Klasseetscheidug MAP-Modell Logistische Regressio Empirische Risikomiimierug Kerel Perzeptro, Support Vector Machie Ridge Regressio, LASSO Represeter Theorem Duales Perzeptro, Duale SVM Mercer Map Lere mit strukturierter Ei- ud Ausgabe Taxoomie, Sequeze, Rakig, Maschielles Lere Dekoder, Schittebeealgorithmus 2

3 Review: Lieare Klassifikatio Lieare Klassifikatore: Biäre Klassifikator f θ x = φ x T θ + b Multi-Klasse Klassifikator f θ x, y = φ x T θ y + b y Viele Lerverfahre miimiere Summe eier Verlustfuktioe über die Traiigsdate plus Regularisierer. argmi θ l f θ x i, y i + c Ω θ Wahl der Verlust & Regularisierer gibt verschiedee Verfahre Logistische Regressio, Perzeptro, SVM Maschielles Lere 3

4 Review: Feature Mappigs Alle lieare Verfahre köe als icht-lieare mittels Mappig-Fuktio φ gemacht werde. Bessere Treug ist im Merkmalsraum möglich. Maschielles Lere φ x 1, x 2 = x 1 x 2, x 1 2, x 2 2 Hyperebee im Merkmalsraum etspricht eier ichtlieare Fläche i Origialraum 4

5 Duale Form liearer Modelle Feature Mappig φ x ka hochdimesioal sei Azahl zu schätzeder Parameter θ hägt vo φ ab. Berechug vo φ x ist teuer. Wir müsse φ für jede Traiigbespiel x i ud für jede Vorhersage x bereche. Dies verursacht hohe Reche & Speicheraforderuge. Maschielles Lere Wie köe wir lieare Verfahre apasse, um effiziet mit eier hohe dimesioale φ zu sei? 5

6 Duale Form liearer Modelle Represeter Theorem: We g streg mooto steiged ist, hat das Argumet θ, das L θ = l f θ x i, y i + g f θ 2 miimiert, die Form θ = α i φ x i,, mit α i R. Maschielles Lere f θ x = α i φ x i T φ x Ieres Produkt ist Maß für Ählichlichkeit zwische Beispiele Allgemei ka θ jeder Vektor i Φ sei, aber wir zeige, er muss i der Spaweite der Date sei. 6

7 Represeter Theorem: Beweis Orthogoale Zerlegug: L θ = l f θ x i, y i θ = θ + θ, mit θ Θ = α i φ x i α i R ud θ Θ = θ Θ θ T θ = 0 θ Θ + g f θ 2 Maschielles Lere 7

8 Represeter Theorem: Beweis Orthogoale Zerlegug: L θ = l f θ x i, y i θ = θ + θ, mit θ Θ = α i φ x i α i R ud θ Θ = θ Θ θ T θ = 0 θ Θ Für alle x i gilt da f θ x i = θ T φ x i + θ T φ x i = θ T φ x i + g f θ 2 Maschielles Lere 8

9 Represeter Theorem: Beweis Orthogoale Zerlegug: θ = θ + θ, mit θ Θ = α i φ x i α i R ud θ Θ = θ Θ θ T θ = 0 θ Θ Für alle x i gilt da f θ x i = θ T φ x i + θ T φ x i = θ T φ x i Wie ist θ T φ x i = 0? Somit ist l f θ x i, y i uabhägig vo θ. Da g θ 2 g θ 2, muss θ = 0. L θ = l f θ x i, y i + g f θ 2 Maschielles Lere g θ 2 = g θ + θ 2 = g θ θ 2 2 g θ 2 Da θ T θ = 0 (Satz des Pythagoras) Da g streg mooto wachsed. 9

10 Represeter Theorem Gegebe T = x 1, y 1,, x, y ud Abbildug φ x, baue wir Treebee f θ x = θ T φ x mit Parameter θ. + Die Treebee θ, die L θ = l f θ x i, y i g f θ 2 miimiert, lässt sich repräsetiere als f θ x = θ T φ x = f α x = α i φ x i T φ x Primale Sicht: f θ x = θ T φ x Hypothese θ hat so viele Parameter wie φ x Dimesioe hat. Duale Sicht: f α x = α i φ x i T φ x Hypothese hat so viele Parameter α i wie Beispiele existiere. 10 Maschielles Lere

11 Represeter Theorem Primale Sicht: f θ x = θ T φ x Hypothese θ hat so viele Parameter wie φ x Dimesioe hat. Gut für viele Beispiele, weige Attribute. Maschielles Lere Duale Sicht: f α x = α i φ x T i φ x Hypothese hat so viele Parameter α i wie Beispiele existiere. Gut für weige Beispiele, viele Dimesioe. Repräsetatio φ x ka uedlich viele Dimesioe habe, solage iere Produkt effiziet berechet werde ka: Kerelfuktioe. 11

12 Duale Form liearer Modelle Ei Parametervektor θ, der eie regularisierte Verlustfuktio miimiert, ist immer eie Liearkombiatio der Beispiele: θ = α i φ x i Die duale Form α hat so viele Parameter α i, wie es Traiigsbeispiele gibt. Duale Etscheidugsfuktio: f α x = α i φ x T i φ x. Die primale Form θ hat so viele Parameter θ i, wie φ x Dimetioe hat. Primale Etscheidugsfuktio: f θ x = θ T φ x Die duale Form ist vorteilhaft, we es weige Beispiele ud viele Attribute gibt. Maschielles Lere 12

13 Maschielles Lere DUALES PERZEPTRON 13

14 Duales Perzeptro Perzeptro-Klassifikatio: f θ x i = θ T φ x i Perzeptro: für alle Beispiele muss gelte y i f θ x i > 0 = Beispiel liegt auf der richtige Seite der Ebee Maschielles Lere Update-Schritt : θ = θ + y i φ x i 14

15 Duales Perzeptro Perzeptro-Klassifikatio: f θ x i = θ T φ x i T f α x i = j=1 α j φ x j φ xi Perzeptro: für alle Beispiele muss gelte T y i f θ x i > 0 y i j=1 α j φ x j φ xi > 0 = Beispiel liegt auf der richtige Seite der Ebee Maschielles Lere Update-Schritt : θ = θ + y i φ x i 15

16 Duales Perzeptro Perzeptro-Klassifikatio: f θ x i = θ T φ x i T f α x i = j=1 α j φ x j φ xi Perzeptro: für alle Beispiele muss gelte T y i f θ x i > 0 y i j=1 α j φ x j φ xi > 0 = Beispiel liegt auf der richtige Seite der Ebee Maschielles Lere Update-Schritt : θ = θ + y i φ x i α ew j=1 j φ x j = j=1 α old j φ x j α ew i φ x i = α old i φ x i + y i φ x i α ew i = α old i + y i + y i φ x i 16

17 Dualer Perzeptro-Algorithmus Perzeptro(Istaze x i, y i ) Setze α = 0 DO FOR i = 1,, IF y i f α x i 0 Maschielles Lere THEN α i = α i + y i END WHILE α verädert RETURN α Etscheidugsfuktio: f α x = α i φ x i T φ x 17

18 Duales Perzeptro Perzeptro-Verlust, kei Regularisierer Duale Form der Etscheidugsfuktio: f α x = α i φ x T i φ x Duale Form der Updateregel: Maschielles Lere We y i f α x i 0, da α i = α i + y i Äquivalet zur primale Form des Perzeptros Vorteilhafter als primales Perzeptro, we weige Beispiele vorliege ud φ x viele Dimesioe hat. 18

19 Maschielles Lere DUALE SUPPORT VECTOR MACHINE 19

20 Duale Support Vector Machie + 1 2λ θt θ Primal: mi max 0,1 y i φ x T i θ θ Äquivaletes Optimierugsproblem mit Nebebediguge: mi θ,ξ λ ξ i θt θ such that y i φ x i T θ 1 ξ i ad ξ i 0 Maschielles Lere Ziel: duale Formulierug des Optimierugsproblems 20

21 Duale Support Vector Machie Optimierugsproblem mit Nebebediguge: mi θ,ξ λ ξ i θt θ such that y i φ x i T θ 1 ξ i ad ξ i 0 Zielfuktio: Z( θξ, ) Nebebedigug: g( θξ, ) 0 Lagragefuktio: Z( θ, ξ) g( θ, ξ) Maschielles Lere Lagragefuktio mit Lagrage-Multiplikatore β 0 ud β 0 0 für Nebebediguge: L θ, ξ, β, β 0 = λ ξ i + θt θ 2 β i y i φ x T i θ 1 + ξ i Optimierugsproblem ohe Nebebediguge: mi max L θ, ξ, β, β0 θ,ξ β,β0 β i 0 ξ i 21

22 Duale Support Vector Machie Lagragefuktio: L θ, ξ, β, β 0 = λ ξ i + θt θ 2 β i y i φ x T i θ 1 + ξ i Da kovex i θ, ξ gilt starker Dualitätssatz: β i 0 ξ i Maschielles Lere mi θ,ξ max L θ, ξ, β, β0 β,β0 max mi L θ, ξ, β, β,β 0 β0 θ,ξ ( θξ, ) Miimum: Ableituge vo L ach, ull setze: L θ, ξ, β, θ β0 = 0 θ = β i y i ξ i L θ, ξ, β, β 0 = 0 λ = β i + β i 0 α i φ x i Relatio zwische primale ud duale Parameter, Represeter 22 Theorem.

23 Duale Support Vector Machie Nullstelle der Ableitug i Lagrage-Fuktio eisetze: L θ, ξ, β, β 0 = 1 2 θ T θ β i y i φ x i T θ 1 + ξ i β i 0 ξ i + λ ξ i θ = λ = β i + β i 0 β i y i φ x i Maschielles Lere 23

24 Duale Support Vector Machie Nullstelle der Ableitug i Lagrage-Fuktio eisetze: L θ, ξ, β, β 0 = 1 2 T β i y i φ x i β j y j φ x j j=1 β i y i φ x T i β j y j φ x j 1 + ξ i j=1 θ = β i 0 ξ i λ = β i + β i 0 β i y i φ x i + λ ξ i Maschielles Lere 24

25 Duale Support Vector Machie Nullstelle der Ableitug i Lagrage-Fuktio eisetze: L θ, ξ, β, β 0 = 1 2 T β i y i φ x i β j y j φ x j j=1 β i y i φ x T i β j y j φ x j 1 + ξ i j=1 θ = β i 0 ξ i λ = β i + β i 0 β i y i φ x i + λ ξ i Maschielles Lere = 1 2 β i β j y i y j φ x i T φ x j i,j=1 β i β j y i y j φ x i T φ x j + β i β i + β i 0 ξ i + λ ξ i i,j=1 =λ 25

26 Duale Support Vector Machie Nullstelle der Ableitug i Lagrage-Fuktio eisetze: L θ, ξ, β, β 0 = 1 2 T β i y i φ x i β j y j φ x j j=1 β i y i φ x T i β j y j φ x j 1 + ξ i j=1 θ = β i 0 ξ i λ = β i + β i 0 β i y i φ x i + λ ξ i Maschielles Lere = 1 β 2 i β j y i y j φ x T i φ x j i,j=1 β i β j y i y j φ x T 0 i φ x j + β i β i + β i i,j=1 1 = β i 2 =λ i,j=1 β i β j y i y j φ x i T φ x j ξ i + λ ξ i 26

27 Duale Support Vector Machie Nullstelle der Ableitug i Lagrage-Fuktio eisetze: 1 L β = β i 2 i,j=1 β i β j y i y j φ x i θ = T φ x j Da β 0 0 folgt aus 1λ = β + β 0, dass 0 β i λ. λ = β i + β i 0 β i y i φ x i Maschielles Lere Optimierugskriterium der duale SVM: L1- Regularisierug vo β (sparse) max β such that 0 β i λ 1 β i 2 i,j=1 β i β j y i y j φ x i T φ x j Groß, we β i, β j > 0 für ähliche Beispiele mit uterschiedlicher Klasse. 27

28 Duale Support Vector Machie λ = β i + β i 0 Optimierugskriterium der duale SVM: max β 1 β i 2 i,j=1 such that 0 β i λ β i β j y i y j φ x i T φ x j Lagrage-Multiplikator ist größer Null, geau da we die zugehörige Nebebedigug mit Gleichheit erfüllt ist. β i = 0 β i 0 = λ: es gilt y i φ x i T θ > 1 ξ i & ξ i = 0. (Abstad zur Treebee ist größer als Margi) β i = λ β i 0 = 0: es gilt y i φ x i T θ = 1 ξ i & ξ i > 0. (Beispiel verletzt de Margi) 0 < β i < λ: es gilt y i φ x i T θ = 1 ξ i & ξ i = 0. (Beispiel liegt auf dem Margi) β i : y i φ x i T θ 1 ξ i β i 0 : ξ i 0 28 Maschielles Lere

29 Duale Support Vector Machie Lagrage-Multiplikator ist größer Null, geau da we die zugehörige Nebebedigug mit Gleichheit erfüllt ist. β i = 0 β i 0 = λ: es gilt y i φ x i T θ > 1 ξ i & ξ i = 0. (Abstad zur Treebee ist größer als Margi) Maschielles Lere 29

30 Duale Support Vector Machie Lagrage-Multiplikator ist größer Null, geau da we die zugehörige Nebebedigug mit Gleichheit erfüllt ist. β i = λ β i 0 = 0: es gilt y i φ x i T θ = 1 ξ i & ξ i > 0. (Beispiel verletzt de Margi) Maschielles Lere 30

31 Duale Support Vector Machie Lagrage-Multiplikator ist größer Null, geau da we die zugehörige Nebebedigug mit Gleichheit erfüllt ist. 0 < β i < λ: es gilt y i φ x i T θ = 1 ξ i & ξ i = 0. (Beispiel liegt auf dem Margi) Maschielles Lere 31

32 Duale Support Vector Machie Optimierugskriterium der duale SVM: max β 1 β i 2 i,j=1 such that 0 β i λ β i β j y i y j φ x i T φ x j Maschielles Lere Optimierug über Parameter β. Lösug mit QP-Solver i O 2. Sparse Lösug. Beispiele tauche ur als iere Produkte auf. 32

33 Duale Support Vector Machie Primales ud duales Optimierugsproblem habe dieselbe Lösug. θ = x i SV β i y i φ x i Duale Form der Etscheidugsfuktio: Support-Vektore: β i > 0 Maschielles Lere f β x = β i y i φ x i T φ x Primale SVM: x i SV Lösug ist Vektor θ im Raum der Attribute. Duale SVM: Gleiche Lösug repräsetiert als Gewichte β i der Beispiele. 33

34 Duale Support Vector Machie Hige Loss, L2-Regularisierug Duale Form der Etscheidugsfuktio: f β x = β i y i φ x i T φ x x i SV Duale Form des Optimierugsproblems max β β i 1 2 i,j=1 such that β i β j y i y j φ x i 0 β i λ T φ x j Primale ud duale Optimierugsprobleme habe idetische Lösug, aber primale bzw. duale Form Vorteilhafter als primale SVM, we weige Beispiele vorliege ud φ x viele Dimesioe hat. Maschielles Lere 34

35 Kerel Support Vector Machie Optimierugskriterium der Kerel-SVM: max β such that 1 β i 2 Etscheidugsfuktio: i,j=1 0 β i λ β i β j y i y j k x i, x j Ieres Produkt Fuktio Maschielles Lere f β x = β i y i k x i, x x i SV Beispiele tauche ur i Kerel-Fuktio k x i, x j auf. Feature Mappig φ taucht icht mehr i Optimierugsproblem oder Etscheidugsfuktio auf 35

36 Maschielles Lere KERNELS 36

37 Kerel Feature Mappig φ x ka hochdimesioal sei Azahl zu schätzeder Parameter θ hägt vo φ ab. Berechug vo φ x teuer. Bisher: φ x gegebe, φ x T φ x misst Ählichkeit zwische Beispiele. Viele Verfahre köe umgeformt werde, so dass Beispiele ur als iere Produkte auftauche. Idee: Ersetze ieres Produkt durch beliebiges Ählichkeitsmaß k x, x = φ x T φ x ud mappe Beispiele ur implizit. Für welche Fuktioe k existiert ei Mappig φ x, so dass k ieres Produkt darstellt? 37 Maschielles Lere

38 Kere: Motivatio Köte k x, x jede Ählichkeit Fuktio sei? k muss ei ieres Produkt i irgedeier Merkmalsraum sei sost, verliere wir Bedeutug & Kovexität. Optimierugskriterium des Kerel SVM : max 0 β λ 1 β i 2 i,j=1 β i β j y i y j k x i, x j max 0 β λ 1T β 1 2 y β T K y β K ij = k x i, x j Maschielles Lere Diese Optimierug ist kovex (mit eier eideutige Lösug), we K positiv semi-defiit (ichtegativ Eigewerte) ist. 38

39 Wiederholug: Positive Defiitheit Eie Matrix K heißt positiv semi-defiit, we x x T Kx 0 für alle x gilt. Sie heißt positiv defiit, we die Gleichheit ur für x = 0 gilt. Maschielles Lere Eie Fuktio k heißt positiv semi-defiit, we z x k x, x z x dxdx 0 für alle kotiuierliche Fuktioe z gilt. 39

40 Wiederholug: Positive Defiitheit Eie Matrix K heißt positiv semi-defiit, we x x T Kx 0 Beispiel: Kovariaz-Matrix Σ 1 N x; μ, Σ = 2π m Σ e 1 2 x μ T Σ 1 x μ Positiv defiite Matrize sid ivertierbar ud die Iverse ist auch positive defiit. 3 Maschielles Lere 2 1 x x

41 Wiederholug: Positive Defiitheit Eie Matrix K heißt positiv semi-defiit, we x x T Kx 0 Beispiel: Kovariaz-Matrix Σ 1 N x; μ, Σ = 2π m Σ e Positive Defiitheit impliziert Norm x = x T Σ 1 x 1 2 x μ T Σ 1 x μ 3 Maschielles Lere 2 1 x x

42 Wiederholug: Positive Defiitheit Eie Matrix K heißt positiv semi-defiit, we x x T Kx 0 Beispiel: Kovariaz-Matrix Σ 1 N x; μ, Σ = 2π m Σ e Positive Defiitheit impliziert Norm x = x T Σ 1 x Mahalaobis-Distaz: d x, x = x x T Σ 1 x x 1 2 x μ T Σ 1 x μ x Maschielles Lere x

43 Kere Theorem: Für jede positiv defiite Fuktio k existiert eie Abbildug φ x, so dass k x, x = φ x T φ x für alle x ud x gilt. Maschielles Lere Abbildug icht eideutig. Beispiel φ 1 x = x ud φ 2 x = x : es gilt: φ 1 x T φ 1 x = x T x = x T x = φ 2 x T φ 2 x Gram-Matrix oder Kerel-Matrix K; mit K ij = k x i, x j Matrix der iere Produkte = Ählichkeite zwische Beispiele, -Matrix. k x, x ist PSD we K ei PSD Matrix für jeder Traiigsdate wäre. 43

44 Kere Für jede positiv defiite Fuktio k existiert eie Abbildug φ x, so dass k x, x = φ x T φ x für alle x ud x gilt. Maschielles Lere Kostruktive Beweise: Reproducig Kerel Hilbert Space (RKHS). Idee: Defiiere Mappig als Fuktio φ x = k x,. Defiiere ieres Produkt, zwische Fuktioe Zeige k x, x = k x,, k x,. Mercer Mappig. Idee: Zerlegug vo k i ihre Eigefuktioe. Für Praxis relevat: edlicher Fall. 44

45 Maschielles Lere MERCER MAP 45

46 Mercer Map Eigewertzerlegug: Jede symmetrische Matrix K lässt sich i ihre Eigevektore u i ud Eigewerte λ i zerlege: K = UΛU 1, with Λ = λ 1 0 & U = 0 λ u 1 u Maschielles Lere We K positiv semi-defiit, da sid λ i R 0+ Da Eigevektore orthoormal (u i T u i = 1 ud u i T u j = 0), ist U orthogoal: U T = U 1. 46

47 Mercer Map Somit gilt: Eigewertzerlegug K = UΛU T = UΛ 1/2 Λ 1/2 U T = UΛ 1/2 UΛ 1/2 T Diagoalmatrix mit λ i Maschielles Lere Feature Mappig ka für Traiigsdate ka da defiiert werde als φ x 1 φ x = UΛ 1/2 T 47

48 Mercer Map Feature Mappig ka für Traiigsdate ka da defiiert werde als φ x 1 φ x = UΛ 1/2 T Kerelmatrix zwische Traiigs- ud Testdate K test = Φ X trai T Φ X test = UΛ 1/2 Φ X test Umstelle ergibt Mappig der Testdate Maschielles Lere Φ X test = UΛ 1/2 1 K test Φ X test = Λ 1/2 U T K test U T = U 1 48

49 Mercer Map Nützlich, we für ei Lerproblem eie Kerelfuktio gegebe ist, aber das Lere im Primale erfolge soll. Maschielles Lere Zum Beispiel we die Kerelmatrix zu groß wird (quadratischer Speicherverbrauch!) Besser motiviere! 49

50 Kerel-Fuktioe Polyomielle Kerels: k poly x i, x j = x i T x j + 1 p Radiale Basisfuktio: k RBF x i, x j = e γ x i x j 2 Sigmoide Kerels, Strig-Kerels (z.b. zum Klassifiziere vo Gesequeze). Graph-Kerels zum Lere mit strukturierte Istaze. Maschielles Lere Weitere Literatur: B.Schölkopf, A.J.Smola: Learig with Kerels

51 Polyomielle Kerel Kerel: k poly x i, x j = x T i x j + 1 p Welcher Trasformatio φ etspricht das? Beispiel: 2-D Origialraum, p = 2. Maschielles Lere 51

52 Polyomielle Kerel Kerel: k poly x i, x j = x i T x j + 1 p, 2D-Eigabe, p = 2. k poly x i, x j = x i T x j = x i1 x i2 x j1 x j = x i1 x j1 + x i2 x j Maschielles Lere 52

53 Polyomielle Kerel Kerel: k poly x i, x j = x i T x j + 1 p, 2D-Eigabe, p = 2. k poly x i, x j = x i T x j = x i1 x i2 x j1 x j2 + 1 = x 2 i1 x 2 j1 + x 2 i2 x j2 2 = x i1 x j1 + x i2 x j x i1 x j1 x i2 x j2 + 2x i1 x j1 + 2x i2 x j x j1 2 x j2 Maschielles Lere = 2 x i1 2 x i2 2x i1 x i2 2x i1 2x i2 1 φ x i T Alle Polyome 2. Grades über Eigabeattribute 2x j1 x j2 2x j1 2x j2 1 φ x j 53

54 Polyomielle Kerel Kerel: k poly x i, x j = x i T x j + 1 p, 2D-Eigabe, p = 2. k poly x i, x j = x i T x j = x i1 x i2 x j1 x j2 + 1 = x 2 i1 x 2 j1 + x 2 i2 x j2 2 = x i1 x j1 + x i2 x j x i1 x j1 x i2 x j2 + 2x i1 x j1 + 2x i2 x j x j1 2 x j2 Maschielles Lere = 2 x i1 2 x i2 2x i1 x i2 2x i1 2x i2 1 φ x i T Alle Polyome 2. Grades über Eigabeattribute = x i x i 2x i 1 T x j x j 2x j 1 2x j1 x j2 2x j1 2x j2 1 φ x j 54

55 RBF-Kerel Kerel: k RBF x i, x j = exp γ x i x j 2 Welcher Trasformatio φ etspricht das? Maschielles Lere 55

56 Kerel Kerfuktio k x, x = φ x T φ x berechet Produkt der Feature Mappigs zweier Istaze Ka oft ohe explizite Repräsetatio der φ x berechet werde Beispiel: polyomielle Kere: k poly x i, x j = x i T x j + 1 p Uedlich-dimesioale Feature Mappigs möglich Beispiel: RBF-Kere: k RBF x i, x j = e γ x i x j 2 Für jede positiv-defiite Ker-Fuktio gibt es ei Feature Mappig φ x so dass k x, x = φ x T φ x. Für gegebee Kerel-Matrix liefert die Mercer Map ei Feature Mappig. Maschielles Lere 56

57 Zusammefassug Represeter Theorem: f θ x = α i φ x T i φ x Beispiele ur durch iere Produkte iteragiere Kerel Perzeptro Kerel SVM Perzeptro(Istaze x i, y i ) Setze α = 0 DO FOR i = 1,, END IF y i f α x i 0 THEN α i = α i + y i WHILE α verädert RETURN α max β Kerel-Fuktioe: jeder positiv semi-defiit Fuktio k x, x ist ei ieres Produkt für eiige Merkmalsraum. lieares Modell: f θ x = α i k x i, x Feature Mappig ist implizit. such that β i 1 2 i,j=1 0 β i λ β i β j y i y j k x i, x j f β x = β i y i k x i, x x i SV 57 Maschielles Lere

58 Frohe Weihachte & Eie Gute Rutsch Maschielles Lere Nächstes Mal: Kere für strukturierte Date & Lere für strukturierte Ausgäge 58