Support Vector Machines und Kernel-Methoden Seminar Bernd Bischl und Heike Trautmann Lehrstuhl Computergestützte Statistik Fakultät Statistik TU Dortmund 7. Juli 2010 Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 1 / 14
Vorträge [15.10.2010] Einführungsvortrag der Dozenten [29.10.2010] Einführung und Herleitung der linearen SVM [Burges, 1998, Ben-Hur and Weston, 2010] [05.11.2010] Lagrange-Muliplikatoren, Dualität und Constrained Quadratic Programming [Fletcher, 1987, Ruszczynski, 2006, Klein, 2010] [12.11.2010] SVM-Training: Optimierungsalgorithmen [Bach et al., 2004, Joachims, 1999, Franc and Sonnenburg, 2009] [19.11.2010] Reproducing Kernel Hilbert Spaces und der Kernel-Trick [Wahba, 1990, Schölkopf and Smola, 2002, Shawe-Taylor and Cristianini, 2004] Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 2 / 14
[26.11.2010] SVMs aus statistischer Sicht [Steinwart, 2002, Steinwart, 2005, Sollich, 1999] [10.12.2010] Multiclass Methoden [Allwein et al., 2000, Crammer, 2000, Weston and Watkins, 1998] [17.12.2010] One-Class-SVM / Novelty Detection [John et al., 1999] und ein Anwendungspaper [14.01.2011] Support Vector Regression [Smola and Schölkopf, 2003] und ein Anwendungspaper [21.01.2011] SVMs und Variablenselektion [Guyon et al., 2002, Zhu et al., 2003, Weston et al., 2003] Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 3 / 14
[28.01.2011] L2-SVMs [Suykens and Vandewalle, 1999, Yoshiaki Koshiba, 2003] [04.02.2011] Online-SVMs [Bordes et al., 2005, Glasmachers and Igel, 2008] [???] Primal oder dual? Verlust Sparseness [Chapelle, 2007, Schölkopf and Smola, 2002] [???] Software für SVMs und Kernelmethoden LibSVM, svmlight, Shogun, Shark, Spider [???] Gemeinsame Datenanalyse in R Organisieren und leiten die Dozenten. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 4 / 14
Generelle Literatur zum Thema [Schölkopf and Smola, 2002] [Shawe-Taylor and Cristianini, 2004] [Steinwart and Christmann, 2008] Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 5 / 14
Scheinkriterien Eigener Vortrag + Leitung der Diskussion Seminarbericht Eigene Recherche von Literatur und kritischer Umgang mit dem Material Aktive mündliche Teilnahme Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 6 / 14
Organisation Nächste Vorbesprechung: 15.7. um 11:45 in 748 Folien müssen vorher vorgelegt werden / ein Treffen zum Besprechen. Dauer des Vortrags: ca 45 min. Berichte werden Ende des Semester abgegeben. Der Bericht sollte 20-30 Seiten umfassen. Sprache: Englisch oder Deutsch, je nach Wunsch. Es wird dringend (!) geraten Latex für Folien und Berichte zu nutzen. Schön wäre es, sich ein paar Gedanken zur Diskussion zu machen... Wir werden einen Mail-Verteiler und eine Webseite haben. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 7 / 14
Referenzen I Allwein, E., Schapire, R., and Singer, Y. (2000). Reducing multiclass to binary: A unifying approach for margin classifiers. Journal of Machine Learning Research, 1:113 141. Bach, F., Lanckriet, G., and Jordan, M. (2004). Fast kernel learning using sequential minimal optimization. Technical report. Ben-Hur, A. and Weston, J. (2010). volume 609 of Methods in Molecular Biology, chapter A User s Guide to Support Vector Machines, pages 223 239. Bordes, A., Ertekin, S., Weston, J., and Bottou, L. (2005). Journal of Machine Learning Research, volume 6, chapter Fast Kernel Classifiers with Online and Active Learning, pages 1579 1619. Burges, C. (1998). A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 2:121 167. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 8 / 14
Referenzen II Chapelle, O. (2007). Training a support vector machine in the primal. Neural Comput., 19(5):1155 1178. Crammer, K. (2000). On the learnability and design of output codes for multiclass problems. In In Proceedings of the Thirteenth Annual Conference on Computational Learning Theory, pages 35 46. Fletcher, R. (1987). Practical methods of optimization. Wiley, Chichester. Franc, V. and Sonnenburg, S. (2009). Optimized cutting plane algorithm for large-scale risk minimization. J. Mach. Learn. Res., 10:2157 2192. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 9 / 14
Referenzen III Glasmachers, T. and Igel, C. (2008). Second-order smo improves svm online and active learning. Neural Comput., 20(2):374 382. Guyon, I., Weston, J., Barnhill, S., and V., V. (2002). Gene selection for cancer classification using support vector machines. Machine Learning, 46(1-3):389 422. Joachims, T. (1999). Making large-scale svm learning practical. Advances in Kernel Methods Support Vector Learning. John, B., Platt, J., Shawe-taylor, J., Smola, A., and Williamson, R. (1999). Estimating the support of a high-dimensional distribution. Neural Computation, 13:2001. Klein, D. (2010). Lagrange multipliers without permanent scarring. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 10 / 14
Referenzen IV Ruszczynski, A. (2006). Nonlinear Optimization. Princeton University Press, Princeton, NJ, USA. Schölkopf, B. and Smola, A. (2002). Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, Cambridge, MA, USA. Shawe-Taylor, J. and Cristianini, N. (2004). Kernel Methods for Pattern Analysis. Cambridge University Press, New York, NY, USA. Smola, A. and Schölkopf, B. (2003). A tutorial on support vector regression. Statistics and Computing, 14(3):199 222. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 11 / 14
Referenzen V Sollich, P. (1999). Probabilistic methods for support vector machines. In NIPS, pages 349 355. Steinwart, I. (2002). Support vector machines are universally consistent. Journal of Complexity, 18(3):768 791. Steinwart, I. (2005). Consistency of support vector machines and other regularized kernel classifiers. IEEE Transactions of Information Theory, 51(1):128 142. Steinwart, I. and Christmann, A. (2008). Support Vector Machines. Springer Publishing Company, Incorporated. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 12 / 14
Referenzen VI Suykens, J. and Vandewalle, J. (1999). Least squares support vector machine classifiers. Neural Processing Letters, 9(3):293 300. Wahba, G. (1990). Spline Models for Observational Data. Society for Industrial and Applied Mathematics, Philadelphia, Penn. Weston, J., Elisseeff, A., Schölkopf, B., and Tipping, M. (2003). Use of the zero-norm with linear models and kernel methods. Journal of Machine Learning Research, 3:1439 1461. Weston, J. and Watkins, C. (1998). Multi-class support vector machines. Technical report. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 13 / 14
Referenzen VII Yoshiaki Koshiba, S. A. (2003). Comparison of l1 and l2 support vector machines. Proc. of the International Joint Conference on Neural Networks, 3:2054 2059. Zhu, J., Rosset, S., Hastie, T., and Tibshirani, R. (2003). 1-norm support vector machines. In Neural Information Processing Systems, page 16. MIT Press. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli 2010 14 / 14