Support Vector Machines und Kernel-Methoden

Transkript

1 Support Vector Machines und Kernel-Methoden Seminar Bernd Bischl und Heike Trautmann Lehrstuhl Computergestützte Statistik Fakultät Statistik TU Dortmund 7. Juli 2010 Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

2 Vorträge [ ] Einführungsvortrag der Dozenten [ ] Einführung und Herleitung der linearen SVM [Burges, 1998, Ben-Hur and Weston, 2010] [ ] Lagrange-Muliplikatoren, Dualität und Constrained Quadratic Programming [Fletcher, 1987, Ruszczynski, 2006, Klein, 2010] [ ] SVM-Training: Optimierungsalgorithmen [Bach et al., 2004, Joachims, 1999, Franc and Sonnenburg, 2009] [ ] Reproducing Kernel Hilbert Spaces und der Kernel-Trick [Wahba, 1990, Schölkopf and Smola, 2002, Shawe-Taylor and Cristianini, 2004] Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

3 [ ] SVMs aus statistischer Sicht [Steinwart, 2002, Steinwart, 2005, Sollich, 1999] [ ] Multiclass Methoden [Allwein et al., 2000, Crammer, 2000, Weston and Watkins, 1998] [ ] One-Class-SVM / Novelty Detection [John et al., 1999] und ein Anwendungspaper [ ] Support Vector Regression [Smola and Schölkopf, 2003] und ein Anwendungspaper [ ] SVMs und Variablenselektion [Guyon et al., 2002, Zhu et al., 2003, Weston et al., 2003] Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

4 [ ] L2-SVMs [Suykens and Vandewalle, 1999, Yoshiaki Koshiba, 2003] [ ] Online-SVMs [Bordes et al., 2005, Glasmachers and Igel, 2008] [???] Primal oder dual? Verlust Sparseness [Chapelle, 2007, Schölkopf and Smola, 2002] [???] Software für SVMs und Kernelmethoden LibSVM, svmlight, Shogun, Shark, Spider [???] Gemeinsame Datenanalyse in R Organisieren und leiten die Dozenten. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

5 Generelle Literatur zum Thema [Schölkopf and Smola, 2002] [Shawe-Taylor and Cristianini, 2004] [Steinwart and Christmann, 2008] Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

6 Scheinkriterien Eigener Vortrag + Leitung der Diskussion Seminarbericht Eigene Recherche von Literatur und kritischer Umgang mit dem Material Aktive mündliche Teilnahme Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

7 Organisation Nächste Vorbesprechung: um 11:45 in 748 Folien müssen vorher vorgelegt werden / ein Treffen zum Besprechen. Dauer des Vortrags: ca 45 min. Berichte werden Ende des Semester abgegeben. Der Bericht sollte Seiten umfassen. Sprache: Englisch oder Deutsch, je nach Wunsch. Es wird dringend (!) geraten Latex für Folien und Berichte zu nutzen. Schön wäre es, sich ein paar Gedanken zur Diskussion zu machen... Wir werden einen Mail-Verteiler und eine Webseite haben. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

8 Referenzen I Allwein, E., Schapire, R., and Singer, Y. (2000). Reducing multiclass to binary: A unifying approach for margin classifiers. Journal of Machine Learning Research, 1: Bach, F., Lanckriet, G., and Jordan, M. (2004). Fast kernel learning using sequential minimal optimization. Technical report. Ben-Hur, A. and Weston, J. (2010). volume 609 of Methods in Molecular Biology, chapter A User s Guide to Support Vector Machines, pages Bordes, A., Ertekin, S., Weston, J., and Bottou, L. (2005). Journal of Machine Learning Research, volume 6, chapter Fast Kernel Classifiers with Online and Active Learning, pages Burges, C. (1998). A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 2: Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

9 Referenzen II Chapelle, O. (2007). Training a support vector machine in the primal. Neural Comput., 19(5): Crammer, K. (2000). On the learnability and design of output codes for multiclass problems. In In Proceedings of the Thirteenth Annual Conference on Computational Learning Theory, pages Fletcher, R. (1987). Practical methods of optimization. Wiley, Chichester. Franc, V. and Sonnenburg, S. (2009). Optimized cutting plane algorithm for large-scale risk minimization. J. Mach. Learn. Res., 10: Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

10 Referenzen III Glasmachers, T. and Igel, C. (2008). Second-order smo improves svm online and active learning. Neural Comput., 20(2): Guyon, I., Weston, J., Barnhill, S., and V., V. (2002). Gene selection for cancer classification using support vector machines. Machine Learning, 46(1-3): Joachims, T. (1999). Making large-scale svm learning practical. Advances in Kernel Methods Support Vector Learning. John, B., Platt, J., Shawe-taylor, J., Smola, A., and Williamson, R. (1999). Estimating the support of a high-dimensional distribution. Neural Computation, 13:2001. Klein, D. (2010). Lagrange multipliers without permanent scarring. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

11 Referenzen IV Ruszczynski, A. (2006). Nonlinear Optimization. Princeton University Press, Princeton, NJ, USA. Schölkopf, B. and Smola, A. (2002). Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, Cambridge, MA, USA. Shawe-Taylor, J. and Cristianini, N. (2004). Kernel Methods for Pattern Analysis. Cambridge University Press, New York, NY, USA. Smola, A. and Schölkopf, B. (2003). A tutorial on support vector regression. Statistics and Computing, 14(3): Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

12 Referenzen V Sollich, P. (1999). Probabilistic methods for support vector machines. In NIPS, pages Steinwart, I. (2002). Support vector machines are universally consistent. Journal of Complexity, 18(3): Steinwart, I. (2005). Consistency of support vector machines and other regularized kernel classifiers. IEEE Transactions of Information Theory, 51(1): Steinwart, I. and Christmann, A. (2008). Support Vector Machines. Springer Publishing Company, Incorporated. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

13 Referenzen VI Suykens, J. and Vandewalle, J. (1999). Least squares support vector machine classifiers. Neural Processing Letters, 9(3): Wahba, G. (1990). Spline Models for Observational Data. Society for Industrial and Applied Mathematics, Philadelphia, Penn. Weston, J., Elisseeff, A., Schölkopf, B., and Tipping, M. (2003). Use of the zero-norm with linear models and kernel methods. Journal of Machine Learning Research, 3: Weston, J. and Watkins, C. (1998). Multi-class support vector machines. Technical report. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14

14 Referenzen VII Yoshiaki Koshiba, S. A. (2003). Comparison of l1 and l2 support vector machines. Proc. of the International Joint Conference on Neural Networks, 3: Zhu, J., Rosset, S., Hastie, T., and Tibshirani, R. (2003). 1-norm support vector machines. In Neural Information Processing Systems, page 16. MIT Press. Trautmann, Bischl (Fakultät Statistik) Support Vector Machines und Kernel-Methoden 7. Juli / 14