Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1
Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen aus Daten extrahieren Planung. Finden des Problems. Was soll gemacht werden? Dafür nötige Daten sammeln. Aufbereitung. Rohdaten (unvollständig, redundant, verschiedene Formate, Einheiten, etc.) werden in eine brauchbare Form gebracht. Modellbildung. Daten werden mit verschiedenen Methoden (Regression, Klassifikation, Clustering, etc.) analysiert. Auswertung. Interpretation und Auswertung der Ergebnisse., SS 2012 2
Warum Data Mining? We are drowning in information and starving for knowledge. (Rutherford D. Roger) The future belongs to the companies and people that turn data into products. (Mike Loukides, O Reilly) Rank 5 in Computerworld s Top IT skills wanted for 2012 Rank 1 in Computerworld s IT skills that employers can t say no to, SS 2012 3
Beispiele (1) Handschrifterkennung (Klassifikation), SS 2012 4
Beispiele (2) Image Segmentation (Clustering), SS 2012 5
Beispiele (3) Ähnliche Gene (Clustering) [Hastie et al.], SS 2012 6
Beispiele (4) Ähnliche Verschiebungen bei Crash (Clustering), SS 2012 7
Themen (1) Überblick Genauere Darstellung der Data Mining Pipeline Beispiele wo Data Mining verwendet wird Einsatz von Data Mining in Industrie Software: Matlab und R Software: Weka Software: RapidMiner Software: Google Prediction API Überblick: Data at Scale Wie große Datenmengen speichern und verwalten? Welcher Einsatzbereich? Hadoop, Cassandra, BigTable,... Aufbereitung von Daten, Pre-Processing, SS 2012 8
Themen (2) Lineare Modelle für Regression Was sind lineare Modelle? Wieso lineare Modelle? Welche? Was ist Regression? Beispiele. Lineare Modelle und Logistische Regression für Klassifikation Klassifikation mit Thresholding Vergleich mit z.b. k-nearest Neighbor Entscheidungsbäume Merkmale in Reihenfolge der Wichtigkeit überprüfen Es entsteht ein Baum, SS 2012 9
Themen (3) Association Rules Finde gemeinsame Belegung von Variablen die möglichst oft in Datenbank auftritt Z.B.: Bier und Windeln werden of zusammen gekauft Clustering Finde Struktur in Daten, kein outcome vorhanden k-means, mixture of gaussians Dichteschätzung Schätzen der Dichte P eines gegebenen Datensatzes X = {x 1,..., x M }. Histogram, Kerndichteschätzer, etc. Reinforcement Learning Das System bekommt sofort Feedback und reagiert darauf Welche Verfahren gibt es? Anwendungsbeispiele?, SS 2012 10
Themen (4) Neuronale Netze I Neuronale Netze II Ensemble Learning Verbinde mehrere verschiedene Algorithmen Gewichte einzelne Antworten entsprechend AdaBoost Kann als Ensemble Methode angesehen werden Verwendet optimale Gewicht (bzgl. exp. loss), SS 2012 11
Themen (5) Hauptkomponentenanalyse Natural Language Processing Latent Semantic Indexing Latent Dirichlet allocation Big Learning Stochastic Gradient Descent Map-Reduce Parallelization Spam Filtering with Naive Bayes Classifier Recommender Systems with Colaborative Filtering Sequential Data, SS 2012 12
Themen (6) Support Vector Machines Classification with Sparse Grids Semi-Supervised Learning Time Series Non-Linear Clustering Non-Linear Dimensionality Reduction (1) (Kernel PCA, ICA) Non-Linear Dimensionality Reduction (2) (Spectral Methods), SS 2012 13
Tipps zur Recherche 1. Google Scholar und Google (filetype:pdf) 2. eaccess Zugriff mit MyTUM Account http://www.ub.tum.de/eaccess#bookmarklet%20f%c3%bcr% 20eAccess Funktioniert für Springer, ACM, IEEE (nicht Computer Society!), etc. 3. Zeitschriften/Proceedings über EZB suchen http://www.ub.tum.de/ejournals 4. Manche Bücher elektronisch über OPAC-Katalog abrufbar ( Volltext Button), SS 2012 14
Organisatorisches Jedem Teilnehmer wird ein Betreuer zugewiesen Vortrag: ca. 20min + Diskussion Ausarbeitung: 5 Seiten (L A T E X) im IEEE Format (Webseite), excl. Quellenangaben. Vortragstermin wird (geblockt) zugeteilt Kein Vortrag vor dem 15. Juni 2012! Webseite: http://www5.in.tum.de/wiki/index.php/proseminar_data_mining_-_summer_12 oder http://www5.in.tum.de Teaching Summer 12 Proseminar - Data Mining, SS 2012 15