Fachgruppe Statistik, Risikoanalyse & Computing. STAT672 Data Mining. Sommersemester Prof. Dr. R. D. Reiß

Transkript

1 Fachgruppe Statistik, Risikoanalyse & Computing STAT672 Data Mining Sommersemester 2007 Prof. Dr. R. D. Reiß

2 Überblick Data Mining Begrifflichkeit Unter Data Mining versteht man die Computergestützte Suche nach Gesetzmäßigkeiten in großen Datenbeständen, wie sie beispielsweise in unternehmensweiten Datenbanken auftreten. Hier besteht ein enger Zusammnenhang zu statistischen Fragestellungen Motivation Data Mining ist in vielen Bereichen (Wirtschaft, Forschung) von wachsender Relevanz: Entstehung riesiger Datenmengen z.b. in Unternehmen, Forschungsprojekten, Verwaltungen oder im Internet Data Mining ermöglicht die automatische Analyse solcher Datenbestände mit Hilfe statistischer Verfahren Ziel: Erkennen von Regeln und Mustern bzw. statistischen Auffälligkeiten Wichtig: Gründliche Vorbereitung der Daten für eine Fehlervermeidung Beispiel: Geschäftsstrategien; Änderung im Verhalten von Kunden oder Kundengruppen Ziel dieser Veranstaltung ist den Studierenden Data Mining Verfahren und deren statistische Hintergründe zu vermitteln, sowie deren Anwendung auf Datensätze (z.b. Finanzdaten, Umweltdaten,...) mit Hilfe der statistischen Software R und Clementine). Software Im Rahmen dieser Veranstaltung wird die freie Software R, sowie die kommerzielle Software Clementine, eingesetzt. R ist eine (open source) Matrix orientierte Programmiersprache mit integrierten mathematischen und statistischen Funktionen sowie Routinen zur Erstellung hochauflösender Graphiken. Externe (Macro-) Bibliotheken sind weltweit vorhanden, so dass praktisch für alle statistischen Verfahren Routinen zur Verfügung stehen. R ist plattformunabhängig und ist frei aus dem Internet verfügbar ( Clementine ist eine Data Mining Software mit graphischer Benutzeroberfläche. Sie wird vertrieben von SPSS und ist in der Wirtschaft weit verbreitet. 2

3 Stichworte Entscheidungsbäume, Diskriminanzanalyse, Bayessche Verfahren, Regression, interaktive Visualisierungen, Ensemble-Methoden, Gewinnung von Assoziationsregeln, Clusteranalyse, statistische Kontrolle der Verfahren, Markov Chain Monte Carlo Methode Vorkenntnisse Grundvorlesungen in Mathematik, Grundkenntnisse in Stochastik, z.b. im Umfang der Stochastik I oder Data Mining I. Lehrpersonal Dozent: Prof. Dr. R. D. Reiß, Raum EN B 214, Tel.: 0271/ , reiss@stat.math.uni-siegen.de Übungsleiter: Msc. Ulf Cormann, Raum EN B 218, Tel.: 0271/ , cormann@stat.math.uni-siegen.de Literatur Online Data mining with R, Luís Torgo ltorgo/dataminingwithr/ An introduction to R online manual CRoss Industry Standard Process for Data Mining Introduction to Data Mining and Knowledge Discovery Literatur The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Trevor HASTIE, Robert TIBSHIRANI,and Jerome FRIEDMAN. New York: Springer-Verlag, ISBN Data mining techniques for marketing, sales and customer relationship management by Michael Berry and Gordon Linoff, 2004, John Wiley. 3

4 Mastering Data Mining: The Art and Science of Customer Relationship Management by Michael J. A. Berry, Gordon S. Linoff, January 2000, John Wiley, ISBN: Exploratory Data Mining and Data Cleaning by Tamraparni Dasu, Theodore Johnson, May Statistics: An Introduction using R by Michael J. Crawley, March 2005, Wiley: ISBN: Introductory Statistics with R by Peter Dalgaard, 2002, Springer. Data mining techniques by M. Hegland (2001), Acta Numerica, Termine Gliederung Vorlesung: Do Uhr EN D 115 Fr Uhr EN D 223 Übungen: Fr Uhr EN B 222 (Cippool) 0. Prolog, interaktive Datenanalyse 1. Assoziationsanalyse, Warenkorbanalyse 2. Regression und neuronale Netze 3. Klassifikation Lernziele 3.1 Naive Bayes Klassifikation 3.2 Klassifikation durch Regression und neuronale Netze 3.3 Diskriminanzanalyse: Bayes scher Ansatz 3.4 Entscheidungsbäume, CART Am Ende dieser Veranstaltung verfügen die Studierenden über Verständnis der Prinzipien und Konzepte des Data Mining, die Fähigkeit zur Zusammenfassung und visueller Darstellung von Daten, Verständnis der wesentlichen Methoden des Data Mining, sowie die Fähigkeit diese umzusetzen 4

5 Softskills Zusätzlich zur fachlichen Ausbildung soll diese Veranstaltung den Studierenden die Möglichkeit zum Erwerb bzw. zur Verbesserung von Softskills bieten. Trainieren von Teamarbeit, Gelegenheit zur Übung von Vorträgen, Fähigkeit verschiedene Software zur Problemlösung einzusetzen Prüfungsmodalitäten Ein Schein kann erworben werden, indem in den begleitenden Computerübungen die in der Vorlesung eingeführten Data Mining Verfahren in ein R Programm umgesetzt werden. Studierende des Master Studiengangs Mathematik können nach Erwerb der Scheine in den Veranstaltungen Data Mining und Statistical Computing im Anschluß eine mündliche Fachprüfung im Modul Computational Statistics ablegen. 5