Vorlesung. Data und Web Mining. Kurzinformation zur. Univ.-Prof. Dr. Ralph Bergmann. Lehrstuhl für Wirtschaftsinformatik II

Transkript

1 Kurzinformation zur Vorlesung Data und Web Mining Univ.-Prof. Dr. Ralph Bergmann - I - 1 -

2 Die Ausgangssituation (1) Unternehmen und Organisationen haben enorme Datenmengen angesammelt Operative Daten aus unterschiedlichen Abteilungen / Funktionsbereichen des Unternehmens Daten in der Regel sehr heterogen Datenqualität ist unterschiedlich, z.t. problematisch sehr großes Datenvolumen häufig zeitliche Verläufe Unternehmensdaten enthalten Wissen, jedoch aufgrund der hohen Komplexität häufig nur indirekt und verborgen: Viele Datenbankrelationen mit vielen Attributen I.d.R. fehlt die Gesamtübersicht über alle Datenbestände Probleme mit Zugriffsrechten auf die Daten Probleme mit der Interpretation der Inhalte Zum Teil integrierte Daten in Data Warehouses vorhanden - I - 2 -

3 Die Ausgangssituation (2) Aufgrund des großen Volumens und der großen Zahl von Abhängigkeiten ist eine Analyse der Daten sehr problematisch. Klassische Aufgabe des Knowledge Discovery in Databases (KDD) seit den 90er Jahren Wie bekommt man in solchen Szenarien einen Überblick über die Zusammenhänge Wie entdeckt man neues, bisher unbekanntes aber entscheidungsrelevantes Wissen aus den Daten Erfordert intensive Datenanalyse ( Data Mining) - I - 3 -

4 Die Ausgangssituation (3) Heute spielen weitere Datenquellen eine große Rolle Datenbestände im World Wide Web Unternehmens- und Produktinformationen (z.b. von Konkurrenten) Kundeneinschätzungen, z.b. in produktbezogenen Foren Nachrichten und Daten, z.b. zu Finanz- und Wirtschaftsereignissen Inhalte z.b. aus sozialen Netzwerken, Blogs, Foren Benutzerinteraktionsdaten Webserver Logs (Surfverhalten der Nutzer) Suchanfragen Benutzerprofile Kaufverhalten Führt zur Ausweitung des Data Mining hin zum Web Mining - I - 4 -

5 Die Ausgangssituation (4) Durch mobile Geräte (z.b. Smartphones) und sonstige Sensoren erfasste Daten geographische Positionen, Bewegungsdaten Produkt- und Produktumfelddaten während des gesamten Lebenszyklus eines Produktes wissenschaftliche Daten (z.b. seismische oder meteorologische Daten) medizinische Patientendaten und Fitnessdaten (z.b. Quantified Self) Neue Chancen durch/für Data Mining Verfügbarkeit großer Datenmengen ( Big Data ) für Data Mining Nutzen Nutzung gestiegener Rechenleistung und paralleler Architekturen neue Anwendungsgebiete (z.b. in Medizin, Service, Wissenschaft, Computer Spiele) Neue Anforderungen an Data Mining unstrukturierten Daten, fehlerhaften und verrauschten Daten, schnelle Datenströmen, Bild und Videodaten, großen Datenvolumina - I - 5 -

6 Data Mining Verfahren Gebiet hat sich aus einer Vielzahl von Disziplinen entwickelt: Maschinelles Lernen, Künstliche Intelligenz Wissensbasierte Systeme und Wissensakquisition Mustererkennung Statistik Datenbanken - I - 6 -

7 Maschinelles Lernen Lernen ist ein wichtiges Merkmal von Intelligenz Übertragung von Lernen auf künstliche Systeme führt zu Lernende Systemen Praktische Vorteile: Automatisierte Akquisition von Wissen für wissensbasierte Systeme Adaptive Systeme: Automatische Anpassung an sich verändernde Bedingungen (Benutzer, technische Prozesse, Wissens- und Datenbestände, Rechnerumgebung, Aufgabenstellungen,...) Vereinfachte Programmierung: Training vs. Codieren Ausnutzen vorliegender Erfahrungen (z.b. Datenbanken) Entdecken neuer Zusammenhänge in großen Datenbeständen Heute große Bedeutung in praktischen Anwendungen in vielen Bereichen - I - 7 -

8 Begriffsbestimmungen von Lernen in der KI Learning denotes changes in the system that are adaptive in the sense that they enable the system to do the same task or tasks (...) more efficiently and more effectively the next time. Herbert Simon, 1983 Learning is making useful changes in the workings of our minds. Marvin Minsky, 1986 Learning is constructing or modifying representations of what is being experienced. Ryszard Michalski, I - 8 -

9 Gliederung der Vorlesung 1 Einführung 2 Grundlagen des Konzeptlernens 3 Entscheidungsbäume ID3 und C4.5 Verfahren 4 Analogiebasierte Verfahren k-nearest Neighbor Klassifikation 5 Probabilistische Verfahren Bayes sches Lernen 6 Clusteranalyse k-means/medoid, hierarchisches und dichtebasiertes Clustern 7 Neuronale Netze Perceptron, Netztypen, Backpropagation, Reinforcement Learning 8 Web Mining Web Usage Mining, Collaborative Filtering 9 Datenvorverarbeitung - I - 9 -

10 Literatur Ian H. Witten & Eibe Frank (2011). Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufmann. Jiawei Han, Micheline Kamber (2001). Data Mining: Concepts and Techniques. Morgan Kaufmann Publishers. Tom Mitchell (1997). Machine Learning. McGraw-Hill. - I