Data Mining. Data Warehousing und analytische Datenbanken. Naim Tamtam. Betreuer: K. Büchse. Seminar

Transkript

1 Friedrisch Schiller Universität Jena Fakultät für Mathematik und Informatik Lehrstuhl für Datenbanksysteme und Informationssysteme Prof. Dr. Klaus Küspert Seminar Data Warehousing und analytische Datenbanken Data Mining Naim Tamtam Betreuer: K. Büchse Jena, den Wintersemester 2011/2012

2 Inhaltsverzeichnis Abbildungs- und Tabellenverzeichnis... II Einführung Das Data Mining-Konzept Definition Data Mining und Knowledge Discovery in Databases Data Mining und Data Warehouse Data Mining und OLAP Überblick über die Aufgaben des Data Mining Klassifikation Clusteranalyse Abhängigkeitsanalyse Praktische Anwendungen E-commerce: Empfehlungsdienst Telekommunikation: Betrugserkennung Visualisierung ThemeRiver Streudiagramm Parallele Koordinaten Fazit Literaturverzeichnis I

3 Abbildungs- und Tabellenverzeichnis Abbildung 1:KDD-Prozess... 3 Abbildung 2: Data Warehouse... 4 Abbildung 3: Prozess der Klassifikation... 6 Abbildung 4: ThemeRiver -fiktive Daten Arbeitslosen-und Studentenanzahl [Quelle: 11 Abbildung 5: Streudiagramm für die Variablen "alter06" und "Bruttoeinkommen" [ Quelle: SOEP 2006] Abbildung 6: Parallele Koordinaten :Absatz von Video- und Audioprodukten Tabelle 1: Beispiel einer Warenkorbanalyse... 7 II

4 Einführung Einführung Der technologische Fortschritt der letzten Jahrzehnte hat es ermöglicht, dass heutzutage große Mengen von Daten in verschiedenen Bereichen generiert werden. Forscher an der Universität Berkeley fanden heraus, dass jedes Jahr ca. 1 Exabyte (1 Million Terabyte) Daten erfasst werden [Kei02]. Ein Beispiel dafür sind Internet-Auktionshäuser und Online-Shops, die Daten über die Kunden und deren Kaufhistorie erfassen, um ihre Dienste zu optimieren. Ein anderes Beispiel stellen Supermärkte dar. Durch die Einführung von Scannerkassen sammeln sie Daten der einzelnen Einkäufe. Der US-amerikanische Einzelhandelskonzern Wal-Mart z.b. speichert ca. 460 Terabytes Daten über die Einkäufe seiner Kunden [HaKa06]. Unternehmen und Organisationen produzieren derzeit riesige Datenmengen, die dank der Entwicklung von Datenbanktechnologien effizient und für lange Zeit gespeichert werden können. In der Tat, Unternehmen speichern Daten in der Hoffnung, dass sie daraus Informationen über ihre Kunden und Konkurrenten extrahieren. Solche Informationen können als Wettbewerbsvorteile benutzt werden. Da die Daten immer noch größer und unüberschaubarer werden, ist eine manuelle Analyse nicht mehr möglich. Sogar die herkömmliche Statistik und Datenanalyse stoßen an ihre Grenzen. In so einer Situation ist das Bedürfnis nach effizienten und intelligenten Datenanalysemethoden sehr stark gestiegen. In diesem Kontext etablierte sich Data Mining Mitte der neunziger Jahre als ein neues Forschungsgebiet. In dieser Ausarbeitung wird im ersten Abschnitt auf das Konzept des Data Mining und die Beziehung zwischen Data Mining und anderen Begriffen der analytischen Datenbanken eingegangen. Der zweite Abschnitt befasst sich mit Aufgabenstellungen, die sich durch Data Mining lösen lassen. Im dritten Abschnitt werden ein paar praktische Anwendungen vorgestellt. Als Letztes wird das Thema Visualisierung vorgestellt.

5 Das Data Mining-Konzept 1 Das Data Mining-Konzept 1.1 Definition Buchstäblich bedeutet Data Mining Graben in Daten, wobei das verfolgte Ziel ist, neues Wissen zu entdecken [Alp00]. Wissen soll als Muster 1 in Daten verstanden werden und folgende Anforderungen Genüge tun: Nützlichkeit, Neuheit und Verständlichkeit. Zu Data Mining findet man in der Literatur mehrere unterschiedliche Definitionen. So definiert Gartner Group Data Mining als Prozess des Entdeckens bedeutsamer neuer Korrelationen, Muster und Trends in großen Datenbeständen, mittels sowohl Mustererkennungstechnologien als auch mathematischer und statistischer Methoden [Lar05]. Fayyad beschreibt Data Mining als die Anwendung spezifischer Algorithmen zur Extraktion von Mustern aus Daten [Fay96]. Zusammenfassend kann Data Mining als Prozess der Gewinnung neuen und nützlichen Wissens von großen Datenmengen unter Anwendung algorithmischer Methoden definiert werden. 1.2 Data Mining und Knowledge Discovery in Databases In der Literatur werden die Begriffe Data Mining und Knowledge Discovery in Databases (KDD) als Synonyme verwendet. Allerdings wird das Wort Data Mining von Statistikern und Datenanalytikern benutzt, wohingegen KDD von Forschern der künstlichen Intelligenz bevorzugt wird. KDD wurde 1989 durch den ersten Workshop zum Thema eingeführt und lässt sich als nichttrivialer Prozess zur Identifikation von gültigen, neuartigen, potentiell nützlichen und verständlichen Mustern in Daten [Fay96] definieren. In diesem Kontext wird Data Mining als ein Schritt des Gesamtprozesses der Wissensextraktion verstanden. In der Abbildung 1 wird der Verlauf des KDD-Prozesses übersichtlich dargestellt. Er besteht aus fünf Schritten, auf die im Folgenden eingegangen wird: 1. Datenauswahl: Die relevanten Daten für die Analyse werden von riesigen Datenbeständen selektiert. 2. Datenvorbereitung: Dabei werden fehlende Werte behandelt (Z.B. durch Weglassen der entsprechenden Datensätze oder Ersetzen der fehlenden Werte durch Standardwerte [Alp00]), Ausreißer identifiziert bzw. entfernt und Inkonsistenzen in Daten ausgelöst. 3. Datentransformation: Hier ist die Hauptaufgabe, die Daten so umzuwandeln, dass sie für das entsprechende Data-Mining-Verfahren geeignet sind. Es geht u.a. darum, neue Attribute durch Berechnung oder Aggregation zu generieren oder Merkmalsausprägungen einiger Attribute zu normalisieren. 1 Muster : Ausdrücke, die eine Datenmenge beschreiben. 2

6 Das Data Mining-Konzept 4. Data Mining: In diesem Schritt wird die eigentliche Analyse der Daten durchgeführt. Auf der Basis des vorbereiteten Datenbestandes werden algorithmischer Methoden eingesetzt, um Gesetzmäßigkeiten und Muster zu extrahieren. 5. Interpretation und Evaluierung: Die entdeckten Gesetzmäßigkeiten müssen letztendlich mit Hilfe von Visualisierungstechniken präsentiert werden, um sie zu interpretieren bzw. zu beurteilen. Falls sie einen hohen Grad von Signifikanz aufweisen, können sie für Lösung von Problemstellungen eingesetzt werden. Abbildung 1:KDD-Prozess Für den Erfolg eines Data-Mining-Projektes spielt die Qualität der Daten eine bedeutsame Rolle. Obwohl die ersten drei Schritte des KDD-Prozesses algorithmisch nicht komplex sind, stellen sie eine mühsame und zeitaufwändige Arbeit dar. Nach Expertenschätzungen nehmen sie ca. 80% des Aufwandes eines Data-Mining-Projektes in Anspruch [Alp00]. 1.3 Data Mining und Data Warehouse Unter einem Data Warehouse versteht man einen zentralen Datenpool, der unternehmensübergreifend die Daten aus unterschiedlichen Quellen zusammenführt, integriert und für Analysezwecke aufbereitet [SaSaHe08]. Wie in der Abbildung 2 illustriert, stammen die Daten, in einem Data Warehouse, aus operativen Quelldaten und externen Systemen. Bevor diese Daten einheitlich gespeichert werden, werden sie zuerst konsolidiert, indem redundante, verrauschte und inkonsistente Daten entfernt werden [Alp00]. Dies ist eine unabdingbare Bedingung für die Anwendung von Data-Mining-Methoden. 3

7 Das Data Mining-Konzept Abbildung 2: Data Warehouse 1.4 Data Mining und OLAP Der Begriff des Online Analytical Processing (OLAP) bezeichnet eine interaktive und dynamische Datenanalysemethode, die es einem Benutzer erlaubt, mit Hilfe eines Datenwürfels 2 eine multidimensionale Betrachtung der Daten in einem Data Warehouse zu erhalten. Im Gegensatz zu Data Mining, bei dem die Suche nach verborgenen Mustern völlig automatisch läuft, erlaubt OLAP eine interaktive Datenanalyse, wobei der Benutzer vorher die Ziele der Analyse wissen muss. Data Mining beschränkt sich nicht auf die Analyse der Daten, die in Data Warehouses gespeichert sind. Es kann auch transaktionale, räumliche, textuelle und Multimedia- Daten analysieren, die mit der multidimensionalen Datenbanktechnologie schwer zu modellieren sind [HaKa06]. In diesem Zusammenhang geht Data Mining einen Schritt weiter als OLAP und versucht komplexe Daten zu handhaben. In der Literatur werden viele Ansätze vorgeschlagen, die die Verbindung zwischen Data Mining und OLAP beschreiben. Einer davon ist das sog. Online Analytical Mining (OLAM). Es integriert OLAP mit Data Mining-Werkzeugen in multidimensionalen Datenbanken [HaKa06]. Gründe, die für OLAM sprechen, sind u.a.: Hohe Datenqualität in Data Warehouses: Data-Mining-Verfahren spielen eine wichtige in der Vorverarbeitungsphase. Sie werden eingesetzt, um Daten zu bereinigen und zu integrieren. Die Analyse mittels OLAP erfordert Kenntnisse über die Zusammenhänge zwischen Daten. Diese Zusammenhänge können vorher mit Data Mining-Methoden entdeckt und danach mit OLAP bestätigt oder widerlegt werden. 2 Bei einem Datenwürfel werden Daten in verschiedenen Dimensionen modelliert und angeschaut. 4

8 Das Data Mining-Konzept OLAP kann mittels Datenwürfeln als eine Visualisierungsmöglichkeit der Ergebnisse des Data Mining eingesetzt werden. 5

9 Überblick über die Aufgaben des Data Mining 2 Überblick über die Aufgaben des Data Mining 2.1 Klassifikation Klassifikationsverfahren bilden mit Hilfe historischer Daten, für welche die Klassenzugehörigkeit bekannt ist, ein Model, das die Klasse eines neuen Objektes vorhersagen kann. Beispielsweise muss ein Bankangestellter neue Kreditantragsteller gemäß ihrer Kreditwürdigkeit ( Safe oder Risky ) klassifizieren [HaKa06]. Abbildung 3: Prozess der Klassifikation Wie in der Abbildung 3 gezeigt, läuft die Klassifikation in zwei Schritten ab. Nachdem die Gesamtdaten vorverarbeitet und transformiert wurden, müssen sie mit Hilfe geeigneter Verfahren 3 in zwei Teilmengen (Training- und Testdaten) aufgeteilt werden. In der Trainingsphase soll der Algorithmus ein Modell (der sog. Klassifikator) bilden, indem er von der Trainingsmenge lernt [HaKa06]. Die Validierungsphase sorgt für das Testen des generierten Modells. Dabei lassen sich die Testdaten durch das Modell klassifizieren. Die Gegenüberstellung der tatsächlichen und der klassifizierten Klassen der Testdaten ergibt die Fehlerrate bzw. die Genauigkeit des Modells. Ist die Genauigkeit hinreichend gut, um das Modell in der Praxis einzusetzen, kann die Klasse eines neuen Datensatzes vorhergesagt werden. 2.2 Clusteranalyse Clusteranalyse ist ein deskriptives Verfahren, das eine Menge von Objekten in homogenen Gruppen (Cluster) zerlegt. Die Objekte innerhalb eines Clusters sollen möglichst ähnlich sein, wohingegen Objekte verschiedener Cluster verschieden sein sollen. Im Gegensatz zur Klassifikation ist die Clusteranalyse ein nicht-überwachtetes Verfahren, d.h. die 3 Wie z.b. Hold-out, Kreuzvalidierung, zufälliges Mischen [HaKa06] 6

10 Überblick über die Aufgaben des Data Mining Klassenzugehörigkeit der Objekte muss nicht vorgegeben werden [HaKa06]. Dennoch ist das Hauptziel der Clusteranalyse diese Klassenzugehörigkeiten zu identifizieren und zu beschreiben. Clusteranalyse hat ein breites Anwendungsspektrum und wird vor allem im Customer Relationship Management (CRM) zunehmend eingesetzt. Z.B. kann die Clusteranalyse den Managern helfen, die Kunden basierend auf sozio-ökonomischen und demographischen Merkmalen in verschiedene Gruppen einzuteilen. 2.3 Abhängigkeitsanalyse Zielsitzung der Abhängigkeitsanalyse ist die Entdeckung interessanter Zusammenhänge zwischen einzelnen Untersuchungsobjekten. Ein typisches Beispiel für die Abhängigkeitsanalyse ist die Warenkorbanalyse. Sie untersucht das Einkaufsverhalten der Kunden, indem Zusammenhänge zwischen den Produkten gesucht werden. Solche Abhängigkeiten ermöglichen die Entwicklung effizienter Marketingstrategien wie Regalpflege 4, Cross-Marketing 5 [HaKa06] usw. Gegeben seien eine Menge von Transaktionen T, die im Zusammenhang mit der Warenkorbanalyse als ein Einkauf verstanden werden, und eine Menge von Items I, also von Produkten, die von einem Supermarkt angeboten werden. In der folgenden Tabelle lassen sich die oben genannten Begriffe anschaulich erklären. Jede Zeile entspricht einer Transaktion, die eine eindeutige Nummer TID und eine Menge von Produkten enthält [TaStKu06]. TID Item 1 Brot, Milch 2 Brot, Windel, Bier, Eier 3 Milch, Windel, Bier, Cola 4 Brot, Milch, Bier, Windel 5 Brot, Windel, Cola, Milch Tabelle 1: Beispiel einer Warenkorbanalyse Eine mögliche Regel, die aus diesem Beispiel abgeleitet werden kann, wäre: {Windel} {Bier} [Support:60%; Confidence:75%] Dies besagt, dass es einen starken Zusammenhang zwischen Windeln und Bier gibt: diejenigen, die Windeln kaufen, werden mit einer Wahrscheinlichkeit von 60% auch Bier kaufen. Um die Stärke einer Regel zu bestimmen, werden folgende Interessantheitsmaße benötigt: 4 Anordnung der Waren im Einzelhandel 5 Cross-Marketing ist die Verbindung von mehreren Werbeformen miteinander 7

11 Überblick über die Aufgaben des Data Mining Support ist die Häufigkeit, dass Windel und Bier in den gesamten Transaktionen zusammen auftreten. Confidence berechnet sich aus dem Verhältnis zwischen den Transaktionen, die nur Windeln enthalten und den Transaktionen, die sowohl Windeln als auch Bier enthalten. 8

12 Praktische Anwendungen 3 Praktische Anwendungen Nachdem die Ziele und Aufgaben des Data Mining in den vergangenen Abschnitten vorgestellt wurden, wird in diesem Abschnitt auf einige praktische Anwendungsmöglichkeiten eingegangen. Auf Grund des steigenden Bedürfnisses nach der Umsetzung der Daten in Wissen hat Data Mining ein sehr breites Anwendungsfeld gefunden. Heutzutage findet Data Mining Anwendung in Astronomie, Handel, Intrusion Detection, Biologie usw. 3.1 E-commerce: Empfehlungsdienst Durch die Automatisierung des Kaufprozesses werden große Mengen von Daten über die Kunden und ihre Einkaufshistorie gesammelt. Diese Daten können auf verschiedene Art und Weise mittels passenden Data-Mining-Werkzeugen benutzt werden, um besseres Verständnis der Kundenpräferenzen und effiziente Kundenbindung zu erreichen. Eine davon sind die Empfehlungsdienstsysteme, die in den meisten Online-Shops eingesetzt werden. Als Empfehlungsdienstsysteme werden solche Dienste verstanden, bei denen Bewertungen über Produkte von Kunden gegeben werden. Aus diesen Bewertungen können Empfehlungen für einen Zielbenutzer formuliert werden. Dieses Prinzip heißt kollaboratives Filtern [HaKa06]. Ein bekanntes Beispiel findet man bei Amazon: Kunden, die diesen Artikel gekauft haben, kauften auch. Solche Empfehlungen unterstützen eine bessere Kundenbindung durch Personalisierung und sog. One-to-one Marketing 6 [HaKa06]. Ein Empfehlungsdienstsystem findet also eine Menge von Kunden, die ein ähnliches Profil mit dem Zielbenutzer haben. Sie neigen beispielsweise dazu, ähnliche Produkte zu kaufen oder ähnliche Bewertungen für bestimmte Produkte abzugeben [HaKa06]. 3.2 Telekommunikation: Betrugserkennung Die steigende Nachfrage nach Data Mining in der Telekommunikationsbranche ist auf zwei Ursachen zurückzuführen: zum einen ist die Konkurrenz zwischen den Anbietern wegen der Deregulierung der Branche in vielen Ländern sehr stark geworden; zum anderen ist die Anzahl der Kunden in der Regel so groß, dass der Einsatz des Data Mining ein besseres Verständnis der Branche und Identifizierung neuer Muster in der Telekommunikation ermöglicht [HaKa06]. Eine der wichtigsten Anwendungen des Data Mining in der Telekommunikation ist die Betrugserkennung. Die rechtzeitige Identifizierung potentieller Betrugsaktivitäten verhindert Millionen von Verluste. Im Folgenden werden zwei Arten von Betrug, die in der Telekommunikation häufig auftreten, und ihre möglichen Lösungen dargestellt: 6 One-to-one Marketing ist ein Marketingkonzept, bei dem Kunden mittels geeigneten Maßnahmen einzeln angesprochen werden. 9

13 Praktische Anwendungen 1. Abo-Betrug: Wenn ein Täter ein Abo abschließt, mit der Absicht, dass er nie bezahlt, spricht man von einem Abo-Betrug. Um diese Art von Betrug zu identifizieren, werden die Merkmale des Täters (z.b. Alter, Geschlecht, Anzahl und Länge der Anrufe pro Tag) mit den Merkmalen derjenigen, die schon einen Abo-Betrug begangen haben, verglichen. Es handelt sich hier Also um ein Klassifizierungsproblem, wobei ein Modell generiert wird, das die Ehrlichkeit eines Abo-Kunden vorhersagt. 2. Illegaler Zugriff auf Konten anderer Kunden: Dieses Problem stellt eine große Herausforderung für Telekommunikationsunternehmen dar, da die dadurch entstandenen Verluste enorm sind. Hierbei wird das Anrufverhalten eines Kunden mittels der Abweichungsanalyse 7 analysiert. Weicht das gegenwärtige Anrufverhalten eines Kunden von dem vergangenen immens ab, so ist die Wahrscheinlichkeit, dass ein Betrug begangen wird, sehr groß. 7 Ziel der Abweichungsanalyse ist die Entdeckung von Datensätzen, die sich weit von den übrigen Datensätzen befinden. 10

14 Visualisierung 4 Visualisierung Die Datenvisualisierung kann als ein Prozess der Hypothesengenerierung aufgefasst werden [Kei02]. Im Bezug auf Data Mining können die Daten bei der Vorverarbeitung visualisiert werden und dementsprechend Auffälligkeiten in den Daten entdeckt werden. Dabei spielt der Mensch eine wichtige Rolle. Die Vorteile der Einbeziehung des Menschen in den Visualisierungsprozess kann auf zwei Punkte zurückgeführt werden [Kei02]: 1. Im Vergleich zu vollautomatischen Verfahren können inhomogene und verrauschte Daten durch Visualisierung leichter verarbeitet werden; 2. Visualisierung ist auch für Nicht-Spezialisten ohne Kenntnisse von mathematischen und statistischen Algorithmen geeignet. 4.1 ThemeRiver Die ThemeRiver-Visualisierungstechnik eignet sich für die Darstellung eindimensionaler Daten, die zeitabhängig sind. Mittels dieser Technik können sich die Benutzer einen Gesamtüberblick über Themenveränderungen im Laufe der Zeit verschaffen. Dabei werden die Themen in farblichen Bahnen dargestellt. Die Breite jeder Bahn deutet auf die Bedeutung des entsprechenden Themas in Vergleich zu den anderen hin [Kei02]. Das Gesagte wird in der Abbildung 4 am klarsten illustriert. In diesem Beispiel werden zwei Themen (Arbeitslosen- und Studentenanzahl) in den achtziger Jahren dargestellt. Abbildung 4: ThemeRiver -fiktive Daten Arbeitslosen-und Studentenanzahl 11

15 Visualisierung 4.2 Streudiagramm Das Streudiagramm ist eine beliebte Visualisierungstechnik. Sie bietet eine einfache Darstellung zweier Variablen (häufig metrisch). In der unteren Abbildung sind die zwei Variablen Alter und Bruttoeinkommen gegeneinander abgetragen. Es zeigt sich ein schwacher Zusammenhang. Je älter ein Angestellter ist, desto höher ist sein Einkommen. Abbildung 5: Streudiagramm für die Variablen "alter06" und "Bruttoeinkommen" 4.3 Parallele Koordinaten Die parallele Koordinatentechnik gehört zu den geometrischen Projektionstechniken. Solche Techniken versuchen Projektionen multidimensionaler Datenmengen auf die zweidimensionale Ebene zu überführen [BaGü09]. Ein typisches Beispiel für multidimensionale Daten stellen Tabellen in relationalen Datenbanken dar. 12

16 Visualisierung Abbildung 6: Parallele Koordinaten :Absatz von Video- und Audioprodukten Die Attribute werden dabei als parallele Achsen dargestellt, die vom Minimum bis zum Maximum linear skaliert sind. Die polygonalen Linien, wie in Abbildung 6 illustriert, entsprechen den vorhandenen Datensätzen [BaGü09]. Z.B. wurde im Jahr 2007 in Deutschland 7500 Euro Umsatz mit Audioprodukten gemacht. 13

17 Fazit Fazit Data Mining beschreibt die automatische Suche nach verborgenen und neuen Gesetzmäßigkeiten in großen Datenbeständen. Solche Gesetzmäßigkeiten unterstützen Manager, damit diese die richtigen Entscheidungen treffen. Im Wesentlichen lassen sich die Aufgaben, die Mittels Data Mining gelöst werden, in vorhersagende und beschreibende unterteilen. In der Praxis haben Klassifikation, Clusteranalyse und Abhängigkeitsentdeckung große Bedeutung. Sie haben ein sehr breites Anwendungsgebiet. Heutzutage findet Data Mining in fast allen Bereichen Verwendung. Im Zusammenhang mit Data Mining ist die Datenvisualisierung von besonderer Bedeutung. Sie kann sowohl zum Verstehen von Daten als auch zur Darstellung von entdeckten Zusammenhängen beitragen. 14

18 Literaturverzeichnis [Alp00] Alpar, P.: Data mining im praktischen Einsatz. Vieweg Verlagsgesellschaft; 1. Auflage, 2000 [HaKa06] Kamber, M., & Han, J.: Data Mining: Concepts and Techniques;2.Auflage 2006 [Kei02] Keim, D. A.: Datenvisualisierung und Data Mining. Datenbank Spektrum, 2002 [Lar05] [Fay96] [TaStKu06] [SaSaHe08] [BaGü09] Larose, D. T.: Discovering Knowledge in Data: An introduction to Data Mining. New Jersey, 2005 Fayyad U., G. P.-S.: From Data Mining to Knowledge Discovery in Databases. AI MAGAZINE, 1996 Tan P. N., Steinbach M., Kumar V.: Introduction to Data Mining, Pearson, 3.Auflage, 2006 Saake G., Sattler K., Heuer A.: Datenbanken : Konzepte und Sprachen; 3.Auflage, 2008 Bauer A., Günzel H.:Data Warehouse Systeme: Architektur, Entwicklung, Anwendung,3. Auflage,2009

19