Data Mining und Knowledge Discovery in Databases

Transkript

1 Data Mining und Knowledge Discovery in Databases Begriffsabgrenzungen... Phasen der KDD Datenvorverarbeitung Datenproblematik Möglichkeiten der Datenvorverarbeitung Data Mining Ziele Wissenschaftliche Einordnung der KDD Begriffsdefinitionen Data Mining Methoden Beispiele für KDD-Systeme Hierarchisches Clustering Partitionierendes Clustering...4 Entscheidungsbäume...7 Bayes-Klassifikation...9 Seite von

2 Begriffsabgrenzungen Definition: Knowledge Discovery in Databases (KDD) Knowledge discovery in databases is the nontrivial process of indentifying valid, novel, potentially useful, and ultimately understandable patterns in data. Definition: Data Mining Data Mining ist ein einzelner Schritt im KDD Prozess, innerhalb dessen bestimmte Data Mining Algorithmen zur Anwendung kommen, die selbständig Annahmen generieren, diese Annahmen prüfen und dem Anwender dann die relevanten Ergebnisse in verständlicher Form präsentieren. Seite von

3 Phasen der KDD Analyse des Anwendungsgebietes Datenzugriff Anforderungs- und Machbarkeitsanalyse Datenvorverarbeitung Daten Umsetzung Exploration Interpretation und Bewertung Anwendung von Data Mining Methoden Einzelnen Phasen eines KDD-Prozess: Anforderungs- und Machbarkeitsanalyse Analyse des Anwendungsgebietes Datenzugriff Datenvorverarbeitung Exploration Anwendung von Data Mining Methoden Interpretation und Bewertung Umsetzung Seite 3 von

4 3 Datenvorverarbeitung 3. Datenproblematik Unvollständigkeit und Spärlichkeit der Daten Dynamik der Daten Datenschmutz Redundanz Irrelevanten Bestände Datenvolumen 3. Möglichkeiten der Datenvorverarbeitung Datentransformation Bearbeitung unreiner Daten Konstruktion neuer Informationen Datenselektion Seite 4 von

5 4 Data Mining Ziele Cluster-Analyse bzw. Segmentierung Klassifikation Konzeptbeschreibung Prognose Datenbeschreibung und zusammenfassung Erkennung von Abweichungen Abhängigkeitsanalyse 5 Wissenschaftliche Einordnung der KDD Datenbasen Maschinen- Lernen Experten Systeme KDD Visualisierung Statistik Seite 5 von

6 6 Begriffsdefinitionen Definition: Datensatz bzw. Objekt Ein logischer Datensatz wird durch ein Tupel X = x,..., x ) von m IN Attributen dargestellt. Dabei i ( i, i, m umfasst die gesamte Datenbasis n Datensätze, nämlich X,..., X n. Die Gesamtheit aller Datensätze wird durch die Menge der Attribute Attribut A j mit A,..., Am beschrieben, wobei für jedes j =,..., m ein eigener Wertebereich W A ) existiert, aus dem die jeweiligen Ausprägungen der ( j einzelnen Datensätze stammen x W ( A ) für i =,..., n. Für den Wertebereich aller Attribute i, j j zusammengenommen ergibt sich dann entsprechend m A ( m i= i = W A )... W ( A ) = Χ W ( A ), auch Merkmalsraum genannt. Seite 6 von

7 Numerische Attribute Binäre Attribute z. B. die Werte 0 oder Diskrete Attribute Kontinuierliche Attribute z. B. die ganzen Zahlen z. B. die reellen Zahlen Nominale Attribute Geordnete Attribute z.b. niedrig, mittel, hoch Ungeordnete Attribute z. B. die Produkte A, B und C Seite 7 von

8 7 Data Mining Methoden Freie und überwachte Data Mining Methoden Hierarchisches Clustering Partitionierendes Clustering Entscheidungsbäume Bayes-Klassifikation Seite 8 von

9 8 Beispiele für KDD-Systeme SKICAT (Sky Image Cataloging and Analysis Tool) TASA (Telecommunication Network Alarm Sequence Analyzer) Health-KEFIR (Key Findings Reporter) Steuerung der Prozesstechnik in der Zellstoff- und Papierindustrie Klassifikation von Verkehrszuständen Bildverarbeitung Aufbereitung von Röntgenbildern Seite 9 von

10 9 Hierarchisches Clustering Agglomeratives hierarchisches Clustering Divisives hierarchisches Clustering Metrik: x y = n i= x i y i p p x, y n IR Single Linkage Methode C C = min x C, y C x y Complete Linkage Methode C C = max x C, y C x y Average Linkage Methode C C = card( C ) card( C ) x C, y C x y Seite 0 von

11 Algorithmus: Hierarchisches Clustering Gegeben: n Datensätze X,..., X ), ein Distanzmaß und ( n die Cluster-Anzahl k - Starte mit n Clustern, wobei jeder aus genau einem Datensatz besteht - Berechne für alle Paar von Clustern die Distanzen zwischen ihnen und wähle dasjenige Paar von Clustern, das die geringste Distanz aufweist. Fasse diese beiden Cluster zu einem Cluster zusammen und reduziere die Anzahl der Cluster um eins. - Wiederhole Schritt bis die gewünschte Cluster-Anzahl erreicht ist. Beispiel für hierarchisches Clustering: Attribut Attribut Datensatz X Datensatz X 4,3 4, Datensatz X 3,9, Datensatz X 4 3,7 5, Datensatz X 5 0,7, Datensatz X 4, 4, 6 ( X X ) d ( X i, X j ) = di, j = i, k j, k k = Seite von

12 D 0 = 3,86 0,4,44 0 4,99,7 3,58 0,53 3,, 4,4 0 4,46 0,9 3,05, 3,98 0 X X 3 d,3 Cluster d 3,5 X 5 X d,6 X 6 d,4 Cluster X 4 Schritt Schritt Schritt 3 Schritt 4 Schritt 5 Seite von

13 5 Attribut Cluster 5 3 Cluster Attribut Seite 3 von

14 0 Partitionierendes Clustering Minimiere n k i= j= X i v j mit den Datensätzen X i und den Cluster-Zentren v j Algorithmus: K-means-Verfahren Gegeben: n Datensätze X,..., X ), ein Distanzmaß und die Cluster-Anzahl k ( n - Wähle k verschiedene Datensätze als vorläufige Zentren der Cluster. Dies können beliebige, neue Datensätze oder aber auch k der insgesamt n ursprünglichen Datensätze sein. - Ermittle für jeden Datensatz X l der Datensätze ( n X,..., X ) dasjenige Zentrum v j eines Clusters C j, so dass die Distanz d ( X l, v j ) für alle Cluster-Zentren v,...,vk minimal wird. - Berechne als neues Cluster-Zentrum v j als den Mittelwert aus dem alten Cluster-Zentrum und dem Datensatz X l. - Wiederhole die Schritte und 3 bis ein entsprechendes Abbruch-Kriterium erreicht ist (z. B. die angestrebte Cluster-Anzahl). Seite 4 von

15 - Überprüfe für alle Datensätze X,..., X ), ob sie in ( n demjenigen Cluster liegen, zu dessen sie Zentrum sie die geringste Distanz aufweisen. Andernfalls sind Austauschungen vorzunehmen. Beispiel für das K-means-Verfahren: Attribut Attribut Datensatz X Datensatz X 4,3 4, Datensatz X 3,9, Datensatz X 4 3,7 5, Datensatz X 5 0,7, Datensatz X 4, 4, 6 Cluster mit den Datensätzen, 3 und 5 sowie dem ''' = Cluster-Zentrum v (,,9) Cluster mit den Datensätzen, 4 und 6 sowie dem ''' = Cluster-Zentrum v (3,9 4,4) Seite 5 von

16 5 Attribut v 4 ''' v Cluster 5 ''' v 3 v Cluster Attribut Seite 6 von

17 Entscheidungsbäume IF Bedingung (Bedingung )(Bedingung 3) THEN Entscheidung (Entscheidung )(Entscheidung 3) Beispiel für einen Entscheidungsbaum Kunden Textilien Geschenkartikel Durchschnittspreis Katalogent (M) (M) (M3) scheidung X mittel wenig mittel T X wenig mittel niedrig N X 3 mittel viel mittel TG X 4 viel wenig hoch T X 5 wenig mittel hoch G X 6 viel mittel niedrig TG X 7 wenig viel niedrig G X 8 mittel wenig niedrig N X 9 viel wenig niedrig T X 0 wenig wenig hoch N X wenig viel mittel G X viel viel hoch TG Seite 7 von

18 Datensätze,..., M = wenig M = mittel M = viel Datensätze,4,8,9,0 Datensätze,5,6 Datensätze 3,7,, M = wenig M = mittel M = viel M = wenig M = mittel M = viel M = wenig M = mittel 0,8 4,9,6 5 7, 3 M = viel N T? G G TG TG M3 = niedrig M3 = mittel M3 = hoch M3 = niedrig M3 = mittel M3 = hoch 8 6 N T? N? TG Seite 8 von

19 Bayes-Klassifikation P ( C i ) Wahrscheinlichkeit, dass ein Objekt zur Klasse C i gehört. P (X ) Wahrscheinlichkeit, dass ein Objekt X vorliegt. P i ( C X ) Wahrscheinlichkeit, dass das Objekt X zur Klasse gehört. P ( X Ci ) Wahrscheinlichkeit, dass das Objekt X ist, unter der Bedingung, dass das Objekt zur Klasse C i gehört. C i Entscheidungsregel: Ein Objekt X sei neu zu klassifizieren. Das Risiko einer falschen Klassifikation soll dabei minimiert werden. Dementsprechend wird das Objekt X der Klasse j {,..., k} zugeteilt, für die gilt: C j mit P( X C j ) P( C j ) > P( X Ci ) P( Ci ) für alle i j bzw. P( C j X ) > P( Ci X ) für alle i j Seite 9 von

20 Beispiel Bayes-Klassifikation: Kunden Textilien Geschenkartikel Durchschnittspreis Katalogent- (M) (M) (M3) scheidung X 0-0 T X N X TG X 4 - T X 5-0 G X TG X G X N X T X N X - 0 G X TG Orthogonale Basisfunktionen 3 P *( X C) = + x x P *( X C) = x + x P *( X C3) = + x + x P *( X C4) = x x x Seite 0 von

21 Endgültige Entscheidungsfunktionen: 3 D ( X ) = + x x D ( X ) = x + x D 3( X ) = + x + x D 4 ( X ) = x x x Seite von

22 3 Literatur Adriaans, P. ; Data Mining; Addison-Wesley, Harlow, England, 997 Chamoni, P. ;Analytische Informationssysteme - data warehouse, on-line analytical processing, data mining; Springer, Berlin, 998 Fayyad, U. M. [Hrsg.] Advances in knowledge discovery and data mining; AAAI Press, Menlo Park, California, 996 Lusti, M. ; Data warehousing und data mining - eine Einführung in entscheidungsunterstützende Systeme; Springer, Berlin, 999 Nakhaeizadeh, G. [Hrsg.] Data Mining - theoretische Aspekte und Anwendungen; Physica-Verlag, Heidelberg, 998 Runkler A. T. ; Information Mining - Methoden, Algorithmen und Anwendungen intelligenter Datenanalyse; Vieweg Gabler, Braunschweig / Wiesbaden, 000 Wittmann, T. ; Data mining - Entwicklung und Einsatz robuster Verfahren für betriebswirtschaftliche Anwendungen; Lang, Frankfurt am Main, 000 Seite von