Seminar Business Intelligence Teil II. Data Mining & Knowledge Discovery

Transkript

1 Seminar Business Intelligence Teil II Data Mining & Knowledge Discovery

2 Was ist Data Mining? Sabine Queckbörner

3 Was ist Data Mining? Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Knowledge Discovery in Databases (KDD) Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP Problemfelder des Data Mining Übersicht

4 Data Mining Begriffsbestimmung Was ist Data Mining? Analyse großer mengen mit automatischen oder halbautomatischen Werkzeugen (Berry, Linoff) Methode zur Problemlösung um logische oder mathematische, zum Teil komplexe Beschreibungen von Mustern und Regelmäßigkeiten in sätzen zu entdecken (Decker, Focardy)

5 Data Mining Begriffsbestimmung Was ist Data Mining? Teilschritt des KDD-Prozesses, der aus der Anwendung von analysealgorithmen besteht und zu einer Auflistung von Mustern, die aus gewonnen wurden, führt (Fayyad, Piatetsky-Shapiro und Smyth) Data Mining als Anwendung von Algorithmen auf mit der Zielsetzung, Muster aus den zu extrahieren.

6 Data Mining Nach welchen Mustern wird gesucht Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Knowledge Discovery in Databases (KDD) Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP

7 Data Mining Nach welchen Mustern wird gesucht Ausprägungen Regeln und Abhängigkeiten Gruppen (Cluster) Verbindungsmuster (Link) Zeitliche Muster (Sequence) Abweichungen Formeln und Gesetzmäßigkeiten

8 Data Mining Nach welchen Mustern wird gesucht Nicht alle gefundenen Muster sind für den Benutzer interessant! Nicht alle für den Benutzer relevanten Muster werden gefunden!

9 Data Mining Wie wird gesucht? Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Knowledge Discovery in Databases (KDD) Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP Problemfelder des Data Mining

10 Data Mining Wie wird gesucht? Möglichkeiten Nach mehreren Mustern parallel suchen In verschiedenen Abstraktionsebenen suchen Nach verschiedenen Schwerpunkten

11 Data Mining Wie wird gesucht? Methoden Künstliche neuronale Netze Kohonen-Netze Lineare Regression Genetische Algorithmen CHAID Regelbasierte Systeme

12 KDD Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Knowledge Discovery in Databases Der KDD-Prozess Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP Problemfelder des Data Mining

13 KDD Der KDD-Prozess Prozess zur Identifikation von Mustern Gültig Neuartig Potentiell nützlich Verständlich Wissen

14 KDD Der KDD-Prozess Auswahl Integration Bereinigung Reduktion Projektion Data Mining Interpretation Zieldaten Vorbereitete Transformierte Muster Wissen Auswahl Zieldaten

15 KDD Der KDD-Prozess Auswahl Integration Bereinigung Reduktion Projektion Data Mining Interpretation Zieldaten Vorbereitete Transformierte Muster Wissen Integration Bereinigung Zieldaten Vorbereitete

16 KDD Der KDD-Prozess Auswahl Integration Bereinigung Reduktion Projektion Data Mining Interpretation Zieldaten Vorbereitete Transformierte Muster Wissen Reduktion Projektion Vorbereitete Transformierte

17 KDD Der KDD-Prozess Auswahl Integration Bereinigung Reduktion Projektion Data Mining Interpretation Zieldaten Vorbereitete Transformierte Muster Wissen Data Mining Transformierte Muster

18 KDD Der KDD-Prozess Auswahl Integration Bereinigung Reduktion Projektion Data Mining Interpretation Zieldaten Vorbereitete Transformierte Muster Wissen Interpretation Muster Wissen

19 KDD Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Data Mining KDD Knowledge Discovery in Databases Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP Problemfelder des Data Mining

20 KDD Data Mining KDD Auswahl Integration Bereinigung Reduktion Projektion Data Mining Interpretation Alle Zieldaten Vorbereitete Transformierte Muster Wissen Data Mining ist ein Teilschritt des KDD-Prozesses

21 OLAP Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Knowledge Discovery in Databases (KDD) Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP Problemfelder des Data Mining

22 OLAP würfel n Dimensionen n Attribute Beispiel: Ort 3 Dimensionen: Ort, Zeit, Produkt Zeit Produkt

23 OLAP würfel n Dimensionen n Attribute Wertebereich kontinuierlich diskret Hierarchien Abstraktionsebenen

24 OLAP Hierarchien Beispiel: Hierarchie auf Attribut Zeit Jahr 2003 Quartal 1.Quartal Quartal 2003 Januar 2003 Februar 2003 März Dezember 2003 Monat

25 OLAP Roll-Up Drill-Down Drill-Down 1.Quartal 2003 Januar 2003 Februar 2003 März 2003 Roll-Up

26 OLAP Roll-Up Drill-Down Ort Produkt Ort Produkt = Radio Slice Zeit Zeit Ort = KL Ort Zeit Produkt Zeit Produkt

27 OLAP Roll-Up Drill-Down Slice Dice Ort Produkt Ort = RLP Zeit = 4.Quartal Produkt = Rundfunkgeräte Ort Zeit Produkt Zeit

28 OLAP Roll-Up Drill-Down Slice Dice Rotate (Pivote)

29 OLAP Data Mining OLAP Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Knowledge Discovery in Databases (KDD) Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP Problemfelder des Data Mining

30 OLAP Rennpferd Arbeitspferd OLAP = Arbeitspferd Data Mining = Rennpferd Data Mining OLAP

31 OLAP Data Mining OLAP Data Mining als Erweiterung des OLAP OLAP Data Mining Analyseziel notwendig (z.b. Hypothese) Kein Analyseziel notwendig (kann Hypothesen liefern) Ergebnis steht fest (z.b. Bestätigung der Hypothese) Ergebnis steht nicht fest, unbekannte Muster möglich müssen bekannt sein (Benutzer wählt aus) können vollkommen unbekannt sein Benutzerinteraktive Analyse (aktive Auswertung der ) Automatische Analyse (computergestützte Algorithmen) Ergebnis ist eine andere Darstellungsform der Ergebnis sind Zusammenhänge und Muster in den

32 OLAP OLAP Mining Data Mining OLAP integrierte, konsistente und gesäuberte Anwendung von Data-Mining-Algorithmen Interaktive Analyse und anschauliche Interpretation wie bei OLAP OLAP-Mining-Funktionen (Auszug) Cubing then Mining Mining then Cubing

33 Problemfelder Problemfelder des Data Mining Data Mining Was ist Data Mining? Nach welchen Mustern wird gesucht? Wie wird gesucht? Knowledge Discovery in Databases (KDD) Der KDD-Prozess Gegenüberstellung Data Mining und KDD Online Analytical Processing (OLAP) Gegenüberstellung Data Mining und OLAP Problemfelder des Data Mining

34 Problemfelder Problemfelder des Data Mining Speichergröße Problem: Lösung: Antwortzeit Problem: Lösung: passen nicht vollständig in den Speicher Algorithmen, die zum Beispiel in mehreren Durchgängen analysieren schnellere Analysen gewünscht kürzere Antwortzeiten des Systems parallele Analysetechniken Vielfalt der typen Problem: neue typen, Videos... Benutzerfreundlichkeit schutz und Sicherheit

35 Was ist Data Mining? Zusammenfassung Data Mining Muster, Verfahren KDD-Prozess Data Mining als Teilschritt des KDD-Prozesses OLAP modell, Data Mining als Erweiterung des OLAP Problemfelder

36 Vielen Dank