Data Warehouse und Data Mining

Transkript

1 Einführungsseminar Data Mining Seminarvortrag zum Thema: Data Warehouse und Data Mining Von gehalten am Betreuer: Dr. M. Grabert

2 Einführung Problemstellung Seite 2 Einführung Unternehmen bekommen eine Unmenge von Daten aus den unterschiedlichsten Quellen Es ist sicherlich auch wichiges Wissen in diesen Daten enthalten Dieses Wissen aus der Vielfalt von Daten effektiv zu extrahieren ist ein großes Problem

3 Einführung Lösungsmöglichkeiten Seite 3 Lösungsmöglichkeiten Data Warehouse Zum Bereitstellen der Daten Online Analytic Processing (OLAP) Zur Durchführung von Ad hoc Anfragen in multidimensionalen Datenmodellen Data Mining Zum Aufdecken von Zusammenhängen auf Grundlage der zugrunde liegenden Daten

4 Einführung Grafischer Überblick Seite 4 ETL Prozess Datenspeicher Analysetools Operative Systeme Externe Quellen ETL Data Warehouse OLAP Data Mining Data Marts

5 Data Warehouse Seite 5 Data Warehouse Was ist ein DW? Zentraler Datenpool Warum DW? Was sind die Vorteile gegenüber den operativen Systemen? DW ist optimiert für die Datenanalyse und Reporting DW hat auch historische Daten gespeichert (read only) DW hat alle Daten zentral, aufbereitet, bereinigt und im gleichen Format gespeichert

6 Data Warehouse Data Marts Seite 6 Data Marts Was sind Data Marts? Data Marts sind kleine Data Warehouses, die nur einen Teil des Unternehmens erfassen Warum Data Marts? Passen unter Umständen besser in die unternehmensinterne IT Struktur E T L P r o z e s s D a te n s p e ic h e r A n a ly s e t o o ls O p e r a t iv e S y s te m e E x t e r n e Q u e ll e n Schneller zu erstellen als ein großes DW / Performance E T L D a ta W a r e h o u s e D a ta M a r t s O L A P D a ta M in in g

7 Data Warehouse Data Marts Seite 7 Unabhängige Data Marts Vorteile: Entspricht unter Umständen der vorhanden IT Struktur besser Schneller zu erstellen als direkt ein großes DW Nachteile: 2 malige Datentransformation Überschneidungen zwischen den Data Marts kaum zu vermeiden

8 Data Warehouse Data Marts Seite 8 Abhängige Data Marts Vorteile: Keine Überschneidungen Nur eine Daten transformation Nachteile: In der Praxis nur mit viel Mehraufwand durchführbar

9 Data Warehouse Enstehung eines DW Seite 9 Entstehung eines DW Planung DW sollte von allen Stellen, die später mit dem DW arbeiten möchten, mitgeplant werden Insbesondere sollte auch das Management in die Planungen einbezogen werden Einbettung in die unternehmensinterne IT Struktur Abhängige oder unabhängige Data Marts

10 Data Warehouse ETL Seite 10 Der ETL Prozess Die Extraktionsphase (E) ETL Prozess Datenspeicher Analysetools Operative Systeme Externe Quellen Extrahieren der Daten aus den operativen Systemen bzw. externen Quellen Die Transformationsphase (T) Alle Daten auf ein einheitliches Format (z.b. CWM) bringen Daten bereinigen Die Ladephase (L) ETL Data Warehouse Data Marts OLAP Data Mining

11 Anwendungen des DW OLAP Seite 11 OLAP Was ist OLAP? (Online Analytic Processing) Multidimensionales Analysewerkzeug Was hat OLAP mit Data Warehouse zu tun? Ein DW ist ideal für die mehrdimensionalen Analysen eines OLAP Werkzeugs

12 Anwendungen des DW OLAP Werkzeuge Seite 12 Darstellung als Datenwürfel Beispielanfrage Wie viele Produkte der Produktgruppe G wurden in Region 3 im 2. Quartal 2002 verkauft?

13 Anwendungen des DW OLAP Werkzeuge Seite 13 Roll Up, Drill Down und Drill Across

14 Anwendungen des DW OLAP Werkzeuge Seite 14 Pivotierung / Rotierung Slicing und Dicing

15 Anwendungen des DW Data Mining Seite 15 Data Mining Was ist Data Mining? Analysewerkzeug, das Zusammenhänge und Auffälligkeiten innerhalb der Daten aufdeckt Was sind die Vorteile des Data Minings gegenüber anderen Analysetools? Data Mining findet selbständig Zusammenhänge innerhalb der Daten

16 Anwendungen des DW Data Mining Seite 16 Data Mining Data Mining vs. OLAP OLAP liefert statistische Belege für die Hypothesen eines Anwenders Data Mining liefert selbständig neue Zusammenhänge aus den Daten heraus Data Mining und DW Data Mining innerhalb eines großen DW oder Data Mining innerhalb der vielen kleinen Data Marts

17 Fazit Ende Seite 17 ETL Prozess Datenspeicher Analysetools Operative Systeme Externe Quellen ETL Data Warehouse OLAP Data Mining Data Marts