Data Warehouse (DWH) / (Business Intelligence, BI )

Transkript

1 Data Warehouse (DWH) / (Business Intelligence, BI ) Begriffsbildung: Ein Data Warehouse ist eine themenorientierte, integrierte, zeitabhängige, nichtflüchtigedatenbank fürdie Unterstützung von Managemententscheidungen (William H. Inmon 1992) Vollständigkeit (zu einem gewissen Grad) Flexible Auswertungen mit Verdichtungen (BI) Zeitreihen, insbesondere Änderungshistorien Mehrere Komponenten : ETL Tools Datenbasis Data Marts / OLAP Server Abfrage / Auswertungswerkzeug (OLAP, Reporting,...) (BI) Wesentliche Unterschiede zuoltp Systemen 1

2 Sytemkonzept Datenintegration: Operative e Unternehmensdaten e e Data Warehouse Fachdaten Fachdaten Fachdaten Fachdaten Fachdaten extrahieren bereinigen i laden Data Warehouse Externe Daten GEO Daten Markt prognosen... Unternehmensdaten 2

3 Data Warehouse Aufgabenstellung Datenmanagement: Inhalte des Data Warehouse bestimmt durch Informationsbedarf Nutzer Datenangebot operationaler Systeme (+ externe Ergänzungen) Schema des Data Warehouses bestimmt durch Fakten (Fakttabellen) Dimensionen (Dimensionstabellen) Dargestellt in Star, Snowflake, Starflake Schemata Optimierung auf Abfragen und Auswertungen Dimensionale Darstellung Drill Down Slice&Dice Anwendungen: Online Analytical Processing (OLAP) und Business Descision Reporting (BDR) 3

4 Praktisches Architekturszenario Data Warehouse Front End Tools Reporting Analyzing Data Mining OLAP Server Data Marts Data Warehouse Back End Tools Laden/Refresh Extraktion Metadaten Data Cleansing Korrektur Record Linkage Admin nistration T Tools Datenquellen ExterneSysteme Operative Systeme 4

5 Konkrete Projekte: Data Warehouse 1. LOGOS DW Komplette IT Plattform für Deutsche Steinkohle AG (LOGOS) Data Warehouse für kommerzielle und technische Daten 2. Common Club Information Technology (CCIT) Gemeinsame Business und IT Plattform aller BAG Buchklubs Vollständige Abdeckung der Geschäftsprozesse 3. Kundenmarketingsystem (KMS) Zusammenführung der BAG Kundendaten im deutschsprachigen Raum Auswertung der Daten für Marketingaktionen 4. BOL System Standard E Commerce Plattform von Bertelsmann Übernimmt auch das konventionelle Business (auf Dauer) 5

6 LOGOS DWH Data Mart LOGOS DW Data Mart Data Mart OLAP OLAP Data Warehouse BDR Pooltabellen Manuelle Erfassung Nicht SAP Systeme SAP Systeme 6

7 Common Club Information Technology (CCIT) Supply Chain Mgmt Front End Services Product Marketing Pricing & Planning OLAP Database Marketing BDR Data Warehouse 7

8 Kundenmarketingsystem (KMS) Adressdaten Kundendaten KMS Data Data Data Mart Mart Mart Data Warehouse Pooltabellen Analysen Tests Aktionen Berliner Zeitung Sächsische Zeitung Gruner & Jahr... Club D 8

9 Lösungsszenario KMS Aufgabenstellung Kunden /Marktanalyse Basis: Individualdaten Segmentanalyse Segmentselektion Früherkennung Wirkungsanalysen... Kundendaten Grunddaten Potentialdaten Aktionsdaten Reaktionsdaten Marketingaktion Basis: Individualdaten Kommunikationspolitik: Werbung Produkt und Sortimentsgestaltung Preis und Konditionsgestaltung Distributionspolitik Reaktionserfassung Basis: Individualdaten Ökonomischer Erfolg Außerökonomischer Erfolg (Anfragen, Einstellungen, Kenntnisse, Rückläufe etc.) Wettbewerbererfolg... 9

10 Lösungsszenario KMS Aufgabenstellun Beispiel Database Marketing: Integriere alle Kundeninformationen, z. B. aus verschiedenen Firmen Füge zusätzliche Informationen hinzu, etwa Regionaldaten Gleiche Daten mit weiteren Informationen ab (z. B. Postadressen) Bilde Bewertungen Segmentiere Steuere Aktionen ki (Kundenkontakte) k Prüfe die Ergebnisse Wichtig: Operationale Systeme existieren! Neue Anforderungen nur im Gesamtkontext lösbar! 10

11 Lösungsszenario KMS Architektur Campaign Management Data Warehouse Laden Data Mart Data Mart Data Mart BDR Data Mining OLAP Lokale Daten Extraktion und Transformation Metadaten 11

12 Lösungsszenario KMS Realisierung: Fragen zur Konstruktion von KMS aus Komponenten: Organisation des Data Warehouses (ROLAP, MOLAP) Welche Datenbank (ORACLE?) Welches ETL Tool (Eigenentwicklung) Welche Adressbereinigungssoftware (Konzerntechnologie) Welches OLAP Tool (beliebig nach Kundenwunsch) Welches Data Mining Tool (SAS + Neuronale Netze) Campaign Managment (Workflow )Tool (Umfang?)... Orthogonalität der Funktionen der Komponenten? 12

13 Lösungsszenario KMS Machbarkeit: Proof of Infrastructure (POI): Mengengerüst und Funktionalität für KMS: 10 Mio Verträge á 1,5 KByte, 50 K Produkte á 300 Byte, 320 Mio Transaktionen á 250 Byte (5 Jahre DDI bzw. Club D) Data Marts als monatliche Verdichtungen zu Verträgen, Kunden und Haushalten (je 120 Mio Einträge á 73 Byte) Initiales Laden, tägliches Inkrement, Massenselektionen Maximale Dauern festgelegt (Batchfenster Wochenende, Nachts) ORACLE 8.05 auf SUN Enterprise 4000 (mit Veritas File System) Initial 6 Prozessoren 3 GB Hauptspeicher, 1,3 TB Platten (144 Vol.) (Knapp) Erfolgreich mit 10 Prozessoren, 5 GB Hauptspeicher, 1,3 TB Platten Dauer: 3 Monate (Durchgeführt bei/von ORACLE!) Intensive Nutzung von ORACLE Optimierungs Know How (Stripping, Partitionierung von Tabellen, Selektionsreihen) 13

14 Zusammenfassung Data Warehouse Nutzung von Data Warehousing: Integration der Daten verhilft zu neuen Einsichten Aggregierte Information liefert Vogelperspektive Navigation durch Dimensionen und zugehörige Fakten Unterstützung einer Reihe von Werkzeugen (BDR, OLAP, Data Mining etc.) Data Warehouses existieren (Konzerne) Data Warehouses werden weiterhin aufgebaut (im wesentlichen KMU) Weiterentwicklung: Data Warehouses operieren zunehmend mit granularen Daten Globalisierung führt zu riesigen Datenmengen Historisierung betrifft mehrere Jahre Verdichtungen / Kennzahlen sind beliebig Massenselektionen / Bewertungen nutzen alle Datensätze Zugriffs /Auswertungszeiten sind Bottleneck 14