Modellierung und Implementierung einer End-to-End BI Lösung

Transkript

1 IBM Software Group Modellierung und Implementierung einer End-to-End BI Lösung DB2 Information Management Software Martin Clement, Otto Görlich, Stefan Sander,

2 DB2 Data Warehouse Edition - Komponenten Solution Templates (Basel II, REDW) Design Studio (Eclipse) Admin Console (Web) DB Design ETL Mining OLAP In Line Analytics Administration BI Platform (Shared Infrastructure, Websphere) DB2 UDB for Linux, Unix and Windows 2 Infrastruktur für das DWH

3 BI Design Studio, die zentrale Entwicklungsumgebung Kontrollfluss Erzeugt SQL Strukturen Data Warehouse Projekt Datenintegration Exploration ETL Mining OLAP Frontend Datenbank ETL Strecke 3 Infrastruktur für das DWH

4 Ziel des Workshops Am Beispiel einer Vertriebsanwendung von Anfang bis Ende durch den Entwicklungsprozess eines Warehouses führen Von Design der Datenbank über ETL, Mining und OLAP bis zum Frontend Hands On Erfahrungen mit einem modernen Werkzeug sammeln 4 Infrastruktur für das DWH

5 Das Beispiel IBM Software Group DB2 Data Management Software JK Superstore ist ein Handelshaus mit klassischer Filialstruktur. JKS ist ausschließlich im Non-Food Markt aktiv. Die wichtigsten Geschäftsfelder sind Kleidung (DOB und HAKA), Schuhe, Kleinmöbel und Unterhaltungselektronik. Nach einer Phase des Wachstums möchte die Geschäftsführung nun ein Werkzeug an die Hand bekommen um in Zukunft neben einem kontinuierlichem Wachstum auch die Profitabilität sicher zu stellen. Die Daten sollen bis auf Bon-Ebene im Zugriff gebracht werden. Es wird an eine klassische Architektur gedacht, in der die Daten in eine Staging-Ebene gebracht werden und Analysen auf einem abgeleiteten Mart durchgeführt werden können. Entsprechend wurden 2 DB Schema (DWH und MARTS) angelegt 5 Infrastruktur für das DWH

6 Das Beispiel : DWH Schema Orga (Filialen) Involved Party (Lieferanten, Filialleiter, etc) Warenkorb Einzel- Transaktionen Produkte Kundendaten (Anonymisiert) Zeit Produktgruppen (Shared Hirarchies und SCD Interessengebiete (Zusammenstellung von Produktgruppen) 6 Infrastruktur für das DWH

7 Das Beispiel: der Data - Mart Filial Dimension Purchase Profile Analysis ~ Faktentabelle enthält alle Vertriebsmetriken nach Produkt und Kunde Produkt Dimension Zeit Dimension 7 Infrastruktur für das DWH

10 Datenmodellierung in der DWE Reverse Engerneering, Modellierung, Visualisierung und Entwicklung in einem Modul Datenmodellierung ist die Basis der integrierten Warehouse Umgebung Reverse engineer Navigation Discovery Visualization Physical Design Rules and Model Validation Lifecycle management Compare and Sync Impact Analysis Data Admin Data Architect Developer Edit Execute Debug Deploy Team Integration 10 Infrastruktur für das DWH

11 DB Modellierung mit Rational Data Architect Grafische Editoren Datenbank Design, Reverse Engineering, Datenbanken, etc Beispiel für die Werkzeugintegration 11 Infrastruktur für das DWH

12 JKS: Datenmodell anlegen und modifizieren Bestehende Datenmodelle (DWH und MARTS) werden aus einer Datenbank importiert -> Reverse Engeneering Bearbeitet -> Constraints etc angelegt Und das modifizierte Modell wieder in die Datenbank zurück geschrieben Hands - On Modul 1 Seiten Infrastruktur für das DWH

14 ETL in der DWE IBM Software Group DB2 Data Management Software Komplette ETL Funktionalität Optimiert für DB2, andere RDBMS möglich Transformationen und Updates skalieren mit dem Warehouse Rollenbasiertes Laufzeit Management (Deployment, Scheduling, Monitoring) Zusammenspiel mit der Datenmodellierung (RDA), OLAP und den Mining Funktionen 14 Infrastruktur für das DWH

15 Transformationen in der DWE Projekt Design Palette der Operatoren DB Design (RDA) Operatoren Sicht auf die Datenbank Eigenschaften 15 Infrastruktur für das DWH

16 JKS: Transformationen vom DWE Schema nach MARTS Ableiten der Dimensionstabelle Ableiten der Fakten Tabelle aus den Transaktionstabellen Ableiten der Store Hierarchie Verwenden des MARTS Datenbank Schema Hands - On Modul 2 Seiten Infrastruktur für das DWH

18 Mining im DWE Design Studio Data Mining direkt in der DB2 Datenbank Easy Mining Funktionen ermöglichen Advanced Analytics in jeder Anwendung Advisor macht die Erstellung leicht Volle Funktionalität mit 8 Algorithmen Segmentierung z.b. Kundensegmente finden Demographisches Clustering und Neuronale Netze Assoziationen z.b. Warenkorbanalysen Sequentielle Muster z.b. Fehlerzusammenhänge aufdecken Entscheidungsbäume zur Klassifikation von Ereignissen Regressionsanalyse; ähnlich wie Entscheidungsbäume, aber mit numerischen Ergebnissen (z.b. Kündigungswahrscheinlichkeit 18 Infrastruktur für das DWH

19 Nahtlose Integration in die Warehouse Umgebung Die Datenexploration hilft bei der Analyse der Datenquellen DWE Design Studio Mining Editor Vom Design Mining fügt sich in den Transformationsfluss im Warehose ein Zur integrierten Anwendung 19 Infrastruktur für das DWH

20 Mining Szenario: Kundengrupen und Kundenscoring 20 Infrastruktur für das DWH

21 JKS: Ableiten einer Warenkorb Analyse Preprozessing durchführen Modell erzeugen Welche Produkte werden zusammen verkauft? Darstellen der Ergebnisse Hands - On Modul 3 Seiten Infrastruktur für das DWH

23 OLAP innerhalb der DWE DB2 lernt OLAP komplett in die DB2 integriert Fachlichkeit (Metadaten) Abfragegeschwindigkeit Keine zusätzlichen Schichten Skaliert mit DB2 23 Infrastruktur für das DWH

24 OLAP Metadaten RDBMS Metadaten DB2 OLAP Metadaten OLAP Metadaten 24 Infrastruktur für das DWH

25 OLAP Systeme benötigen Aggregate Bei der Onlineanalyse dreht sich alles um die Geschwindigkeit mit der Anwender durch die verschiedenen Aggregationsebenen navigieren DB2 hat alles was dafür benötigt wird: Super Aggregate Grouping Sets Roll-Up Cube Materialized Query Tables Transparenter Zugriff Multidimensional Clustering Effiziente Indexierung und Speicherung multidimensionaler Daten rows & columns materialized query tables Data loading Query Results Hybrid Analysis Cube Build Drill through DB2 OLAP Server 25 Infrastruktur für das DWH

26 JKS: den Mart in eine OLAP Datenbank erweitern OLAP Metadaten über die Bridge importieren Eine neue Hierarchie anlegen Einen neuen Würfel erzeugen Das OLAP Modell in die DB2 zurück schreiben Hands - On Modul 4 Seiten Infrastruktur für das DWH

28 Alphablox ermöglicht Analysen die: Business Prozesse Used Used to to run run the the business Operate in in real-time In die operativen Anwendungen integriert sind Die Geschäftsprozessen direkt unterstützen Personalisiert sind und unterstützt auch große Anwendergruppen Business Analysis Used Used to to manage the the business Operate off-line, inherent latency 28 Infrastruktur für das DWH

29 Komponenten Architektur Vordefinierte Komponenten für die Analyse DHTML - 100% Zero Client Installation Schnelle & offene Anwendungsentwicklung Kurzes Time to Market J2EE Framework ties it all together 29 Infrastruktur für das DWH

30 Portal IBM Software Group DB2 Data Management Software 30 Infrastruktur für das DWH

31 Was bedeutet Embedded Analytics? 31 Infrastruktur für das DWH

32 Was bedeutet Embedded Analytics? Von hier: 32 Infrastruktur für das DWH

33 Was bedeutet Embedded Analytics? Von hier: nach 33 Infrastruktur für das DWH

34 Was bedeutet Embedded Analytics? Von hier: Oder auch Ergebnis: Minimale Anwenderschulung Hohe Akzeptanz Kontrollierte Analysen 34 Infrastruktur für das DWH

35 JKS: Berichte erstellen Zum Abschluss werden nun auf das fertige Warehouse zugreifen. Sie erstellen beispielhaft einen neuen Bericht mit einer Gruppierung der Filialen nach Umsätzen. Anschliessend werden Sie diesen Bericht weiter verfeinern und anpassen Hands - On Modul 5 Seiten Infrastruktur für das DWH

36 Von Data Warehousing zu Information Warehousing Das Kernstück des Information Warehouse ist ein Enterprise Data Warehouse mit der Single Version of the Truth, implementiert in einer skalierbaren Datenbank Information Warehouse SOA Integration Industry Models & Solutions Master Data Management ETL Mining Integrated Data Warehouse Enterprise Data Warehouse OLAP In-Line Analytics Entity Analytics 36 Infrastruktur für das DWH

37 DB2 Data Warehouse Edition Architektur und Konzept Integrierte Plattform für Data Warehousing und Business Intelligence DB2 als Basis für ETL, OLAP und Data Mining offenes, Eclipse-basiertes DWE Design Center gemeinsame Tools, Metadaten und Run-Time Umgebung Framework für web-basierte Analyse- und Reportinglösungen auf J2EE Basis Integrated Design Center DBA Data Modeling ETL / SQL Warehousing Data Mining OLAP Enablement In-Line Analytics Data Architect BI Designer BI Specialist Web-based Administration Console Query Patroller Administration DB2 UDB ESE 37 Infrastruktur für das DWH

38 Weitere Informationsquellen Im Internet: 38 Infrastruktur für das DWH

39 39 Infrastruktur für das DWH