Das modulare DWH Modell

Transkript

1 Das modulare DWH Modell Durchgängige Business Intelligence durch eine praktikable DWH Referenzarchitektur Arno Tigges, Seniorberater OPITZ CONSULTING München GmbH DOAG SIG DWH/BI, Köln, 29. Juni 2010 OPITZ CONSULTING GmbH 2010 Seite 1

2 Agenda 1. Hintergrund Was sind die aktuellen Anforderungen an DWH/BI? 2. Praktikable DWH Referenzarchitektur Wie wird man den aktuellen Anforderungen gerecht? 3. Einbindung in die Gesamtarchitektur Wie führe ich eine DWH/BI Lösung durchgängig ein? 4. Fazit OPITZ CONSULTING GmbH 2010 Seite 2

3 1 Hintergrund OPITZ CONSULTING GmbH 2010 Seite 3

4 Aktuelle Anforderungen an BI Aktuelle Geschäftsprozesse haben die Erwartungen an BI deutlich gesteigert (Near-)Real-Time Datawarehouse durchgängiges, also unternehmensweites BI sowohl tiefere als breitere Analysemöglichkeiten Verarbeitung von immer größeren mengen perfekte qualität und ein echten Single Point of Truth unstrukturierte quellen Compliance and Corporate Governance stets flexible Anpassungsmöglichkeiten und Zukunftssicherheit OPITZ CONSULTING GmbH 2010 Seite 4

5 Die Zwei Modellierungsansätze Ralph Kimbal Dimensionales Modell mit Stars und Snowflakes vereinfachtes denormalisiertes modell auf das Abfragen von ausgerichtet Barry Devlin / Bill Inmon der Teufel liegt im Detail, also stets größtmögliche Detailtiefe normalisiertes 3NF modell auf das management ausgerichtet Kimbal Vorteil einfache Navigation (Drills) schnelle zugriffe Nachteil eingeschränkte Analysemöglichkeiten nötige Anpassungen u.u. sehr komplex Devlin Inmon effektives management kein Verlust von Detailtiefe oder Historisierung Performance oft problematisch komplexe 3NF Strukturen für Anwender OPITZ CONSULTING GmbH 2010 Seite 5

6 Typische Probleme und Lösungsansätze Probleme: Ein DWH ist kompliziert und nur langwierig einzuführen! (und nutzt am Ende ja sowieso nur einigen wenigen ) selbst kleinere Änderungen im DWH sind sehr kompliziert, (bei größeren Änderungen fängt man besser gleich von vorne an ) Es entstehen mehrere kleinere Insel-Lösungen (die untereinander nicht einmal abgleichbar sind: Multiple Points of Non-Truth) Lösungen: Think Big Start Small Iterativ-Inkrementelles VGM Durchgängiges Metadatenmanagement und geeignete Tools Enterprise DWH Projekte für durchgängiges BI OPITZ CONSULTING GmbH 2010 Seite 6

7 2 Praktikable DWH Referenzarchitektur OPITZ CONSULTING GmbH 2010 Seite 7

8 Referenzarchitektur Die Referenzarchitektur ist nichts Neues ist aber mit aktuellen technologischen Möglichkeiten besser Umsetzbar ist keine konkrete Anleitung ist geeignet als Leitfaden für eine neu zu implementierende Architektur kann auch als Roadmap für Änderungen vorhandener Architekturen dienen kann vollständig oder nur in Teilen umgesetzt werden OPITZ CONSULTING GmbH 2010 Seite 8

9 Hauptkomponenten der Architektur Security Quellen Data Warehouse BI / EPM Tools Informations- Quellen Informations- Management Informations- Zugriff ETL, Messaging und Metadaten OPITZ CONSULTING GmbH 2010 Seite 9

10 Details der Architektur Security Quellen Unstrukturierte Operative Master Standard BI Applikationen Staging Layer Temporäre zurückgewiesene Foundation Layer Prozessneutrales model in 3NF ETL, Messaging und Metadaten Access + Performance Layer eingebettete Data Marts MVs, AWs, CTAS Analyse Sandkasten BI App BI Abstraction and Query Generation Performance Management Apps Web Services Alerts, Dashboards, Reports, Queries Advanced Analysis Tools OPITZ CONSULTING GmbH 2010 Seite 10

11 bewirtschaftung Security Quellen Unstrukturierte Operative Master Standard BI Applikationen Staging Layer Temporäre zurückgewiesene Foundation Layer Prozessneutrales model in 3NF ETL, Messaging und Metadaten Access + Performance Layer eingebettete Data Marts MVs, AWs, CTAS Analyse Sandkasten BI App BI Abstraction and Query Generation Performance Management Apps Web Services Alerts, Dashboards, Reports, Queries Advanced Analysis Tools OPITZ CONSULTING GmbH 2010 Seite 11

12 3 Einbindung in die Gesamtarchitektur OPITZ CONSULTING GmbH 2010 Seite 12

13 Informationsbereitstellung Jede BI Anwendung kann auf alle jedes Layers zugreifen 1. Wahl: über den BI Abstraction Provider beziehen (also z.b. aus dem Oracle BI Server) 2. Wahl: BI Tools dürfen direkt auf Foundation, Stage oder Quelle zugreifen Ergebnis: Es können alle Report- und Analyse-Anforderungen flexibel und schnell mit dem DWH Modell zur Verfügung gestellt werden Alles was an Informationen im DWH vorhanden ist, wird auch genutzt Es werden keine Insellösungen provoziert OPITZ CONSULTING GmbH 2010 Seite 13

14 Informationsbereitstellung Security Quellen Unstrukturierte Operative Master Standard BI Applikationen Staging Layer Temporäre zurückgewiesene Foundation Layer Prozessneutrales model in 3NF Access + Performance Layer eingebettete Data Marts MVs, AWs, CTAS Analyse Sandkasten BI App ETL, Messaging und Metadaten BI Abstraction and Query Generation Performance Management Apps Web Services Alerts, Dashboards, Reports, Queries Advanced Analysis Tools OPITZ CONSULTING GmbH 2010 Seite 14

15 Bidirektionale Integration Gewonnene Informationen fließen direkt zurück BI-Tools erzeugen neue auch der Analyse Sandkasten dient experimentativen Data Mining und erzeugt gewonnene müssen bewahrt werden, um den Mehrwert zu sichern Diese fließen entweder direkt in das Staging Layer Oder zunächst in die Quelle und dann über die ETL Strecke zurück ins Data Warehouse qualität verbessern Ergebnisse von Auswertungen können auch zur Verbesserung der qualität genutzt werden Die WebService Schnittstelle kann z.b. von MDM Lösungen genutzt werden OPITZ CONSULTING GmbH 2010 Seite 15

16 Entwicklung und Einführung neuer Reportinganforderungen Iterativ-Inkrementelles Vorgehen Um eine neue Anforderung zu realisieren, fehlen meistens die nötigen im Warehouse Oft müssen diese zunächst integriert werden Erst dann können konkrete Anforderungen definiert werden Mit iterativ-inkrementellen Vorgehen nähert man sich Schrittweise dem Ziel 5. Qualitätsmessung Lieferung 4. Lösungs- Implementierung 1. Analyse 2. Design Ergebnis der Iteration 3. Qualitätsdefinition PM, tcm, RM OPITZ CONSULTING GmbH 2010 Seite 16

17 Entwicklung und Einführung neuer Reportinganforderungen Iterativ-Inkrementelles Vorgehen mit der Referenzarchitektur 1. Während des Designs greift der Report über den BI Abstraction Provider (evtl. sogar ausschließlich) auf die Quellsysteme durch 2. Sobald die Anforderungen verstanden sind, werden die sukzessive in die DWH Layer integriert 3. Der Report selber muss nicht adaptiert werden, sondern nur die Metadaten müssen angepasst werden Ergebnis: schnellere Lieferung der Ergebnisse OPITZ CONSULTING GmbH 2010 Seite 17

18 4 Fazit OPITZ CONSULTING GmbH 2010 Seite 18

19 Fazit Anforderung Vereinfachung durch Referenzarchitektur (Near-)Real-Time Datawarehouse durchgängiges, also unternehmensweites BI sowohl tiefere als breitere Analysemöglichkeiten Verarbeitung von immer größeren mengen Perfekte qualität und ein echten Single Point of Truth unstrukturierte quellen Compliance and Corporate Governance Stets flexible Anpassungsmöglichkeiten und Zukunftssicherheit durch die prinzipielle Architektur + neue Technologien durch schnelle Umsetzung von Anforderungen und Vermeidung von Insellösungen durch Balance zwischen Kimball und Devlin/Inmon Ansätze durch Lifecycle Management und Redundanzfreiheit im 3NF Foundation Layer durch Integration aller Data-Marts durch die prinzipielle Architektur + neue Technologien durch das übergreifende Security Konzept und die Historisierungsmöglichkeiten im 3NF durch einfache Integration, zugriff auf alle Layer und Anpassungsfähigkeit bzgl. Nutzung verschiedener Tools OPITZ CONSULTING GmbH 2010 Seite 19

20 Fragen und Antworten OPITZ CONSULTING GmbH 2010 Seite 20

21 Kontakt Arno Tigges Seniorberater OPITZ CONSULTING München GmbH Weltenburger Straße München Tel arno.tigges@opitz-consulting.com Quellen: Enabling Pervasive BI through a Practical Data Warehouse Reference Architecture An Oracle Whitepaper, February OPITZ CONSULTING GmbH 2010 Seite 21