Marketing Intelligence Architektur und Konzepte Josef Kolbitsch Manuela Reinisch
Übersicht Mehrstufiges BI-System Architektur eines Data Warehouses Architektur eines Reporting-Systems Benutzerrollen in BI-Systemen Ausgewählte BI-Produkte
Mehrstufiges BI-System 1/6 Klassisches BI-System Online Transaction Processing (OLTP) Operational Data Store (ODS) Enterprise Data Warehouse (DWH) Data Marts Reporting Berichte ERP-System Integrate, Transform Executive-Bericht Operational Data Store (ODS) ETL Data Warehouse (DWH) Reporting-System X CRM-System Datenbank XY Integrate, Transform Extract, Transform, Load (ETL) Extract, Transform, Load (ETL) Data Mart Sales Management- Bericht Sales-Bericht Daten von externen Anbietern Data Mart Procurement Reporting-Tool Y Procurement- Bericht Quellsysteme Data Warehouse Reporting
Mehrstufiges BI-System 2/6 Dreistufiger Ansatz: Quellsysteme Data Warehouse Reporting
Mehrstufiges BI-System 3/6 Quellsysteme Bieten Schnittstellen an, um auf Transaktionsdaten zugreifen zu können Schnittstellen: Datenbanktabellen, Datenbank-Views, APIs wie Web-Services, File-Upload/-Download, etc.
Mehrstufiges BI-System 4/6 Data Warehouse Zentrale, allumfassende Datenbasis Daten werden aus mehreren Quellsystemen geladen und zusammengeführt
Mehrstufiges BI-System 5/6 Data Marts Kleine, themenspezifische, spezialisierte Ausschnitte aus dem Data Warehouse Beispiel: Data Warehouse: enthält Daten über Einkauf, Verkauf, Budgetplanung, etc. Data Mart: enthält nur Daten über Verkauf
Mehrstufiges BI-System 6/6 Reporting Darstellung der Daten aus dem Data Warehouse und aus Data Marts Über Schnittstellen wird auf diese Daten zugegriffen Reporting-Software bietet umfassende Analysemöglichkeiten für Benutzer
Data Warehouse-Architektur 1/8 Ein Data Warehouse besteht intern aus mehreren Ebenen: Staging Area: Daten werden aus Quellsystemen in das Staging Area geladen (1:1-Kopie) Enterprise-Schema: Daten werden angepasst Dimensionen, Würfel: Zieldatenstrukturen Quelldaten Enterprise Staging Area Schema Kopieren Anpassen Speichern Dimensionen, Würfel
Data Warehouse-Architektur 2/8 Data Warehouse Zentraler Prozess für das Laden und Anpassen der Daten: ETL-Prozess: Extract, Transform, Load Quelldaten Extract Transform Load Enterprise Staging Area Schema Kopieren Anpassen Speichern Dimensionen, Würfel
Data Warehouse-Architektur 3/8 ETL-Prozess: Extract Extract: Daten aus den Quellsystemen extrahieren Beispiele: Daten aus der Tabelle einer Datenbank laden, Daten in eine relationale Staging-Tabelle schreiben Daten aus einer Datei laden, Daten in eine relationale Staging-Tabelle schreiben Daten über einen Web-Service laden, Daten filtern, Daten in eine relationale Staging-Tabelle schreiben
Data Warehouse-Architektur 4/8 ETL-Prozess: Transform Transform: geladene Daten anpassen Beispiele: Datumwerte werden von MM/DD/YYYY in DD.MM.YYYY umgewandelt, Daten aus zwei unterschiedlichen Systemen werden miteinander verknüpft, Kennzahlen werden berechnet (Beispiel: Verkaufspreis-Einkaufspreis) aus einer flachen Liste von Produkten wird eine Produkthierarchie erstellt
Data Warehouse-Architektur 5/8 ETL-Prozess: Load Load: Zielstruktur wird mit transformierten Daten beladen Beispiele: eine Produkthierarchie wird in eine Dimension geschrieben, mit mehreren Dimensionen wird ein neuer Würfel aufgespannt zuvor berechnete Kennzahlen werden in einen Würfel geschrieben
Data Warehouse-Architektur 6/8 Data Cleansing Als Teil des ETL-Prozesses ist auch ein Säubern der Daten notwendig: Korrigieren falscher Daten Entfernen unvollständiger Daten Hinweisen auf problematische Daten Etc.
Data Warehouse-Architektur 7/8 Datenqualitätskontrolle Nach dem ETL-Prozess: Daten sind in Zieldatenstrukturen (Dimensionen, Würfel) Daten müssen auf Korrektheit geprüft werden Definierte Qualitätskriterien für Daten müssen eingehalten werden Beispiele: Nur x % der Quelldaten dürfen verloren gehen Die Abweichung einer Kennzahl darf maximal x % sein
Data Warehouse-Architektur 8/8 Datenmodellierung Datenmodellierung im Data Warehouse: Multidimensional Folgt im nächsten Modul
Reporting-Architektur 1/6 Das Reporting System selbst kann mehrere Quellen haben Online Transaction Processing (OLTP) Operational Data Store (ODS) Enterprise Data Warehouse (DWH) Data Marts Reporting Berichte ERP-System Integrate, Transform Executive-Bericht Operational Data Store (ODS) ETL Data Warehouse (DWH) Reporting-System X CRM-System Datenbank XY Integrate, Transform Extract, Transform, Load (ETL) Extract, Transform, Load (ETL) Data Mart Sales Management- Bericht Sales-Bericht Daten von externen Anbietern Data Mart Procurement Reporting-Tool Y Procurement- Bericht Quellsysteme Data Warehouse Reporting In diesem Fall: das DWH und einen Data Mart Es können aber auch externe Daten eingebunden werden
Reporting-Architektur 2/6 Das Reporting-System kann aber auch mehrere Konsumenten haben: Online Transaction Processing (OLTP) Operational Data Store (ODS) Enterprise Data Warehouse (DWH) Data Marts Reporting Berichte ERP-System Integrate, Transform Executive-Bericht Operational Data Store (ODS) ETL Data Warehouse (DWH) Reporting-System X CRM-System Datenbank XY Integrate, Transform Extract, Transform, Load (ETL) Extract, Transform, Load (ETL) Data Mart Sales Management- Bericht Sales-Bericht Daten von externen Anbietern Data Mart Procurement Reporting-Tool Y Procurement- Bericht Quellsysteme Data Warehouse Reporting Beispiele: Web-Browser, spezielle Client-Software, Excel mit Add-On, etc.
Reporting-Architektur 3/6 Um diese Vielfältigkeit zu ermöglichen, haben Reporting- Systeme intern eine mehrschichtige Architektur Quellsysteme Data Warehouse Data Mart Einheitliche Strukturen Interne Bezeichnungen Reduzierte Strukturen Präsentierbare Bezeichnungen Datenbank XY Daten von externen Anbietern Physical Layer Business Layer Presentation Layer Drei Layer: Physical, Business und Presentation Layer
Reporting-Architektur 4/6 Physical Layer Verschiedene Quellsysteme werden integriert Quellsysteme Data Warehouse Data Mart Einheitliche Strukturen Interne Bezeichnungen Reduzierte Strukturen Präsentierbare Bezeichnungen Datenbank XY Daten von externen Anbietern Physical Layer Business Layer Presentation Layer Beispiel: Daten aus dem DWH mit einer Datenbank von einem externen Anbieter
Reporting-Architektur 5/6 Business Layer Unterschiedliche Daten werden zusammengeführt, verknüpft Quellsysteme Data Warehouse Data Mart Einheitliche Strukturen Interne Bezeichnungen Reduzierte Strukturen Präsentierbare Bezeichnungen Datenbank XY Daten von externen Anbietern Physical Layer Business Layer Presentation Layer Datenfelder behalten aber interne Bezeichnungen (wie in der jeweiligen Datenbank oder im DWH)
Reporting-Architektur 6/6 Presentation Layer Daten werden für Präsentation nach außen vorbereitet Quellsysteme Data Warehouse Data Mart Einheitliche Strukturen Interne Bezeichnungen Reduzierte Strukturen Präsentierbare Bezeichnungen Datenbank XY Daten von externen Anbietern Physical Layer Business Layer Presentation Layer Irrelevante Datenfelder werden ausgeblendet, Datenfelder bekommen präsentierbare Bezeichnungen
Benutzerrollen in BI-Systemen 1/9 Für die Umsetzung eines BI-Systemes sind unterschiedliche Experten notwendig (Auswahl): BI Director BI Project Manager Technical Architect/Systems Analyst BI Architect/Developer Data Analyst/Modeler Business Requirements Analyst Report Designer Business Analyst, etc. Siehe: http://tdwi.org/research/2010/03/ss-2010-tdwi-salary-roles-and-responsibilities-report.aspx
Benutzerrollen in BI-Systemen 2/9 BI Director: Verantwortlich für BI-Strategie Verantwortlich für BI-Plattformen Überwacht das Alignment der BI-Initiativen
Benutzerrollen in BI-Systemen 3/9 BI Project Manager: Verantwortlich für die Umsetzung einzelner BI-Projekte Stellt sicher, dass alle notwendigen Personen und Ressourcen für die Umsetzung der Projekte zur Verfügung stehen
Benutzerrollen in BI-Systemen 4/9 Technical Architect: Planung der technischen BI-Architektur Planung der Systemkomponenten und deren Abhängigkeiten Planung der Schnittstellen
Benutzerrollen in BI-Systemen 5/9 BI Architect: Planung innerhalb der BI-Systeme Planung von Data Marts, etc. Modellierung der multidimensionalen Datenstrukturen Planung der ETL-Prozesse Realisierung der ETL-Prozesse
Benutzerrollen in BI-Systemen 6/9 Data Analyst: Analyse der vorhandenen und notwendigen Daten im Quellsystem Überprüfung der Daten im Data Warehouse Datenqualitätskontrolle
Benutzerrollen in BI-Systemen 7/9 Business Requirements Analyst: Analyse der gewünschten Geschäftsanwendung Festlegen der Berichts-Anforderungen Festlegen der Key Performance Indicators (KPIs) Festlegen der Funktionalitäten in Berichten
Benutzerrollen in BI-Systemen 8/9 Report Designer: Planung von Berichten Realisierung von Berichten
Benutzerrollen in BI-Systemen 9/9 Business Analyst: Verwendung der Berichte Analyse der in den Berichten gelieferten Daten Gewinnen von neuen Erkenntnissen
Ausgewählte BI-Produkte 1/8 In den vergangenen Jahren hat eine Konsolidierung im Markt für BI-Software stattgefunden Nur mehr wenige große Anbieter und Produkte sind übrig Dazu kommen noch einige kleinere, lokale und spezialisierte Anbieter Derzeit entwickelt sich auch eine Open Source-Community rund um BI (Open Source Business Intelligence, OSBI) Siehe: http://www.barc.de/
Ausgewählte BI-Produkte 2/8 Gartner Magic Quadrant für BI-Plattformen Siehe: http://www.gartner.com/technology/media-products/reprints/microsoft/vol2/article15/article15. html
Ausgewählte BI-Produkte 3/8 IBM Cognos: IBM hat Cognos zugekauft Zuvor hat Cognos die multidimensionale Datenbank TM1 akquiriert Web-Site: http://www.ibm.com/software/data/cognos/
Ausgewählte BI-Produkte 4/8 Microsoft: Mehrere Produkte rund um SQL Server: SQL Server Analysis Services SQL Server Reporting Services Web-Site: http://www.microsoft.com/bi/
Ausgewählte BI-Produkte 5/8 Microstrategy: Reporting Software seit 1989 am Markt Spezialisierung rein im BI-Bereich Web-Site: http://www.microstrategy.com/
Ausgewählte BI-Produkte 6/8 Oracle: Hat mehrere Produkte zugekauft, unter anderem: Hyperion: Oracle Hyperion Essbase Siebel: Oracle BI Suite Web-Site: http://www.oracle.com/solutions/ent-performance-bi/
Ausgewählte BI-Produkte 7/8 SAP: Hat Business Objects zugekauft Zuvor hat Business Objects Crystal Reports akquiriert Web-Site: http://www.sap.com/solutions/sapbusinessobjects/
Ausgewählte BI-Produkte 8/8 SAS: Seit 1966 Hersteller von Statistik-Software In den vergangene Jahren auch im Reporting- und BI-Umfeld tätig Web-Site: http://www.sas.com/
Fragen?
Danke für die Aufmerksamkeit!