Data Warehousing in der Praxis. SAP Business Information Warehouse (SAP-BW) SAP in-memory ein Überblick DW-Projekte in der Praxis. Thorsten Winsemann

Transkript

1 Data Warehousing in der Praxis SAP Business Information Warehouse (SAP-BW) SAP in-memory ein Überblick DW-Projekte in der Praxis Thorsten Winsemann

2 Data Warehousing in der Praxis Inhalt TW Zur Person SAP Business Information Warehouse (SAP-BW) SAP-BW: Überblick und Datenfluss Layered, Scalable Architecture (LSA) Business Information Warehouse Accelerator (BWA) SAP in-memory ein Überblick DW-Projekte in der Praxis Überblick Herausforderungen Thorsten Winsemann Data Warehousing in der Praxis 2

3 TW Zur Person Studien Hochschule Bremerhaven Transportwesen ( Logistik ) Diplom-Wirtschaftsingenieur (FH) Systemanalyse ( Wirtschaftsinformatik ) Diplom-Ingenieur (FH) Beruf SAP AG, SAP Hosting, SAP SI, SAP Deutschland Entwicklung (Walldorf) Logistik-Informationssysteme + Business Information Warehouse heute Beratung (Walldorf + Hamburg) Business Information Warehouse + Logistik-Informationssysteme seit 10/09 Internes Entwicklungsprojekt BW on SAP HANA Promo Otto-von-Guericke-Universität Magdeburg 09/09-11/14 Bewertung von Datenpersistenz in Business-Data-Warehouse-Systemen mithilfe multikriterieller Entscheidungsmodelle Thorsten Winsemann Data Warehousing in der Praxis 3

4 Data Warehousing in der Praxis Inhalt TW Zur Person SAP Business Information Warehouse (SAP-BW) SAP-BW: Überblick und Datenfluss Layered, Scalable Architecture (LSA) Business Information Warehouse Accelerator (BWA) SAP in-memory ein Überblick DW-Projekte in der Praxis Überblick Herausforderungen Thorsten Winsemann Data Warehousing in der Praxis 4

5 SAP Business Information Warehouse: Überblick Thorsten Winsemann Data Warehousing in der Praxis 5

6 SAP Business Information Warehouse: Datenfluss Thorsten Winsemann Data Warehousing in der Praxis 6

7 Layered, Scalable Architecture: Referenzarchitektur füredw* betriebswirtschaftliche Logik BI-Applications- Layer aufbereitet, verwendbar für BI-Applikationen harmonisierte Sicht applikationsneutral EDW-Layer (wiederverwendbar; konzernweit, granular Single Point of Truth ) Datenharmonisierung Qualitätssicherung * Enterprise Data Warehouse A User berichts- & analysefertig Reporting Layer (Architected Data Marts) Business Transformation Layer Data Propagation Layer Quality & Harmonisation Layer Data Acquisition Layer Corporate Memory A near real-time reporting granular, operational Operational Data Store unverändert, granular extrahierte Daten unverändert Data Sources langfristig umfassend, komplett temporär das Unbekannte meistern Thorsten Winsemann Data Warehousing in der Praxis 7 LSA

8 Layered, Scalable Architecture: Kundenbeispiel Vertriebsauftrag Thorsten Winsemann Data Warehousing in der Praxis 8

9 Layered, Scalable Architecture: Kundenbeispiel Budgetplanung Thorsten Winsemann Data Warehousing in der Praxis 9

10 Business Information Warehouse Accelerator: Architektur und Arbeitsweise BWA = Columnstore inmemory appliance BusinessObjects Other Explorer Other Daten-/Ergebnisaufbereitung für BI Queries In-Memory Processing Aggregation on the fly Analytic Engine InfoCubes etc. Indexing Any Source Data Acquisition SAP NetWeaver BW Parallele Indizierung der InfoCube-Daten über BW-Standardprozesse Spaltenbasiertes Speichern & Komprimierung für minimalen Speicherplatz Initiales Laden der Indexe SAP NetWeaver BW Accelerator Thorsten Winsemann Data Warehousing in der Praxis 10

11 Business Information Warehouse Accelerator: Kundenbeispiel Performance-Vergleich Thorsten Winsemann Data Warehousing in der Praxis 11

12 Data Warehousing in der Praxis Inhalt TW Zur Person SAP Business Information Warehouse (SAP-BW) SAP-BW: Überblick und Datenfluss Layered, Scalable Architecture (LSA) Business Information Warehouse Accelerator (BWA) SAP in-memory ein Überblick DW-Projekte in der Praxis Überblick Herausforderungen Thorsten Winsemann Data Warehousing in der Praxis 12

13 In-Memory: Technologische Innovationen Hardware-Innovationen Multi-Core Architektur (8x8core CPU pro Server) Massive Parallelskalierung durch zahlreiche Knoten möglich Software-Innovationen Zeilen- und Spaltenablage Komprimierung Verbesserung RAM-Lokalität Partitionierung 64bit-Adressraum 2TB in aktuellen Servern 100GB/s Datendurchsatz Starker Rückgang Preis/Performance Keine zusätzlichen Aggregationen Nur Einfüge-Operationen In-Memory Computing ermöglicht die Verarbeitung sehr großer Datenmengen im Hauptspeicher des Servers, so dass Ergebnisse aus Analysen und Transaktionen sofort zur Verfügung stehen Thorsten Winsemann Data Warehousing in der Praxis 13

14 SAP HANA TM 1.0 HANA = High-Performance ANalytic Appliance SAP BusinessObjects Tools SQL BICS Andere Tools / Apps SQL MDX Vorkonfigurierte Analytical Appliance In-Memory Software + Hardware (HP, IBM, Fujitsu, Cisco, Dell) SAP HANA SAP In-Memory Computing Studio SAP In-Memory Datenbank Berechnungs- und Planungs-Engine Echtzeit- Replikation Zeilen- und spaltenbasierte Ablage SAP BusinessObjects DataServices + In-Memory Computing Engine Software Data Modeling und Data Management Echtzeit-Replikations-Services ETL-Services aus SAP Business Suite, SAP BW und 3 rd -Party-Systemen Funktionen ermöglichen SAP Business Suite SAP NetWeaver Business Warehouse Andere Datenquellen Analyse von Daten in Echtzeit Erstellung von flexiblen Analysemodellen Basis für neue Applikationen Vermeidung redundanter Datenspeicherung Thorsten Winsemann Data Warehousing in der Praxis 14

15 SAP HANA in action 33 M 45 Minuten Kundendatensätze Datenkomprimierung: 40 GB 6,6 GB 540x schneller 40 GB 5 Sekunden Standard System In-Memory System

16 Paradigmenwechsel durch In-Memory-Computing Heutige Applikationen führen viele der datenintensiven Operationen in der Anwendungsschicht aus Heutiger Ansatz Data to Code Berechnung Anwendungsschicht Datenbankschicht Berechnung Zukünftiger Ansatz Code to Data Hochperformante Anwendungen delegieren datenintensive Operationen an die In-Memory-Plattform Thorsten Winsemann Data Warehousing in der Praxis 16

17 SAP-BW auf HANA-DB Gesteigerte Performance Exzellente Queryperformance, vergleichbar mit BWA Beschleunigung der In-Memory-Planungsfunktionen Performance-Verbesserung für ETL-Prozesse Vereinfachte Administration und Infrastruktur DB und BWA verbinden sich ein einer Instanz zur Reduktion der TCO Vereinfachte Administration via eines Sets an Admin-Tools, z.b. zur Datenwiederherstellung und Gewährleistung hoher Verfügbarkeit Spaltenbasierte Speicherung mit hoher Kompressionsrate und signifikant geringerem Volumen Keine besonderen Aufwände zur Garantie des schnellen Reportings auf jedem DB-Objekt Vereinfachte Datenmodellierung: schnellere Strukturänderungen Agilität für den Fachbereich Integrierte und flexible Datamarts gleichzeitig nutzbar Query on DSO, BW InfoSet Open SQL / SQL92 SQL Engine SAP BW SAP HANA Query on InfoCube, Master Data, Analytic Index, CompositeProvider BW Analytics API Calc Engine Aggregation Engine on In-Memory Data Thorsten Winsemann Data Warehousing in der Praxis 17

18 SAP-BW für die zentrale Datenhaltung Informationszugriff und -darstellung Informationsanalyse OLAP Analysen Ad-hoc Berichte Standardberichte Dashboards Zentrale Datenharmonisierung und -vorhaltung Datenintegration Data Services / Datenqualitätsmanagement Operative Systeme DB Strukturierte Daten Unstrukturierte Daten Thorsten Winsemann Data Warehousing in der Praxis 18

19 Code to Data imsap-bw SAP NetWeaver BW SAP BW on HANA Data Modellierung Data Modellierung Prozess- Orchestrierung Planung OLAP Daten-Management Prozess- Orchestrierung Planung OLAP Daten- Management Push Down RDBMS Datenschema & Daten Traditionell HANA Thorsten Winsemann Data Warehousing in der Praxis 19

20 Code to Data : Beispiele(1 Planung) Traditionelle BW-IP-Planung BW-IP-Planung mit In-Memory Interfacelayer Nutzung Nutzung Orchestrierung Berechnung Orchestrierung Berechnung Anwendungslayer Datenbanklayer Datenhaltung Datenhaltung Thorsten Winsemann Data Warehousing in der Praxis 20

21 Code to Data : Beispiele(2 DSO-Aktivierung) DataStore-Objekte (DSO) sind grundlegende Teile einer Data-Warehouse-Architektur Laufzeit - notwendig zum Aufbau konsistenter Delta- Informationen über zahlreiche Quellen - ermöglichen Reporting auf detailliertem Level Aktivierung und Query-Operationen sind besonders performancekritisch Aktivierungslaufzeit Delta: 0.1 M, Active: 1 M Delta: 1 M, Active: 10 M Delta: 10 M, Active: 100 M BW RDMBS based In-Memory optimized Thorsten Winsemann Data Warehousing in der Praxis 21

22 Code to Data : Beispiele(3 DSO-Entwicklung) BW 7.3x on anydb BW 7.3x on HANA BW 7.4 on HANA Application Server DSO Activation Transformation DSO Transformation DSO Activation Activation Database Data Data Transformation Data Thorsten Winsemann Data Warehousing in der Praxis 22

23 Aktuelle Entwicklungen 1a Thorsten Winsemann Data Warehousing in der Praxis 23

24 Aktuelle Entwicklungen 1b Thorsten Winsemann Data Warehousing in der Praxis 24

25 Aktuelle Entwicklungen 1c Thorsten Winsemann Data Warehousing in der Praxis 25

26 Aktuelle Entwicklungen 2a Thorsten Winsemann Data Warehousing in der Praxis 26

27 Aktuelle Entwicklungen 2b Thorsten Winsemann Data Warehousing in der Praxis 27

28 Aktuelle Entwicklungen 3 Thorsten Winsemann Data Warehousing in der Praxis 28

29 Früher: Systemarchitektur SAP HANA 1.0 SAP BW B W A Analytical Summarized Analytical Reports Update Daily SAP ECC ETL Update Hourly/Daily Operational Detailed Operational Reports Traditional DB Oracle, DB2, MSFT Traditional DB Oracle, DB2, MSFT ETL Near Real-Time (or ETL) SAP HANA 1.0 High Value Scenarios BI Analytical Operational Step 1 In-Memory parallel zur bestehenden Systemarchitektur Thorsten Winsemann Data Warehousing in der Praxis 29

30 Aktuell: SAP HANA als Datenbank für SAP BW In-Memory BW ETL SAP BW BI Analytical SAP ECC Traditional DB Oracle, DB2, MSFT SAP HANA DW Acceleration Analytical Apps Near Real-Time SAP HANA High Value Scenarios BI Analytical Operational Step 2 SAP HANA als Datenbank für das SAP BW 7.30 Optimierung von BW Prozessen auf Basis der In-Memory Engine Verknüpfung von Real-Time-Analyseszenarien mit EDW-Daten Thorsten Winsemann Data Warehousing in der Praxis 30

31 Die Zukunft: SAP HANA als gemeinsame Basis SAP ECC BW APPS HANA Step 3 Neue Applikationen & Plattformkonsolidierung Gemeinsame Datenbasis für operationale Prozesse und analytische Applikationen Speicherintensive Operationen werden an die In-Memory Engine verlagert Operationale Daten sind sofort für die Analyse verfügbar Alle Transaktionen, Transformationen und komplexe Verarbeitungen werden durch die In- Memory-Engine ausgeführt Thorsten Winsemann Data Warehousing in der Praxis 31

32 Data Warehousing in der Praxis Inhalt TW Zur Person SAP Business Information Warehouse (SAP-BW) SAP-BW: Überblick und Datenfluss Layered, Scalable Architecture (LSA) Business Information Warehouse Accelerator (BWA) SAP in-memory ein Überblick DW-Projekte in der Praxis Überblick Herausforderungen Thorsten Winsemann Data Warehousing in der Praxis 32

33 DW-Projekte in derpraxis: Überblick: Informationen zum Kunden/Projekt Kunde Luxusgüterkonzern (Retail) weltweit ca. 17 Einzelhersteller/-marken Projekt seit 2005 live: USA, CDN, CH, F, E, P, D, A, CZ, NL, B, L, > 300 Boutiquen + Verteilungzentren > 3000 Benutzer Bereiche/Applikationen: System DB: > 2.5 TB > 6500 InfoObjects (dv. > 2500 Z*-Objekte) > 400 InfoCubes > 300 DSOs (z.b.: SD-Aufträge: > 50 Mio. Sätze, Lieferungen: > 50 Mio. Sätze) Stammdaten (z.b.: ~ 3 Mio. Kunden / Materialien) Thorsten Winsemann Data Warehousing in der Praxis 33

34 DW-Projekte in derpraxis: Überblick: Systemlandschaft (vereinfacht) Externe Systeme Portal Analyse SAP-SEM SAP-APO SAP-BW SAP-BW (auf SAP HANA) SAP-CRM 4-System- Landschaft D - Entwicklung Q - Test V - Prä-Produktiv P - Produktiv Dateien Dateien SAP-ERP SAP-PI Legende Datenfluss Altsysteme Kassensysteme Fremdsysteme SAP-System Fremdsystem Thorsten Winsemann Data Warehousing in der Praxis 34

35 DW-Projekte in derpraxis: Herausforderungen Projektphase Aufnahme der (Berichts-)Anforderungen (was, woher, wie oft,...)... und deren vorausschauende Ergänzung Namenskonventionen (und deren Einhaltung) Berechtigungskonzept(e) Zeitzonenproblematik Lfd. Betrieb Eindämmung von Berichts-Wildwuchs Erklärung von Berichtsergebnissen/-werten ( Data Lineage ) Berichtsperformanz Berichtsbedienung Datenverfügbarkeit ( real-time oder nicht?) Gewährleistung der System-/Berichtsverfügbarkeit ( 24x7 ) Gewährleistung der Datenkonsistenz (falsche Daten, Verbuchungsabbrüche,...) Laufzeit: ETL-Prozesse Staging-Prozesse + Aggregatsaktualisierung sonstige Programme zur Datenermittlung Thorsten Winsemann Data Warehousing in der Praxis 35

36 Data Warehousing in der Praxis Fragen? DANKE!