Data Warehouse Automatisierung und Industrialisierung Neue Wege der Agilität.

Transkript

1 Data Warehouse Automatisierung und Industrialisierung Neue Wege der Agilität. Gregor Zeiler Solution Manager Business Intelligence BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 1

2 Automatisierung ist State of the Art in der industriellen Fertigung! 2

3 Industrie 4.0 Am Weg zur Smart Factory 3

4 Die IT revolutioniert die Industrie! Quelle: Siemens Jahresbericht

5 Wo steht aktuell BI/Big Data und Data Warehousing in Bezug zu den industriellen Entwicklungsstufen? Arbeitsteilige Prozesse Geringe Automatisierung 5

6 Wieso ist das so? - Thesen BI/DWH ist kein Massenprodukt jede Lösung ist sehr individuell (Losgröße 1). Die Komplexität lässt sich nicht automatisieren, es benötigt immer Handarbeit. Ein DWH ist im Gegensatz zu einem herkömmlichen Produkt niemals fertig. 6

7 BI/DWH ist kein Massenprodukt Jeder Kunde kann sein Auto in einer beliebigen Farbe lackiert bekommen, solange die Farbe, die er will schwarz ist. Henry Ford Flexibilität Starke Individualisierung (bis zur Losgröße 1) der Produkte unter den Bedingungen einer Produktivität hoch flexibilisierten Produktion. BI/DWH benötigt genau diese Flexibilität mit extrem hoher Produktivität! 7 Mechanisierung Massenfertigung Modellierung Automatisierung 3.0 Automatisierung 4.0 Vernetzung Prozessketten

8 Produktivität und Flexibilität im Data Warehousing Bauplan Maschine Werkstück Modell Metadefinition Automation von Entwicklungsaufgaben Generator Data Base Objekte Mappings Data Flow Source Data Mart DWH-Core Cleansing Staging Source Source Ein Generator kann die Produktivität stark verbessern, wenn er auch entsprechend flexibel ist! 8

9 Generator Anforderungen im Data Warehousing Generator Notwendige Eigenschaften: Metadaten getriebene Generierung Unterstützung der Zieltechnologie Zielarchitektur konfigurierbar Unterstützung von unterschiedl. Modellierungsoptionen DWH Lösung Data Mart DWH-Core Cleansing Staging Möglichkeit zur Individualisierung einzelner Generatortasks Source Source Source Diese Eigenschaften gewährleisten die erforderliche Flexibilität des Generators, um die individuellen Anforderungen einer konkreten Lösung abdecken zu können! 9

10 Wieso ist das so? - Thesen BI/DWH ist kein Massenprodukt jede Lösung ist sehr individuell (Losgröße 1). Die Komplexität lässt sich nicht automatisieren, es benötigt immer Handarbeit. Ein DWH ist im Gegensatz zu einem herkömmlichen Produkt niemals fertig. 10

11 Es ist keine Frage von Entweder Oder, sondern wie viel Automatisierung ist möglich! 11

12 Komplexität im Data Warehousing Generator Grenzen eines Generators: Ein Generator-Ansatz wird nie 100% der gewünschten Lösung automatisiert erstellen können. Der Umfang ist abhängig vom Modellierungs- und Konfigurationsvermögens des Generators (Quell-Metadaten, Mapping Definitionen, komplexe Berechnungen, spezielle Modellierungen, Lookup in andere Layer, ) Der Umfang ist abhängig von der Beeinflussbarkeit der Generatorlogik bis auf Einzel-Objektebene (z.b. Individualisierbare Generator-Templates, User Exits für manuelle Logik) 12

13 Simple versus Advanced Generator Approach Simple Generator Approach: Edit Model Data Generator Konfiguration in Black Box Generator Relativ hoher Rework-Anteil begrenzte Produktivität Rework & Deploy DWH Solution Advanced Generator Approach: Generator Konfiguration T1 T1 Point of modification so früh wie möglich Default template Indiv. template Generator processing Geringer Rework-Anteil hohe Produktivität Auf Objektbasis individualisierbare Generatorlogik 13

14 Wieso ist das so? - Thesen BI/DWH ist kein Massenprodukt jede Lösung ist sehr individuell (Losgröße 1). Die Komplexität lässt sich nicht automatisieren, es benötigt immer Handarbeit. Ein DWH ist im Gegensatz zu einem herkömmlichen Produkt niemals fertig. 14

15 Life-cycle im Data Warehousing Life-cycle Aspekte: Life-cycle einer Generation (Release) Life-cycle über alle Releases hinweg Generationen eines Modells Design Development Deploy Generationen/Releases einer DWH-Lösung Generator 15

16 Life-cycle Potential (1) im Data Warehousing Design Potential Development Potential Design Development Deploy BRE Design App Generator Hoch produktiver Entwicklungs-Prozess In der Regel sehr arbeitsteilige Prozesse vom Requirements Engineering bis zum technischen Design 16

17 Life-cycle Potential (2) im Data Warehousing Meta-DB Data Base für Modell Design Release/Version 1 Release/Version 2 Release/Version 3 Changemanagement Potential In der Regel sind Impact Analysen und Dokumentation über die einzelnen Releases sehr aufwändige Prozesse im Changemanagement Release/Version 4 Release/Version n Impact Analyse und Dokumentation basierend auf den versionierten Metadaten und lassen sich automatisch generieren. 17

18 DWH - Automatisierung ist möglich! Es benötigt aber umfassende Generator und Life-cycle Unterstützung, um mit Flexibilitätsund Komplexitäts-Anforderungen umgehen zu können. 18

19 Auswirkungen der Automatisierung auf Prozesse, Produktivität und Agilität 19

20 Auswirkungen der Automatisierung & Industrialisierung Time to Market Kosten Einsparung Einhaltung Standards Reduktion Testaufwand Produktivität Agilität Robustheit Umfassende Zeit- und Kosteneinsparungen erhöhen die Produktivität Agilität steigt durch die Möglichkeit von kurzen Release-Zyklen Die Einhaltung von Standards sichert die Ausbaubarkeit. 20

21 Auswirkungen auf BI-Prozesse Fachteam und Designteam arbeiten ohne große Arbeitsteiligkeit sehr eng zusammen und erarbeiten unmittelbar aus den Fachanforderungen das (semantische) Lösungsdesign. I1 I2 In Die Möglichkeit zu sehr kurzen Release-Zyklen führt generell zu einem stark iterativen und agilen Vorgehen. In vielen kleinen Iterationen nähert man sich dem gewünschten Ergebnis. Zusätzliches Sandboxing kann Produktiv-Systeme stabilisieren. Durch den Generator Approach liegt der Fokus eher auf den Fachanforderungen (Business Driven) als auf der technischen Umsetzung. Darum kümmert sich der Generator. 21

22 Agile Data Warehousing mit Sandbox Approach Multi Projekt & Modelling Support Projekt 1: Sandbox Agile DWH I1 I2 I3 I4 In Projekt 2: EDWH I1 I2 In Entkoppelung der Iterationen von Sandbox und EDWH zur Reduktion der Dynamik im produktiven DWH. 22

23 Version Deployment Beispiel Infrastruktur für DWH Automation RQ Bugs RQ Collection RQ Planning Issue Tracking RQ Approval Project Manager Solution Designer Source Code Verwaltung DWH Solution Link Test case to RQ RQ assign to Release Release Management (Baseline RQ) Modelling Documentation Generator Test Case Description Issue Tracking TC assign to Test Run Test Run Definition Test Run Execution Test Automation 23

24 24

25 Projektbeispiel: Kleine Regionalbank Projekt-Case: Pilotanwendung für eine neue DWH-Lösung. Auswertung der Calls im Direkt-Sales Service für Vertriebssteuerungszwecke. Modellierungs-Approach Kombination Business-Driven und Source-Driven. Durch konkrete Vorgaben wenige Iterationen notwendig. Mengengerüst (Pilot): ca modellierte Objekte, 1 Quellsysteme ca. 60 generierte DB/Datenfluss Objekte ca. 3 generierte Iterationen in 1 Monaten DLZ 8-10 PT Einsparung 2-4 PT Einsparung 25

26 Projektbeispiel: Energieversorger (Netzbetrieb) Projekt-Case: Gesetzliche Anforderungen erfordern zusätzliche Auswertungsmöglichkeiten basierend auf Sensordaten mit sehr hohen Ansprüchen auf Aktualität der Daten im DWH (wenige Minuten Latenzzeit). Sehr große Datenmengen mit sehr vielen verschiedenen Anlieferschnittstellen. Mengengerüst (Phase 1): ca. 15 modellierte Objekte, Schnittstellen, 100 Mio - 2,2 Mrd Datensätze/Tag ca. 150 generierte DB/Datenfluss Objekte (exkl. SS) PT Einsparung ca. 20 generierte Iterationen in 3 Monaten DLZ PT Einsparung 26

27 Projektbeispiel: Transportation Projekt-Case: Die Einführung eines neuen operativen Systems mit gänzlich neuer Quelldatenstruktur hat eine Neuentwicklung des DWH notwendig gemacht. Alle weiteren Datenquellen wurden wieder eingebunden. Starker Source-Driven Approach, mit vielen Iterationsschritten Mengengerüst (Phase 1): ca. 150 modellierte Objekte, 12 Quellsysteme, über 300 Quelltabellen ca generierte DB/Datenfluss Objekte PT Einsparung ca. 75 generierte Iterationen in 6 Monaten DLZ PT Einsparung 27

28 Projektbeispiel: Internationaler Finanzdienstleister Projekt-Case: Konzernstruktur deckt mehrere Bereiche im Finanzdienstleistungssektor ab. Starke Einzelbereiche mit geografisch verteilten Strukturen. Ziel ist verteilte dezentrale DWH Strukturen mit einer konsolidierten zentralen DWH Einheit zu verbinden. Die einzelnen Bereiche werden teilweise mit unterschiedlichen Technologien umgesetzt. Mengengerüst (ein dezentraler Bereich): ca. 200 modellierte Objekte, Quellsysteme ca generierte DB/Datenfluss Objekte ca. 90 generierte Iterationen in 8-10 Monaten DLZ PT Einsparung PT Einsparung Gesamtpotential ca. 3-4 fache des obigen Bereiches. 28

29 DWH ist old fashioned die Zukunft ist Big Data Ein Ausblick auf die Zukunft der DWH-Automatisierung 29

30 Technik Trends auf Big Data Herausforderungen MPP In- Memory Hadoop VOLUME (Size) VELOCITY (Speed) VARIETY (Structure) 30

31 Wir setzen an vielen Stellen auf die Kombination aus verschiedenen Welten! 31

32 Connectors Loaders Metadata Connectors Loaders DWH Enhancement Strategien mit Big Data - Hybrid BI Tools Adv. Analytical Tools Web Applications Tools Data Warehouse Other FS NoSQL DBs Programming (S)QL Engines Map Reduce Direct HDFS access HDFS (incl. various file formats) Hadoop & Co (Big Data Cluster) OLTP Images Text Data Sources 32

33 SQL*Net HCatalog Scenario 1 Technology Example Product Trend Analysis Sample scenario Process runs on Infrastructure BI tool connects to DWH, Hive & Impala via ODBC and SQL*Net CSV structures defined with HCatalog and used by Hive Impala table definitions bound to Hive CSV structures Oracle BI Answers ODBC Tools Hive query runs M/R against CSV Impala s InMemory SQL Engine caches CSV file content DWH data accessed directly via SQL*Net Java Hive Map Reduce Impala Direct access Hadoop & Co (Big Data Cluster) Logs loaded via scoop as csv files on a daily base Talend job reads SM data from REST stream and loads into HDFS Java M/R job aggregates and matches SM data & region/classification HDFS with csv Load (Talend, Scoop, ) BI tool joins hadoop based rating with DWH based classification and revenue data to identify and compare external and internal trends DWH Weblogs Social Media Data Sources 33

34 ODBC, JDBC, DB Link, ETL Metadata HDFS API, JDBC, ODBC Scenario 2 Technology Example Account Transaction inquiry Sample scenario Process runs on Infrastructure Most current OLTP Tx data loaded to DWH via ETL tool Related documents transfered to HDFS for web access BI Tools Web Applications SQL*Net, ODBC, JDBC Tools Old Tx Data exported to HBase and/or HDFS CVS files Additionally added Big Data JDBC connect to BI Tool and Web Application Old Tx data tied to DWH via Hive and Impala via ODBC based DB Link HDFS API Access to documents for Web Applicatio HDFS (incl. various file formats) DWH Big Data Connectors, JDBC, ODBC, DB Link, Scoop Programming HBase Map Reduce Hive, Impala Direct HDFS Hadoop & Co (Big Data Cluster) JDBC access for BI Tool to Big Data system and DWH HDFS & DWH Access for Web Application OLTP Scoop, Java, Images Text Sources 34

35 Die Zukunft der DWH-Automatisierung! Die Komplexität steigt mit hybriden Architekturen. Der grundsätzliche Bedarf agil mit sehr hoher Produktivität auf dynamische Anforderungen zu reagieren wird weiter stark steigen. Generatoren müssen neue Technologien und Architekturen bedienen können. DWH-Automatisierung benötigt einen neuen Namen. 35

36 Vielen Dank... Gregor Zeiler Solution Manager Business Intelligence BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN 36