ODI 12c Projekteinsatz eine Jahresbilanz Dominic Ketteltasche und Bernhard Rosenberger, MT AG

Transkript

1 ODI 12c Projekteinsatz eine Jahresbilanz Dominic Ketteltasche und Bernhard Rosenberger, MT AG Hannover,

2 FACTS & FIGURES GESCHÄFTSFORM HAUPTSITZ INHABERGEFÜHRTE AG RATINGEN GRÜNDUNGSJAHR 1994 BESCHÄFTIGTE BETEILIGUNGEN 180 FESTANGESTELLTE MITARBEITER MT-IFS GMBH (RATINGEN), MT-IFS SARL (LUXEMBURG) business by integration 4 DWH BI Konferenz Hannover 2015

3 UNSER PORTFOLIO APPLICATION DEVELOPMENT APEX / ADF JAVA.NET INTEGRATION SERVICES STRATEGIE ARCHITEKTUR SAP HANA IT SYSTEM SERVICES MANAGED SERVICES BETRIEB MIGRATION BUSINESS INTELLIGENCE SOLUTIONS DATA INTEGRATION SELF SERVICE BI MOBILE BI SOCIAL BUSINESS SOLUTIONS COLLABORATION SEARCH SOCIAL MOBILE SOLUTIONS APPS ABLÄUFE LOKALISIERUNG 5

4 Agenda überarbeiten am Ende 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 6 DWH BI Konferenz Hannover 2015

5 Ausgangssituation im Projekt Mehrere Tochtergesellschaften Gleiche Branche verschiedene Business Schwerpunkte Unterschiedliche OLTP Systeme in den Gesellschaften Herausforderung für zentrales Reporting: - Semantische Datenintegration - Vereinheitlichte Datenstrukturen - Nachvollziehbarkeit der Datenlieferungen Aktuelle Reporting-Lösung am Ende des Lebenszyklus angekommen 7 DWH BI Konferenz Hannover 2015

6 Ausgangssituation im Projekt Historische DWH Lösung Push Prinzip Ges.1 Ges. 2 Ges.3 Ges. 4 Ges. n z.b. AS400, Oracle, SQL Server ETL ETL ETL ETL ETL Cognos Access SQL ODI AS400 ETL nicht einheitlich CSV CSV CSV CSV ETL Monatliche Beladung Reporting 8 DWH BI Konferenz Hannover 2015

7 Agenda 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 9 DWH BI Konferenz Hannover 2015

8 DWH Neubau - Motivation? Anforderungen an eine neue Reporting-Lösung Zentral organisierte Datenbereitstellung Vereinheitlichte Semantik Feingranulare Datenablage Offene Architektur Zukunftsfähige Technologie Tägliche Beladung sicherstellen Wiederaufsetzbarkeit 10 DWH BI Konferenz Hannover 2015

9 DWH Neubau - Motivation? Rahmenbedingungen: - Bisherige Reporting-Lösung am Ende des Lebenszyklus angekommen - Oracle KnowHow in DB, ODI und APEX im Hause vorhanden - MT AG als Partner unterstützt in Architekturfragen und Realisierungskompetenz - DWH Neuaufbau bietet Chance für Einsatz neuester Technologie - Zentrales DWH verbessert Transparenz in der Unternehmensführung Entscheidung: PoC zum Aufbau eines DWH Systems auf Basis Oracle DB 12c und ODI 12c 11 DWH BI Konferenz Hannover 2015

10 Agenda 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 12 DWH BI Konferenz Hannover 2015

11 Zielarchitektur, Werkzeuge und Vorgehensweisen Meta Data Layer Referenzdaten / Workflow-Management / User- und Mandantenverwaltung STAGE & CLEANSE CORE MARTS Cube Cube AS400 Ges. n ORACLE Ges. 4 1:1 STAGE Ges. n STAGE Ges. 4 STAGE Ges. 3 E T L Table Table Table Table Table E T L KPI - Dashboard Standard Reporting Ad-hoc Analysen SQL Server Ges. 3 ORACLE Oracle Ges. 2 Ges. 1 STAGE Ges. 2 STAGE Ges. 1 Single Source of Truth 13 DWH BI Konferenz Hannover 2015

12 Zielarchitektur, Werkzeuge und Vorgehensweisen RDBMS Oracle Enterprise Edition - Oracle Partitioning - Oracle Advanced Compression - Aktuell kein IN-Memory geplant - KEINE Multitenant Option ETL Werkzeug SQL Entwicklungswerkzeuge Metadatenpflege und Rapid KPI Development 14 DWH BI Konferenz Hannover 2015

13 Zielarchitektur, Werkzeuge und Vorgehensweisen Agilität im Entwicklungsprozess Kurze Entwicklungszyklen mit definierten Zielen: - Phase 1: DWH Neubau mit semantischer Datenintegration - Phase 2: Historisierung des DWH - Phase 3: Einführung BI Tool (Microstrategy), Implementierung von Reports - Weitere Phasen: fachlich getriebene Zukunftsthemen Agile Vorgehensweise ist gekennzeichnet durch: - Wechselnde Anforderungen an Projektscope & Planung - Tägliche Standup Meetings - Ständige enge Zusammenarbeit von Fachbereich und Entwicklungsteam - Direkte Absprachen von Mensch zu Mensch - Einfache und transparente Architektur 15 DWH BI Konferenz Hannover 2015

14 Agenda 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 16 DOAG Konferenz 2014

15 Eingesetzte 12c DB Features Identity Column Default Clause Mehrere Optionen der Sequenzgenerierung 1. Immer Wert kann nicht manuell übersteuert werden 2. Nur wenn Spalte NULL Create table...<colname> NUMBER NOT NULL GENERATED ALWAYS AS IDENTITY (START WITH 1, INCREMENT BY 1) 3. Explizite Sequenzverwendung Implizit wird eine Sequence im Table Schema angelegt Wo werden Identity Columns eingesetzt? GENERATED BY DEFAULT AS IDENTITY GENERATED BY DEFAULT AS IDENTITY ON NULL DEFAULT <SEQNAME>.NEXTVAL NOT NULL SELECT table_name,has_identity FROM dba_tables WHERE owner = '<MYUSER>' AND table_name LIKE '<MYTABLENAME>%'; ISEQ$$_92117 Vorteil: Reduzierter Entwicklungsaufwand; Verhalten wie in anderen RDBMS z.b. SQL Server 17 DWH BI Konferenz Hannover 2015

16 Eingesetzte 12c DB Features Information Lifecycle Management (ILM) und Advanced Compression Motivation: - Reduktion des Plattenspeicherbedarfs - Angelieferte Daten versprechen hohe Kompressionsraten - Viele Full Table Scans in der CORE Verarbeitung => SpeedUp! - Nutzung des Information Lifecycle Management (ILM), um selten genutzte Segmente auf billigen Storage auslagern zu können Maßnahme: - Einsatz von Advanced Compression auf Tablespace Ebene Create tablespace... DEFAULT COMPRESS FOR ALL OPERATION; Resultate: - Reduktion des Core Volumens um zwei Drittel!!! - Beschleunigte Full Table Scans Ready for Heat Maps und Automatic Data Optimization (ADO) ALTER TABLE Orders ILM ADD POLICY tier to low_cost_store; 19 DWH BI Konferenz Hannover 2015

17 Eingesetzte 12c DB Features Advanced Compression Monitoring Advanced Compression mit GC Enterprise Manager Komprimierungsrate 80% im CORE 20 DWH BI Konferenz Hannover 2015

18 Agenda 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 21 DWH BI Konferenz Hannover 2015

19 Installation und Konfiguration der ODI 12c Umgebung Der Standalone Agent - dezentraler File und Utility Zugriff - optimierte JDBC Connections Der JEE Agent (seit 11c und auf WebLogic Server betrieben) - High Availability und Scalability - Flexibilität durch Connection Pooling - zentrales Management durch OEM Cloud Control - SOA und BI Fusion Middleware Integration Der Collocated Agent (seit 12c) - dezentraler File und Utility Zugriff - optimierte JDBC Connections - zentrales Management durch OEM Cloud Control Unsere Entscheidung 22 DWH BI Konferenz Hannover 2015

20 Installation und Konfiguration der ODI 12c Umgebung Master Repository - Topology (also auch Context) - Security - Versionierung Work Repositories Dev Exec Dev Exec Development Test Hotfix Production - Source & Target Metadaten - Scenarios - Load plans - Schedules - Logs 23 DWH BI Konferenz Hannover 2015

21 Vergleich Mapping über View/Logik im ODI 12c Vorteile Views - Komplexe Selects waren zum Einstieg vorhanden, daher Umsetzung mittels Views als Quick-Win - volle SQL-Möglichkeiten z.b. Kombination Left Outer Join mit OR, with-clause Vorteile ODI - sichtbare Objekt-Abhängigkeiten im ODI - Lineage und Impact Strittig - Wartbarkeit/Übersichtlichkeit/Einheitlichkeit Fazit: - Erste Umstellungen auf ODI-Logik zeigen vergleichbare/langsamere Laufzeit - Kein signifikanter Anreiz auf ODI-Logik umzustellen 24 DWH BI Konferenz Hannover 2015

22 Knowledge Module / SCD Historisierung Out of the box? Mitgeliefertes Knowledge Modul für SCD2 Historisierung Out of the Box Funktionalität ermöglichte Quick Wins - Deklaration der SCD Column Types im Model Editor hat sich in 12c vereinfacht - SCD Basisfunktionalität wird mitgeliefert und ist sofort lauffähig Customize KM - Funktionserweiterungen - Prozedur zur Terminierung gelöschter Sätze als weiterer Task hinzugefügt - KM Parameter als Schalter zum aktivieren bzw. deaktivieren 25 DWH BI Konferenz Hannover 2015

23 Knowledge Module / SCD Historisierung Out of the box? Mitgeliefertes Knowledge Modul für SCD2 Historisierung Customize KM - Performancetuning - Parallelisierung: Alter session enable parallel hinzugefügt - Mappingspezifisch sind Parameter übersteuerbar (z.b. Optimizer Hints) - Partitionierung und Compression der intermediär generierten I$FLOW Tabellen Architektur von KM s ermöglicht weitgehende Allgemeingültigkeit! Ein einziges customized KM ist für ca. 60 SCD Mappings im Einsatz 26 DWH BI Konferenz Hannover 2015

24 ODI 12c SDK und Groovy Die Herausforderung - schnelles Erstellen von vielen gleichartigen Mappings - Vermeidung von Fehlern durch manuelle Massen-Mappingerstellung Die Lösung - Entwicklung von Groovy-Skripten mit dem ODI 12c SDK zur automatisierten Erstellung von Mappings - Seit 12c integrierte rudimentäre Groovy-Runtimeumgebung im ODI Studio Verfügbare Ressourcen: - Beispiele und Infos: - Sonst praktisch kaum Ressourcen zum SDK vorhanden 27 DWH BI Konferenz Hannover 2015

25 Packages und LOAD Plans Load Plans im ODI 11g seit vorhanden anstatt einem 3 Party-Jobsteuerungstool Einsatz von (globalen) Variablen Packages bei Workflows, die als Gesamtheit laufen müssen Schachtelung von seriellen/parallelen Steps im Load Plan zur optimierten Lastverteilung und Reduzierung der Laufzeit 29 DWH BI Konferenz Hannover 2015

26 Agenda 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 30 DWH BI Konferenz Hannover 2015

27 Rapid KPI Development und Metadatenpflege mit APEX - Anforderungen an das Reporting - Interimsreporting von KPI s während PoC zur BI Toolauswahl - einfache Nutzung durch den Anwender - performanter, zentraler und sicherer Zugriff - strategisches BI Tool wird aber Microstrategy an die Metadatenpflege - Verwaltung von Wertemapping-Tabellen durch Endanwender - Administration von Referenztabellen - Konfiguration fachlicher Einstellungen 31 DWH BI Konferenz Hannover 2015

28 Rapid KPI Development Vorteile - Schnelle Ergebnisse - Direkte Visualisierung der KPI s auf den Daten, keine weiteren Schnittstellen - Authentifizierung und Autorisierung via LDAP - Integrierte Datensicherheit durch Oracle Virtual Private Database - Einheitliche Darstellung statt Insellösung ( Access, Excel, ) Nachteile - Begrenzte Drilldown-Funktionalitäten - Keine Slice und Dice-Funktionalitäten - Begrenzte Wiederverwendbarkeit der Visualisierungen 32 DWH BI Konferenz Hannover 2015

29 Rapid KPI Development Vordefinierter Drilldown 33 DWH BI Konferenz Hannover 2015

30 APEX zur Metadatenpflege Vorteile - Einfache und schnelle Entwicklung von über 70 Pflegemasken - Authentifizierung und Autorisierung via LDAP - Integrierte Datensicherheit durch Oracle Virtual Private Database 34 DWH BI Konferenz Hannover 2015

31 Agenda 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 35 DWH BI Konferenz Hannover 2015

32 Fußangeln und Stolpersteine Gefundene Probleme in ODI Abbruch bei Groovy sofern kein Kontext als Agent-Default festgelegt ist Lösung: default Context setzen - Probleme beim Zugriff auf globale Variable vom Typ Date Unser Workaround: Ablage als String-Variable - nicht eindeutig definierte Spalten bei einer Kombination aus UNION und JOINs: Spaltenname kommt in UNION und in der hinzugejointen Tabelle vor, aber nur ein Zugriff - ODI greift auf beide zu => Syntaxfehler im ausführbaren Code Unser Workaround: Hilfsviews mit geänderten Spaltennamen - Update-Mapping per ODI wesentlich langsamer als per SQL Unser Workaround: Update-SQL ausgeführt durch eine ODI-Prozedur 36 DWH BI Konferenz Hannover 2015

33 Fußangeln und Stolpersteine Gefundene Probleme in ODI Ein Groovy Skript funktionierend unter läuft nicht unter Skript zum Erstellen eines Mappings mit Union All über 4 DataStores bricht ab, da nur 2 Input Connectoren angesprochen werden können - Kein Scheduling möglich in einem Execution Repository Unser Workaround: Nutzung eines Development Repository Release unabhängige ODI Probleme - Falsche NLS Parameter in der ODI Session Unser Workaround: Alter session on connect 37 DWH BI Konferenz Hannover 2015

34 Fußangeln und Stolpersteine Probleme mit DB Verschiedene ORA-600 bei unterschiedlichen DML s/ddl s Upgrade auf erforderlich -> Upgrade Produktion erfolgreich -> Upgrade Entwicklung nicht erfolgreich siehe ORA-600 beim Purgen - ORA-600 beim Purge des Recyclebin Service Request noch in Bearbeitung 38 DWH BI Konferenz Hannover 2015

35 Agenda 1. Ausgangssituation im Projekt 2. DWH Neubau - Motivation? 3. Zielarchitektur, Werkzeuge und Vorgehensweisen 4. Eingesetzte 12c DB Features 5. ODI Implementierung 6. Rapid KPI Development und Metadatenpflege mit APEX 7. Fußangeln und Stolpersteine 8. Zusammenfassung mit Ausblick 39 DWH BI Konferenz Hannover 2015

36 12c Oracle Warehousing voll Groovy Zusammenfassung Features Erfahrungen ODI 12c versus OWB 11g 1. Mappings Komplexe Mappings á la OWB sind dank neu eingeführter Component Style KM realisierbar. 2. Groovy Scripting Language Das einfache Generieren von Zieltabellen wurde gelegentlich vermisst. Automatisches Generieren von Mappings á la TCL Script ist mit Groovy möglich. Groovy überrascht mit einfacherer Handhabbarkeit als die gewöhnungsbedürftige TCL Syntax. 40 DWH BI Konferenz Hannover 2015

37 12c Oracle Warehousing voll Groovy Zusammenfassung Features Erfahrungen ODI 12c versus OWB 11g 3. LOAD Plans Modulares Konzept mit Variablen, Procedures und Packages erlaubt flexible Implementierung wie unter Oracle Workflow. 4. ODI und Performance 5. SCD2 Historisierung 6. Metadaten Repository ODI wie OWB generieren SQL Code. KM können angepasst werden falls erforderlich. Schönes Beispiel zur Veranschaulichung wie KM die Komplexität reduzieren und damit die Produktivität bei der ETL Entwicklung steigern helfen. Keine Terminierung von gelöschten Daten durch das KM. Laufzeitinformationen ausreichend für Entwicklung und Fehlersuche bisher keine selbstgeschriebenen Repository Queries erforderlich. 41 DWH BI Konferenz Hannover 2015

38 12c Oracle Warehousing voll Groovy Ausblicke Weitere Ziele im Projekt Inbetriebnahme des Information Lifecycle Managements (ILM), um in der Heat Map identifizierte Segmente mit seltenem Datenzugriff auf kostengünstigere Speicherbereiche auszulagern. Ggfs. in Kombination mit Nutzung von Partial Partition Indexes Teilweise in View gekapselte ETL Logik in ODI Mappings umformen Nutzung von Out-of-Place Materialized View Refresh bei der Realisierung von (partitionierten) Data Marts Datapump Staging unter Verwendung des LKM Oracle to Oracle Datapump Plus nach zusätzlichen Erweiterungen um Tabellenauswahl und DISABLE_ARCHIVE_LOGGING:Y (kein Redo beim Import) 42 DWH BI Konferenz Hannover 2015

39 Vielen Dank Dominic Ketteltasche und Bernhard Rosenberger, MT AG Telefon: Telefax: