DWH Automation - Steigerung von Qualität, Effektivität und Transparenz in der DWH Implementierung und dem Betrieb. Referent: Raphael Henneke

Transkript

1 DWH Automation - Steigerung von Qualität, Effektivität und Transparenz in der DWH Implementierung und dem Betrieb Referent: Raphael Henneke

2 Agenda Begrüßung & aktuelle Entwicklungen bei QUNIS QUNIS 360 was war, was wird? BI, Big Data, Cloud, Predictive & Advanced Analytics, Streaming Microsoft Power BI: alle Daten, überall, jederzeit die maximale Power für Ihr Unternehmen! Daten integrieren, modellieren, visualisieren & veröffentlichen TRACK I Mittagspause Kaffeepause Frage und Antwort BI & Big Data auf die Kombination kommt es an! Nutzen aus bestehenden Daten erhöhen & neue Datenquellen erschließen Business-Intelligence- & Big-Data-Strategie Vorgehen und Herausforderungen bei der Strategieentwicklung Business Intelligence on Top of SAP (Kundenvortrag) DWH Automation Steigerung von Qualität, Effektivität und Transparenz in der DWH Implementierung und dem Betrieb In 30 Minuten zur Business-Intelligence-Lösung in der Cloud Aufbau einer BI-Infrastruktur & Entwicklung von Reports Live Live on Stage: GAPTEQ Premiere des ersten eigenen QUNIS Tools TRACK II Infrastruktur & Datenarchitekturen für Big-Data-Szenarien Hadoop & Co. Im Detail DWH Best Practices das QUNIS Framework 80 Jahre Erfahrung bei der Modellierung & dem Betrieb von DWH Big Data zum Anfassen Live Präsentation einer Streaminganalyse & Machine Learning

3 DWH Automation Standardisierung Meta data driven Prozesskontrolle

4 Automation Ziele Ziel: Prozessautomatisierung Erhöhte Effizienz durch automatisierte ETL Prozesse Höhere Code- und Datenqualität durch ein stark standardisiertes Vorgehen Transparenter Betrieb durch automatisch generierte Prozessdaten Voraussetzungen: Automatisierung des Entwicklungsprozesses Metadaten zur automatisierten Codegenerierung Datengetriebene Codegenerierung unterstützt durch die QAE (QUNIS Automation Engine) Hoher Grad der Automatisierung führt zu einem hohen Standardisierungslevel

5 Automation Schichtenkonzept Core Data Cleansing Access Point Storage Loading Procedures Access Point Storage Interne Komponenten Access point: Virtueller Zugang für die nächste Schicht (Abstraktion) Storage: Tabellen speichern die Daten Loading procedures: Datenbeladung aus dem access point der vorigen Schicht Loading Procedures Data Integration Access Point Storage Loading Procedures Vorteile Speicheroptimierung ohne die nächste Schicht zu verändern Unabhängigkeit zwischen den Schichten vereinfacht Bereitstellung und Richtlinien Komplexität kann in kleinere und handelbare Einheiten zerlegt werden Unterstützung von Separation of Concerns (SoC)

6 Automation Business Rules Information Layer Core Layer Cleansing Layer Integration Layer Automatisierte Codegenerierung Hohe Lade- und Abfrageperformance Aufbereitung Daten für Core-Beladung Zugang zu Quellsystemdaten Manuelles Coding Soft Business Rules: Währungsumrechnung KPIs, Mapping Rules Abgeleitete Measures Automatisierte Codegenerierung Hard business rules: Harmonisierung Technische Maßnahmen

7 Automation Architektur Knowledge Base SAP Navision Feed Source System Structure SAP Navision Import QAE Frontend Structure Data Generate Visual Studio DB Projects XML / XSLT Deploy Data Warehouse DDL / DML SSIS Packages Flatfiles Process Data BIML Process Control Maintain

8 Automation Entwicklungsprozess Externes Datenmodell Core Layer Datenmodell Cleansing Layer Lookups Inferred members Upserts Integration Layer Harmonisierung Formate & Namen Business Keys Source Systems Import Metadaten Extraktion

9 Automation QAE Operations Integrierte Prozesskontrolle Prozess Reporting out of the box Data linage impact analysis

10 Automation Effekte Development Kürzere Projektzyklen (time to market) Starker Projektfokus auf die Business Anforderungen statt auf ETL Operations Hohes Standardisierungslevel regelt die zukünftige Entwicklung Metadaten-Ansatz ermöglicht Analysen und Optimierung Anzahl Tabellen

11 Classic approach Development Der größte Aufwand entsteht in der ETL Entwicklung für die Aktualisierung des Core Layers Veränderungen in den unteren Schichten kann hohen Folgeaufwand in höheren Schichten nach sich ziehen Standardisierung über Programmiervorgaben, Qualitätssicherung ausschließlich über persönliche Audits Anzahl Tabellen

12 Automation Inside QAE Development Der größte Aufwand entsteht in der Datenmodellierung Wenige Load Patterns gewährleisten einen standardisierten Aktualisierungsprozess Veränderungen erzeugen generierten Code, der konsistent bereitgestellt wird Anzahl Tabellen