Agil beim Aufbau eines Data Warehouse. Lässt sich mit Automation agiles Vorgehen unterstützen? Vortrag von Oliver Cramer auf der TDWI Konferenz mit 1
Vorstellung Oliver Camer TDWI Europe Fellow ANCHOR CERTIFIED MODELER Version 2014 Certified Data Vault 2.0 Practitioner Member of the Boulder BI Brain Trust 2
Agenda I 1. Definition von Data Warehouse Automation (DWA) 2. Gegenwärtige Herausforderungen in der Business Intelligence Landschaft 3. Umdenken durch Data Warehouse Automation 4. Vorteile durch Data Warehouse Automation 5. Grundlagen der Data Warehouse Automation 3
Agenda II 1. Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault (DATA SOLUTIONS DE SPIRLET) 2. Data Warehouse Automation mit Quipu 3. Data Warehouse Automation mit AnalytiX 4. Data Warehouse Automation mit einer Erweiterung zu AnalytiX (RapidGenDS) 5. Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges (MID Innovator) 6. Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung (WhereScape) 4
Agenda III Ek Exkurs BIML und dbimlscript Praxisteil 5
Agenda IV Diskussion: i Brauchen wir überhaupt noch ein ETL-Werkzeug? 6
Agenda I 7
Definition von Data Warehouse Automation (DWA) Data Warehouse Automation ist mehr als nur die Automatisierung von ETL-Entwicklung. Automatisiert wird der gesamte Data Warehousing Lebenszyklus von der Planung, Analyse und Design über Entwicklung sowie Test und geht über in Betrieb, Wartung und Change-Management. Merkmale von DWA sind also: Planen, Verwalten, Unterstützen, Infrastruktur geben, Organisieren, Automatisieren, Generieren, Vorlagen und Muster zur Verfügung stellen, dokumentieren und testen DWA kann aus einem Werkzeug bzw. Anwendung, einer Methodologie und einem Framework bestehen 8
Gegenwärtige g Herausforderungen in der Business Intelligence Landschaft Die Anwendungen, die in den Bereich des Endnutzers fallen, also Dashboards, Scorecards und analytische Anwendungen werden immer herausfordernder und die Datenquellen immer vielfältiger und komplexer Es wird immer schwieriger für des Data Warehouse mit diesen Anforderungen Schritt zu halten Die gegenwärtigen und immer schon dagewesenen Probleme mit Data Warehouses sind: Sie brauchen zu lange bis zur Fertigstellung, t sie kosten zu viel bis zur Fertigstellung t und nach der Fertigstellung sind sie schwierig an neue Bedürfnisse anzupassen 9
Umdenken durch Data Warehouse Automation BDUF (Big Design Upfront) rückt mehr und mehr in den Hintergrund Schnell entwickeln und immer öfter entwickeln rückt in den Vordergrund Diese Vorgehensweise passt sehr gut zu agilen Methoden, agile Methoden sind aber nicht Voraussetzung für Data Warehouse Automation Man kann auch ohne eine agile Vorgehensweise eine schnellere Geschwindigkeit, höhere Qualität und Kostenersparnisse erreichen 10
Vorteile durch Data Warehouse Automation Höhere Produktivität und Geschwindigkeit bei der Produktion Verringerung des manuellen Aufwandes Höhere Qualität und Beständigkeit Bessere Kontrolle und Prozessoptimierungsmöglichkeiten JEDOCH: Ein Data Warehouse ist nicht mit einem herkömmlichen Endkundenprodukt zu vergleichen! Data Warehouses unterliegen über den gesamten Lebenszyklus den Änderungen in den Quelldaten, den Änderungen in den Geschäftsanforderungen und in den darunterliegenden Technologien 11
Grundlagen der Data Warehouse Automation Planungsmuster für: Umfang und Abgrenzung Analysetätigkeiten Anforderungen Dokumentationszwecke Proof of Concept 12
Grundlagen der Data Warehouse Automation Architekturmuster: Hub and Spoke Bus Hybride Strukturen 13
Grundlagen der Data Warehouse Automation Datenmodellierungfunktionalität: Kommunikation Standardisierung Repräsentation Abstraktion Transformation Organisation Implementierung 14
Grundlagen der Data Warehouse Automation Modellierungsmuster: Datenstrukturmuster: t t Anchor Data Vault Focal Point Hyper Agility Dimensional Normalisiert De-normalisiert Multi-dimensional 15
Grundlagen der Data Warehouse Automation Datenverwaltungsmuster: Schlüsselverwaltung Basishistorisierung Historisierungsvarianten Zeitliche und fachliche Perspektiven Zeitstreckenkorrektur Semantische Schicht für fachliche Nutzer 16
Grundlagen der Data Warehouse Automation Ladekontrollmuster für: Planung der Ladeläufe Steuerung der Ladeläufe Einhalten von Abhängigkeiten gg Optimierung von möglichen parallelen Abläufen Vorlagen zur Erfassung von technischen Metadaten 17
Grundlagen der Data Warehouse Automation Metadatenspeicherung für: Lineage Auswirkungsanalyse se Dokumentation Glossar Testen Generierung 18
Grundlagen der Data Warehouse Automation Ganzheitlicher Ansatz: Daten bzw. Metadatengetrieben Modellgetrieben Semantisch getrieben 19
Grundlagen der Data Warehouse Automation Datenintegration und Datenmühle (Data Mill): Schema On Read <-> Schema On Write Wie wenden wir Geschäftsregeln an? Wie verweisen wir auf Stammdaten? Wie integrieren wir Daten aus verschiedenen Quellen, wenn diese semantisch gleich sind? Was ist mit neuen Daten Konnektoren, was mit neuen Quellen? 20
Grundlagen der Data Warehouse Automation Data Governance / verschiedene Stufen bei Sicherheit Compliance Qualität Aufbewahrung 21
Grundlagen der Data Warehouse Automation Wiederverwendbarkeit als Ziel für Wissen Architekturen Modelle Designstandards d Implementierungsstandards Best Practices 22
Agenda II 23
Oracle Information Management Referenz Architektur 24
Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Die Idee für ein solches Werkzeug ist aus folgenden Fragen entstanden: Wie kann man ein Data Vault Modell aus einem klassischen Modell mit Automation ti herstellen? Wie kann man alle Schritte (Extraktion, Staging und ein finales Data Vault unter Einbeziehung aller klassischen technischen Aspekte generieren ohne den Endnutzer übermäßig zu belasten 25
Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Wie lässt sich die volle Nachverfolgbarkeit zwischen allen Modellen generieren und so eine komplette Auswirkungsanalyse und Lineage bekommen? Wie lässt sich das Datenmodell hinsichtlich der verwendeten Zieldatenbank voroptimieren? Wie lässt sich ein kompletter synchronisierter Fluß zwischen dem Quellsystemmodell, dem Extraktionsmodell, dem Stagingmodell und ddem finalen Data Vault Modell generieren? Wie lässt sich schnelles Prototyping, inklusive SQL Generierung für physische Data Modelle in wenigen Minuten generieren? 26
Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Schnellbeschreibung dieses Ansatzes: 1. Quellsystemanalyse und Anreicherung mit Metadaten 2. Customizen des Modells auf Modellebene 3. Zielmodell a) Modellgenerierung b) Voroptimierung des Modells hinsichtlich der Zieldatenbank c) Das Mapping zwischen den Tabellen wird vollständig generiert 27
Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault 3. Zielmodell d) Jegliches Zwischenmodell (Extraktion und Staging) )lässt sich ohne Modifikation direkt generieren e) Für Datenbewegungsmodelle, g bekommt man alle nötigen Informationen, die den Datenfluss beschreiben welcher gebaut wird bis hin zu den detailliert beschriebenen Datenbankobjekten; für jede Zielkomponente erhält man die Beschreibung des kompletten Datenflusses f) Zusätzlich erhält man ein synchronisiertes Modell um ein bestimmtes physisches Modell zu laden 28
Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Produktbeispiel: i http://www.data-solutions-de-spirlet.com/ DATA SOLUTIONS DE SPIRLET EDW DV Generator ( 2.0) for SAP Sybase PowerDesigner Ebenfalls vorhanden für Data Marts nach Ralph Kimball EDW MD Generator ( 2.0) for SAP Sybase PowerDesigner 29
Data Warehouse Automation mit Quipu Was ist Quipu? Ein Data Warehouse Entwicklungs- und Verwaltungswerkzeug Ein Data Warehouse Modell und Code Generator DDL Code für Modelle DML (ETL) Code für die Modell Befüllung Basiert auf Data Vault Modellierung Historie und Integration Metadatengetrieben, basiert auf einem Repository Templatebasierte Codegenerierung Unterstützt die meisten RDBMS-Plattformen Unterstützung von Integrationswerkzeugen 30
Data Warehouse Automation mit Quipu Quipu 3.0 Start Screen Zur Verfügung gestellt von Jeroen Klep, Qosqo 31
Data Warehouse Automation mit Quipu Quipu gibt es in drei Versionen: Freie Edition Komplette Modellgenerierung ANSI-SQL92 Ladecode Generierung Professionelle Edition Modellerweiterungen Fortgeschrittene RDBMS Templates Dokumentation Template 32
Data Warehouse Automation mit Quipu Quipu gibt es in drei Versionen: Enterprise Edition Modellversionierung ANSI-SQL92 Ladecode Generierung Metadaten Integration Templates ACHTUNG: Die Versionen laufen zur Zeit auseinander: Die Freie Edition hat die Version 2 Die Professionelle und die Enterprise Edition sind schon auf Version 3 Version 2 und Version 3 haben unterschiedliche Repositories 33
Data Warehouse Automation mit Quipu QOSQO Data Warehouse Services DWH Services und Entwicklung http://www.qosqo.nl/ q QUIPU Data Warehouse Management http://www.datawarehousemanagement.org t h t 34
Data Warehouse Automation mit AnalytiX AnalytiX befähigt Organisationen zur Kostenreduktion und zur beschleunigten Fertigstellung von Projekten durch die Automation des Datenmappingprozess. AnalytiX macht den Prozess schneller, bietet Möglichkeiten zur besseren Verwaltung und zur besseren Zusammenarbeit, zudem können ETL Jobs für die führenden ETL Werkzeuge generiert werden. 35
Data Warehouse Automation o mit AnalytiX ayt AnalytiX Mapping Manager http://www.analytixds.com/products/mapping-manager/amm-features 36
Data Warehouse Automation mit AnalytiX Features vom AnalytiX Mapping Manager: Standardisiert den Mapping Prozess (Mappings, Metadata, Konsistente Nutzung von Transformationsregeln) Möglichkeit zur Verwaltung und Pflege eines Enterprise Data Dictionary (Geschäftsglossar) Fortgeschrittene Auswirkungsanalyse-, se Lineage- und Gap Analyseberichte Versionierung von Mappings & Möglichkeit des Imports von Excelbasierten Mapping Spezifikationen Import/Export von Mapping Spezifikationen 37
Data Warehouse Automation mit AnalytiX Features vom AnalytiX Mapping Manager: Speicherung und geteilte dateibasierte Dokumentation (alle Dateitypen) für Systeme, Projekte, Mappings Drag and Drop User Interface Verwaltung von Projektresourcen und Nutzern Speicherung und Verwaltung von Mapping Spezifikationsversionen Möglichkeit der Ausführung von Auswirkungsanalysen bei Tabellen, Spalten und Transformationen Sicht auf Lineage über das gesamte Unternehmen 38
Data Warehouse Automation mit AnalytiX Features vom AnalytiX Mapping Manager: Drucken, Verteilung und Zusammenarbeit bei Mapping Spezifikationen Automatisiert die Erstellung von ETL Jobs für Informatica, DataStage, Microsoft SQL Server SSIS & andere Automatisiert den Import von ETL-Jobs als Mapping Spezifikationen Es ist kein vorgeschaltetes ETL-Werkzeug notwendig Flexibles Abfragen von System Metadaten Rollenbasierte Sicherheit Etc. 39
Data Warehouse Automation mit AnalytiX AnalytiX Data Services: http://www.analytixds.com/ Framework Add-On Software: Codeset & Referenzdaten Manager Release Manager Custom ETL Integration Library 40
Data Warehouse Automation mit einer Erweiterung zu AnalytiX Offenes und anpassbares Framework: Der Mapping Manager erlaubt Kunden den Zugang zu Repository und erlaubt das Bauen von maßgeschneiderten Erweiterungen innerhalb des Repositories. RapidGenDS von http://learndatavault.com/ (Dan Linstedt) Bietet allgemein wiederverwendbare Codegenerierungsbibilotheken für den AnalytiX Mapping Manager http://www.youtube.com/watch?v=ucnoju74sq8 Titel: How to call RapidGenDS libraries to generate Data Vault 2.0 SQL für SQL Server along with AMM 41
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Innovator von MID: Der Innovator ist ein Daten Modellierungswerkzeug Technische Modellierung, Logische Modellierung, DDL- Generierung Business Analyst ist das BPM Werkzeug Modellierung und BPMN (BPMN 20ist 2.0 die Modellierungssprache für die Darstellung von Geschäftsprozessen) sind nahtlos integriert 42
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Innovator von MID: Die nahtlose Integration ermöglicht ein Browsen durch die kombinierten Modelle Der Innovator ermöglicht so eine tiefe Einsicht in technische und fachliche Modelle Der Innovator schließt so die Lücke zwischen Geschäft und IT Der Innovator hat ein Repository 43
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Warum überhaupt Modellierung? Wissen aufbauen! Wissen verwalten! Wissen verteilen! Zusammenhänge darstellen! Kommunizieren! 44
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Architektur: Aus dem Vortrag von Michael Müller MID Software & Innovator - Data Vault Modeling Presentation auf dem World Wide Data Vault Consortium am 22.03.2014, St. Albans, Vermont 45
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Erklärung zur Architekturgrafik: Die Trennung der Belange (Separation of concerns) teilt die Anforderungen in kleine handhabbare Pakete auf Für jeden Schritt gibt es eine Beschreibung der Transformation auf der Attributebene t b Da jeder Schritt einen klar definierten Rahmen hat, wird Komplexität reduziert Im resultierenden Modell kann man sehen, wie die Elemente jede Messgröße oder Dimension aufbauen 46
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Aufbau eines Data Vault: Innovator kennt 3 Arten von Mappings im Data Vault Bereich: Entität Business Key Attribut Man zieht ein Feld aus der Stage auf den Data Vault Bereich und wird gefragt, was man bauen möchte (Hub, Link oder Satellite) Die technischen Felder werden zugleich mit angelegt Danach muss man den Business Key (bei einem Hub) noch verteilen und ein Feld mit der Quellbezeichnung im Hub verbinden 47
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Aufbau eines Data Vault: Danach lässt sich das DDL für den Hub automatisch generieren Es folgt der Aufbau eines Satelliten, analog zu einem Hub, nur als anderer Typ, wieder mit automatischer ti Anlage der technischen Felder Die Felder müssen hinterher noch als Attribute verteilt werden Danach legt man den Constraint für den Satelliten an 48
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Aufbau eines Business Vault: Eine Regel wird nach dem Input-Output Verfahren textuell beschrieben Die Input und Outputfelder sind definiert Die Umsetzung bleibt einem anderen Werkzeug überlassen Man erhält so die volle Lineage Fähigkeit. Die Verbindung zwischen Data Vault Modell und BPMN ist immer gegeben. Die Möglichkeiten zur verteilten Zusammenarbeit sind enorm. 49
Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges MID the modeling company http://www.mid.de/ 50
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung The WhereScape Way 3D (Data Driven Design) RED Ist das Planungs- und Modellierungswerkzeug für ein Enterprise Data Warehouse Ist das Konstruktionswerkzeug für ein Enterprise Data Warehouse 51
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Hilft beim Untersuchen und Verstehen des Data Warehouse Projektes, zu dem Zeitpunkt, wann man es am nötigsten hat, nämlich am Anfang Autoprofiling, Untersuchung und Dokumentation des Quellsystems Design, Modellierung und Testen jegliches Ziel Data Warehouse Schemas unter Benutzung echter Quellsystemdaten Erfassung von User Stories, Interviews und allen anderen Anforderungsartefakten 52
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Durchführen eines kompletten Source-To-Target Target Mappings Test Planungsschema, gefüllt mit Live Daten, zur Überprüfung der Funktionalität und des Umfangs Sichtung, Manipulierung und Verbindung von konzeptionellen, logischen und physischen Sichten des Data Warehouses Erfassung für eine neue Design Logik für eine neue Umgebung Generierung von Aufgabenbasierten Sichten auf das Projekt und einer kompletten Projekt Dokumentation Sorgt für eine volle Integration mit WhereScape RED durch Metadaten Austausch 53
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Autoprofiling, Untersuchung und Dokumentation des Quellsystems Durchführen eines kompletten Source-To-Target Mapping Test Planungsschema, gefüllt mit Live Daten, zur Überprüfung der Funktionalität und des Umfangs Sichtung, Manipulierung und Verbindung von konzeptionellen, logischen und physischen Sichten des Data Warehouses Erfassung für eine neue Design Logik für eine neue Umgebung Generierung von aufgabenbasierten Sichten auf das Projekt und einer kompletten Projekt Dokumentation Sorgt für eine volle Integration mit WhereScape RED durch Metadaten Austausch 54
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D unterstützt die folgenden Verbindungen: ODBC JDBC (Java) Host (Lokale Dateisysteme, FTP Server, SSH Server, Telnet Server) WhereScape Repository Oracle Teradata SQL Server, MS SSIS eingeschlossen MySQL DB2 Andere RDBMS 55
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D unterstützt die folgenden Modellierungskategorien: SSIS Quelle Konzeptionelles Modell Logisches Modell Physisches Modell Lade und Staging Modell RED Builder Modell RED Star Schema Modell Teradata Modell Star Schema Data Warehouse (3NF) Data Vault Import from Repository Import from XML 56
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Generierung von Data Vault Entitäten: 3D bietet Entitätstypen für jede Kategorie Jede Entität ist autogeneriert Der Nutzer kann neue Konfigurationen hinzufügen Der Nutzer kann "Roboter" konfigurieren - autogenerierte Attribute von Entitäten Inbegriffen ist das vollständig konfigurierbare Verhalten der Modellkonvertierung (nicht nur DV) Der Nutzer kann die Modellkonvertierung so konfigurieren, dass diese sich wie gewünscht verhält Eine Reihe von Regeln können definiert werden Jeder Schritt kann angezeigt und getestet werden 57
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape RED WhereScape RED ist eine Data Warehouse Produktivitätssoftware, ität die dabei hilft, Data Warehouses schneller zu bauen. RED hilft ebenfalls dabei Data Warehouses zu bauen, die leicht zu pflegen, zu ändern und zu erweitern sind. Unterstützt werden: Ein integriertes Entwicklungsumgebungskonzept SQL Server, Teradata, DB2, Oracle, IBM Netezza, und EMC Greenplum Essentiell jeglicher Dataquellentyp 58
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung Unterstützt werden: WhereScape RED Verschiedene Data Warehouse Modelle: Data Vault, 3NF, Dimensional, Gemischt Eine pragmatische Data Warehousing Methodology, um eine schnelle Lieferung von analytischen Daten zu ermöglichen Eine Vielzahl von Data Warehouse Komponenten eingeschlossen, aber nicht limitiert bei: Einem Data Store Layer, der Data Vault verwendet, etc. Ein Enterprise Data Warehouse, das Data Vault verwendet, etc. Ein Präsentationsschicht, z.b. Data Marts, Sichten für Endnutzer, Aggregate, OLAP, etc. Einem RED Scheduler, um Data Warehouse Flows zu erstellen, zu verwalten und zu prüfen Dokumentation und Diagramme 59
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape RED WhereScape RED erlaubt die Konfiguration des Verhaltens des Codegenerators, z.b. wie der autogenerierte Code erstellt wird: Generelle Code Generierungseinstellungen g Vorgabe Aktualisierungsprozedur Optionen Generierte Code Statistiken (nur für Oracle) 60
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape RED WhereScape RED generiert gespeicherte Prozeduren: REDs gespeicherte Prozeduren sind im plattformspezifischen SQL (z.b. T-SQL) erstellt, unter Berücksichtigung von "Best Practices" und allgemeinen Standards Spezifische Logik ist implentiert für Hubs, Links und Satelliten, etc. Zusätzlich zu den gespeicherten Prozeduren generiert RED Funktionen, Pakete und Host-Scripte 61
Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung https://www.wherescape.com/ WhereScape 62
Data Warehouse Automation und Agilität Agile Data Warehouse Technologien sind ein relativ neuer Ansatz, welcher den gesamtem Lebenszyklus eines Data Warehouse als einen Prozess betrachtet, indem die traditionellen Entwicklungsmethoden aufgebrochen werden. Das Agile Modell enthält: Quellsystemanalyse Agile Modellierung Modellkonvertierungen Datentransformation und -integration Data Warehouse Schema Design Stage Tabellen, Hubs/Links/Satelliten, Dimensionen/Fakten, Aggregate, Sichten Volle Selbstdokumentation und Auswirkungsanalyse Lineage und Auswirkungsanalyse Testen 63
Agenda III 64
Vorstellung Torsten Glunde Owner, Managing Consultant bei Alligator Company 10+ Jahre Erfahrung in BI Certified Data Vault 2.0 Practitioner Member of the Boulder BI Brain Trust Torsten Glunde, TDWI Konferenz mit BARC@TDWI Track 2014, München, 25. Juni 2014 65
Data Warehouse Automation mit BIML & BIMLScript Was ist BIML? Business Intelligence Markup Language g XML Beschreibungssprache für Business Intelligence System Assets Domain spezifischer Dialekt (ähnlich wie CWM) Unterstützte Objekttypen Relationale Modelle Daten Transformationspakete (ControlFlow, DataFlow) Multidimensionale Modelle Berechtigungen Datenbanken Flat Files 66
67
Data Warehouse Automation mit BIML & BIMLScript BIML EXPAND GENERATE SCRIPT BIML Features xml xml Implementierung nur für SQLServer 2005-20122012 BIMLScript ähnlich wie Webentwicklung, SSI, JPS oder ASP.Net Integration SSxS Compiler Erweitert C#/VB generiert SSIS und SSAS Objekte in BIDS/SSDT 68
Data Warehouse Automation mit BIML & BIMLScript Motivation für BIML Weniger Code Faul sein Refactoring Wiederverwendung Bessere Qualität Limitierung von SSIS / BIDS Dateiformat dtsx, Refactoring, Abstraktion und Wiederverwendung Agile Entwicklung Automatisierung 69
Automation mit BIML & BIMLScript Source.Net Generate BIML Template entwickeln mit Pattern Target Patterns werden eingehalten Source und Target Metadaten können gelesen werden z.b. Hash Funktion über alle Spalten können einfach generiert werden weniger manueller Code Veränderungen können regeneriert werden Unterstützt tüt t Refactoring Resourcen verteilen (Senior/Junior Skills) fppt.com 70
Automation mit BIML & BIMLScript Source.Net Transformation Geschäftsregeln BIML Template entwickeln mit Pattern Target Wie sollen die Transformationen / das Mapping / Geschäftsregeln beschrieben werden? Proprietäre Metadaten in Excel, Word oder Datenbanken Welche Standards gibt es hier? CWM? Funktionen müssten für BIML in.net interpretierbar oder ausführbar sein DataVault vereinfacht das Generieren durch die Muster in der Modellierung Wie werden die Geschäftsregeln im Business Vault oder im Information Mart beschrieben? fppt.com 71
Data Warehouse Automation Praxisteil 72
Data Warehouse Automation Vielen Dank für Ihre Aufmerksamkeit! Fragen? tglunde Torsten Glunde mailto:t.glunde(at)alligator-company.de t l t) lli t d Weitere Netzwerke: https://www.xing.com/profile/torsten_glunde https://www.linkedin.com/pub/torsten-glunde/8/aba/97 Torsten Glunde, TDWI Konferenz mit BARC@TDWI Track 2014, München, 25. Juni 2014 73
Agenda IV 74
DISKUSSION Brauchen wir überhaupt noch ein ETL-Werkzeug? 75
Data Warehouse Automation Vielen Dank für Ihre Aufmerksamkeit! Fragen? proximaastra Oliver Cramer mailto:oliver.cramer(at)web.de li 76