Agil beim Aufbau eines Data. Automation agiles Vorgehen unterstützen?

Transkript

1 Agil beim Aufbau eines Data Warehouse. Lässt sich mit Automation agiles Vorgehen unterstützen? Vortrag von Oliver Cramer auf der TDWI Konferenz mit 1

2 Vorstellung Oliver Camer TDWI Europe Fellow ANCHOR CERTIFIED MODELER Version 2014 Certified Data Vault 2.0 Practitioner Member of the Boulder BI Brain Trust 2

3 Agenda I 1. Definition von Data Warehouse Automation (DWA) 2. Gegenwärtige Herausforderungen in der Business Intelligence Landschaft 3. Umdenken durch Data Warehouse Automation 4. Vorteile durch Data Warehouse Automation 5. Grundlagen der Data Warehouse Automation 3

4 Agenda II 1. Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault (DATA SOLUTIONS DE SPIRLET) 2. Data Warehouse Automation mit Quipu 3. Data Warehouse Automation mit AnalytiX 4. Data Warehouse Automation mit einer Erweiterung zu AnalytiX (RapidGenDS) 5. Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges (MID Innovator) 6. Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung (WhereScape) 4

5 Agenda III Ek Exkurs BIML und dbimlscript Praxisteil 5

6 Agenda IV Diskussion: i Brauchen wir überhaupt noch ein ETL-Werkzeug? 6

7 Agenda I 7

8 Definition von Data Warehouse Automation (DWA) Data Warehouse Automation ist mehr als nur die Automatisierung von ETL-Entwicklung. Automatisiert wird der gesamte Data Warehousing Lebenszyklus von der Planung, Analyse und Design über Entwicklung sowie Test und geht über in Betrieb, Wartung und Change-Management. Merkmale von DWA sind also: Planen, Verwalten, Unterstützen, Infrastruktur geben, Organisieren, Automatisieren, Generieren, Vorlagen und Muster zur Verfügung stellen, dokumentieren und testen DWA kann aus einem Werkzeug bzw. Anwendung, einer Methodologie und einem Framework bestehen 8

9 Gegenwärtige g Herausforderungen in der Business Intelligence Landschaft Die Anwendungen, die in den Bereich des Endnutzers fallen, also Dashboards, Scorecards und analytische Anwendungen werden immer herausfordernder und die Datenquellen immer vielfältiger und komplexer Es wird immer schwieriger für des Data Warehouse mit diesen Anforderungen Schritt zu halten Die gegenwärtigen und immer schon dagewesenen Probleme mit Data Warehouses sind: Sie brauchen zu lange bis zur Fertigstellung, t sie kosten zu viel bis zur Fertigstellung t und nach der Fertigstellung sind sie schwierig an neue Bedürfnisse anzupassen 9

10 Umdenken durch Data Warehouse Automation BDUF (Big Design Upfront) rückt mehr und mehr in den Hintergrund Schnell entwickeln und immer öfter entwickeln rückt in den Vordergrund Diese Vorgehensweise passt sehr gut zu agilen Methoden, agile Methoden sind aber nicht Voraussetzung für Data Warehouse Automation Man kann auch ohne eine agile Vorgehensweise eine schnellere Geschwindigkeit, höhere Qualität und Kostenersparnisse erreichen 10

11 Vorteile durch Data Warehouse Automation Höhere Produktivität und Geschwindigkeit bei der Produktion Verringerung des manuellen Aufwandes Höhere Qualität und Beständigkeit Bessere Kontrolle und Prozessoptimierungsmöglichkeiten JEDOCH: Ein Data Warehouse ist nicht mit einem herkömmlichen Endkundenprodukt zu vergleichen! Data Warehouses unterliegen über den gesamten Lebenszyklus den Änderungen in den Quelldaten, den Änderungen in den Geschäftsanforderungen und in den darunterliegenden Technologien 11

12 Grundlagen der Data Warehouse Automation Planungsmuster für: Umfang und Abgrenzung Analysetätigkeiten Anforderungen Dokumentationszwecke Proof of Concept 12

13 Grundlagen der Data Warehouse Automation Architekturmuster: Hub and Spoke Bus Hybride Strukturen 13

14 Grundlagen der Data Warehouse Automation Datenmodellierungfunktionalität: Kommunikation Standardisierung Repräsentation Abstraktion Transformation Organisation Implementierung 14

15 Grundlagen der Data Warehouse Automation Modellierungsmuster: Datenstrukturmuster: t t Anchor Data Vault Focal Point Hyper Agility Dimensional Normalisiert De-normalisiert Multi-dimensional 15

16 Grundlagen der Data Warehouse Automation Datenverwaltungsmuster: Schlüsselverwaltung Basishistorisierung Historisierungsvarianten Zeitliche und fachliche Perspektiven Zeitstreckenkorrektur Semantische Schicht für fachliche Nutzer 16

17 Grundlagen der Data Warehouse Automation Ladekontrollmuster für: Planung der Ladeläufe Steuerung der Ladeläufe Einhalten von Abhängigkeiten gg Optimierung von möglichen parallelen Abläufen Vorlagen zur Erfassung von technischen Metadaten 17

18 Grundlagen der Data Warehouse Automation Metadatenspeicherung für: Lineage Auswirkungsanalyse se Dokumentation Glossar Testen Generierung 18

19 Grundlagen der Data Warehouse Automation Ganzheitlicher Ansatz: Daten bzw. Metadatengetrieben Modellgetrieben Semantisch getrieben 19

20 Grundlagen der Data Warehouse Automation Datenintegration und Datenmühle (Data Mill): Schema On Read <-> Schema On Write Wie wenden wir Geschäftsregeln an? Wie verweisen wir auf Stammdaten? Wie integrieren wir Daten aus verschiedenen Quellen, wenn diese semantisch gleich sind? Was ist mit neuen Daten Konnektoren, was mit neuen Quellen? 20

21 Grundlagen der Data Warehouse Automation Data Governance / verschiedene Stufen bei Sicherheit Compliance Qualität Aufbewahrung 21

22 Grundlagen der Data Warehouse Automation Wiederverwendbarkeit als Ziel für Wissen Architekturen Modelle Designstandards d Implementierungsstandards Best Practices 22

23 Agenda II 23

24 Oracle Information Management Referenz Architektur 24

25 Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Die Idee für ein solches Werkzeug ist aus folgenden Fragen entstanden: Wie kann man ein Data Vault Modell aus einem klassischen Modell mit Automation ti herstellen? Wie kann man alle Schritte (Extraktion, Staging und ein finales Data Vault unter Einbeziehung aller klassischen technischen Aspekte generieren ohne den Endnutzer übermäßig zu belasten 25

26 Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Wie lässt sich die volle Nachverfolgbarkeit zwischen allen Modellen generieren und so eine komplette Auswirkungsanalyse und Lineage bekommen? Wie lässt sich das Datenmodell hinsichtlich der verwendeten Zieldatenbank voroptimieren? Wie lässt sich ein kompletter synchronisierter Fluß zwischen dem Quellsystemmodell, dem Extraktionsmodell, dem Stagingmodell und ddem finalen Data Vault Modell generieren? Wie lässt sich schnelles Prototyping, inklusive SQL Generierung für physische Data Modelle in wenigen Minuten generieren? 26

27 Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Schnellbeschreibung dieses Ansatzes: 1. Quellsystemanalyse und Anreicherung mit Metadaten 2. Customizen des Modells auf Modellebene 3. Zielmodell a) Modellgenerierung b) Voroptimierung des Modells hinsichtlich der Zieldatenbank c) Das Mapping zwischen den Tabellen wird vollständig generiert 27

28 Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault 3. Zielmodell d) Jegliches Zwischenmodell (Extraktion und Staging) )lässt sich ohne Modifikation direkt generieren e) Für Datenbewegungsmodelle, g bekommt man alle nötigen Informationen, die den Datenfluss beschreiben welcher gebaut wird bis hin zu den detailliert beschriebenen Datenbankobjekten; für jede Zielkomponente erhält man die Beschreibung des kompletten Datenflusses f) Zusätzlich erhält man ein synchronisiertes Modell um ein bestimmtes physisches Modell zu laden 28

29 Data Warehouse Automation mit einem Datenmodellierungswerkzeug für ein Data Vault Produktbeispiel: i DATA SOLUTIONS DE SPIRLET EDW DV Generator ( 2.0) for SAP Sybase PowerDesigner Ebenfalls vorhanden für Data Marts nach Ralph Kimball EDW MD Generator ( 2.0) for SAP Sybase PowerDesigner 29

30 Data Warehouse Automation mit Quipu Was ist Quipu? Ein Data Warehouse Entwicklungs- und Verwaltungswerkzeug Ein Data Warehouse Modell und Code Generator DDL Code für Modelle DML (ETL) Code für die Modell Befüllung Basiert auf Data Vault Modellierung Historie und Integration Metadatengetrieben, basiert auf einem Repository Templatebasierte Codegenerierung Unterstützt die meisten RDBMS-Plattformen Unterstützung von Integrationswerkzeugen 30

31 Data Warehouse Automation mit Quipu Quipu 3.0 Start Screen Zur Verfügung gestellt von Jeroen Klep, Qosqo 31

32 Data Warehouse Automation mit Quipu Quipu gibt es in drei Versionen: Freie Edition Komplette Modellgenerierung ANSI-SQL92 Ladecode Generierung Professionelle Edition Modellerweiterungen Fortgeschrittene RDBMS Templates Dokumentation Template 32

33 Data Warehouse Automation mit Quipu Quipu gibt es in drei Versionen: Enterprise Edition Modellversionierung ANSI-SQL92 Ladecode Generierung Metadaten Integration Templates ACHTUNG: Die Versionen laufen zur Zeit auseinander: Die Freie Edition hat die Version 2 Die Professionelle und die Enterprise Edition sind schon auf Version 3 Version 2 und Version 3 haben unterschiedliche Repositories 33

34 Data Warehouse Automation mit Quipu QOSQO Data Warehouse Services DWH Services und Entwicklung q QUIPU Data Warehouse Management t h t 34

35 Data Warehouse Automation mit AnalytiX AnalytiX befähigt Organisationen zur Kostenreduktion und zur beschleunigten Fertigstellung von Projekten durch die Automation des Datenmappingprozess. AnalytiX macht den Prozess schneller, bietet Möglichkeiten zur besseren Verwaltung und zur besseren Zusammenarbeit, zudem können ETL Jobs für die führenden ETL Werkzeuge generiert werden. 35

36 Data Warehouse Automation o mit AnalytiX ayt AnalytiX Mapping Manager 36

37 Data Warehouse Automation mit AnalytiX Features vom AnalytiX Mapping Manager: Standardisiert den Mapping Prozess (Mappings, Metadata, Konsistente Nutzung von Transformationsregeln) Möglichkeit zur Verwaltung und Pflege eines Enterprise Data Dictionary (Geschäftsglossar) Fortgeschrittene Auswirkungsanalyse-, se Lineage- und Gap Analyseberichte Versionierung von Mappings & Möglichkeit des Imports von Excelbasierten Mapping Spezifikationen Import/Export von Mapping Spezifikationen 37

38 Data Warehouse Automation mit AnalytiX Features vom AnalytiX Mapping Manager: Speicherung und geteilte dateibasierte Dokumentation (alle Dateitypen) für Systeme, Projekte, Mappings Drag and Drop User Interface Verwaltung von Projektresourcen und Nutzern Speicherung und Verwaltung von Mapping Spezifikationsversionen Möglichkeit der Ausführung von Auswirkungsanalysen bei Tabellen, Spalten und Transformationen Sicht auf Lineage über das gesamte Unternehmen 38

39 Data Warehouse Automation mit AnalytiX Features vom AnalytiX Mapping Manager: Drucken, Verteilung und Zusammenarbeit bei Mapping Spezifikationen Automatisiert die Erstellung von ETL Jobs für Informatica, DataStage, Microsoft SQL Server SSIS & andere Automatisiert den Import von ETL-Jobs als Mapping Spezifikationen Es ist kein vorgeschaltetes ETL-Werkzeug notwendig Flexibles Abfragen von System Metadaten Rollenbasierte Sicherheit Etc. 39

40 Data Warehouse Automation mit AnalytiX AnalytiX Data Services: Framework Add-On Software: Codeset & Referenzdaten Manager Release Manager Custom ETL Integration Library 40

41 Data Warehouse Automation mit einer Erweiterung zu AnalytiX Offenes und anpassbares Framework: Der Mapping Manager erlaubt Kunden den Zugang zu Repository und erlaubt das Bauen von maßgeschneiderten Erweiterungen innerhalb des Repositories. RapidGenDS von (Dan Linstedt) Bietet allgemein wiederverwendbare Codegenerierungsbibilotheken für den AnalytiX Mapping Manager Titel: How to call RapidGenDS libraries to generate Data Vault 2.0 SQL für SQL Server along with AMM 41

42 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Innovator von MID: Der Innovator ist ein Daten Modellierungswerkzeug Technische Modellierung, Logische Modellierung, DDL- Generierung Business Analyst ist das BPM Werkzeug Modellierung und BPMN (BPMN 20ist 2.0 die Modellierungssprache für die Darstellung von Geschäftsprozessen) sind nahtlos integriert 42

43 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Innovator von MID: Die nahtlose Integration ermöglicht ein Browsen durch die kombinierten Modelle Der Innovator ermöglicht so eine tiefe Einsicht in technische und fachliche Modelle Der Innovator schließt so die Lücke zwischen Geschäft und IT Der Innovator hat ein Repository 43

44 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Warum überhaupt Modellierung? Wissen aufbauen! Wissen verwalten! Wissen verteilen! Zusammenhänge darstellen! Kommunizieren! 44

45 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Architektur: Aus dem Vortrag von Michael Müller MID Software & Innovator - Data Vault Modeling Presentation auf dem World Wide Data Vault Consortium am , St. Albans, Vermont 45

46 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Erklärung zur Architekturgrafik: Die Trennung der Belange (Separation of concerns) teilt die Anforderungen in kleine handhabbare Pakete auf Für jeden Schritt gibt es eine Beschreibung der Transformation auf der Attributebene t b Da jeder Schritt einen klar definierten Rahmen hat, wird Komplexität reduziert Im resultierenden Modell kann man sehen, wie die Elemente jede Messgröße oder Dimension aufbauen 46

47 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Aufbau eines Data Vault: Innovator kennt 3 Arten von Mappings im Data Vault Bereich: Entität Business Key Attribut Man zieht ein Feld aus der Stage auf den Data Vault Bereich und wird gefragt, was man bauen möchte (Hub, Link oder Satellite) Die technischen Felder werden zugleich mit angelegt Danach muss man den Business Key (bei einem Hub) noch verteilen und ein Feld mit der Quellbezeichnung im Hub verbinden 47

48 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Aufbau eines Data Vault: Danach lässt sich das DDL für den Hub automatisch generieren Es folgt der Aufbau eines Satelliten, analog zu einem Hub, nur als anderer Typ, wieder mit automatischer ti Anlage der technischen Felder Die Felder müssen hinterher noch als Attribute verteilt werden Danach legt man den Constraint für den Satelliten an 48

49 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges Aufbau eines Business Vault: Eine Regel wird nach dem Input-Output Verfahren textuell beschrieben Die Input und Outputfelder sind definiert Die Umsetzung bleibt einem anderen Werkzeug überlassen Man erhält so die volle Lineage Fähigkeit. Die Verbindung zwischen Data Vault Modell und BPMN ist immer gegeben. Die Möglichkeiten zur verteilten Zusammenarbeit sind enorm. 49

50 Data Warehouse Automation auf Basis eines Geschäftsprozess Modellierungswerkzeuges MID the modeling company 50

51 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung The WhereScape Way 3D (Data Driven Design) RED Ist das Planungs- und Modellierungswerkzeug für ein Enterprise Data Warehouse Ist das Konstruktionswerkzeug für ein Enterprise Data Warehouse 51

52 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Hilft beim Untersuchen und Verstehen des Data Warehouse Projektes, zu dem Zeitpunkt, wann man es am nötigsten hat, nämlich am Anfang Autoprofiling, Untersuchung und Dokumentation des Quellsystems Design, Modellierung und Testen jegliches Ziel Data Warehouse Schemas unter Benutzung echter Quellsystemdaten Erfassung von User Stories, Interviews und allen anderen Anforderungsartefakten 52

53 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Durchführen eines kompletten Source-To-Target Target Mappings Test Planungsschema, gefüllt mit Live Daten, zur Überprüfung der Funktionalität und des Umfangs Sichtung, Manipulierung und Verbindung von konzeptionellen, logischen und physischen Sichten des Data Warehouses Erfassung für eine neue Design Logik für eine neue Umgebung Generierung von Aufgabenbasierten Sichten auf das Projekt und einer kompletten Projekt Dokumentation Sorgt für eine volle Integration mit WhereScape RED durch Metadaten Austausch 53

54 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Autoprofiling, Untersuchung und Dokumentation des Quellsystems Durchführen eines kompletten Source-To-Target Mapping Test Planungsschema, gefüllt mit Live Daten, zur Überprüfung der Funktionalität und des Umfangs Sichtung, Manipulierung und Verbindung von konzeptionellen, logischen und physischen Sichten des Data Warehouses Erfassung für eine neue Design Logik für eine neue Umgebung Generierung von aufgabenbasierten Sichten auf das Projekt und einer kompletten Projekt Dokumentation Sorgt für eine volle Integration mit WhereScape RED durch Metadaten Austausch 54

55 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D unterstützt die folgenden Verbindungen: ODBC JDBC (Java) Host (Lokale Dateisysteme, FTP Server, SSH Server, Telnet Server) WhereScape Repository Oracle Teradata SQL Server, MS SSIS eingeschlossen MySQL DB2 Andere RDBMS 55

56 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D unterstützt die folgenden Modellierungskategorien: SSIS Quelle Konzeptionelles Modell Logisches Modell Physisches Modell Lade und Staging Modell RED Builder Modell RED Star Schema Modell Teradata Modell Star Schema Data Warehouse (3NF) Data Vault Import from Repository Import from XML 56

57 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 3D Generierung von Data Vault Entitäten: 3D bietet Entitätstypen für jede Kategorie Jede Entität ist autogeneriert Der Nutzer kann neue Konfigurationen hinzufügen Der Nutzer kann "Roboter" konfigurieren - autogenerierte Attribute von Entitäten Inbegriffen ist das vollständig konfigurierbare Verhalten der Modellkonvertierung (nicht nur DV) Der Nutzer kann die Modellkonvertierung so konfigurieren, dass diese sich wie gewünscht verhält Eine Reihe von Regeln können definiert werden Jeder Schritt kann angezeigt und getestet werden 57

58 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape RED WhereScape RED ist eine Data Warehouse Produktivitätssoftware, ität die dabei hilft, Data Warehouses schneller zu bauen. RED hilft ebenfalls dabei Data Warehouses zu bauen, die leicht zu pflegen, zu ändern und zu erweitern sind. Unterstützt werden: Ein integriertes Entwicklungsumgebungskonzept SQL Server, Teradata, DB2, Oracle, IBM Netezza, und EMC Greenplum Essentiell jeglicher Dataquellentyp 58

59 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung Unterstützt werden: WhereScape RED Verschiedene Data Warehouse Modelle: Data Vault, 3NF, Dimensional, Gemischt Eine pragmatische Data Warehousing Methodology, um eine schnelle Lieferung von analytischen Daten zu ermöglichen Eine Vielzahl von Data Warehouse Komponenten eingeschlossen, aber nicht limitiert bei: Einem Data Store Layer, der Data Vault verwendet, etc. Ein Enterprise Data Warehouse, das Data Vault verwendet, etc. Ein Präsentationsschicht, z.b. Data Marts, Sichten für Endnutzer, Aggregate, OLAP, etc. Einem RED Scheduler, um Data Warehouse Flows zu erstellen, zu verwalten und zu prüfen Dokumentation und Diagramme 59

60 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape RED WhereScape RED erlaubt die Konfiguration des Verhaltens des Codegenerators, z.b. wie der autogenerierte Code erstellt wird: Generelle Code Generierungseinstellungen g Vorgabe Aktualisierungsprozedur Optionen Generierte Code Statistiken (nur für Oracle) 60

61 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape RED WhereScape RED generiert gespeicherte Prozeduren: REDs gespeicherte Prozeduren sind im plattformspezifischen SQL (z.b. T-SQL) erstellt, unter Berücksichtigung von "Best Practices" und allgemeinen Standards Spezifische Logik ist implentiert für Hubs, Links und Satelliten, etc. Zusätzlich zu den gespeicherten Prozeduren generiert RED Funktionen, Pakete und Host-Scripte 61

62 Data Warehouse Automation auf Basis einer Enterprise Entwicklungsumgebung WhereScape 62

63 Data Warehouse Automation und Agilität Agile Data Warehouse Technologien sind ein relativ neuer Ansatz, welcher den gesamtem Lebenszyklus eines Data Warehouse als einen Prozess betrachtet, indem die traditionellen Entwicklungsmethoden aufgebrochen werden. Das Agile Modell enthält: Quellsystemanalyse Agile Modellierung Modellkonvertierungen Datentransformation und -integration Data Warehouse Schema Design Stage Tabellen, Hubs/Links/Satelliten, Dimensionen/Fakten, Aggregate, Sichten Volle Selbstdokumentation und Auswirkungsanalyse Lineage und Auswirkungsanalyse Testen 63

64 Agenda III 64

65 Vorstellung Torsten Glunde Owner, Managing Consultant bei Alligator Company 10+ Jahre Erfahrung in BI Certified Data Vault 2.0 Practitioner Member of the Boulder BI Brain Trust Torsten Glunde, TDWI Konferenz mit Track 2014, München, 25. Juni

66 Data Warehouse Automation mit BIML & BIMLScript Was ist BIML? Business Intelligence Markup Language g XML Beschreibungssprache für Business Intelligence System Assets Domain spezifischer Dialekt (ähnlich wie CWM) Unterstützte Objekttypen Relationale Modelle Daten Transformationspakete (ControlFlow, DataFlow) Multidimensionale Modelle Berechtigungen Datenbanken Flat Files 66

67 67

68 Data Warehouse Automation mit BIML & BIMLScript BIML EXPAND GENERATE SCRIPT BIML Features xml xml Implementierung nur für SQLServer BIMLScript ähnlich wie Webentwicklung, SSI, JPS oder ASP.Net Integration SSxS Compiler Erweitert C#/VB generiert SSIS und SSAS Objekte in BIDS/SSDT 68

69 Data Warehouse Automation mit BIML & BIMLScript Motivation für BIML Weniger Code Faul sein Refactoring Wiederverwendung Bessere Qualität Limitierung von SSIS / BIDS Dateiformat dtsx, Refactoring, Abstraktion und Wiederverwendung Agile Entwicklung Automatisierung 69

70 Automation mit BIML & BIMLScript Source.Net Generate BIML Template entwickeln mit Pattern Target Patterns werden eingehalten Source und Target Metadaten können gelesen werden z.b. Hash Funktion über alle Spalten können einfach generiert werden weniger manueller Code Veränderungen können regeneriert werden Unterstützt tüt t Refactoring Resourcen verteilen (Senior/Junior Skills) fppt.com 70

71 Automation mit BIML & BIMLScript Source.Net Transformation Geschäftsregeln BIML Template entwickeln mit Pattern Target Wie sollen die Transformationen / das Mapping / Geschäftsregeln beschrieben werden? Proprietäre Metadaten in Excel, Word oder Datenbanken Welche Standards gibt es hier? CWM? Funktionen müssten für BIML in.net interpretierbar oder ausführbar sein DataVault vereinfacht das Generieren durch die Muster in der Modellierung Wie werden die Geschäftsregeln im Business Vault oder im Information Mart beschrieben? fppt.com 71

72 Data Warehouse Automation Praxisteil 72

73 Data Warehouse Automation Vielen Dank für Ihre Aufmerksamkeit! Fragen? tglunde Torsten Glunde mailto:t.glunde(at)alligator-company.de t l t) lli t d Weitere Netzwerke: Torsten Glunde, TDWI Konferenz mit BARC@TDWI Track 2014, München, 25. Juni

74 Agenda IV 74

75 DISKUSSION Brauchen wir überhaupt noch ein ETL-Werkzeug? 75

76 Data Warehouse Automation Vielen Dank für Ihre Aufmerksamkeit! Fragen? proximaastra Oliver Cramer mailto:oliver.cramer(at)web.de li 76