Ben Weissman. ETL und Datawarehouse Design mit Metadaten Vom Developer zum Architekten

Transkript

1 Ben Weissman ETL und Datawarehouse Design mit Metadaten Vom Developer zum Architekten

2 Sponsors help us to run this event! THX! You Rock! Sponsor Gold Sponsor Silver Sponsor Bronze Sponsor

3 But also: Volunteers! Try to say Thank you to every Volunteer you see today!

4 Save the date for exiting upcoming events PASS Camp 2017 Main Camp ( Kick-Off abends) Lufthansa Training & Conference Center, Seeheim SQL Konferenz 2018 PreCon: MainCon: Darmstadtium, Darmstadt More information at PASS booth

5 Introduction

6 Wer ist heute hier? Wer nutzt SSIS für seine ETL Workloads? Wer nutzt heute Metadaten für sein ETL Development? Wer hat seinen ETL Prozess mittels Metadaten auch automatisiert? Wer macht derzeit nichts mit ETL und Datawarehousing?

7 Wer bin ich? Ben Weissman, Solisyon, SQL Server seit Version 6.5

8 Worüber WIR heute sprechen Was sind eigentlich Metadaten? Was muss darin enthalten sein? Was ist der Unterschied zwischen einem Architekten und einem Entwickler? Was bringen mir Metadaten konkret? Wie kann das im Praxisfall aussehen

9 Was sind eigentlich Metadaten? Metadaten sind (strukturierte) Daten, die eine Ressource, eine Entität, ein Objekt oder andere Daten beschreiben. Sie können darüber hinaus dem Auffinden, der Verwendung sowie der Verwaltung einer Ressource, einer Entität etc. dienen. Der Begriff Metadaten wird in unterschiedlichen Kontexten verwendet. Im informationswissenschaftlichen und bibliothekarischen Kontext versteht man hierunter Daten, die der Beschreibung von elektronischen Ressourcen dienen. Der Trend geht jedoch dahin, den Begriff Metadaten auch für Daten und Kataloge in Datenbanken zu verwenden, die nicht-elektronische Ressourcen beschreiben.

10 Was sind eigentlich Metadaten? William Inmon: The first image most people have of the data warehouse is a large collection of historical, integrated data. While that image is correct in many regards, there is another very important element of the data warehouse that is vital - metadata. The Kimball Group: Metadata is the DNA of the data warehouse, defining its elements and how they work together.

11 Arten von Metadaten Business: In der Sprache des Business, inkl. Owner etc. Technisch: Datenbanken, Tabellen, Spalten, Datentypen, Indizes etc. Operational: Laufzeiten, Datengrößen etc. Welche sind wohl für unser Warehouse die wichtigsten? Technisch UND Business!

12 Let s get into it!

13 Was muss in meinen (technischen) Metadaten enthalten sein? It depends! Beispiele

14 Typische SSIS Metadaten Quellsysteme Tabellen Spalten Pakete Orchestration

15 Unterschied zwischen einem Architekten und einem Entwickler? Diskussion

16 Was bringen mir Metadaten konkret? Klar definierte Übergabeschnittstelle zwischen Business und IT Dokumentation und Compliance (z.b. auch mit temporal Tables) Automatisierung und Versionierung Einheitliche Pattern mit Fokus auf Qualität und Performance Klare Terminologie (Kunde vs. Auftrag) Schaffen Verständnis im Business für die Herkunft von Daten

17 Was bedeutet das für meinen Entwicklungsprozess Früher Unstrukturierte Anfragen und Bearbeitung Viele unterschiedliche SSIS Pakete Manuelle Dokumentation

18 Was bedeutet das für meinen Entwicklungsprozess Strukturiert Automatisiert METADATEN Entwicklung Einheitliche SSIS Pakete Automatische Dokumentation

19 Workload Workload Was bedeutet das Früher Automatisiert METADATEN Strukturiert Entwicklung Unstrukturierte Anfragen und Bearbeitung Viele unterschiedliche SSIS Pakete Einheitliche SSIS Pakete Manuelle Dokumentation Automatische Dokumentation

20 Wie kann das im Praxisfall aussehen Heute mal mit Biml

21 Was ist eigentlich Biml? Biml ist eine Markup Sprache also: XML Erfunden/Entwickelt von Varigence Wird erst in Verbindung mit BimlScript/APIs mächtig Kann neben SSIS auch für T-SQL und SSAS genutzt werden Verschiedenste Frontends SQL Versions-Kompatibilität wird belanglos Suche nach Mustern gesteigerte Produktivität durch Automatisierung

22 Mhm? Mini-Demo

23 Basis Konstrukt Pakete METADATEN Tabellen Schemata Datenbanken Verbindungen

24 Wie funktioniert das dann? Biml Code Biml Engine Ergebnis </> XML, BimlScript, C#, VB SQL Server Tabellen, DTSX Pakete etc.

25 Beispiel Und konkret?

26 FOR EACH LOOP Schritt 1 Verbindungs Meta Daten Verbindungsdaten META DATEN

27 FOR EACH LOOP FOR EACH LOOP FOR EACH LOOP Schritt 2 Tabellen Meta Daten SELECT * SELECT col1, col2, Tables META DATEN

28 FOR EACH LOOP Schritt 3 Erstellen der Staging Tabellen Erstellen der Staging Tabellen

29 FOR EACH LOOP Schritt 4 Befüllen der Staging Tabellen

30 Beispiel Demo

31 Save the date: PASS Essential Aufbau und Wartung einer Staging Area mit Biml ganztags oh22data AG, Bad Camberg More information at PASS booth

32 Gibt es noch Fragen? Gerne auch im Nachgang per Mail oder Twitter

33 Don t forget... After-Show-Party!!! 5 Jahre SQL Saturday an der Hochschule Bonn-Rhein-Sieg SQLSat Bruzzler - Grillparty Würstchen & Bier ab ca Uhr am Ende der Hochschulstraße

34 Sponsors You Rock! Sponsor Gold Sponsor Silver Sponsor Bronze Sponsor