Ein subjektiver Vergleich zwischen SSIS und Kettle mit Ausblick auf die Generierung von BI-Lösungen

Transkript

1 Ein subjektiver Vergleich zwischen SSIS und Kettle mit Ausblick auf die Generierung von BI-Lösungen vorgestellt am in der PASS Regionalgruppe Karlsruhe Michael Riedmüller inovex GmbH Project Manager Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und uns selbst.

2 Agenda 1. Motivation und Hintergrund 2. Beispiel SSIS 3. Beispiel Kettle 4. Vergleich 5. Prinzipien der Generierung 6. Generierung für Kettle 7. Generierung für SSIS 8. Zusammenfassung

3 Motivation und Hintergrund Warum Generierung Automatisierung ähnlicher Aufgaben Correctness-by-Construction Verringerung des Testaufwands Verbesserung der Wartbarkeit mehr Zeit für das Wesentliche

4 Motivation und Hintergrung Warum MS SQL Server BI Marktmacht von Microsoft Preis-Leistungsverhältnis Bundle mit der Datenbank große eigene Projekterfahrung Warum Pentaho BI Marktforschung IDC: Best in Class Hersteller (besonders. erfolgr. Hersteller; BI Spektrum 3/2008) Microstrategy 65% QlikTech 55% Pentaho 48% Jaspersoft 41% XML- Struktur der Dateien gut geeignet erste eigene Projekterfahrung

5 Beispielpakete zum Vergleich Paket aus dem Input Layer (Einlesen der Rohdaten) Datenquelle CSV-Datei Datenziel Tabelle im Input Layer Pakete protokollieren ihre Ausführung und Ergebnisse (Auditing) Prüfung der Formate in der CSV-Datei; Fehler aussteuern Einlesen mehrerer Dateien (auch fehlende Eingabe kann vorkommen)

6 Beispiel SSIS Kontrollfluss

7 Beispiel SSIS Datenfluss

8 Beispiel SSIS Package Variablen

9 Beispiel Kettle Job

10 Beispiel Kettle Transformation

11 Beispiel Kettle Job

12 Beispiel Kettle Setzen der Variablen

13 Beispiel Kettle Job

14 Unterschiede Kettle Bsp. Audit Transformation

15 Unterschiede Kettle Bsp. Dimensionshandling traditionell

16 Unterschiede Kettle SCD 1 mit Insert/Update

17 Unterschiede Kettle SCD 1 mit Insert/Update

18 Unterschiede Kettle Dimension mit SCD Komponente

19 Unterschiede Kettle Dimension mit SCD Komponente

20 Vergleich

21 Vergleich

22 Vergleich

23 Vergleich

24 Prinzipien der Generierung

25 Prinzipien der Generierung Fachliche und technische Aspekte strikt getrennt Konzepte sind stabiler als Technologien Ein Modell beschreibt Struktur, Funktion oder Verhalten eines Systems Die Syntax eines Modells kann grafisch und/oder textuell sein Ein Modell ist formal und genügt einem Meta-Modell Formale Modelle besitzen Potential für automatisierte Transformationen

26 Was möchten wir generieren? Artefakte mit ähnlicher Struktur, unterschiedlichem Datenfluss Artefakte mit wenig Datenobjekt-spezifischen Operationen Artefakte für den Input-Layer (Extract in ETL) Artefakte für die Dimensionspflege (L in ETL) Gerüste für Cleansing und Temporary Layer (T in ETL)

27 Generierung für Kettle Festlegungen Pakete für Auditing werden so universell gehalten, dass man sie nur genau einmal generieren muss Es gibt eine Transformation, die pro Datenobjekt die abhängigen Variablen initialisiert Es wird pro Datenobjekt ein Job generiert, der die Initialisierung, die Transformationen des Auditing und die Transformation zum Einlesen aufruft Es wird pro Datenobjekt eine Transformation zur Datenverarbeitung generiert Die Pfade zu den Sourcen und Daten werden in Kettle-Variablen übergeben Angaben zu Datenbankverbindungen oder Teilpfaden von Dateien werden in die Dateien generiert

28 Generierung mit oaw

29 Generierung für Kettle Metamodell

30 Generierung für Kettle Modell

31 Generierung für Kettle Templates

32 Generierung für Kettle Ergebnisse

33 Generierung für SSIS Festlegungen Generierung der Pakete analog zu den gezeigten Templates direkte Generierung von XML (.dtsx) recht schwierig Verzicht auf Konfigurationsdateien, da Angaben generiert werden können Möglichkeit, Pakete per Programm (z.b. C#) zu erstellen und dann zu speichern (.dtsx)

34 Generierung für SSIS C# Code

35 Generierung für SSIS

36 Zusammenfassung ETL mit Kettle ist eine gangbare Alternative (spez. für Non-Windows- Plattformen) Andere Lösungen für die üblichen Aufgaben der ETL Prozesse nötig Umstieg oder Parallelentwicklung nicht einfach möglich Einige interessante Details bei vergleichbaren Komponenten Generierung von ETL-Lösungen ist für bestimmte Anteile ein gangbarer Weg Vorteile gegenüber rein manuellen Implementierungen

37 Vielen Dank für Ihre Aufmerksamkeit! inovex GmbH Pforzheim Karlsruher Straße 71 D Pforzheim Karlsruhe Zur Gießerei 16 D Karlsruhe München Valentin-Linhof-Straße 2 D München Köln Kupferhütte 4.1 Schanzenstraße 6 20 D Köln Wir nutzen Technologien, um unsere Kunden glücklich zu machen. Und uns selbst.