Umstellung bestehender DWH-Applikationen auf Ingres und Open-Source BI-Tools

Transkript

1 Umstellung bestehender DWH-Applikationen auf Ingres und Open-Source BI-Tools Alf Hellmund - GIUA 2008 Seite 1

2 Agenda Aufgabenstellung Evaluation Migration Fazit Vorstellung & Motivation Evaluierungsszenario MySQL Ingres Pentaho Jasper Getränkehersteller Verlag Zusammenfassung Fragen Seite 2

3 Wer sind wir? Namenserklärung decerno (Entscheidung) und opus (Fabrik) Unternehmen Gründung am im Rahmen des commitor Netzwerkes Größe 4 Mitarbeiter 2 Business Angels Netzwerk von Freiberuflern 20 Seite 3

4 Was machen wir? Beratung / Consulting mit Schwerpunkt im Bereich DWH Produktentwicklung Warum? größtes Wachstumsfeld betrieblicher Anwendungssoftware spannendes Teilgebiet der IT Erfahrung in über 25 Projekten In den Bereichen Analyse, Architektur, Datenversorgung, Reporting und Redesign Seite 4

5 Motivation Nutzen von Business Intelligence: Vorhandene Unternehmens- und Geschäftsdaten werden in relevantes, handlungsanleitendes Wissen umgeformt. Einsparungen der bisherigen Lizenzkosten Voller Zugriff auf den Quellcode Flexibilität bei Sonderwünschen Migration der bestehenden Lösungen eines Getränkeproduzenten und eines Verlages Seite 5

6 Evaluierungsszenario Beladung des DWH mittels ETL-Tools Auswertung der Daten in Cubes Anlegen und Erzeugen von Reports Abschätzung der System-Performance Fragestellung: Funktionsumfang? Einsatzmöglichkeiten? Handhabung? Integration in bestehende Umgebung? Seite 6

7 Agenda Aufgabenstellung Evaluation Migration Fazit Motivation Evaluierungsszenario MySQL Ingres Pentaho Getränkehersteller Verlag Zusammenfassung Fragen Jasper Seite 7

8 MySQL Weitverbreitetes RDBMS Breite Betriebssystemunterstützung (Windows, Linux, Mac OS, UNIX) Verschiedener Storage-Engines z.b. MyISAM, InnoDB, NDB Cluster, usw. Unterstützungstools: - GUI-Tools für Administration und Migration - Konnektoren für ODBC, Java, PHP,.Net - Workbench zum visuellen DB-Design Seite 8

9 Ingres 2006 Schnelles und robustes RDBMS Multi-Plattform (Windows, Linux, UNIX) Unterstützung durch div. Tools - Visual Manager, Visual DBA, - Anbindung an JDBC, ODBC,.NET, Skalierbar und hohe Performance u.a. durch Clusterfähigkeit, Partitionierung Speicherstrukturen für verschiedene Zwecke (Heap, BTree, Hash, ISAM) Seite 9

10 Pentaho Open BI Suite Komponentenbasiert und Modular Repository Service-orientierte Systemarchitektur - Erreichbar via AJAX und Web Services Serverseitig 100% Java EE Web-basierte Benutzeroberfläche (Thin Client) Integrierte Workflow/Prozess-Engine Seite 10

11 Pentaho Data Integration (Kettle) 1 Metadaten-gesteuert, Model-Driven - Komplexe Transformationen ohne Code - Grafisches Entwerfen der Jobs und Transformationen 100% Java, Cross-Platform Support Erweiterbare Architektur - Einfacher Entwurf und Plug-In von eigenen Komponenten - SAP-Connector bereits enthalten Verwaltung mittels Repository - Strukturierte Verwaltung der Modelle, Verbindungen, Log-Dateien und mehr - Einfache und wiederverwendbare Anfragen und Transformationen Seite 11

12 Pentaho Data Integration (Kettle) 2 Umfangreiche ETL-Funktionalität - Mehr als 60 fertige Mapping-Objekte - Breite Datenquellen-Unterstützung (RDBMs, flache Dateiformate, ) - Erweiterte Data-Warehousing Unterstützung (für Junk und sich langsam ändernde Dimensionen) Integration in der Pentaho Open BI Platform - Scheduling von Jobs und Transformationen - Einsatz von Pentaho Alarmierung und Workflow - Pentaho Reporting und Analysis für die Auslieferung von Informationen zum Unternehmen Seite 12

13 Definition: Transformation Modell einer streambasierten Datenverarbeitung Transformationsobjekte: - Step: Datenverarbeitungsoperation - Hop: grafische Repräsentation von Datenströmen zwischen zwei Steps, - Notiz: Textinformation Seite 13

14 Definition: Job Job-Objekte: - Start: erste Objekt eines Jobs, enthält den Scheduler - Hop: grafische Repräsentation von Datenströmen zwischen zwei Steps, springt zum nächsten Step ohne Bedingung, nach Erfolg oder Fehler, - Notiz: Textinformation, Seite 14

15 Pentaho Analysis (Mondrian) 1 Zugriff und Formatierung von Daten aus verschiedenen Quellen - RDBMS, XML, OLAP Ausgabe in populäre Formate - HTML, PDF, DOC, XLS, TXT, Verschiedene Reporttypen Betrieblich Analytisch Finanziell Direkt gegen Quellen oder auch Metadaten-Schichten Pixelgenauer Report Designer Seite 15

16 Pentaho Analysis (Mondrian) 2 ROLAP Architektur - Funktioniert mit allen populären Open- Source und kommerziellen DBS Betrachte Daten dimensional - z.b. Verkäufe über Regionen, über Händler, über einen Zeitbereich Navigiere und Erforsche - Ad-Hoc Analyse - Herunterbrechen vom Jahr zum Quartal - Pivot Web-basierend oder als Excel Front-End Seite 16

17 Pentaho Reporting Interaktives, web-basiertes Reporting Relationale, OLAP und XML-Datenquellen Assistenten-unterstützte Reporterstellung Pro-Version verfügbar, mit erweiterter Funktionalität wie Versionierung, Clustering usw. komplexe Handhabung Seite 17

18 Jasper Business Intelligence Suite Plattformunabhängig durch Java Repository Komponenten: - JasperETL: Data Integration - JasperReports: Reporting Library - ireport: Report Designer - JasperAnalysis: Data Analysis, ROLAP - JasperServer: Report Server Seite 18

19 JasperETL Entwicklungsumgebung für ETL-Prozesse Metadata-driven Solution Repository: CVS / Datenbank Visualierung von ETL-Prozessen Zugriff auf Prozesse als JAVA-Code Komponentenbasiert Breite Unterstützung für Quellen und Ziele: RDBMS, CSV, XML, FTP, Ausgabe: Perl-/Java-Anwendungen Seite 19

20 JasperReports Reporting Library / Framework 100% Java Ermöglicht pixelgenaue komplexe Layouts Tabellen, Pivottabellen, Charts, Dashboards Unterstützte Datenquellen: RDBMS, XML, Ausgabeformate: HTML, PDF, Excel, Seite 20

21 ireport GUI zum Erzeugen der Reporte 100% pure Java Basiert auf JasperReports Unterstützte Datenquellen: RDBMS, XML, CSV, Ausgabeformate: HTML, PDF, RTF, Erweiterbar durch Plugins Web-Schnittstelle zu JasperServer Reporting-Umgebung Seite 21

22 JasperAnalysis Data Analysis (ROLAP) 100% Java Komponenten: - ROLAP-Server - Webbasierende Benutzerschnittstelle Interaktive Datenexploration Visualisierung der Daten Unterstützt: MDX, XML for Analysis (XML/A) Seite 22

23 JasperServer Webbasierte Reporting- und Analysis-Umgebung Basiert auf JasperReport und JasperAnalysis Webschnittstelle zu ireport Scheduling von Reporten ROLAP-Support Export-Formate: PDF, Excel, Authentifizierung / Authorisierung Seite 23

24 Ergebnisse MySQL Schnelles und leicht einsetzbares DBMS Guter Optimizer Resourcenschonend Guter Support Seite 24

25 Ergebnisse Ingres Schnelles und sehr stabiles DBMS Geringer Resourcenverbrauch Guter Optimizer Auch für sehr große Datenbestände geeignet Zuverlässiger Support Langjährige Erfahrung durch unsere Partner im Geschäftsumfeld Seite 25

26 Ergebnisse Pentaho Reporting und ETL in einer Komponente integriert BI Suite unterstützt flexible Tasks, Handling ist komplex Umfangreiche Funktionalität ETL: - Integrierte Entwicklungs- und Laufzeitumgebung - Voll- bzw. mindestens halbautomatische Anlage der Repository-DB - Schwächen in der Umsetzung Reporting: - Report-Wizard - Handling komplexer als bei Jasper Seite 26

27 Ergebnisse Jasper Getrennte Reporting- und ETL-Komponente Umfangreiche Funktionalität ETL: - Entwicklungs- und Testumgebung - Erzeugt umgebungsunabhängige Tasks - Ablage von Quell- und Ziel-Struktur- Informationen im Repository Reporting: - Intuitives Reportdesign und handling - Report-Wizard - Repository-Datenbank einfach austauschbar Seite 27

28 Agenda Aufgabenstellung Evaluation Migration Fazit Motivation Evaluierungsszenario MySQL Ingres Pentaho Getränkehersteller Verlag Zusammenfassung Fragen Jasper Seite 28

29 Migration Getränkehersteller Ablösung von Oracle und Microstrategy Aufwand der Evaluation: 30PT Geschätzter Aufwand für Migration: 60-80PT Quelle: Oracle mit ca. 5M Tupel DWH: - klassisches Core-DWH als join-optimiertes Snowflake mit Dimensionen und Fakten - 7 Dimensionen (eine Historie) und 2 breite Faktentabellen - 2M Tupel Seite 29

30 Migration Verlag Ablösung von MS SQL Server und manuellem Reporting mit Excel & Access durch Ingres/Jasper Step 1: Aufwand der Migration: 25PT Quellen: 10M Tupel vom SAP & 4M Tupel durch DB DWH: - klassisches Core-DWH als join-optimiertes Snowflake mit Dimensionen und Fakten - 2 Dimensionen (ohne Historie) und 2 kleine Faktentabellen - 2 Millionen Tupel Report: 5 Reports (500 Seiten für alle Produkte) Seite 30

31 Agenda Aufgabenstellung Evaluation Migration Fazit Motivation Evaluierungsszenario MySQL Ingres Pentaho Getränkehersteller Verlag Zusammenfassung Fragen Jasper Seite 31

32 Zusammenfassung / Fazit Sehr stabile und performante DB-Umgebung Hoher Funktionsumfang für ETL und Reporting Einfache Integration in bestehende Umgebung Intuitive Bedienung und einfaches Handling Nachholbedarf der BI Suiten bei GUI und Stabilität Geeignet für - großen Datenbestände und heterogene Quellen - Projekte mit hohem Anpassungbedarf - Optimierung der benötigten Lizenkosten Seite 32

33 Fragen? Seite 33

34 Vielen Dank für Ihre Aufmerksamkeit! Seite 34