EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis

Transkript

1 EXASolution als Bestandteil einer BI / DWH- und Kampagnenmanagementlandschaft Ein Erfahrungsbericht aus der Praxis Business Apéro Exasol / SHS VIVEON, Zürich Zürich, 15. November 2011 Dr. Jörg Westermayer Executive Manager SHS VIVEON AG Joerg.Westermayer@SHS-VIVEON.com

2 01 SHS VIVEON als Partner von EXASOL 02 Projektskizze 03 Architektur 04 DWH Layer Architektur & ETL-Frameworks 05 Learnings Seite 2

3 SHS VIVEON als Partner von EXASOL Überall dort, wo sehr große Datenmengen, ein dynamisches Marktumfeld und flexible Geschäftsprozesse die Anforderungen an das DWH bestimmen, werden wir gefragt. Telefónica Deutschland und Swisscom zählen wir daher ebenso zu unseren Kunden wie z.b. XING, xplosion oder United Internet. Die Performance, die Flexibilität und Skalierbarkeit der EXASolution passen daher perfekt zu unseren Projekten. Seit mehr als zwei Jahren implementieren wir EXASolution bei unseren Kunden. Seite 3

4 SHS VIVEON als Partner von EXASOL: Unsere Referenzen XING - Für das dynamisch wachsende soziale Netzwerk mit 11 Mio Mitgliedern standen Kosteneffizienz, Skalierbarkeit und die Geschwindigkeit der Migration der Lösung im Zentrum. SHS VIVEON unterstützte: - Migrationsstrategie - DWH Architektur - Optimierung ETL Prozesse - Metadatenmanagement - Implementierung Xplosion - Performance, Innovation und Flexibilität sind die kritischen Erfolgsfaktoren im Retargeting. SHS VIVEON unterstützte: - DWH Architektur - ETL Framework - Datenqualitätsmanagement Seite 4

5 SHS VIVEON als Partner von EXASOL: Unsere Leistungen Erfahrene Berater - Mehr als 50 BI und DWH Berater für Ihre Projekte - Davon zehn zertifizierte EXASOL Experten. Migrationsstrategie - Langjährige Erfahrung in der Migration von BI/DWH Lösungen und deren technischer Komponenten DWH Architektur - Vielfach erprobte, optimal auf die Leistung der EXASOL angepasste Architekturkonzepte. - Konzeption und Realisierung von operativen Closed Loop DWH Systemen mit EXASOL ETL Frameworks für EXASolution - Versionierung und Historisierung - Import und Export - Logging und Laufzeit-Metadaten - Auf Wunsch Integration in lizenzkostenfreies ETL Tool Pentaho Seite 5

6 01 SHS VIVEON als Partner von EXASOL 02 Projektskizze 03 Architektur 04 DWH Layer Architektur & ETL-Frameworks 05 Learnings Seite 6

7 Aufbau DWH, BI und Kampagnenmanagement-Landschaft für Online Marketing Ausgangssituation Für die Optimierung des Online Marketings sollte eine vollständige High-Performance Plattform geschaffen werden. Projektziele Aufbau einer DWH, BI und Kampagnenmanagement- Landschaft (Best-Of Breed), High-Performance Ad Hoc Analyse Plattform, Zukunftssichere und erweiterbare Systemlandschaft und abrechnungsfähiges Kampagnen und Dialogmanagement durch saubere Responseerfassung. Unsere Leistungen Anforderungsanalyse, Fach- und DV-Konzeption, Systemarchitektur, Einführung von Unica Campaign und Marketing Operations, Einführung von EXASOL, Entwicklung von Frameworks für ETL-Prozesse EXASOL & Kettle Anbindung von verschiedenen Quellsystemen und Touchpoints Nutzen des Projekts Schaffung einer Plattform, die über verschiedene Kunden-Identitäts-Level hinweg Online Marketing Dialoge gestalten bzw. durchführen kann. Analyse, Reporting und Kampagnenmanagement auf einer Datenbasis. Mit Einführung von EXASOL hohe Flexibilität und Performance bei fachseitigen Auswertungen. Ermöglichung von vollständig neuen Online Marketing Kampagnen. Seite 7

8 01 SHS VIVEON als Partner von EXASOL 02 Projektskizze 03 Architektur 04 DWH Layer Architektur & ETL-Frameworks 05 Learnings 06 Zusammenfassung Seite 8

9 Schnittstellenformate: JDBC ODBC CSV HTTPs XML + Tracking-Logs OCI Seite 9

10 01 SHS VIVEON als Partner von EXASOL 02 Projektskizze 03 Architektur 04 DWH Layer Architektur & ETL-Frameworks 05 Learnings EXASolution als Bestandteil einer BI/DWH-& Kampagnen-Mngt-Landschaft Business Apéro, 15. November 2011 Seite 10

11 Layerarchitektur / DWH-Schemas Filelieferung Web- Services OCI DW_STAGING 1:1 Fileladungen + Import Metadatenattribute Geparste XML- Files SELECTS auf Oracle-DB DW_DATA 1:1 Stagedaten historisiert bzw. versioniert abgelegt DW_INTELLIGENCE Transformation der Daten aus dem Data-Layer derart: Bessere Auswertbarkeit Zusammenführung der verschiedenen Datenquellen Interpretation von Tracking- Logs (bzgl. z.b. Produkten) DW_BUSINESS Hochperformante Views die Daten aus dem IL für die Businessseite aufbereiten, Reduktion technische Attribute, Ist-Sicht auf Daten EXT_KMS Arbeitsbereich KMS EXT_MINING Arbeitsbereich MINING EXT_MSTR_TEMP Arbeitsbereich MSTR Exportfiles & UserInteraction MSTR SPSS Unica Poweruser Dialogmanager DW_META: Konfiguration Import/Export, Versionierung, Prozesslogging, Volumentracking Applicationmanager DW_PREPARATION: Temporäres Schema für Zwischenergebnisse ETL-Prozesse SYS / EXA_STATISTICS: EXASOL Data-Dictionary, Statistiken, DB-Logging, Seite 11

12 SHS VIVEON Frameworks für die Arbeit mit EXASOL Frameworks reduzieren den Implementierungsaufwand erheblich: - Wiederkehrende Aufgaben werden Metadaten getrieben automatisiert und standardisiert - Betrieb, Wartung und Weiterentwicklung werden wesentlich effizienter. SHS VIVEON hat für die EXASOL Projekte ein leistungsfähiges ETL Framework entwickelt: - Logging von ETL-Prozessen, - Pentaho-Dataintegration Plugin für Aufruf von EXASOL Scripten / SQL bei gleichzeitiger Einbettung ins Logging, - Integration des Import & Exportframework für CSV-Dateien von EXASOL (EXA- Loader), - Operatives-/Volumen Monitoring mit MicroStrategy, - Versionierungsframework (SCD1 und SCD2 / Metadaten getrieben) und - Metadaten getriebenes Housekeeping für Bereinigung von Alt-Daten. - ETL Prozesse laufen primär in der hoch performanten EXASOL Datenbank. Nur in Spezialfällen werden die Daten in der Engine des ETL-Tool verarbeitet. Seite 12

13 01 SHS VIVEON als Partner von EXASOL 02 Projektskizze 03 Architektur 04 DWH Layer Architektur & ETL-Frameworks 05 Learnings EXASolution als Bestandteil einer BI/DWH-& Kampagnen-Mngt-Landschaft Business Apéro, 15. November 2011 Seite 13

14 Learnings aus den gemeinsamen EXASOL Projekten Datenbank-erfahrene Berater sind mit EXASOL sehr schnell vertraut. Allein das Scripting verlangt etwas Einarbeitung. Die Administration und die Releasewechsel der EXASOL Datenbank lassen sich sehr schlank realisieren. Frameworks optimieren Entwicklungszeiten und sorgen für Standardisierung. Die Anbindung von BI-Tools oder auch anderen Systemen an die EXASOL DB gelingt leicht. Bei nicht gegen EXASOL zertifizierten Applikationen ist das frühzeitige Einbinden des EXASOL-Supports zielführend. EXASOL ist extrem performant. Diese Performanz entbindet jedoch nicht vollständig und in allen Projektsituationen von der Pflicht, sorgfältig zu entwickeln und SQL-Statements auch einmal kritisch zu analysieren. Der EXASOL Support ist außerordentlich engagiert und in den Analysen extrem gründlich und professionell. Er ist damit ein sehr verlässlicher Partner in allen Projektsituationen. Seite 14

15 Vielen Dank für Ihr Interesse! Dr. Jörg Westermayer Executive Manager SHS VIVEON AG Seite 15