Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS. Carsten Herbe DOAG Konferenz November 2014

Transkript

1 Data Mart Offload nach Hadoop Star Schema in HDFS anstatt RDBMS Carsten Herbe DOAG Konferenz November 2014

2 Wir fokussieren mit unseren Services die Herausforderungen des Marktes und verbinden Mensch und IT. Business Intelligence Themenbereiche Enterprise DWH Data Modeling & Integration & ETL Architecture: DWH & Data Marts Hadoop & Columnar DBs Data Quality & Data Masking Analytics Predictive Models, Data Mining & Statistics Social Media Analytics Customer Intelligence Scorecarding Fraud & AML Über metafinanz metafinanz gehört seit fast 25 Jahren zu den erfahrensten Software- und Beratungshäusern mit Fokus auf die Versicherungsbranche. Mit einem Jahresumsatz von 270 Mio. EUR und über 450 Mitarbeitern entwickeln wir für unsere Kunden intelligente zukunftsorientierte Lösungen für komplexe Herausforderungen Insurance Reporting Standard & Adhoc Reporting Dashboarding BI Office Integration Mobile BI & In-memory SAS Trainings for Business Analysts BI & Risk Risk Solvency II (Standard & internal Model) Regulatory Reporting Compliance Risk Management Ihr Kontakt : Carsten Herbe Head of Data Warehousing Mehr als 10 Jahre DWH-Erfahrung Oracle & OWB Expertise Certified Hadoop Developer mail carsten.herbe@metafinanz.de phone Data Mart Offload nach Hadoop Seite 2

3 Agenda 1 Motivation 6 Anbindung BI Tool 2 Exkurs Hadoop 7 Offload Prozess 3 Architektur 8 Performance-Analyse 4 Schema Design 9 Fazit 5 Hive Metadaten & SQL Engine Data Mart Offload nach Hadoop Seite 3

4 1. Motivation

5 Platzt Ihr DWH aus allen Nähten? Data Mart Offload nach Hadoop Seite 5

6 Warten Ihre BI-Nutzer ewig? Data Mart Offload nach Hadoop Seite 6

7 Obwohl Sie im DWH alles richtig gemacht haben? Data Mart Offload nach Hadoop Seite 7

8 Sie suchen dringend eine Lösung die dem Kostendruck standhält? Data Mart Offload nach Hadoop Seite 8

9 2. Exkurs Hadoop

10 Apache Hadoop ist ein Framework für die verteilte Speicherung und Verarbeitung großer Datenmengen basierend auf Konzepten von Google. Was ist Hadoop? Hadoop MapReduce Skalierbare Rechenkapazität Hadoop Distributed FileSystem (HDFS) Skalierbare Speicherkapazität Data Mart Offload nach Hadoop Seite 10

11 Das Hadoop-Ökosystem besteht aus einer Vielzahl von Tools und Frameworks und wird ständig durch neue Projekte erweitert. Cascalog Oryx Crunch ORCFiles Big Data Connectors Big SQL SequenceFiles Kafaka HttpFS FuseDFS Data Mart Offload nach Hadoop Seite 11

12 Auch wenn man strukturierte Daten in Hadoop speichern kann Hadoop ist keine relationale Datenbank. Hadoop ist keine relationale Datenbank! Hadoop Un-, teil- oder strukturierte Daten Schema on Read Write Once Read Many Geringe Datenintegrität Beliebig linear skalierbar Relationale Datenbank Nur strukturierte (relationale) Daten Schema on Write Write Read Update Many Times Hohe Datenintegrität Nicht (eingeschränkt) linear skalierbar Data Mart Offload nach Hadoop Seite 12

13 3. Architektur

14 Der Data Mart wird komplett nach Hadoop kopiert und stehen dort mit kompletter Historie dem BI Tool zur Verfügung. In der DB bleibt nur der aktuelle Zeitraum (z.b. 1-3 Jahre). DWH Architektur mit Datamart in Hadoop RDBMS OLTP OLTP Staging Core DWH Datamart Datamart Reporting Files Hadoop Data Mart Offload nach Hadoop Seite 14

15 Design, Prozesse und Anbindung an das BI Tool werden in diesem Vortrag beschrieben. Eine Beschreibung des Aufbaus einer Hadoop Infrastruktur würde den Rahmen sprengen. Was ist zu tun? Hadoop Infrastruktur Aufbau Hadoop Cluster Konfiguration SQL Engine/Security Backup Aufbau Betrieb Schema Design in HDFS Logisches Daten/Datei-Modell Partitionierung (für ETL und Abfragen) Physikalische Speicherung (File Format, Komprimierung) Offload Prozess Hinzufügen/ Replacement bestehender Daten Einbindung ETL Prozess Verfügbarkeit für das Reporting Anbindung BI Tool Bereitstellung Metadaten (Tabellen, Spalten, ) Auswahl Hadoop SQL Engine (Hive, Impala, ) Anbindung Hadoop als Datenquelle an das BI Tool Data Mart Offload nach Hadoop Seite 15

16 Einfluss können wir über die Dateiformate inkl. Kompression, die Modellierung des Schema Designs und Auswahl der SQL Engine nehmen. Schichtenmodell ETL Tool BI Tool Gesetzt SQL Engine Auswahl Hive Metadaten Gesetzt: Hive als Quasistandard File Schema Design Modellierung File Format & Kompression Auswahl HDFS Gesetzt Data Mart Offload nach Hadoop Seite 16

17 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 4. Schema Design

18 Speed Ratio Die Wahl des Codecs ist immer ein Trade-off zwischen Kompression und Geschwindigkeit. Non-Splittable Codes können mit Containern verwendet werden. Kompression File Format & Kompression Codes Algorithmus Fokus Splittable Bemerkungen BZIP2 Burrows-Wheeler Ratio J ZLIB DEFLATE Ratio N Beste Kompression, aber am langsamsten Hadoop Standard Gute Kompression, aber langsam GZIP DEFLATE Ratio N LZO Variante von LZ77 Speed mit Index Snappy LZ77 Speed N Wrapper um ZLIB Gute Kompression, aber langsam GNU GPL, daher extra zu installieren Schnell Oft verwendet LZ4 Variante von LZ77 Speed N Schnell Data Mart Offload nach Hadoop Seite 18

19 Dateiformate beinhalten teilweise selbstbeschreibende Metadaten und sind auch komprimiert splittable. Die Toolunterstützung ist aber unterschiedlich. Dateiformate File Format & Kompression Zeilenorientiert Textformat (TSV/CSV) Sequence Files AVRO Spaltenorientiert RCFile (row columnar) ORC (optimized row columnar) Parquet Data Mart Offload nach Hadoop Seite 19

20 Beim Schema Design in HDFS kann man das Star Schema übernehmen oder es in ein denormalisiertes Result Set transformieren. Schema Design: Star Schema vs Result Set File Schema Design Star Schema 1:1 Übernahme des relationalen Datenmodells aus der DB. Keine Anpassung der Zugriffsschicht im BI Tool. Viele Joins bei Abfragen. Kleine Dimensionen kleine Dateien. Result Set Transformation notwendig: Denormalisierung des Star Schemas. Anpassung der Zugriffsschicht im BI Tool. Keine Joins bei Abfragen. Höherer Speicherbedarf. Einfach umsetzbar Performance-orientiert Data Mart Offload nach Hadoop Seite 20

21 Die Partitionierung muss ein einfaches Aktualisieren ( Replacement ) neuer Daten ermöglichen und idealerweise für eine gute Abfrageperformance sorgen. Partitionierung: Laden & Abfragen File Schema Design Fakten Partitionierung nach (fachlichen) Zeitscheiben Beim Load: Aktuelle Partition löschen & neu laden (Korrekturen) Oder anhängen der neuen Daten (keine Korrekturen) Dimensionen Partitionierung nach fachlichen Kriterien (z.b. Mandant) Beim Load: i.d.r. Komplett-Load Partitions-/Datei-Größen beachten: Nicht zu klein im Vergleich zur HDFS-Blockgröße (128 MB)! Load Frequenz nach Use Case (e.g. Historische Daten) Data Mart Offload nach Hadoop Seite 21

22 Partitionierung wird durch geschachtelte Verzeichnisse abgebildet. Der Benutzer muss dafür sorgen, dass in den Verzeichnissen auch nur passende Daten sind! Partitionierung: Funktionsweise File Format & Kompression CREATE TABLE dim_kunde ( id INT, name STRING, stadt STRING,... ) PARTITION BY ( land STRING, region STRING ); /dim_kunde/land=de/region=n /dim_kunde/land=de/region=w /dim_kunde/land=de/region=o /dim_kunde/land=de/region=s /dim_kunde/land=fr/region=n... Data Mart Offload nach Hadoop Seite 22

23 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 5. Hive Metadaten & SQL Engine

24 Hive ist eine SQL Engine mit HiveQL als Abfragesprache plus einer Metadatenverwaltung für relationale Daten in HDFS. Hive Hive Metadaten = Metadaten (Tabellen) + HiveQL (SQL) Hive Metadaten = Quasistandard (Pig, Impala, ) Hive Metadaten = Schema-on-Read Konsistenz Manuell sicherzustellen Data Mart Offload nach Hadoop Seite 24

25 Metadaten können für bestehende Dateien definiert werden. INSERT und SELECT funktionieren wie gewohnt, UPDATE und DELETE gibt es nicht. Hive Beispiele CREATE TABLE dim_kunde ( id INT, name STRING, stadt STRING, alter INT,... ) PARTITION BY ( land STRING, region STRING ); INSERT INTO TABLE dim_kunde SELECT... FROM stg_kunde; SELECT region, avg(alter) FROM dim_kunde WHERE land = DE GROUP BY region ; SQL Engine Data Mart Offload nach Hadoop Seite 25

26 Hive generiert einen oder mehreren MapReduce-Jobs. Impala nutzt eigene in-memory Komponenten für die Ausführung, aber auch die Hive Metadaten. SQL Engines Hive & Impala SQL Engine Map Reduce Map Reduce... HDFS in-memory Operation in-memory Operation in-memory Operation... Impala HDFS Data Mart Offload nach Hadoop Seite 26

27 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 6. Anbindung BI Tool

28 Selbst wenn die Datenmodelle in DB und HIVE identisch sind, hat man verschiedene Connections, welche sich i.d.r. nicht vom User im Report tauschen. Anbindung BI Tool BI Tool BI Tool Datamart Connection Physical Model RDBMS Logical Model Report A Hadoop Ggfs. unterschiedlich Identisch Identisch Physical Logical Connection Model Model Report A HIVE Teilmenge an Reports Ggfs. doppelte Pflege Fokus auf Ad-hoc Analysen Historische Reports Data Mart Offload nach Hadoop Seite 28

29 ETL Tool BI Tool SQL Engine Hive Metadaten File Schema Design File Format & Kompression HDFS 7. Offload Prozess

30 Im Offload Prozess werden die aktuellen Partitionen gelöscht und dann die Daten geladen. Hohe Parallelität kann sehr hohe Last auf der DB erzeugen! Offload Prozess ETL Tool Nutzung bestehender Technologien Integrierte Prozesse Ggfs. Performance- Probleme (ETL Server) Ggfs. Lizenzkosten Sqoop Hadoop Komponente Keine Lizenzkosten Einfache Benutzung File Transfer ETL Tool Keine Online-Verbindung Cluster-DB notwendig Komplexer Prozess: Datei erzeugen, transferieren, laden Unterschiedliche Tools Einfachste Integration Performant und einfach umzusetzen Notlösung ETL in Hadoop mit Hive Data Mart Offload nach Hadoop Seite 30

31 Sqoop ist von der Architektur her in erster Linie ein Client-Tool zum Datenaustausch zwischen HDFS und verschiedenen Datenbanken. Sqoop Architektur ETL Tool Sqoop client Reads metadata submits job Relational Database Document Based Systems sqoop import -connect --username scott --table SCOTT.EMP --where 'rownum=1' --hive-import $ Map Job delimited text Hadoop Hive Data Mart Offload nach Hadoop Seite 31

32 8. Performance-Analyse

33 Als Teststellung haben wir ein Subset (1 Fakt, 9 Dimensionen) des TPC-DS Benchmarks verwendet. Auf dem Cluster lief CDH4 mit Hive 0.10 und Impala Teststellung Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 33

34 Alle Test-Kombinationen und weitere Fragestellungen wurden im Rahmen einer Masterarbeit detailliert untersucht. Masterarbeit Real-time SQL on Hadoop Download bald unter hadoop.metafinanz.de Data Mart Offload nach Hadoop Seite 34

35 Gesparter Speicherplatz Faktentabelle (400GB) und Ladezeit. Snappy liefert die besten Zeiten und zusammen mit Parquet auch nur leicht schlechtere Kompression als GZIP. Load-Performance Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 35

36 Punkt oberhalb der Linie bedeutet Hive mit Star Schema ist schneller, unterhalb der Linie bedeutet Hive mit Resultset ist schneller. Parquet ist minimal schnelle als Sequence Files. Hive: Resultset schneller als Star Schema Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 36

37 Punkt oberhalb der Linie bedeutet Star Schema ist schneller, unterhalb der Linie bedeutet Resultset ist schneller. Parquet ist schneller als Sequence Files. Impala: Star Schema schneller als Resultset Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 37

38 Parquet ist zwar etwas CPU intensiver als die meisten anderen Formate, verbraucht dafür aber deutlich weniger Speicher. Impala: CPU vs. Memory Trade-off Masterarbeit An evaluation for optimal (big) data processing with Hadoop, Xiaojing Zhao, Technische Universität Dresden, September 2014 Data Mart Offload nach Hadoop Seite 38

39 Geometric Mean (in seconds) Alle Komponenten entwickeln sich ständig weiter, neue Technologien (z.b. Spark SQL) kommen hinzu. Cloudera Single-User respose time/impala times faster than (Lower bars are better) Impala 1.4 Presto Spark SQL Tez x 6.5x 13.0x 2.1x 9.8x 7.0x 3.8x 6.3x 7.2x Interactive Reporting Analytics q19, q42, q52, q63, q68, q73, q98 q3, q7, q27, q43, q53, q89 q34, q46, q59, q79, ss_max Data Mart Offload nach Hadoop Seite 39

40 9. Fazit

41 Datentransfer mit Sqoop, Speicherplatzoptimierte Speicherung mit Star Schema, Parquet Files mit Snappy-Codec und Hive als SQL Engine für Batchauswertungen. Beispiel DWH Architektur mit Datamart in Hadoop RDBMS OLTP OLTP Staging Core DWH Datamart Datamart Files Data-Transfer mit Sqoop Aufbereitung mit Hive Prozesssteuerung durch ETL Tool Hadoop Star Schema Fakten partitioniert nach Zeit Parquet-Files mit Snappy-Codec Hive Metadaten Reporting SQL Engine Impala Data Mart Offload nach Hadoop Seite 41

42 Hier ist auch der Staging Bereich nach Hadoop ausgelagert. Hier können die Daten aufbereitet und geprüft werden. Man profitiert von der massiv parallelen Verarbeitung. DWH Architektur: Staging & Data Mart in Hadoop RDBMS OLTP Staging Core DWH Datamart Datamart Reporting Hadoop OLTP Files Data Mart Offload nach Hadoop Seite 42

43 metafinanz unterstützt Ihre Kunden bei Einführung von Hadoop end-to-end: Von Entscheidung und Konzeption bis hin zu Einführung und Optimierung. DECIDE PLAN BUILD OPTIMIZE metafinanz ist herstellerunabhängig, erfahren, kompetent, zuverlässig und lieferfähig metafinanz Consulting Leistungen rund um Data Warehouse und Enterprise Information Management Businessanalyse, Systemauswahl und Integrationskonzept Gesamtheitliche IT Architektur Strategie und Designkonzeption (IT Strategie) Customizing von Big Data Lösungen für Ihre besonderen Business Anforderungen (Zukunftsfähigkeit) DWH Configuration & Optimierung für mehr Leistungsfähigkeit (Effizienzpotential) Vorstudie Hadoop-Strategie DWH Cost Savings Dokumentenverarbeitung Identifikation Use Cases Tool-/Distributor-Auswahl & Architektur Projekt- und Betriebs-Setup Data Mart Offload (hist. Daten) ETL-Offload: Staging Calculation Offload Dokumentenarchivierung Volltextsuche Textanalyse Log-File-Analysen Click-Stream-Analyse Web-Anwendungen Security Analytics (Server-Logs, Firewall-Logs, ) DWH-Metadaten, wie und wozu Seite 43

44 Interesse? Austausch? Livedemo des Datenfluss-Datamart? Treffen Sie uns an unserem Stand und gewinnen ein ipad Mini!

45 Herzlichen Dank! metafinanz Informationssysteme GmbH Leopoldstr. 146 Phone: Fax: Mehr zu Data Warehousing & Hadoop Besuchen Sie uns auch auf: