Fast Analytics on Fast Data

Transkript

1 Fast Analytics on Fast Data Digitalisierung von Kreditprozessen mit Kudu DOAG 2018 Big Data Days 20. und 21. September in Dresden Olaf Hein, ORDIX AG

2 Problem Klassischer Kreditprozess Beantragung in der Filiale Aufwendiger Prozess Nachweis durch Dokumente Manuelle Bewilligung Verzögerte Auszahlung Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 2

3 Lösung Digitalisierung des Kreditprozesses Beantragung über Online Banking Einfacher Kreditprozess Verzicht auf Dokumente Automatische Bewilligung Sofortige Auszahlung Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 3

4 Automatisierte Selbstauskunft und Kreditlimit Datum Verwendungszweck Betrag Lohn / Gehalt 07/ Miete Musterstr. 17 M. Mustermann ACME sagt Danke Ihr Einkauf vom Bundesagentur fuer Arbeit Familienkasse KG Gaswerke Musterstadt Stromwerke Musterstadt 80 Einnahmen Betrag Gehalt 3620 Kindergeld 380 Mieteinnahmen 0 Summe Einnahmen 4000 Ausgaben Mietzahlungen 800 Nebenkosten 200 Leasingraten 0 Summe Ausgaben 1000 Verfügbares Einkommen 3000 Kreditlimit 9000 Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 4

5 Veränderung der Daten Hadoop Storage Optionen (klassisch) Realtime Updates Häufige Updates HBase Nur Inserts HDFS Statisch Abfrage der Daten Archivierung Batch Abfragen Interaktive Abfragen Realtime Abfragen Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 5

6 HDFS Verteiltes Dateisystem Datenmodellierung Große Dateien Verzeichnisse als Tabellen Unterverzeichnisse als Partitionen Kein Primary Key, kein Index Eigenschaften Write Once Read Many Bulk Insert Large Table / Partition Scans Kein Random Access Kein Update / Delete einzelner Datensätze Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 6

7 HBase NoSQL Datenbank Datenmodellierung Tabellen Row Key (Primary Key) Column Families Physikalische Speicherung Daten im HDFS Datensätze sortiert nach Row Key Eigenschaften Random Access mit geringer Latenz Insert, Update und Delete Schnelle Short Range Scans Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 7

8 Veränderung der Daten Storage Optionen (mit Kudu) Realtime Updates HBase Häufige Updates Kudu Nur Inserts Statisch HDFS Abfrage der Daten Archivierung Batch Abfragen Interaktive Abfragen Realtime Abfragen Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 8

9 Kudu NoSQL Datenbank Release 1.0 vom Datenmodellierung Tabellen mit Spalten und Datentypen Primary Key Partitionierung Physikalische Speicherung Daten im Linux FS Datensätze sortiert nach Primary Key Spaltenorientierte Speicherung Eigenschaften Random Access mit geringer Latenz Inserts, Update und Delete Schnelle Large und Short Range Scans Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 9

10 Data Ingestion Bulk Inserts Tägliche Lieferung von Umsatzdaten Median Maximum Als Textdatei Batch-Verarbeitung Einfügen ins System ETL-Verarbeitung Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 10

11 Kategorisierung & Zahlungsstromanalyse (ZSA) Large Scans & Inserts / Updates Kategorisierung neuer Umsätze Zahlungsstromanalyse aktiver Konten Konten Buchungen von 13 Monaten Buchungen / Tag CPU ist kritisch! Datenvolumen moderat Large Scans & Updates Modell Änderungen Update aller Kategorien ZSA Neuberechnung aller Konten Buchungen für 13 Monate Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 11

12 Online Schnittstellen Clients Online-Banking Filiale Random Reads Kreditlimit Haushaltsdaten Random Writes Anpassung Haushaltsdaten Neuberechnung Kreditlimit Fremdbank-Daten Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 12

13 Löschen von Daten Random Deletes Umsatz und Haushaltsdaten eines Kunden Kunde deaktiviert ZSA Kunde kündigt Konto Alte Daten (Datensparsamkeit) Regulatorische Vorgaben DSGVO BAFIN Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 13

14 Analytische Auswertungen Modell Monitoring Analyse aller Umsätze Daten einzelner Konten Tools Impala SQL Anaconda Enterprise Jupyter Notebooks PySpark Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 14

15 Produktauswahl Bulk Inserts Large Scans Short Scans Random Reads Updates Deletes Analytics Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 15

16 High Level Architektur Online-Banking Filiale Data Science Workplace REST Services Anaconda RDBMS HDFS Kudu Kudu Extract Transform Load ZSA Load DS & ML Data Lake Data Science Sandbox Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 16

17 Datenmodellierung Primary Key Design UMSATZ_DATEN HAUSHALTS_DATEN Unique Index Sortierung der Daten PS PS PS IBAN DATUM UMSATZ_ID n 1 PS IBAN GEHALT KINDERGELD Partitionierung VERWENDUNGSZWECK MIETEINNAHMEN Verteilung BETRAG MIETZAHLUNGEN NEBENKOSTEN der Daten auf Tablets LEASINGRATEN der Tablets auf Tablet Server KREDITLIMIT Mehrere Partitionierungsarten Range Hash Multilevel Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 17

18 Datenmodell (vereinfacht) UMSATZ_DATEN HAUSHALTS_DATEN PS IBAN n 1 PS IBAN PS DATUM GEHALT PS UMSATZ_ID KINDERGELD VERWENDUNGSZWECK MIETEINNAHMEN BETRAG MIETZAHLUNGEN NEBENKOSTEN LEASINGRATEN KREDITLIMIT Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 18

19 Hash Partitionierung (1/2) Tablet 1 Hash Bucket = 0 Tablet 2 Hash Bucket = 1 Tablet 3 Hash Bucket = 2 HASH ( iban ) Partition Key muss Teil des Primary Keys sein Verteilung über Hash Funktion Partitionierung kann nicht geändert werden Anzahl Buckets abhängig vom Datenvolumen Anzahl Tablet Server & Cores je Server Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 19

20 Hash Partitionierung (2/2) create table haushalts_daten ( iban string, gehalt double, kindergeld double, mieteinnahmen double, mietzahlungen double, nebenkosten double, leasingraten double, kreditlimit double, primary key (iban) ) partition by hash (iban) partitions 3 stored as kudu; Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 20

21 Range Partitionierung (1/2) Tablet 1 datum < ' ' Tablet 2 ' ' <= datum < ' ' Tablet 3 ' ' <= datum < ' ' RANGE ( datum ) Partition Key muss Teil des Primary Keys sein Bereiche dürfen nicht überlappen können geschlossen oder offen sein Partitionen können hinzugefügt und gelöscht werden Größe der Bereiche abhängig vom Datenvolumen Anzahl Tablet Server & Cores je Server Zugriffsmuster (Löschen, Range Scans) Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 21

22 Range Partitionierung (2/2) create table umsatz_daten ( iban string, datum string, umsatz_id string, verwendungszweck string, betrag double, primary key (iban, datum) ) partition by range (datum) ( partition values < ' ', partition ' ' <= values < ' ', partition ' ' <= values < ' ' ) stored as kudu; Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 22

23 HASH ( iban ) Multilevel Partitionierung (1/3) Tablet 1 ' ' <= datum < ' ' Hash Bucket = 0 Tablet 2 ' ' <= datum < ' ' Hash Bucket = 0 Tablet 3 ' ' <= datum < ' ' Hash Bucket = 0 Tablet 4 ' ' <= datum < ' ' Hash Bucket = 1 Tablet 5 ' ' <= datum < ' ' Hash Bucket = 1 Tablet 6 ' ' <= datum < ' ' Hash Bucket = 1 Tablet 7 ' ' <= datum < ' ' Hash Bucket = 2 Tablet 8 ' ' <= datum < ' ' Hash Bucket = 2 Tablet 9 ' ' <= datum < ' ' Hash Bucket = 2 RANGE ( datum ) Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 23

24 Multilevel Partitionierung (2/3) Kombination von Partitionierungsarten Hash + Range Hash + Hash + [Hash...] + [Range] Vorteile Range + Hash für Umsatzdaten Hash Partitionierung Schreiboperationen werden auf mehrere Tablets verteilt Paralleles Lesen der Daten aus mehreren Tablets Alle Daten einer IBAN im selben Tablet (Partition Pruning) Range Partitionierung Hinzufügen neuer Partitionen Löschen alter Partitionen Alle Daten eines Jahres im selben Tablet (Partition Pruning) Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 24

25 Multilevel Partitionierung (3/3) create table umsatz_daten ( iban string, datum string, umsatz_id string, verwendungszweck string, betrag double, primary key (iban, datum) ) partition by hash (iban) partitions 3, range (datum) ( partition ' ' <= values < ' ', partition ' ' <= values < ' ', partition ' ' <= values < ' ' ) stored as kudu; Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 25

26 Kudu Architektur (1/2) Metadaten lesen + schreiben Kudu Master Leader Tablet Sever Kudu Master Kudu Master Follower Tablet Sever Client Daten lesen + schreiben Tablet 1 Leader Tablet 2 Follower Tablet 1 Follower Daten lesen Tablet Sever Tablet Sever Tablet 2 Follower Tablet 1 Follower Tablet 2 Leader Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 26

27 Kudu Architektur (2/2) Kudu Master Verwaltet Metadaten Schema der Tabellen Tablet - Server Zuordnung 3 für Hochverfügbarkeit (minimal 1) Schreiben und Lesen nur über Leader Kudu Tablet Server Speichert Daten Tabellen werden in Tablets aufgeteilt (partitioniert) Ungerade Anzahl (1-7) Liefert Daten direkt an den Client Schreiben von Daten nur über den Leader Lesen von Daten auch über Follower Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 27

28 Erfahrungen mit Kudu in Produktion Positiv Einfache Datenmodellierung Partitionierung Key Design Einfache Verwendung Spark / PySpark Java Client Impala SQL Betrieb Hochverfügbarkeit Stabilität Performance Vielseitig Sehr gut für unsere Zugriffe Negativ Security Kerberos Authentifizierung (Noch) keine Autorisierung Workaround mit Impala + Sentry Backup (Noch) kein Support Workaround mit Impala oder Spark Betrieb Empfindlich bei Netzwerk Problemen Empfindlich bei Zeit (ntp) Problemen Admin Tools (noch) nicht ausgereift Sizing Empfehlungen - Maximal 8 TiB und 2000 Tablets je Server 100 Tablet Server 60 Tablets je Tabelle und Server Fast Analytics on Fast Data, Olaf Hein, DOAG 2018 Big Data Days in Dresden 28

29 ORDIX AG Aktiengesellschaft für Softwareentwicklung, Schulung, Beratung und Systemintegration Zentrale Paderborn Karl-Schurz-Straße 19a Paderborn Tel.: Fax: Seminarzentrum Wiesbaden Kreuzberger Ring Wiesbaden Tel.: info@ordix.de Vielen Dank für Ihre Aufmerksamkeit!