Fast Analytics on Fast Data

Größe: px

Ab Seite anzeigen:

Download "Fast Analytics on Fast Data"

David Biermann
vor 6 Jahren
Abrufe

1 Fast Analytics on Fast Data Kudu als Storage Layer für Banking Applikationen

2 Problem Klassischer Kreditprozess Beantragung in der Filiale Aufwendiger Prozess Nachweis durch Dokumente Manuelle Bewilligung Verzögerte Auszahlung Seite 2

3 Lösung Digitalisierung des Kreditprozesses Beantragung über Online Banking Einfacher Kreditprozess Verzicht auf Dokumente Automatische Bewilligung Sofortige Auszahlung Seite 3

4 Automatisierte Selbstauskunft und Kreditlimit Umsatzdaten Datum Verwendungszweck Betrag Lohn / Gehalt 08/ Miete Musterstr M. Mustermann ACME sagt Danke 40 Ihr Einkauf vom Bundesagentur fuer Arbeit 400 Familienkasse KG Stadtkasse Musterstadt 120 Gas, Wasser, Stromwerke Musterstadt 80 Haushaltsdaten Einnahmen Betrag Gehalt 3600 Kindergeld 400 Summe Einnahmen 4000 Ausgaben Mietzahlungen 800 Nebenkosten 200 Summe Ausgaben 1000 Ergebnis Frei verfügbares Einkommen 3000 Kreditlimit Seite 4

5 Veränderung der Daten Hadoop Storage Optionen (klassisch) Realtime Updates HBase Häufige Updates Nur Insert HDFS Statisch Abfrage der Daten Archivierung Batch Abfragen Interaktive Abfragen Realtime Abfragen Seite 5

6 HDFS Verteiltes Dateisystem Große Dateien 128 MB Blöcke Repliziert Write Once Read Many Keine Update / Delete einzelner Datensätze Sequentielles Lesen großer Datenmengen Seite 6

7 HBase NoSQL Datenbank Tabellen Row Key Column Families CRUD Operationen Wahlfreier Zugriff Physikalische Speicherung Datafiles im HDFS Sortiert nach Row Key (Primary Key) Seite 7

8 Veränderung der Daten Hadoop Storage Optionen (mit Kudu) Realtime Updates HBase Häufige Updates Kudu Nur Insert HDFS Statisch Abfrage der Daten Archivierung Batch Abfragen Interaktive Abfragen Realtime Abfragen Seite 8

Kudu Hadoop storage layer to enable fast analytics on fast data NoSQL Datenbank / Storage Layer Strukturiertes Datenmodell Tabellen mit Spalten und Datentypen Primary Key CRUD Operationen

9 Kudu Hadoop storage layer to enable fast analytics on fast data NoSQL Datenbank / Storage Layer Strukturiertes Datenmodell Tabellen mit Spalten und Datentypen Primary Key CRUD Operationen Wahlfreier Zugriff Sequentielles Lesen Physikalische Speicherung Spaltenorientiert Sortiert nach Primary Key Partitionierung Verteilung der Daten im Cluster Range, Hash und Multilevel (Range + Hash) Seite 9

10 Data Ingestion Bulk Inserts Tägliche Lieferung von Umsatzdaten Maximum Median Gesteuert über Batch Jobs Einfügen ins System ETL Verarbeitung Seite 10

Kategorisierung & Zahlungsstromanalyse (ZSA) Large Scans & Inserts Kategorisierung der neuen Umsätze eines Tages Speicherung der Umsätze mit Kategorie 5.000.000-20.

11 Kategorisierung & Zahlungsstromanalyse (ZSA) Large Scans & Inserts Kategorisierung der neuen Umsätze eines Tages Speicherung der Umsätze mit Kategorie Datensätze je Tag Very Large Scans & Updates Kategorisierung aller Umsätze nach Regeländerungen Update der Kategorie Umsätze für 13 Monate Seite 11

12 Online Schnittstellen Random Reads Kreditlimit im Onlinebanking Haushaltsdaten in der Filiale Random Writes Anpassung der Haushaltsdaten in der Filiale Neuberechnung des Kreditlimits Seite 12

Kunde deaktiviert Berechnung des Kreditlimits Kunde

13 Kundendaten löschen Random Deletes Umsatz und Haushaltsdaten eines Kunden Regulatorische Vorgaben Kunde deaktiviert Berechnung des Kreditlimits Kunde kündigt das Konto Alte Daten (Datensparsamkeit) Seite 13

14 Produktauswahl Evaluierung Prototypen mit HDFS HBase Kudu Umsetzung HDFS für Archiv Bulk Inserts neuer Daten Large Scans beim Zugriffs aufs Archiv Kudu für Hot Data Bulk Inserts neuer Daten Large Scans für Analysen Update und Delete alter Daten Random Access für Online Schnittstellen Seite 14

15 High Level Architektur Online-Banking Filiale Cluster Online Services Spark, Hive, Impala Landing Raw Silver Gold Info RDBMS UC4 ext4 HDFS HDFS HDFS Kudu HDFS put ETL ETL Kategorisierung ZSA Seite 15

16 Erfahrungen mit Kudu in Produktion Positiv Einfache Datenmodellierung Partitionierung Key Design Einfache Verwendung Spark Java Client Impala / SQL Betrieb Hochverfügbarkeit Stabilität Performance Sehr gut für unsere Zugriffe Negativ Datenmodellierung Kein DECIMAL, kein DATE Maximal 2000 Tablets (Partitionen) je Server Security Nur Kerberos Authentifizierung (Noch) keine Autorisierung Backup (Noch) kein Support Workaround mit Impala INSERT INTO parquet SELECT * FROM kudu Betrieb Empfindlich bei Netzwerk Latenzen Admin Tools (noch) nicht ausgereift Seite 16

17 Vielen Dank.

Ähnliche Dokumente

Die wichtigsten Hadoop-Komponenten für Big Data mit SAS

Webinar@Lunchtime Die wichtigsten Hadoop-Komponenten für Big Data mit SAS Herzlich Willkommen bei Webinar@Lunchtime Moderation Anne K. Bogner-Hamleh SAS Institute GmbH Education Consultant Xing-Profil: