Spark, Impala und Hadoop in der Kreditrisikoberechnung

Transkript

1 Spark, Impala und Hadoop in der Kreditrisikoberechnung Big Data In-Memory-Technologien für mittelgroße Datenmengen TDWI München, 22. Juni 2015 Joschka Kupilas, Data Scientist, Adastra GmbH 2

2 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 3

3 Kurze Umfrage... > 1 PB Daten? Berechnung zu langsam? 4

4 5 Big Data überall...

5 ...wirklich? Wahr: Mehr Daten Neue Technologien ermöglichen Nutzung großer Datenmengen Aber: Nur manche Firmen haben so große Datenmengen 90% aller Probleme: Small/Medium Data Mit fortschreitender Technik: Small = Immer mehr GB Trotzdem zeitaufwändige Berechnung! Hadoop für Medium Data! 6

6 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 7

7 Beispiel für Hadoop für Medium Data Proof-of-Concept Projekt für große deutsche Bank Berechnung von Kreditwerten Hadoop statt Datenbank + Rechenkern Mittelgroße Datenmenge 8

8 Beispielprojekt: Treiberanalyse 13 Millionen Kredite Wert eines Kredits ist Funktion von Ausfallwahrscheinlichkeit Laufzeit Betrag Restbetrag Währung Anderen Krediten derselben Person/Firma Berechnung enthält mathematische/statistische Formeln Aggregationen, Suchen, Joins 9

9 Berechnung der Kreditwerte Person A Person B Kredit 1 Kredit 2 Kredit 3 P( Ausfall ) = 0.01 Gesamt: Rest: Laufzeit: 60 Monate Restlaufzeit: 23 Monate Wert: P( Ausfall ) = 0.02 Gesamt: Rest: Laufzeit: 48 Monate Restlaufzeit: 6 Monate Wert: P( Ausfall ) = 0.03 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 60 Monate Wert:

10 Veränderung der Kreditwerte nach Treibern Kredit Kredit 3 P( Ausfall ) = 0.03 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 60 Monate Wert: $ - 1 Monat P( Ausfall ) = 0.05 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 59 Monate Wert:

11 Einfluss der Faktoren (Treiber) Fragestellung: Welcher Faktor hat wieviel zur Veränderung beigetragen? Einfluss von Teilmengen der Faktoren? Kredite 30 Treiberteilmengen hunderte Millionen ähnliche Berechnungen Sehr gut parallelisierbares Problem! Datenmenge: 5GB pro Zeitscheibe Kein Big Data 12

12 Bisherige Situation 64 Kerne Rechenkern Rechenkern Rechenkern 256 GB RAM $$$$$ DB1 DB2 DB3 DB1 Sybase IQ $$$$$ 2 Stunden 13

13 Idee: Hadoop (Spark/Impala) Günstige Hardware Kostenlose Software DB1 DB1 < 2 Stunden? 14

14 Verfügbare Resourcen Gesamtkosten für Hardware:

15 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 16

16 17 Ganz Früher

17 18 CPU Geschwindigkeit stagniert

18 19 Cluster

19 Vorteile von Hadoop Im Vergleich zu Einzelrechnern: Ausfallsicherheit Erweiterbarkeit & Zukunftssicherheit Zeitersparnis/Performance Im Vergleich zu klassischen Clustern : Kostenersparnis Einfachere Entwicklung 20

20 Hadoop Ökosystem Dateisystem HDFS (oder Amazon S3, ) Low-Level Programmier-Framework zur Parallelisierung MapReduce, Spark,... High-Level Programmiersprachen Impala, Hive,... 22

21 Hadoop HDFS: Hadoop Distributed File System Dateisystem verteilt auf den Nodes des Clusters Ausfallsicherheit: Redundante Speicherung Ein Name-Node (verwaltet Metainformation) Viele Data-Nodes (speichern Daten) 23

22 24

23 25 HDFS

24 26 HDFS

25 27 HDFS

26 29 HDFS

27 Programmier-Paradigma MapReduce Map-Funktion: Die gleiche Berechnung auf vielen Objekten Input -> (Key, Value) Reduce-Funktion: Aggregation der obigen Resultate Sortieren nach Keys Aggregieren der Values 30

28 Map: f(x) = <sign(x),2x> Reduce: Sum(x) Wert Key Value Key Value

29 Map f = f = f = f = f = Sort & Shuffle Reduce Σ Σ Σ 32

30 Publikumsaufgabe 33 Map: Input: Text Output in (key, value)-paaren: Paar ( Vokale, #Vokale) (inkl Ä,Ö,Ü,Y) Paar( Konsonanten, #Konsonanten) (inkl ẞ) Paar( Satzzeichen, #Satzzeichen) * = Zuständigkeit des Nodes für einen Block Sort & Shuffle: Durchreichen zum Reducer für Vokale, Konsonanten, Satzzeichen Reduce: Summieren der Werte je Key

31 MapReduce: Berechnungszyklus HDFS CPU & Netzwerk HDD I/O 1 sec Lokales Dateisystem Map CPU & HDD I/O RAM 34

32 Gute Probleme für Hadoop Viele Objekte vom selben Typ Unabhängige gleichartige Berechnungen Danach Aggregation der Ergebnisse (wenn gewünscht) Beispiele: Welche und wieviele Webseiten (Textdateien) enthalten ein bestimmtes Wort? Welche Benutzer könnten laut ihren Interessen auf eine Werbung klicken? 35

33 Ergebnis Vokale Konsonanten Satzzeichen 36

34 Nachteile von MapReduce Starres Programmierkonzept: Alles in Map und Reduce ausdrücken Entwicklung von Higher-Level-Programmiersprachen (Pig, Hive, Impala...) Programmierung nur in Java Map Reduce HDFS: Langsam für iterative Algorithmen Z.B. In Machine Learning relevant 37

35 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 38

36 Nachfolger von MapReduce Früher Map, jetzt Transformation Früher Reduce, jetzt Action Unterschiede: verteiltes Dateisystem verteiltes RAM In-Memory Lazy Evaluation Mehrere Programmiersprachen 39

37 Spark: Grundbegriffe RDD: Ähnlich List, Array: Viele Objekte des selben Typs RDD<int>, RDD<String> Verteilt im RAM der Cluster Nodes Transformation: RDD<A> RDD<B> parallel auf alle Elemente angewendet f(x) = x*2 RDD<float> RDD<float> Filter() RDD<X> RDD<X> Actions: RDD<C> einzelner Datentyp Sum() RDD<float> float Ergebnisse von Transformations bleiben im RAM, Ergebnisse von Actions können in HDD gehen 40

38 Spark: Funktionsweise Sourcecode wird von Spark: analysiert umstrukturiert in Java ByteCode umgewandelt, auf JVM ausgeführt automatisch parallelisiert Spark baut Abhängigkeitsgraphen Lazy Evaluation : Code wird erst/nur ausgeführt, wenn benötigt Nur Daten die benötigt werden, werden berechnet Filter: Vielleicht müssen gar nicht alle Daten geladen werden First: nur das erste Element das passt muss geladen werden 41

39 42 Sourcecode: Python

40 Umwandlung in Abhängigkeitsgraphen moby_dick.txt textfile() RDD transf Other Data action map() vokale sum() int text map() map() konsonanten satzzeichen sum() sum() int int filter() a_zeilen 43

41 Spark: Berechnungszyklus HDD I/O HDFS Laden Action RAM 1 ms CPU & HDD I/O CPU (& Netzwerk) 44

42 Warum Spark? Datenmenge klein genug für RAM Spark schneller als MapReduce Popularität Auswahl aus mehreren Programmiersprachen Bibliotheken SQL, Machine Learning, Graphen, Streaming 45

43 Spark: Nachteile Noch nicht viel Wissen öffentlich verfügbar Bibliotheken: Bugs und unvollständige Dokumentation Debugging aufgrund von Lazy Evaluation schwieriger Spark SQL Library (SQL auf RDDs) nicht umfangreich genug 46

44 Hadoop Tools für SQL Hive Open Source Basiert auf MapReduce: Stabil Besser für Batch-Jobs, lange Jobs, sehr große Datenmengen Impala Schneller als Hive Instabiler Besser für ad-hoc- und kurze Jobs Beides getestet, für Impala entschieden da kurze Rechenzeit und wenige Nodes 47

45 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 48

46 Zurück zum Projekt Treiberanalyse Kredit Kredit 3 P( Ausfall ) = 0.03 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 60 Monate Wert: $ - 1 Monat P( Ausfall ) = 0.05 Gesamt: $ Rest: $ Laufzeit: 120 Monate Restlaufzeit: 59 Monate Wert:

47 Zurück zum Projekt Treiberanalyse Abwechselnd komplizierte Joins und andere Queries Parallel ausführbare mathematische Berechnungen... Beobachtung: Impala: Nutzt Netzwerk Spark: Nutzt CPU 50

48 Messungen 150 Spark Impala Summe Alt Node 2 Nodes 3 Nodes 4 Nodes Spark 00:54:42 00:30:05 00:21:28 00:16:56 Impala 01:12:27 00:41:58 00:33:50 00:30:59 Summe 02:07:09 01:12:03 00:55:18 00:47:55 Geschwindigkeit i.v.z. alter Implementierung 110 % 194 % 253 % 292 % 51

49 Idee: Aufteilung der Daten Idee: Impala braucht mehr Netzwerk Spark braucht mehr CPU manuelle Aufteilung in 2 zeitversetzte Batchjobs mit jeweils 50% Daten 52

50 Messungen 1 Job (4 Nodes) 2 Jobs (4 Nodes) Spark 00:16:56 00:15:00 Impala 00:30:59 00:20:10 Summe 00:47:55 00:35:10 Geschwindigkeit i.v.z. alter Implementierung 292 % 398 % 53

51 Inhalt Vorwort Projektbeschreibung Über Hadoop Spark und andere Hadoop Tools Ergebnisse des Projekts Zusammenfassung und Lessons Learned 54

52 Zusammenfassung Ziel: Berechnung der Werte von Krediten beschleunigen Vorher: Mathematische Berechnung auf Rechenkern Join, Lookups, Aggregationen auf Sybase IQ Server > 2 Stunden Adastras Ansatz: Alle Daten auf kleinen preiswerten Cluster Kostenlose Hadoop Software verwenden Durch leicht zu implementierende Parallelisierung beschleunigen 55

53 Resultate: Schneller und günstiger: Zeit Kosten ???? Alte Implementierung Spark & Impala auf Hadoop 0 Alte Implementierung Spark & Impala auf Hadoop 2:20 Stunden 35 Minuten 4 x schneller Viele 3000 Deutlich günstiger 56

54 Lessons learned Spark: Gutes Framework für parallelisierbare Probleme Deutlich schneller als MapReduce bei vielen Iterationen einer Berechnung Entwicklung einfach: Mehrere Programmiersprachen Bibliotheken Aber: Noch dynamisch Bibliotheken sind nicht immer 100% bugfrei 57

55 Lessons learned Mischen von Hadoop-Tools für beste Ergebnisse Problem besser in SQL als in imperative Programmiersprache formulierbar: Sehr simpel? Spark SQL Kompliziert, aber kurze Laufzeit? Impala Kompliziert, lange Laufzeit (hohe Wahrscheinlichkeit für Hardwarefehler)? Hive 58

56 Lessons learned Hadoop nicht nur für Big Data Auch Small/Medium Data auf Small/Medium Clusters, wenn Parallelisierung möglich Berechnung beschleunigt werden soll 59

57 60 Fragen?