Bernd Fondermann brainlounge. Blaue oder rote Pille: SQL oder MapReduce?

Transkript

1 Bernd Fondermann brainlounge Blaue oder rote Pille: SQL oder MapReduce?

2 TODOs pills on all pages upd source code 1

3 Blaue oder rote Pille - SQL oder MapReduce? Bernd Fondermann, BigDataCon/JAX

4 Rote oder blaue Pille? "You take the blue pill - the story ends, you wake up in your bed and believe whatever you want to believe. You take the red pill - you stay in Wonderland and I show you how deep the rabbithole goes." Morpheus, The Matrix 3

5 SQL - Die Blaue Pille 4

6 SQL - Die Blaue Pille SQL gibt es schon ewig 4

7 SQL - Die Blaue Pille SQL gibt es schon ewig solide Allzweckwaffe 4

8 SQL - Die Blaue Pille SQL gibt es schon ewig solide Allzweckwaffe in vielen Teams und Unternehmen eingeführt 4

9 SQL - Die Blaue Pille SQL gibt es schon ewig solide Allzweckwaffe in vielen Teams und Unternehmen eingeführt in Design, Development & Betrieb 4

10 SQL - Die Blaue Pille SQL gibt es schon ewig solide Allzweckwaffe in vielen Teams und Unternehmen eingeführt in Design, Development & Betrieb für alle denkbaren Datenmodelle 4

11 SQL - Die Blaue Pille SQL gibt es schon ewig solide Allzweckwaffe in vielen Teams und Unternehmen eingeführt in Design, Development & Betrieb für alle denkbaren Datenmodelle breite Unterstützung 4

12 SQL - Die Blaue Pille SQL gibt es schon ewig solide Allzweckwaffe in vielen Teams und Unternehmen eingeführt in Design, Development & Betrieb für alle denkbaren Datenmodelle breite Unterstützung die Invariante in unserer IT Landschaft 4

13 SQL - Die Blaue Pille SQL gibt es schon ewig solide Allzweckwaffe in vielen Teams und Unternehmen eingeführt in Design, Development & Betrieb für alle denkbaren Datenmodelle breite Unterstützung die Invariante in unserer IT Landschaft Frage nach Ersatz stellt sich gar nicht 4

14 SQL - Grundkonzepte 5

15 SQL - Grundkonzepte organisiert Daten in Tabellen, Zeilen, Spalten 5

16 SQL - Grundkonzepte organisiert Daten in Tabellen, Zeilen, Spalten Spalten streng typisiert 5

17 SQL - Grundkonzepte organisiert Daten in Tabellen, Zeilen, Spalten Spalten streng typisiert Primary Key über eine (wenige) Spalten 5

18 SQL - Grundkonzepte organisiert Daten in Tabellen, Zeilen, Spalten Spalten streng typisiert Primary Key über eine (wenige) Spalten strenge Referenzierung über Tabellengrenzen 5

19 SQL - Grundkonzepte organisiert Daten in Tabellen, Zeilen, Spalten Spalten streng typisiert Primary Key über eine (wenige) Spalten strenge Referenzierung über Tabellengrenzen Indizierung von beliebigen Spalten 5

20 SQL - Grundkonzepte organisiert Daten in Tabellen, Zeilen, Spalten Spalten streng typisiert Primary Key über eine (wenige) Spalten strenge Referenzierung über Tabellengrenzen Indizierung von beliebigen Spalten ausgebufftes Transaktionshandling 5

21 implizite Beschränkungen 6

22 implizite Beschränkungen Spalten streng typisiert 6

23 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write 6

24 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig 6

25 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten 6

26 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten Insert: PK-Check 6

27 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten Insert: PK-Check strenge Referenzierung über Tabellengrenzen 6

28 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten Insert: PK-Check strenge Referenzierung über Tabellengrenzen R/W tangieren mehrere Tabellen 6

29 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten Insert: PK-Check strenge Referenzierung über Tabellengrenzen R/W tangieren mehrere Tabellen Indizierung von beliebigen Spalten 6

30 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten Insert: PK-Check strenge Referenzierung über Tabellengrenzen R/W tangieren mehrere Tabellen Indizierung von beliebigen Spalten Write lösen Index Update aus 6

31 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten Insert: PK-Check strenge Referenzierung über Tabellengrenzen R/W tangieren mehrere Tabellen Indizierung von beliebigen Spalten Write lösen Index Update aus ausgebufftes Transaktionshandling 6

32 implizite Beschränkungen Spalten streng typisiert Prüfung und Codec bei Read/Write Evolution des Schemas schwierig Primary Key über eine oder wenige Spalten Insert: PK-Check strenge Referenzierung über Tabellengrenzen R/W tangieren mehrere Tabellen Indizierung von beliebigen Spalten Write lösen Index Update aus ausgebufftes Transaktionshandling verschiedene Arten von Locking 6

33 No Go Areas für SQL-DBs 7

34 No Go Areas für SQL-DBs Verteilen einer Tabelle über Rechnergrenzen 7

35 No Go Areas für SQL-DBs Verteilen einer Tabelle über Rechnergrenzen Verteilen von DBs über Rechnergrenzen 7

36 No Go Areas für SQL-DBs Verteilen einer Tabelle über Rechnergrenzen Verteilen von DBs über Rechnergrenzen Entkopplung von Schreiben & Lesen 7

37 No Go Areas für SQL-DBs Verteilen einer Tabelle über Rechnergrenzen Verteilen von DBs über Rechnergrenzen Entkopplung von Schreiben & Lesen Ausfalltoleranz 7

38 No Go Areas für SQL-DBs Verteilen einer Tabelle über Rechnergrenzen Verteilen von DBs über Rechnergrenzen Entkopplung von Schreiben & Lesen Ausfalltoleranz Grösse einer Tabelle 7

39 Was ist Hadoop? HDFS Verteiltes Filesystem redundant, hoch-skalierbar MapReduce parallele Datenverarbeitung Verfügbarkeit: "design-for-failure" Durchsatz: parallele Zugriffe 8

40 Voraussetzungen: Datenmenge "Big Data" bei nur 1 Block Input nur 1 Mapper-Prozess wenig Mapper => Management Overhead ungerechtfertigt 20 Maschinen à 8 Cores => 114 parallele Tasks => 7,2 GB 9

41 Voraussetzungen: Ablaufumgebung Ergebnisse im Minutenbereich Start-Latenz abhängig von Job-JAR Jeder Task eine neue JVM pro Cluster mind. 1 Maschine für Hadoop-Verwaltung pro Worker-Maschine 1-2 Cores for Hadoop-Verwaltung Jobabbrüche nicht tolerierbar not-invented-here komplexes Scheduling und Rollbacks hohe Verfügbarkeit Fehlertoleranz 10

42 Voraussetzungen: Problemstellung muss mit Map/Reduce formulierbar sein Daten sind partitionierbar semistrukturierte Daten Code greift nicht online auf andere Systeme zu Mapper können autark laufen 11

43 Voraussetzungen: Kultur 12

44 Voraussetzungen: Kultur Alle muss mitziehen, offen für Paradigmenwechsel 12

45 Voraussetzungen: Kultur Alle muss mitziehen, offen für Paradigmenwechsel Entwickler 12

46 Voraussetzungen: Kultur Alle muss mitziehen, offen für Paradigmenwechsel Entwickler DBAs 12

47 Voraussetzungen: Kultur Alle muss mitziehen, offen für Paradigmenwechsel Entwickler DBAs Beschaffung 12

48 Voraussetzungen: Kultur Alle muss mitziehen, offen für Paradigmenwechsel Entwickler DBAs Beschaffung Betrieb 12

49 The Pink Pill Antworten im Millisekunden-Bereich kein Read/Write Lock keine JOINS MapReduce verfügbar Zugriff mittels PK skalierbar, verfügbar wie Hadoop strenge Konsistenz => 13

50 Hadoop Datenmodell keine Indizes kein Schema Reads & Writes blockieren nicht Datenstrukturen über Hadoop-eigene Serialisierung Files Text, CSV, XML, Logs, Binärformate z.b. als Stream von Key/Value-Paaren 14

51 Map/Reduce Pattern Input Map Reduce Output Node Code Daten Node Großes Problem Node Code Daten Code Teil- Ergebnis Großes Problem Code Sehr viele Daten Node Code Daten Code Node Teil- Ergebnis End- Ergebnis Code Node Daten Code Node Teil- Ergebnis 15

52 MapReduce Nodes Jobtracker: MapReduce Master, SPoF startet, verteilt & koordiniert Tasks Tasktracker: bei den Datanodes koordiniert Worker auf seinem Node Worker eigene JVMs führen Mapper- & Reducer- Code aus 16

53 MapReduce 17

54 MapShuffleReduce 17

55 MapReduce - Phasen Algorithmus hat zwei Hauptphasen 1. "Map", 2. "Reduce" Zwischenphase "Shuffle" Das Programm kommt zu den Daten 18

56 MapReduce - Map-Phase JAR-Upload MR-Framework versorgt Map-Phase mit "Records" Map erzeugt Key/Value Paare Mapper Node Daten in: "ID75932"->"CN= out: "com.hadoop.www"->75932, " "->" 19

57 MapReduce - Shuffle-Phase Alle Values zu einem Map-Key werden zusammenkopiert Sortierung nach Key Verteilung auf die Reduce-Tasks Node Daten Node Daten Node Daten Node Daten Node Daten 20

58 MapReduce - Reduce-Phase Alle Values zu einem Map-Key werden demselben Reduce-Task übergeben Reduce verarbeitet weiter: Node Sortieren Reducer Daten Aggregieren Schreiben in generisches Datenformat (Index) JAR-Upload auch als Zwischenergebnis für nächsten MR-Job 21

59 Data Processing MapReduce MR-Job HDFS Split Map +Sort Combine Map Out Hadoop Client Big Data File 22

60 Data Processing MapReduce Map Out Shuffle + Sort Reduce (#=4) HDFS 23

61 MapReduce Pattern 24

62 MapReduce Pattern Input lesen: RecordReader 24

63 MapReduce Pattern Input lesen: RecordReader in: Input1 24

64 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) 24

65 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper 24

66 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) 24

67 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) out: (Key2, Value2) 24

68 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) out: (Key2, Value2) Reducer 24

69 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) out: (Key2, Value2) Reducer in: (Key2, Set<Value2>) 24

70 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) out: (Key2, Value2) Reducer in: (Key2, Set<Value2>) out: (Key3, Value3) 24

71 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) out: (Key2, Value2) Reducer in: (Key2, Set<Value2>) out: (Key3, Value3) RecordWriter 24

72 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) out: (Key2, Value2) Reducer in: (Key2, Set<Value2>) out: (Key3, Value3) RecordWriter in: (Key3, Value3) 24

73 MapReduce Pattern Input lesen: RecordReader in: Input1 out: (Key1, Value1) Mapper in: (Key1, Value1) out: (Key2, Value2) Reducer in: (Key2, Set<Value2>) out: (Key3, Value3) RecordWriter in: (Key3, Value3) out: Output4 24

74 MapReduce Beispieljob semi-strukturierten Daten analysieren Daten aus SSL Zertifikaten Domainnamen extrahieren Ähnlichkeiten feststellen 12,52 GB rohe Daten 6 Knoten Quad Core HT (8 virtuelle Cores) 8 GB RAM max. 32 parallele Tasks 25

75 MapReduce Beispieljob CSV File Map Datenquelle: 26

76 MapReduce Beispieljob Map CSV File Zeilen-Split Datenquelle: 26

77 MapReduce Beispieljob Map CSV File Zeilen-Split csv[14] Datenquelle: 26

78 MapReduce Beispieljob Map CSV File Zeilen-Split csv[14] CN=(.*) Datenquelle: 26

79 MapReduce Beispieljob Map CSV File Zeilen-Split csv[14] CN=(.*) X=genKey(CN) Datenquelle: 26

80 MapReduce Beispieljob Map CSV File Zeilen-Split csv[14] CN=(.*) X=genKey(CN) Datenquelle: emit(x,cn) 26

81 semi-strukturierter Input \N, " ", "SHA1 Fingerprint=9E:80:0E:0F:92:9F:8D:FA:B6:7D:74:2A:A3:90:05:BD:94:B4:8F:DF", " ", " ", " C=US, ST=UT, L=Salt Lake City, O=The USERTRUST Network, OU= CN=UTN-USERFirst-Hardware", "Yes", "Yes", "/ssl-data/sslscanner7/85.x.x.x/85.x.x.50/ results", "00:9b:d5:c1:87:4a:0f:81: :fd:c0", " sha1withrsaencryption", " C=DE/postalCode=85521, ST=Bayern, L=Ottobrunn/streetAddress=Rathausplatz 2, O=Kulturkreis Ottobrunn e.v., OU=vhs-ottobrunn.de, OU=Authorized by United SSL, OU=Comodo InstantSSL, CN= \N,\N,\N,\N," rsaencryption"," (0x10001)",\N,"1", " Jul 18 23:59: GMT"," Jul 13 00:00: GMT", " 3 (0x2)", " \N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,"A1:72:5F:26:1B:28:98:43:95:5D:07:37:D5:85:96:9D:4B:D2:C3:45",\N,"(critical) FALSE",\N, " :Policy: :CPS=== "URI=== ANDALSO URI=== Hardware.crl", "TLS Web Server Authentication, TLS Web Client Authentication",\N,\N, "(critical) Digital Signature, Key Encipherment",\N,\N,\N,\N, "DNS=== DNS:vhs-ottobrunn.de",\N, "C5:7D:0F:7A:A7:A8:C0:29:0C:60:33:46:F3:31:37:0D:71:B5:04:DA", \N,\N,\N," ", " :00:00"," :59:59",\N," :00:00"," :59:59" Datenquelle: 27

82 semi-strukturierter Input \N, " ", "SHA1 Fingerprint=9E:80:0E:0F:92:9F:8D:FA:B6:7D:74:2A:A3:90:05:BD:94:B4:8F:DF", " ", " ", " C=US, ST=UT, L=Salt Lake City, O=The USERTRUST Network, OU= CN=UTN-USERFirst-Hardware", "Yes", "Yes", "/ssl-data/sslscanner7/85.x.x.x/85.x.x.50/ results", "00:9b:d5:c1:87:4a:0f:81: :fd:c0", " sha1withrsaencryption", " C=DE/postalCode=85521, ST=Bayern, L=Ottobrunn/streetAddress=Rathausplatz 2, O=Kulturkreis Ottobrunn e.v., OU=vhs-ottobrunn.de, OU=Authorized by United SSL, OU=Comodo InstantSSL, CN= \N,\N,\N,\N," rsaencryption"," (0x10001)",\N,"1", " Jul 18 23:59: GMT"," Jul 13 00:00: GMT", " 3 (0x2)", " \N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,"A1:72:5F:26:1B:28:98:43:95:5D:07:37:D5:85:96:9D:4B:D2:C3:45",\N,"(critical) " C=DE/postalCode=85521, ST=Bayern, L=Ottobrunn/ FALSE",\N, streetaddress=rathausplatz 2, O=Kulturkreis Ottobrunn e.v., " :Policy: :CPS=== OU=vhs-ottobrunn.de, OU=Authorized by United SSL, "URI=== ANDALSO URI=== Hardware.crl", OU=Comodo InstantSSL, CN= "TLS Web Server Authentication, TLS Web Client Authentication",\N,\N, "(critical) Digital Signature, Key Encipherment",\N,\N,\N,\N, "DNS=== DNS:vhs-ottobrunn.de",\N, "C5:7D:0F:7A:A7:A8:C0:29:0C:60:33:46:F3:31:37:0D:71:B5:04:DA", \N,\N,\N," ", " :00:00"," :59:59",\N," :00:00"," :59:59" Datenquelle: 27

83 semi-strukturierter Input \N, " ", "SHA1 Fingerprint=9E:80:0E:0F:92:9F:8D:FA:B6:7D:74:2A:A3:90:05:BD:94:B4:8F:DF", " ", " ", " C=US, ST=UT, L=Salt Lake City, O=The USERTRUST Network, OU= CN=UTN-USERFirst-Hardware", "Yes", "Yes", "/ssl-data/sslscanner7/85.x.x.x/85.x.x.50/ results", "00:9b:d5:c1:87:4a:0f:81: :fd:c0", " sha1withrsaencryption", " C=DE/postalCode=85521, ST=Bayern, L=Ottobrunn/streetAddress=Rathausplatz 2, O=Kulturkreis Ottobrunn e.v., OU=vhs-ottobrunn.de, OU=Authorized by United SSL, OU=Comodo InstantSSL, CN= \N,\N,\N,\N," rsaencryption"," (0x10001)",\N,"1", CN= " Jul 18 23:59: GMT"," Jul 13 00:00: GMT", " 3 (0x2)", " \N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,"A1:72:5F:26:1B:28:98:43:95:5D:07:37:D5:85:96:9D:4B:D2:C3:45",\N,"(critical) " C=DE/postalCode=85521, ST=Bayern, L=Ottobrunn/ FALSE",\N, streetaddress=rathausplatz 2, O=Kulturkreis Ottobrunn e.v., " :Policy: :CPS=== OU=vhs-ottobrunn.de, OU=Authorized by United SSL, "URI=== ANDALSO URI=== Hardware.crl", OU=Comodo InstantSSL, CN= "TLS Web Server Authentication, TLS Web Client Authentication",\N,\N, "(critical) Digital Signature, Key Encipherment",\N,\N,\N,\N, "DNS=== DNS:vhs-ottobrunn.de",\N, "C5:7D:0F:7A:A7:A8:C0:29:0C:60:33:46:F3:31:37:0D:71:B5:04:DA", \N,\N,\N," ", " :00:00"," :59:59",\N," :00:00"," :59:59" Datenquelle: 27

84 semi-strukturierter Input \N, " ", "SHA1 Fingerprint=9E:80:0E:0F:92:9F:8D:FA:B6:7D:74:2A:A3:90:05:BD:94:B4:8F:DF", " ", " ", " C=US, ST=UT, L=Salt Lake City, O=The USERTRUST Network, OU= CN=UTN-USERFirst-Hardware", "Yes", "Yes", "/ssl-data/sslscanner7/85.x.x.x/85.x.x.50/ results", "00:9b:d5:c1:87:4a:0f:81: :fd:c0", " sha1withrsaencryption", " C=DE/postalCode=85521, ST=Bayern, L=Ottobrunn/streetAddress=Rathausplatz vhs-ottobrunn 2, O=Kulturkreis Ottobrunn e.v., OU=vhs-ottobrunn.de, OU=Authorized by United SSL, OU=Comodo InstantSSL, CN= \N,\N,\N,\N," rsaencryption"," (0x10001)",\N,"1", CN= " Jul 18 23:59: GMT"," Jul 13 00:00: GMT", " 3 (0x2)", " \N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,\N,"A1:72:5F:26:1B:28:98:43:95:5D:07:37:D5:85:96:9D:4B:D2:C3:45",\N,"(critical) " C=DE/postalCode=85521, ST=Bayern, L=Ottobrunn/ FALSE",\N, streetaddress=rathausplatz 2, O=Kulturkreis Ottobrunn e.v., " :Policy: :CPS=== OU=vhs-ottobrunn.de, OU=Authorized by United SSL, "URI=== ANDALSO URI=== Hardware.crl", OU=Comodo InstantSSL, CN= "TLS Web Server Authentication, TLS Web Client Authentication",\N,\N, "(critical) Digital Signature, Key Encipherment",\N,\N,\N,\N, "DNS=== DNS:vhs-ottobrunn.de",\N, "C5:7D:0F:7A:A7:A8:C0:29:0C:60:33:46:F3:31:37:0D:71:B5:04:DA", \N,\N,\N," ", " :00:00"," :59:59",\N," :00:00"," :59:59" Datenquelle: 27

85 MapReduce Beispieljob Reduce (X,CN1..CNn) Datenquelle: 28

86 MapReduce Beispieljob Reduce (X,CN1..CNn) n>1 Datenquelle: 28

87 MapReduce Beispieljob Reduce (X,CN1..CNn) n>1 R=concat(CNi) Datenquelle: 28

88 MapReduce Beispieljob Reduce (X,CN1..CNn) n>1 R=concat(CNi) emit(r) Datenquelle: 28

89 MR: Domainnamen in SSL-Zertifikaten analysieren 29

90 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen 29

91 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv 29

92 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren 29

93 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv 29

94 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv out: Text key, Text fqdn 29

95 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv out: Text key, Text fqdn Reducer: passende Domains ausgeben 29

96 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv out: Text key, Text fqdn Reducer: passende Domains ausgeben in: Text key, Iterator<Text> fqdniterator 29

97 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv out: Text key, Text fqdn Reducer: passende Domains ausgeben in: Text key, Iterator<Text> fqdniterator out: Text key, Text resultfordomain 29

98 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv out: Text key, Text fqdn Reducer: passende Domains ausgeben in: Text key, Iterator<Text> fqdniterator out: Text key, Text resultfordomain RecordWriter: Ergebnisse 29

99 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv out: Text key, Text fqdn Reducer: passende Domains ausgeben in: Text key, Iterator<Text> fqdniterator out: Text key, Text resultfordomain RecordWriter: Ergebnisse in: Text key, Text resultfordomain 29

100 MR: Domainnamen in SSL-Zertifikaten analysieren FileReader: CSV File lesen out: Text onelineofcsv Mapper: Domainnamen extrahieren & analysieren in: LongWritable filepointer, Text onelineofcsv out: Text key, Text fqdn Reducer: passende Domains ausgeben in: Text key, Iterator<Text> fqdniterator out: Text key, Text resultfordomain RecordWriter: Ergebnisse in: Text key, Text resultfordomain out: TextFile 29

101 Source-Code Mapper 30

102 Source-Code Reducer IDE... 31

103 Job Demo 32

104 Job Statistiken ca. 1:40 Min. Laufzeit 29 Mapper, 1 Reducer Cluster-Durchsatz: 1 GBit/sec Input-Daten 33

105 Anhaltspunkte für Wechsel zu MapReduce 34

106 Anhaltspunkte für Wechsel zu MapReduce Laufzeit eines Batch-Job zu lang 34

107 Anhaltspunkte für Wechsel zu MapReduce Laufzeit eines Batch-Job zu lang Job nur auf verdichteten Daten möglich 34

108 Anhaltspunkte für Wechsel zu MapReduce Laufzeit eines Batch-Job zu lang Job nur auf verdichteten Daten möglich Ausführung auf gespiegeltem System 34

109 Anhaltspunkte für Wechsel zu MapReduce Laufzeit eines Batch-Job zu lang Job nur auf verdichteten Daten möglich Ausführung auf gespiegeltem System aufwändige selbstgestrickte Batchverarbeitung 34

110 MapReduce erweitert das Data-Processing- Repertoire mit neuen Möglichkeiten über SQL 35