Big Data. Professional IT Master. Prof. Dr. Ingo Claßen. Überblick. Verarbeitungsmodell. Verarbeitungsablauf. Verteilte Daten. Ressourcenmanagement

Größe: px

Ab Seite anzeigen:

Download "Big Data. Professional IT Master. Prof. Dr. Ingo Claßen. Überblick. Verarbeitungsmodell. Verarbeitungsablauf. Verteilte Daten. Ressourcenmanagement"

Greta Stein
vor 6 Jahren
Abrufe

1 Big Data Professional IT Master Prof. Dr. Ingo Claßen Hochschule für Technik und Wirtschaft Berlin Überblick Verarbeitungsmodell Verarbeitungsablauf Verteilte Daten Ressourcenmanagement Koordination

2 Überblick Die 3 Vs Volume (Datenmenge) Gigabyte Terabyte Petabyte... Web-Daten, Sensordaten Velocity (Geschwindigkeit) Event-Processing, IOT Variety (Datenvielfalt) Strukturiert, Semistrukturiert, Unstrukturiert Big Data Ingo Claßen 2/21

3 Überblick Anwendungsfälle beispielhaft Customer Analytics Customer Journey Verfolgung von Interaktonspunkten (Web, Mobile, Call Center) Vielzahl von Datenquellen (CRM, Logs) Operational Analytics Vorhersage von Ausfällen Anomalieerkennung Betrug, Compliance Risikoerkennung Erkennung von Attacken Datengetriebene Produkte und Dienste Innovative Produkte und Dienste Z.B Verkauf von Flugkapazität statt Flugzeugturbinen Optimierung des Enterprise Data Warehouse Geringere Kosten Höhere Leistung Big Data Ingo Claßen 3/21

4 Verarbeitungsmodell Verarbeitungsprinzipien Horizontale nahtlose Skalierbarkeit. Scale out, not up Transparente Verteilung der Daten Cluster-basiertes Ressourcenmanagement Fehler treten häufig auf Sende Programme an die Daten, nicht umgekehrt Verarbeitung der Daten in sequenziellen Blöcken Programmiermodell, das vor der Komplexität paralleler Verarbeitung abschirmt Big Data Ingo Claßen 4/21

5 Verarbeitungsmodell Theoretisches Verarbeitungsmodell: Funktionale Programmierung map reduce + = 222 Big Data Ingo Claßen 5/21

6 Verarbeitungsmodell Praktisches Verarbeitungsmodell Schlüssel-Wert-Paare map : K 1 V 1 List[K 2 V 2 ] reduce : K2 List[V 2 ] List[K 3 V 3 ] Verarbeitungsphasen 1. Map 2. Shuffle (Partitionierung, Sortierung) 3. Reduce Big Data Ingo Claßen 6/21

7 Verarbeitungsablauf Map F K F K F -K F K F K F K F -K F K F -K F K F -K F K F 4 FK 3 F-K 1 F 5 FK 3 F-K 2 F 3 FK 2 F-K 1 F=hat Fieber K=ist krank -F=hat kein Fieber -K=ist nicht krank Big Data Ingo Claßen 7/21

8 Verarbeitungsablauf Shuffle F 4 FK 3 F-K 1 F 5 FK 3 F-K 2 F 3 FK 2 F-K 1 F 4, 5, 3 FK 3, 3, 2 F-K 1, 2, 1 F=hat Fieber K=ist krank -F=hat kein Fieber -K=ist nicht krank Big Data Ingo Claßen 8/21

9 Verarbeitungsablauf Reduce F 4, 5, 3 FK 3, 3, 2 F-K 1, 2, 1 F 12 FK 8 F-K 4 F=hat Fieber K=ist krank -F=hat kein Fieber -K=ist nicht krank Big Data Ingo Claßen 9/21

10 Verarbeitungsablauf WordCount Spark-Python text_file = spark.textfile("...") text_file.flatmap(lambda line: line.split()).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a+b) Big Data Ingo Claßen 10/21

11 Verteilte Daten Ziele HDFS Hardware-Fehler Commodity Hardware, Fehler ist Regel statt Ausnahme Hunderte bis tausende Servermaschinen Fehlererkennung, Automatische Wiederherstellung Daten-Streaming Sequentieller Datenzugriff, Batch-Verarbeitung Hoher Durchsatz statt geringer Latenz Große Datenmengen Große Dateien, über die Größe von Festplatten hinaus Große Anzahl von Dateien Einfaches Koheränzmodell Write once read many Keine Änderung, lediglich Anhängen und Abschneiden Verteilung von Algorithmen auf die Daten Schnittstelle für Anwendungen für größere Datenlokalität Portabilität bzgl. Hardware- und Software-Plattformen Big Data Ingo Claßen 11/21

12 Verteilte Daten HDFS-Architektur Big Data Ingo Claßen 12/21

13 Verteilte Daten Replikation Big Data Ingo Claßen 13/21

14 Ressourcenmanagement Ressourcenmanagement Anforderungen Skalierbarkeit (horizontal): Anpassbar an steigende Anforderungen Multi-tenancy: Gemeinsame Ressourcen für verschiedene Nutzergruppen Funktionstüchtigkeit: Robuste Verarbeitung von Updates, Kompatibilität Lokationssensibilität: Programme in Nähe der Daten Gute Auslastung der Cluster-Ressourcen: Dynamische Ressourcenzuteilung Zuverlässigkeit / Verfügbarkeit Sicherheit: Authentifizierung / Autorisierung Ünterstützung verschiedener Programmiermodelle: Batch, iterativ, event-basiert Big Data Ingo Claßen 14/21

15 Ressourcenmanagement YARN Resource Manager (RM) Überwachung Ressourcennutzung Überwachung Knoten-Abstürze Jobannahme Verteilung von Ressourcen Big Data Ingo Claßen 15/21

16 Ressourcenmanagement YARN Node Manager (NM) Zuständig für einen Knoten Überwachung Container innerhalb des Knotens Heartbeat mit RM Big Data Ingo Claßen 16/21

17 Ressourcenmanagement YARN Application Master (AM) Koordination der Anwendung Ressourcenanforderung vom RM Kommunikation mit NM bzgl. Bereitstellung Ressourcen. Überwachung aller Container der Anwendung Heartbeat mit RM Big Data Ingo Claßen 17/21

18 Ressourcenmanagement YARN Container Arbeitseinheiten aus Sicht des AM Big Data Ingo Claßen 18/21

19 Koordination Aufgaben der Koordination Konfigurationsmanagement Synchronisation Gruppenmitgliedschaft Festlegung von Application Master im Falle von Fehlern Big Data Ingo Claßen 19/21

20 Koordination Zookeeper Baukasten für Koordinationsprimitive / /app1 /app2 /app1/p 1 /app1/p 2 /app1/p 3 /app2/p 1 /app2/p 2 create(path, data, flags) delete(path, version) exists(path, watch) getdata(path, watch) setdata(path, data, version) getchildren(path, watch) Big Data Ingo Claßen 20/21

21 Koordination Quellen hadoop-project-dist/hadoop-hdfs/hdfsdesign.html hadoop-yarn-site/yarn.html Big Data Ingo Claßen 21/21

Ähnliche Dokumente

Map Reduce. Programmiermodell. Prof. Dr. Ingo Claÿen. Motivation. Modell. Verarbeitungsablauf. Algorithmen-Entwurf. Map-Reduce in Java

Map Reduce. Programmiermodell. Prof. Dr. Ingo Claÿen. Motivation. Modell. Verarbeitungsablauf. Algorithmen-Entwurf. Map-Reduce in Java Map Reduce Programmiermodell Prof. Dr. Ingo Claÿen Hochschule für Technik und Wirtschaft Berlin Motivation Modell Verarbeitungsablauf Algorithmen-Entwurf Map-Reduce in Java Motivation Was ist Map-Reduce