Big Data: Apache Hadoop Grundlagen

Transkript

1 Seminarunterlage Version: 1.07 Version 1.07 vom 5. September 2018

2 Dieses Dokument wird durch die veröffentlicht.. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen oder eingetragene Warenzeichen der jeweiligen Firmen und beziehen sich auf Eintragungen in den USA oder USA-Warenzeichen. Weitere Logos und Produkt- oder Handelsnamen sind eingetragene Warenzeichen oder Warenzeichen der jeweiligen Unternehmen. Kein Teil dieser Dokumentation darf ohne vorherige schriftliche Genehmigung der weitergegeben oder benutzt werden. Die besitzt folgende Geschäftsstellen Adressen der Karl-Schurz-Straße 19a D Paderborn Tel.: (+49) / An der alten Ziegelei 5 D Münster Tel.: (+49) / Welser Straße 9 D Gersthofen Tel.: (+49) / Kreuzberger Ring 13 D Wiesbaden Tel.: (+49) / Wikingerstraße D Köln Tel.: (+49) / Internet: seminare@ordix.de Seite 2 Version: 1.07

3 Inhaltsverzeichnis 1 Agenda Agenda Wie "big" ist Big Data? Agenda Wie "big" ist Big Data? V Modell Welche technischen Probleme sollen gelöst werden? Welche fachlichen Probleme sollen gelöst werden? Verteilte Datenhaltung im Cluster Verteilte Berechnung im Cluster Typische Probleme in verteilten Systemen Verfügbarkeit im Cluster Horizontale Skalierung mit Commodity Hardware PC Cluster Yahoo's Hadoop Cluster (2007) Zusammenfassung Hadoop Überblick Agenda Hadoop Hadoop Historie Hadoop Design Prinzipien "Data Locality Optimization" Hadoop Kernkomponenten HDFS - Hadoop Distributed File System File System Shell HDFS Schreiben HDFS Lesen Hadoop I/O YARN - Yet Another Resource Negotiator MapReduce Überblick MapReduce Beispiel MapReduce Phasen Unterschiede zwischen Hadoop 1 und Hadoop Neues in Hadoop Vergleich RDBMS mit Hadoop Das Apache Hadoop Ecosystem Hadoop Stärken und Schwächen HDFS Agenda HDFS Hadoop Distributed File System HDFS Dienste NameNode Secondary NameNode DataNode HDFS Schreiben HDFS Lesen Einige Besonderheiten vom HDFS Erasure Coding in Hadoop Erasure Coding - Policies Erasure Coding - Schreiben Erasure Coding - Lesen Erasure Coding - Limitierungen Arbeiten mit dem HDFS File System Shell File System Shell - Dateien kopieren Version: 1.07 Seite 3

4 4.18 File System Shell - Verzeichnismanagement File System Shell - Inhalt von Dateien anzeigen HDFS Kommandos Snapshots File System APIs Java API - FileSystem Java API - Daten schreiben Java API - Daten lesen Java API - Datei löschen HDFS Konfiguration core-site.xml hdfs-site.xml Trash hdfs dfsadmin MapReduce Word Count Hello World für Hadoop Warum sollten wir überhaupt Wörter zählen? MapReduce Überblick MapReduce MapReduce im Detail InputFormat & InputSplit InputFormat InputSplit RecordReader Mapper Partitioner Shuffle & Sort Reducer OutputFormat Combiner MapReduce im Detail Hive Agenda Was ist Apache Hive? Hive Architektur im Detail Hive Server Dienste Hive Clients und Interfaces HiveServer2 und Metastore Installation Hive Verteilung der Rollen Beeline Client Beeline Kommandozeilen Optionen Beeline Kommandos Beeline Hive Kommandos JDBC Interface Hive Datenbanken und Tabellen Tabellen anlegen und verwalten Location Managed Tables und External Tables Daten Laden Hive Datentypen Numerische Datentypen String Datentypen Datum / Zeit Datentypen Weitere primitive Datentypen Container Datentypen Partitionen Hive Partitionierung Statische Partitionierung Seite 4 Version: 1.07

5 6.27 Dynamische Partitionierung Funktionen Beispiele für Standard Hive Funktionen Weitere HiveQL Features im Überblick Weitere Hive Features im Überblick Hive Transaktionen Hive Execution Engines im Überblick Dateiformate für Hive und Hadoop Agenda Klassifizierung der Dateiformate Datei und Datensatz Formate in Hive Text Dateien (Delimiter Seperated Files) SequenceFile SequenceFile anlegen Avro Dateien Avro Schema Avro Datei anlegen Parquet Dateien Interne Struktur einer Parquet Datei Parquet Schema Parquet Datei anlegen ORC Dateien Interne Struktur einer ORC Datei ORC Datei anlegen Übersicht Dateiformate Spark Agenda Apache Spark Überblick Historie von Apache Spark Spark vs. MapReduce - Kein Entweder oder MapReduce I/O Spark I/O Spark vs. MapReduce - Zusammenfassung Apache Spark - Verteilung der Rollen Spark - Architektur Spark - Local Mode (Standalone) Spark - Client Mode (Master im Cluster) Spark - Cluster Mode Spark Modes mit YARN Spark - Interaktiv vs. Batch-Processing Ausführen von Skripten über die Spark-Shell RDD Grundlagen MaxTemperature mit Spark Erstellen von RDDs Operationen auf RDDs Anonyme Funktionen in Scala Operationen in Spark Transformations und Actions - Beispiele map() vs. flatmap() Umgang mit Ergebnissen Zwischenspeichern Zwischenspeichern Storage Level im Überblick Pair RDDs Transformations und Actions auf Pair RDDs Transformations auf Keys oder Values Beispiel: WordCount mit Spark Spark SQL Version: 1.07 Seite 5

6 8.33 Spark SQL Beispiel Spark Streaming YARN & Spark Agenda YARN - Yet Another Resource Negotiator Cluster Ressourcen YARN NodeManager Konfiguration YARN Scheduler Konfiguration YARN Web UI Spark Ressourcen Spark YARN Application Master Konfiguration Spark Executor Konfiguration Spark Driver Konfiguration Spark Deployment Konfiguration Spark on YARN - Beispiel Spark Speculation YARN Scheduler FIFO Scheduler Capacity Scheduler Fair Scheduler Fair Scheduler Konfiguration YARN Scheduler Web UI yarn Kommando Der Hadoop Zoo Agenda Pig Pig Verteilung der Rollen Pig Architektur Überblick Pig Latin Beispiel Pig Latin Befehle Hive vs. Pig vs. Spark SQL Sqoop Sqoop Verteilung der Rollen Sqoop 1 Architektur Überblick Sqoop Beispiele Sqoop Kommandos Sqoop Stärken und Einschränkungen ZooKeeper ZooKeeper Verteilung der Rollen ZooKeeper Architektur Überblick ZooKeeper Beispiele ZooKeeper Kommandos ZooKeeper Stärken und Einschränkungen Kafka Kafka Verteilung der Rollen Kafka Topics Partitionierung und Replikation Kafka als Datenquelle Topics verwalten Console Consumer und Producer Kafka Stärken und Einschränkungen HBase HBase Verteilung der Rollen HBase Datenmodellierung HBase Shell Beispiele HBase Stärken und Einschränkungen Architekturen und Anwendungsfälle Seite 6 Version: 1.07

7 11.1 Agenda Fraud Detection Zahlungsstrom Analyse Zahlungsstrom Analyse Analytic Workplace E-Commerce Lambda Architektur Kappa Architektur Cluster Planung Cluster Planung Workload Hochverfügbarkeit & Disaster Recovery - Risiken Hochverfügbarkeit & Disaster Recovery - Anforderungen Hadoop Hochverfügbarkeit Hadoop Core Hochverfügbarkeit Backup & Disaster Recovery Dienste und Abhängigkeiten Zuweisung von Rollen zu Hosts Cluster Hardware - HP ProLiant Cluster Hardware - Dell PowerEdge Cluster Hardware - Thomas Krenn Cluster Hardware - Erläuterungen Quellen Fazit Fazit Nächste Schritte? ORDIX News Literatur - Hadoop Literatur - Hadoop Zoo Literatur - Etc Links Version: 1.07 Seite 7