Big Data Technologien

Größe: px

Ab Seite anzeigen:

Download "Big Data Technologien"

Marielies Gehrig
vor 5 Jahren
Abrufe

1 Big Data Technologien - Ein Überblick - Prof. Dr. Jens Albrecht jens.albrecht@th-nuernberg.de

2 Big Data Landscape 2016 Prof. Dr. Jens Albrecht Big Data 3

Systemarchitektur im Wandel Gestern und heute Strukturierte Daten Moderate Größe (S-XL) Heute und morgen Polystrukturierte Daten in allen Größen

3 Systemarchitektur im Wandel Gestern und heute Strukturierte Daten Moderate Größe (S-XL) Heute und morgen Polystrukturierte Daten in allen Größen (S-XXXL) <xml/> {json} "General Purpose" RDBMS RDBMS InMemory Zweckoptimierte Spezialisten Hadoop NoSQL Appliance Streaming Prof. Dr. Jens Albrecht Big Data 5

4 Benefits of Big Data Technologies Scalability Agility Data Volume Business Cases Schema-on-Read Throughput (Velocity) Data Exploration Simplified Data Access Integration on Demand Computing Power Advanced Analytics Data Virtualization Efficient Development Real-time Decisions Cost Efficiency Prof. Dr. Jens Albrecht Big Data 6

Datenquellen Datenhaltung Analyse BI/Big Data Architektur Business Intelligence Predictive Analytics Operational Analytics Explorative Analyse Data Marts In-Memory RDBMS

5 Datenquellen Datenhaltung Analyse BI/Big Data Architektur Business Intelligence Predictive Analytics Operational Analytics Explorative Analyse Data Marts In-Memory RDBMS Enterprise DWH NoSQL Data Lake Klassische Datenquellen OLTP-Systeme Big-Data-Quellen Dokumente, Server Logs, Sensor Daten, Social, Clickstream, GPS, Prof. Dr. Jens Albrecht Big Data 7

6 Data Lake: Herausforderungen Viele heterogene Datenquellen Data Lake Viele heterogene Nutzer Skalierbare Integration On-the-fly, einfach zu entwickeln und zu betreiben Prof. Dr. Jens Albrecht Big Data 8

Big Data Processing Ingest Store Process Analyze

Hadoop HDFS NoSQL Spark Hive Map Reduce Spark ML H

Storm Drill Datameer Samza Looker Flink Governance

7 Big Data Processing Ingest Store Process Analyze Access & Visualize Data Sources Sqoop Flume Nifi Hadoop HDFS NoSQL Spark Hive Map Reduce Spark ML H 2 O Impala Zeppelin Sparkling Water SOLR Kafka Storm Drill Datameer Samza Looker Flink Governance Atlas Ranger Sentry Waterline Prof. Dr. Jens Albrecht Big Data 9

8 Batch vs. Stream Data Producers Batches of Data Batch Processing Clickstream Transactions Machine Logs Sensor Data Clickstream Transactions Machine Logs Sensor Data Streams of Data Stream Processing Prof. Dr. Jens Albrecht Big Data 10

9 > Batch Processing & Analysis Prof. Dr. Jens Albrecht Big Data 12

10 Hadoop Batch-Processing-Framework Komponenten HDFS, HBase YARN, Zookeeper Map Reduce, Hive, Pig, Sqoop, Stärken und Grenzen ausgereifte Basistechnologie umfangreiches Ökosystem breite Kompatibilität MapReduce ist langsam und umständlich YARN + Map Reduce Distributed Storage (HDFS) Prof. Dr. Jens Albrecht Big Data 13

Anfrageoptimierung Einheitliches System für Batch- und Stream-Processing Batch Processing Machine

11 Apache Spark Swiss Army Knife of Big Data Agilität und Skalierbarkeit mit und ohne Hadoop Effiziente Entwicklung durch mächtige API (identisch für Scala, Java, Python) In-Memory-Ausführung und SQL-ähnliche Anfrageoptimierung Einheitliches System für Batch- und Stream-Processing Batch Processing Machine Learning Data Streaming Graph Processing Apache Spark Scala Java Python R SQL Prof. Dr. Jens Albrecht Big Data 16

12 Map Reduce vs. Spark Hadoop-MapReduce Wordcount in Java und in Spark file = spark.textfile("hdfs://...") counts = file.flatmap(lambda line: line.split(" ")) \.map(lambda word: (word, 1)) \.reducebykey(lambda a, b: a + b) counts.saveastextfile("hdfs://...") Quelle: Prof. Dr. Jens Albrecht Big Data 18

13 Spark RDDs und DataFrames Prof. Dr. Jens Albrecht Big Data 19

SQL for Big Data Hive (Native Hadoop) Hadoop

Access HDFS Distributed SQL Engine Hive NoSQL

14 SQL for Big Data Hive (Native Hadoop) Hadoop SQL Engines HiveQL MR / Tez HDFS Stinger Distributed SQL Engine HDFS Big Insights Format-agnostic SQL Engines RDBMS with Hadoop Access HDFS Distributed SQL Engine Hive NoSQL RDBMS Relational Hadoop Prof. Dr. Jens Albrecht Big Data 21

15 Data Dictionary Datenbanken als Lego-Baukasten!? Klassisches monolithisches System SQL Baukasten SQL SQL Prozessor SQL Prozessor Verteilte Ausführung Map Reduce Spark Speicherverwaltung CSV Parquet Kudu JSON Avro??? Generische Ausführungs-Engine Metadaten-Sharing über Hive Repository oder selbstbeschreibende Dateiformate Operatoren-Push-Down durch intelligente Dateien Prof. Dr. Jens Albrecht Big Data 22

16 > Streaming Prof. Dr. Jens Albrecht Big Data 23

17 Anforderungen an Streaming Frameworks Low Latency High Throughput Scale-out Absorb backpressure Fault Tolerant No message lost Exactly-once delivery Preserve order Powerful computation model and API Prof. Dr. Jens Albrecht Big Data 24

18 Lambda und Kappa Architektur Lambda Streaming Data Speed Layer Kafka, Storm Batch Layer Hadoop, Spark Serving Layer Speed Table Batch Table Kappa Streaming Data Message Buffer and Broker Kafka Stream Processor Flink, Spark Serving Layer Prof. Dr. Jens Albrecht Big Data 25

19 Streaming Frameworks Storm Flink Spark Streaming Delivery Guarantees at least once exactly once exactly once Latency very low low high Throughput medium high high Processing Model stream stream micro-batch Resource Management YARN YARN YARN Functionality stream-only stream & batch stream & batch Prof. Dr. Jens Albrecht Big Data 30

20 > Fazit Prof. Dr. Jens Albrecht Big Data 31

21 Entscheidungen Volumen / Kapazität Durchsatz / Latenz Konsistenz Verfügbarkeit / Performance Strukturen Agilität SQL NoSQL (API) Batch Stream On-Premise Cloud Prof. Dr. Jens Albrecht Big Data 32

22 Fazit 1. Skalierbarkeit ist gegeben, Agilität und Effizienz bei Entwicklung und Betrieb sind erforderlich 2. Open Source Effekt 1: Big Data Technologien sind im ständigen Wandel und werden das auch bleiben 3. Open Source Effekt 2: Offene Schnittstellen und breite Kompatibilität 4. Open Source Effekt 3: Mächtige Werkzeuge für kleines Geld Prof. Dr. Jens Albrecht Big Data 33

23 > Vielen Dank Prof. Dr. Jens Albrecht Big Data 34

Ähnliche Dokumente

Big-Data-Technologien - Überblick - Prof. Dr. Jens Albrecht

Big-Data-Technologien - Überblick - Quelle: http://www.ingenieur.de/panorama/fussball-wm-in-brasilien/elektronischer-fussball-smartphone-app-helfen-training Big-Data-Anwendungen im Unternehmen Logistik