Big Data Informationen neu gelebt

Transkript

1 Seminarunterlage Version: 1.01 Copyright Version 1.01 vom 21. Mai 2015

2 Dieses Dokument wird durch die veröffentlicht. Copyright. Alle Rechte vorbehalten. Alle Produkt- und Dienstleistungs-Bezeichnungen sind Warenzeichen oder eingetragene Warenzeichen der jeweiligen Firmen und beziehen sich auf Eintragungen in den USA oder USA-Warenzeichen. Weitere Logos und Produkt- oder Handelsnamen sind eingetragene Warenzeichen oder Warenzeichen der jeweiligen Unternehmen. Kein Teil dieser Dokumentation darf ohne vorherige schriftliche Genehmigung der weitergegeben oder benutzt werden. Die besitzt folgende Geschäftsstellen Adressen der Westernmauer D Paderborn Tel.: (+49) / An der alten Ziegelei 5 D Münster Tel.: (+49) / Welser Strasse 9 D Gersthofen Tel.: (+49) / Kreuzberger Ring 13 D Wiesbaden Tel.: (+49) / Wikingerstraße D Köln Tel.: (+49) / Internet: [email protected] Seite 2 Version: 1.01 Copyright

3 Inhaltsverzeichnis 1 Agenda Agenda Wie big ist Big Data Wie "big" ist Big Data? V Modell Welche technischen Probleme sollen gelöst werden? Verteilte Datenhaltung im Cluster Verteilte Berechnung Typische Probleme in verteilten Systemen Verfügbarkeit im Cluster Horizontale Skalierung mit Standard Hardware PC Cluster Server Cluster Welche Technologien werden eingesetzt? Hadoop Hadoop Hadoop Kernkomponenten MapReduce Ablauf MapReduce Phasen MapReduce Beispiel "Data Locality Optimization" Verteilte Berechnung YARN Unterschiede Hadoop 1 und HDFS Hadoop I/O Vergleich RDBMS mit Hadoop Transaktionen und andere relationale Konzepte Das Apache Hadoop Ecosystem Hadoop - Stärken und Schwächen Hadoop-Zoo Der Hadoop Zoo Abfragesprachen Pig Pig Latin Beispiel Hive HiveQL Beispiel Sqoop Sqoop Beispiel Zookeeper (Verteilte) NoSql Datenbanken (Verteilte) NoSQL Datenbanken NoSQL Datenbanken CAP Theorem HBase HBase Datenmodellierung HBase - Stärken und Schwächen Cassandra Cassandra Datenmodellierung Cassandra - Stärken und Schwächen MongoDB MongoDB Datenmodellierung MongoDB - Replica Sets Version: 1.01 Seite 3 Copyright

4 5.13 MongoDB Sharding MongoDB-Replikation+Sharding (Produktionsumgebung) MongoDB - Stärken und Schwächen Vergleich RDBMS und Verteilte NoSQL Datenbanken Stream Processing Stream Processing, was ist das? Storm Spouts und Bolts Storm - Nodes, Workers, Executers and Tasks Spark Streaming Architekturen und Anwendungsfälle Entwickler Anwender OTTO + MongoDB Netflix + Cassandra Die LAMBDA Architektur Lambda Architektur Beispiel Architektur Enterprise Data Hub / Data Lake Ultra Fast Data Sink Polyglot Persistence Big Data Produkte IBM, Oracle, Microsoft Big Data Was sagt der Markt? Magic-Quadrant Analyse Enterprise Big Data Definitionsvielfalt Big Data bei IBM Agenda Big Data bei IBM Definition und Verständnis Big Data bei IBM Terminologie IBM Big Data Produkte Capability Map Was kann IBM Big Data? Big Data bei IBM Big Data bei Oracle Agenda Definition und Verständnis Big Data bei Oracle Big Data Produktkategorien Big Data bei Oracle Capability Map Was kann Oracle Big Data? Big Data bei Oracle Highlights Big Data bei Oracle Use Case: Data Exploration Big Data mit Oracle Big Data bei Microsoft Agenda Definition und Verständnis Big Data bei Microsoft Big Data Produktkategorien Big Data bei Microsoft Big Data Pro Microsoft Analytics Platform System Big Data Appliance Hard- und Software als Komplettlösung Produkte von IBM, Oracle & Microsoft Big Data im Betrieb Backup und Restore Backup und Restore mit Big Data Monitoring Monitoring mit Big Data Zugriffsschutz Zugriffsschutz mit Big Data Datenschutz Gibt es eigene Gesetze für Big Data Systeme? Welche Gesetze sind anzuwenden? Wer muss die Gesetze anwenden? Was sind personenbezogene Daten? Seite 4 Version: 1.01 Copyright

5 10.5 Beispiele personenbezogener Daten Was ist erlaubt? Datenschutzrechtliche Grundsätze Fazit Fazit ORDIX News Literatur Links Version: 1.01 Seite 5 Copyright