Infrastruktur & Datenarchitekturen für Big-Data-Szenarien Hadoop & Co. Im Detail. Referent: Steffen Vierkorn

Transkript

1 Infrastruktur & Datenarchitekturen für Big-Data-Szenarien Hadoop & Co. Im Detail Referent: Steffen Vierkorn

2 Agenda Begrüßung & aktuelle Entwicklungen bei QUNIS QUNIS 360 was war, was wird? BI, Big Data, Cloud, Predictive & Advanced Analytics, Streaming Microsoft Power BI: alle Daten, überall, jederzeit die maximale Power für Ihr Unternehmen! Daten integrieren, modellieren, visualisieren & veröffentlichen TRACK I Mittagspause Kaffeepause Frage und Antwort BI & Big Data auf die Kombination kommt es an! Nutzen aus bestehenden Daten erhöhen & neue Datenquellen erschließen Business-Intelligence- & Big-Data-Strategie Vorgehen und Herausforderungen bei der Strategieentwicklung Business Intelligence on Top of SAP (Kundenvortrag) DWH Automation Steigerung von Qualität, Effektivität und Transparenz in der DWH Implementierung und dem Betrieb In 30 Minuten zur Business-Intelligence-Lösung in der Cloud Aufbau einer BI-Infrastruktur & Entwicklung von Reports Live Live on Stage: GAPTEQ Premiere des ersten eigenen QUNIS Tools TRACK II Infrastruktur & Datenarchitekturen für Big-Data-Szenarien Hadoop & Co. Im Detail DWH Best Practices das QUNIS Framework 80 Jahre Erfahrung bei der Modellierung & dem Betrieb von DWH Big Data zum Anfassen Live Präsentation einer Streaminganalyse & Machine Learning

3 Großes Interesse: Kontrolle über die Datenflut Big Data ist auch beim Management vieler Unternehmen ein bedeutendes Thema Business Intelligence Big Data Internet of Things (IoT) Industrie 4.0 Quelle: Google Trends, Abfrage 01/2016

4 Big Data neuen Herausforderungen gewachsen! Big Data bezeichnet Methoden und Technologien für die Strukturiert Unstrukturiert Polystrukturiert hochskalierbare Erfassung, Speicherung und Analyse Variety polystrukturierter Daten. Real time Near time Batch Velocity Volume Transactions Sensors Files

5 Berechnung Big Data Referenzarchitektur Lambda-Architektur Batch Layer Sämtliche Fakten in redundanter Ausführung Berechnungen werden durchgeführt Teilweise sehr hohe Latenz Neue Daten (Big Data) Serving Layer Ergebnisse der Berechnungen werden im Serving Layer gespeichert Ziel: Reduzierung der Latenzen Abfrage der gewünschten Informationen (externe Systeme) Ist eine Berechnung fertig, werden alle Daten im Serving Layer ersetzt Batch Layer (Alle relevanten Data) Speed Layer (Realtime Views) Speed Layer Ebenfalls alle relevanten neuen Daten Gewünschte Berechnungen mit temporärer Speicherung Wird wieder gelöscht, sobald Daten im Batch Layer verfügbar Komplexe Komponente der Lambda-Architektur Ein externes System wird dann die Ergebnisse aus Serving Layer und Speed Layer kombinieren um eine aktuelle Sicht auf die Daten zu gewähren. Serving Layer (Batch Views) Visualisierung / System

6 Apache Hadoop Ecosystem

7 Landing Zone Front end & 3rd Party App. Data Lake Cube Cube Direct Access Kundenbeispiel: Data Lake BI & Big Data in Kombination Dashboarding Reporting Analysis 3rd Party Application 3rd Party Application Advanced Analytics Search DM Corporate DM Corp. DM (3rd Party App.) DM Local DM Local Big Data Serving (Batch) DW Core (Standard) DW Cleansing (Standard) DW Core (local) DW Cleansing (local) Big Data Processing (Batch) Big Data Exploration Big Data Streaming Stage Structured Data XL S XL S Rel. DB XL S XL S Rel. DB Poly-structured Data CSV XLS Rel. DB CSV XLS Rel. DB Cube Source System DW: Data Warehouse, DM: Data Mart, Big Data: Hadoop or Cloud Services

8 Data Workflow Datenmanagement Workflow Datenzugriff Data Lifecycle & Governance Sicherheit Tools Big Data & Advanced Analytics Das Apache Hadoop Ecosystem Falcon Atlas Ambari Hadoop Cluster Management, Monitoring und Tool Views Batch Script SQL NoSQL Stream Suche In-Memory Ranger Knox Atlas HDFS Encryption Map Reduce v2 Pig Hive HBase Storm (Phoenix) Accumulo Solr Spark Sqoop Flume Kafka NFS WebHDFS TEZ Slider Cloudbreak Zookeeper Oozie YARN Yet Another Resource Negotiator HDFS Hadoop Distributed Filesystem

9 HDFS Hadoop Distributed File System

10 Hadoop Distributed File System - HDFS Die essentielle Basis HDFS ist ein hochverfügbares Dateisystem zur Speicherung sehr großer Datenmengen auf den Dateisystemen mehrerer Rechner (Knoten) Es ist in hohem Maße fehlertolerant und entwickelt für den Betrieb auf Billig-Hardware Dateien werden in Datenblöcke mit fester Länge zerlegt und redundant auf die Rechnerknoten verteilt. Dabei sind beides konfigurierbare Größen Ein Masterknoten, der sog. Name Node, bearbeitet eingehende Datenanfragen, organisiert die Ablage von Dateien in den Slaveknoten und speichert anfallende Metadaten HDFS unterstützt Dateisysteme mit mehreren 100 Mio. Dateien HDFS setzt auf einem existierenden Dateisystem auf, z.b. dem gängigen ext4 (Fourth Extended Filesystem, Linux). Signifikanter Unterschied ist die Blockgröße: 64 bis 128 MB, traditionell 1 bis 64 KB

11 Spark High-Speed In-Memory Verarbeitung

12 High-Speed In-Memory Verarbeitung: Spark Features Apache Spark ist ein Data Analytics Cluster Computing Framework Es besitzt eine schnelle In-Memory Datenverarbeitungs-Engine für die hocheffiziente Ausführung von Streaming, Machine learning oder SQL Prozessen, die schnellen, iterativen Zugriff auf Datensets benötigen Spark wurde im Rahmen eines Forschungsprojekts am AMPLab der University of California in Berkeley in Scala entwickelt und ist seit 2010 unter einer Open Source Lizenz öffentlich verfügbar Neben dem Spark Core, in dem die Basisfunktionalität bereitgestellt wird, bietet Spark einige mächtige Funktionsbibliotheken: Spark SQL Spark Streaming MLlib GraphX Spark ist perfekt geeignet für die Anwendung basierend auf HDFS, ist jedoch nicht an das zweistufige MapReduce Modell gebunden - seine Engine verspricht eine bis zu hundertfach bessere Performance

13 Big Data & Advanced Analytics in der Cloud Microsoft Azure

14 Cortana Analytics Suite Vollständig verwaltete Suite für Big Data und erweiterte Analysen Quelle: Microsoft

15 Kundenbeispiel: IoT Auswertung von Sensordaten

16 Azure Data Lake Speicher Ein riesiges Repository für Big Data Analytics-Workloads Ein verteiltes Hadoop-Dateisystem für die Cloud, mit HDFS kompatibel und mit dem Hadoop-Ökosystem einsetzbar Integriert in Azure Data Lake Analytics, HDInsight, Revolution-R Enterprise und für Anwendungen durch eine WebHDFS-kompatible REST- Schnittstelle verfügbar Unbegrenzter Speicher, keine Grenzwerte für Konten oder Dateien, Dateigrößen bis in den Petabytebereich Massiver Lese- und Schreibdurchsatz, Leistungsoptimiert für Big Data Analysen Unstrukturierte und strukturierte Daten in ihrem systemeigenen Format Hohe Beständigkeit, Verfügbarkeit und Zuverlässigkeit Azure Active Directory-Zugriffssteuerung Quelle: Microsoft

17 Azure SQL Data Warehouse Cloudbasiertes Data Warehouse mit geprüfter SQL Server Qualität Branchenweit erstes Data Warehouse-as-a-Service Skalierung im Petabytebereich dank MPP (Massively Parallel Processing) Unabhängige Skalierung von Compute- und Speicherressourcen innerhalb von Sekunden Transact-SQL-Abfragen über relationale und nicht relationale Daten hinweg Vollständige SQL Server-Funktionalität auf Unternehmensniveau Nahtlose Integration mit Power BI, Machine Learning, HDInsight und Data Factory Leistungs-/Nutzungsbasierte Abrechnung DWU = Data Warehouse Unit, ist ein Microsoft-eigenes Maß für die Leistung des DWH (Serverressourcen, Anzahl Parallelitätsslots) Beispiel: 400 DWU auf Server in Westeuropa aktuell 2,64 /h Bedarfsweises Skalieren z.b. Entfernen DWUs am Wochenende, Erhöhen DWUs im Bedarfsfall

18 Azure Machine Learning Leistungsstarkes Werkzeug für Predictive Analytics

19 Azure Machine Learning Einfache Erzeugung von Web Services für die Integration in Anwendungen

20 Azure Data Factory Managed Service für die organisierte, skalierbare Datenverarbeitung Erstellung, Planung, Orchestrierung, Verwaltung und Überwachung von Datenpipelines Verbinden und Arbeiten mit lokalen sowie cloudbasierten Datenquellen Automatisierte Verwaltung von Cloudressourcen Visualisierung von Datenherkunft und Abhängigkeiten Quelle: Microsoft

21 Azure Stream Analytics Echtzeitverarbeitung von Streams in der Cloud Der cloudbasierte Dienst ermöglicht die Echtzeitanalyse von Geräte-, Sensor-, Infrastruktur- und Anwendungsdatenströmen Ermöglicht Echtzeit-Remoteverwaltung und überwachung für IoT-Szenarien (Internet der Dinge) Ermöglicht eine schnelle Entwicklung von Analysefunktionen für verteilte Systeme mit einfacher SQL-basierter Syntax Sofortige Integration mit Event Hubs, um Millionen von Ereignissen pro Sekunden zu empfangen Vergleich mehrerer Echtzeitstreams miteinander oder mit historischen Werten und Modellen zur Erkennung von Anomalien, die Umwandlung eingehender Daten oder das Auslösen von Warnungen Möglichkeit zur Einrichtung von Echtzeitdashboards Skalierbar auf ein beliebiges Datenvolumen mit hohem Durchsatz, geringer Latenz und garantierter Resilienz Quelle: Microsoft

22 Azure HDInsight Apache Hadoop Service in der Cloud HDInsight verwendet die Hortonworks Data Platform (HDP)-Hadoop-Distribution Ein Data Lake Dienst, skalierbar in den Petabytebereich Einfache und schnelle Bereitstellung eines Apache Hadoop Clusters wahlweise unter Windows oder Linux Möglichkeit der Integration lokaler Hadoop Cluster Visualisierung der Daten via Excel Integriert in Azure ML, Power BI und Data Factory Entwicklung mit Java,.NET und vielen anderen Sprachen Quelle: Microsoft

23 STEFFEN VIERKORN Geschäftsführer Phone: QUNIS GmbH Georg-Wiesböck-Ring Neubeuern Phone: info@qunis.de