Big Data (kl)eine technische Auswahl Peter Welker

Transkript

1 Big Data (kl)eine technische Auswahl Peter Welker BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH

2 Connectors (Pull) Batch/Bulk Full Services (Push) Stream Incremental Sie erinnern sich? Organisation BI Competence Center IT Operations Business Stakeholders Un-/Semistructured Data Raw Data in Motion Service / API Dashboard Event Hub Standardized Data in Motion Structured Data Optimized Data in MotionNoSQL DB Stream Analytics Data Refinery/Factory Search Prebuild & AdHoc BI Assets Master & Reference Data Machine Data Content Standardized Data at Rest Optimized Data at Rest Hadoop Raw Data Raw Data at Rest Data Lab (Sandbox) SQL Engine Processed Files Merge Layer Query Information Services Advanced Analysis Tools Data Science Tools Data Sources Data Acquisition Data Management Information Provisioning Consumer Governance Metadata Management Master Data Management Quality & Accountability Security Legal Compliance Big Data (kl)eine technische Auswahl

3 Deutsche ORACLE Anwendergruppe Big Data (kl)eine technische Auswahl

4 Ein paar Tools herausgepickt Big Data (kl)eine technische Auswahl

5 Hadoop Big Data (kl)eine technische Auswahl

6 Motivation hinter Hadoop Scaling Out Horizontale Skalierung Server hinzufügen und in einer verteilten und parallelen Umgebung arbeiten Richtig gemacht kann das eine langfristige Lösung für zahlreiche Skalierungsprobleme sein Der Weg von einer monolitischen Lösung zu einem skalierbaren Cluster ist nicht einfach Big Data (kl)eine technische Auswahl

7 Motivation hinter Hadoop Schema on Read Traditionell Schema on Write Dataqualität durch formalisierten ETL Prozess Daten werden konsistent in Tabellen abgelegt Integration mittels ETL Struktur ist vor dem Schreiben bekannt Big Data Schema on Read Individuelle Dateninterpretation durch jedes lesende Programm Qualität auch von lesender Verarbeitung abhängig Datenintegration beim Lesen Big Data (kl)eine technische Auswahl

8 Hadoop HDFS: Architektur Namenode (1 per Cluster) Speichert Filesystemmetadaten und File-to-block-map Hat ein komplettes Bild des Filesystems Wird komplett im RAM gehalten Secondary Namenode (1 per Cluster) Internes Namenode-Transactionlog-Checkpointing Kein HA Feature! Datanode Many per cluster Speichert Datenblöcke (Dateiinhalte) Block Mindestgröße für Lese-/Schreiboperationen MB (default ) Dateien in HDFS werden nur einmal geschrieben! Source: Hadoop Operations (O Reilly Press) Big Data (kl)eine technische Auswahl

9 Hadoop HDFS: Placement Policy Default Placement Policy Erste Kopie wird auf den Knoten abgelegt, der die Datei erzeugt (write affinity) Zweite Kopie wird auf einen Knoten im gleichen Rack geschrieben Dritte Kopie landet auf einem Knoten in einem anderen Rack Ziel: Load-Balancing & Fault Tolerance Rack-aware replica placement Big Data (kl)eine technische Auswahl

10 MapReduce Hadoop MapReduce ist eine Open Source Implementierung des MapReduce Frameworks Programmiermodell von Google für die Verarbeitung großer Datenmengen in verteilten Umgebungen De-facto Standard für die Verarbeitung großer Datenmengen (nicht nur in Hadoop!) Laufzeit-Framework zur Organisation und Ausführung solcher Verarbeitungen problem data solution data MAP master node REDUCE worker node 1 worker node 2 worker node Big Data (kl)eine technische Auswahl

11 Sqoop Einfaches Tool zum Extrahieren und Laden von Daten zwischen RDBMS und Hadoop JDBC unde Map-Reduce basiert Kann ganze Schemata, einzelne Tabellen und Teile von Tabellen (Filter) verarbeiten Kann auch inkrementell Daten exportieren (Date / Timestamp-Spalte) Erzeugt per Default CSV Dateien auf Hadoop $ sqoop import --connect jdbc:mysql://localhost/company \ --username twheeler --password bigsecret \ --warehouse-dir /mydata \ --table customers Big Data (kl)eine technische Auswahl

12 Hive Apache Hive ist eine SQL-Engine, die MapReduce generiert Sprache heißt HiveQL Erzeugt im Hintergrund MapReduce auf dem Hadoop Cluster Ursprünglich von Facebook für Data Warehousing entwickelt Heute ein OpenSource Apache Projekt Der Metadaten-Katalog (Hcatalog oder Hive-Metastore) ist der De-Facto Standard für ein elationales Data Dictionary in Hadoop und wird auch von zahlreichen anderen Tools genutzt SELECT zipcode, SUM(cost) AS total FROM customers JOIN orders ON customers.cust_id = orders.cust_id WHERE zipcode LIKE '63%' GROUP BY zipcode ORDER BY total DESC; Big Data (kl)eine technische Auswahl

13 Apache Kafka Entwickelt bei LinkedIn, open-sourced in 2011 In Scala implementiert + ein wenig Java 9 Haupt-Committers, plus ~ 20 Contributors Big Data (kl)eine technische Auswahl

14 Apache Kafka - Performance LinkedIn => mehr als 1100 Brokers / 60 Clusters Milliarden Messages/Tag 175 TB produzierte Daten/Tag 650 TB konsumierte Daten/Tag Kafka Performance im Trivadis Tech-Center => 6 Brokers (VM) / 1 Cluster Messages / Sekunde 31 MB / Sekunde 3 ms durchschnittliche Latenz zwischen Producer / Consumer 13 Millionen Messages/ Sekunde 2.75 GB / Sekunde Peak Big Data (kl)eine technische Auswahl

15 Apache Kafka P 0 Kafka Broker Movement Topic P Producer Movement & Engine Data from Trucks Engine -Metrics Topic P Kafka Broker Movement Topic P Movement Consumer Movement Consumer P Engine -Metrics Topic P Engine Consumer Big Data (kl)eine technische Auswahl

16 Spark ( ist das neue MapReduce) Libraries Spark SQL (Batch Processing) Blink DB (Approximate Querying) Spark Streaming (Real-Time) MLlib, Spark R (Machine Learning) GraphX (Graph Processing) Core Runtime Spark Core API and Execution Model Cluster Resource Managers Data Stores Spark Standalone MESOS YARN HDFS Elastic Search Cassandra S3 / DynamoDB Big Data (kl)eine technische Auswahl

17 Spark: RDD, Dataframes, Datasets Skalierbares Arbeiten mit verteilten Daten ähnlich MapReduce in Hadoop Resilient Distributed Datasets (RDDs), Data Frames, Data Sets Verarbeitungsparadigment in Spark Sammlung von Objekten, die in einem Cluster im Hauptspeicher oder Disk gehalten und verarbeitet werden Parallele, funktionale Tranformationen (map, filter, ) Automatisches Rebuild im Fehlerfall (Knotenausfall) Beinhaltet Transformationshistorie ("lineage") für die zu verarbeitenden Daten Cache Partition 1 Cache Cache Partition 3 Spark Cluster Worker Node 1 Worker Node 2 Worker Node 3 HDFS Data Node HDFS Data Node Partition 2 HDFS Data Node Big Data (kl)eine technische Auswahl

18 Cassandra - Historie Bigtable Dynamo Big Data (kl)eine technische Auswahl

19 Motivation für Cassandra Skalierbarkeit bis weit in den Petabyte Bereich Annähernd lineare Performancegewinne durch Zufügen von Knoten (sofern korrekt eingesetzt) Kein SPOF (single point of failure) Einfache Replikation, einfache Distribution Cloud- und Multi-Data Center fähig Einstellbare Datenkonsistenz Flexible Schemata (Wide Column) Datenkomprimierung CQL Sprache (ähnlich SQL) Support für zahlreiche Sprachen uind Plattformen (sehr gute Spark- Integration) Keine spezielle Hard- oder Software nötig (keine Appliance, kein Cluster- OS) Big Data (kl)eine technische Auswahl

20 Einsatz über mehrere Datacenter (Regionen-Support) Sicherstellen von lokalen Daten West East Client Übergreifende Auswertungen Hochverfügbarkeit Node 1 Node 1 Node 4 Node 2 Node 4 Node 2 Node 3 Node Big Data (kl)eine technische Auswahl

21 Wer setzt Cassandra ein? Größter Betrieb mit mehr als 75,000 Cassandra Knoten in mehreren Clustern. Mehr als 10 Petabytes im größten Cluster (> 1,000 Knoten) Big Data (kl)eine technische Auswahl

22 Apache Drill Schema-unabhängige, verteilte SQL Query Engine Ermöglicht kombinierte ANSI SQL Abfragen gegen Hadoop und NoSQL Datenquellen Gut unterstütztes Open Source Project mit monatlichen Releases Drill ist designed to scale to several thousands of nodes and query petabytes of data at interactive speeds that BI/ Analytics environments require Big Data (kl)eine technische Auswahl

23 Apache Drill - Technik Der Drillbit Service wird auf jedem Knoten im Hadoop Cluster installiert Die Services verteilen die Aufgaben auf viele Knoten Nutzt Zookeeper für die Koordination Aufgaben der Drillbits Anfragen annehmen Queries ausführen Resultate zurückliefern Big Data (kl)eine technische Auswahl

24 Der ELK-Stack: Logstash Events und Log Management Daten sammeln Daten parsen Daten anreichern Daten speichern (Suche und Visualisierung) Big Data (kl)eine technische Auswahl

25 Elasticsearch Lucene Elasticsearch Java Class Library für die Suche Nicht verteilt lauffähig Integration mittels Java Dateisystembasiert Skalierung muss ausprogrammiert werden "very complicated" Setzt auf Lucene auf Für verteiltes Computing entwickelt (Scale-Out) RESTful HTTP API HA fähig Einfaches Handling Big Data (kl)eine technische Auswahl

26 RDBMS vs. Elasticsearch Ein Elastic Search Cluster beinhaltet viele Indexe (Datenbanken), die wiederum viele Typen (Tabellen). Typen beinhalten mehrere Dokumente (Records), und jedes Dokument hat Properties (Spalten). RDMBS Databases Table Row Column Index SQL SELECT UPDATE Elasticsearch Index Type Document Field everything is indexed Query DSL GET PUT Big Data (kl)eine technische Auswahl

27 Kibana Kibana ist eine Open Source Analyse- und Visualisierungsplattform, die für die Zusammenarbeit (suchen, darstellen) mit Elasticsearch gebaut wurde Visualisiert Daten in einer vielzahl von Charts, Tabellen und Karten Einfaches, Browserbasiertes Interface Big Data (kl)eine technische Auswahl

28 Deutsche ORACLE Anwendergruppe Big Data (kl)eine technische Auswahl

29 Big Data SQL Abfragen bspw. Gegen Apache Hive, HDFS, Oracle NoSQL Database oder Apache HBase [via Hive Metadata] Gemeinsames Analysieren von Daten aus diversen Datenspeichern as if it were all stored in an Oracle database Die vollständige Oracle SQL Syntax kann genutzt werden (auch AAO etc.) Der Zugriff erfolgt via External Tables (wie bei OSCH), unterstützt aber darüber hinaus SmartScans (bspw. Filter Predicate Offload) Zwei Varianten sind verfügbar Oracle Big Data for Hive (für Hive und HBase Konnektivität) Oracle Big Data SQL Server (für freien Zugriff mit SmartScan Funktionalität) Benötigt Installation von Oracle Komponenten auf dem Hadoop Cluster Ist praktisch die Cell-Node Funktionalität aus Exadata Oracle Big Data Connectivity

30 1d Big Data SQL Was passiert da? Oracle Big Data SQL Software on BDA 1b Ask for Metadata Oracle Big Data SQL Agent on DB Local Linux 2a 2a 1c Read Metadata Oracle Hive Data Dictionary 1a Ask for Metadata Oracle Database Other HDFS Files Hive Table Files Hive Metadata External Hive Table Oracle Create Hive Table Command 1. DDL Hadoop External HDFS Table Oracle Create HDFS Table Command with detailed access parameters 2. Query DB Developer File Metadata OBDS Installed or Generated Existing Developed Program Oracle Big Data Connectivity

31 Für Umme : Oracle Database Gateway Erzeugt Database Links zu anderen Datenbanken (SQL Server, Teradata usw.) Gerne kostenintensiv Kostenfrei ist aber die GENERIC OCBD Variante Erzeugt einen DB Link via ODBC Treiber bspw. zu Hive Was ist die Idee? Oracle Konnektoren meiden die Nutzung anderer SQL Query Engines wie Hive oder Impala (auch wenn sie gerne die Hive Metadaten verwenden) Mit ODG tun wir das aber mit allen Vor- und Nachteilen Oracle Big Data Connectivity

32 Database Gateway for ODBC Architektur Quelle: Oracle Oracle Big Data Connectivity

33 Database Gateway for ODBC Setup 1. Passenden OBCD Treiber installieren und konfigurieren 2. ODBC Gateway Installieren 3. listener.ora und tnsnames.ora anpassen 4. In ORACLE_HOME\hs\admin neue Datei erzeugen 5. Public Database Link erzeugen 6. loslegen Oracle Big Data Connectivity

34 Oracle Data Integrator Überblick Big Data Option (separate Lizenz!) Native Code Generierung für Pig Latin, Spark (PySpark) und Oozie Auswahl aus dem traditionellen ODI Agent oderapache Oozie als Orchestrierungs- Engine WebLogic Hive JDBC Driver Zahlreiche Direct Load KMs (LKM = Loading Knowledge Modules kombiniert mit anderen KMs in einem Mapping einsetzbar) bspw. für Sqoop etc. Oracle Data Integrator Application Adapter for Hadoop Part of the Oracle Big Data Connectors (uses OLH/OSCH) There is also a Big Data SQL Integration to ODI Oracle Big Data Connectivity

35 Capture Trail Pump Route Deliver Oracle Golden Gate for Big Data Überblick Oracle Golden Gate For Big Data Adapted from Oracle Oracle Big Data Connectivity

36 Oracle Golden Gate for Big Data Überblick (2) Oracle Golden Gate for Big Data Provides GoldenGate delivery to Flume, HDFS, Hive and HBase Includes GoldenGate for Java, enabling integration to others such as Oracle NoSQL, Apache Kafka, Apache Storm, Apache Spark etc. Key component of Oracle s big data integration offering along with Oracle Data Integrator 12c Oracle GoldenGate supports log-based capture from, and delivery to, Oracle, DB2 for z/os, i Series, & LUW (Linux, Unix, Windows), SQL Server, MySQL, Informix, Sybase ASE, SQL/MX, JMS messaging systems and more. Oracle GoldenGate s delivery capabilities also include Oracle TimesTen In Memory Database and PostgreSQL, in addition to Hadoop-based big data systems Oracle Big Data Connectivity

37 Fragen? Peter Welker Big Data (kl)eine technische Auswahl