June 2015 Automic Hadoop Agent Data Automation - Hadoop Integration
+ Aufbau der Hadoop Anbindung + Was ist eigentlich ist MapReduce? + Welches sind die Stärken von Hadoop + Welches sind die Schwächen von Hadoop + Vorstellen von Anwendungsfällen + Vorstellen der Agenten Funktionalität in einer Demo 3 Property of Automic Software. All rights reserved
HADOOP!= RDBMS 4 Property of Automic Software. All rights reserved
Aufbau der Hadoop Anbindung Automic Hadoop Agent WebHCat WebHDFS Map Reduce HIVE + PIG YARN Resource Manager HDFS Name Manager Data Manager Data 5 Property of Automic Software. All rights reserved
Was ist eigentlich ist MapReduce? 6 Property of Automic Software. All rights reserved
Welches sind die Stärken von Hadoop? Umgang mit Komplex hierarchischen Datenstrukturen mit flexiblen Schemas Unstrukturierten Daten z.b. Webserver Log Dateien Mappen und Reduzieren von Datenmassen zwecks Datenanalyse Ausfallsicherer multi-tera und Petabyte Speicher Daten sind repliziert verteilt über mehrere Datas Datenblöcke sind immer mehrfach vorhanden Ermöglicht den Einsatz von billiger Hardware 7 Property of Automic Software. All rights reserved
und die Schwächen Ändern von Daten ist praktisch nicht möglich Hohe Latenzzeiten Die Automation Engine wird nie auf Hadoop laufen werden können Schwer zu verwenden, selbst für Entwickler 8 Property of Automic Software. All rights reserved
Use Case: Integriert Hadoop in ihre Systemlandschaft Automic als zentrale Orchestrierungslösung Eigene Lösung ETL System SAP Automic Hadoop System DB CRM System 9 Property of Automic Software. All rights reserved
Use Case: Hadoop Interface für Legacy Solutions Legacy Solutions können Daten aus Hadoop anfordern Legacy Solutions Senden Empfangen von Daten Initiieren MapReduce Jobs Automic Manager Data Manager Data Hadoop System 10 Property of Automic Software. All rights reserved
Use Case: Intelligente Datenpumpe für Hadoop Automic transferiert Daten/Dateien aus verteilten Systemen nach Hadoop HDFS Daten Quelle Daten Quelle Managed File/Daten Transfer Automic Hadoop HDFS 11 Property of Automic Software. All rights reserved
Wie Netflix Hadoop einsetzt 1 2 ONE Automation Collect hundreds of terabytes of data daily Petabyte-scale Platform Engineers build templates and workflows using ONE Automation enable data scientists to perform all kinds of ad hoc analysis without having to deal with the complexity of the underlying data infrastructure 3 Data Scientists 4 perform data-driven experiments and tests on a daily basis Recommendation Engine using and many other tools to improve the quality of recommendations >50m subscribers >40 countries resulting in happy customers! 12 Property of Automic Software. All rights reserved
Kundenbeispiel: Candy Crush Über 10 Milliarden Transaktionen am Tag Jede Interaktion wird aufgezeichnet und mit dem Device des Kunden assoziiert 800 GB am Tag, als flat files in HDFS abgelegt Extrakt der wichtigen Daten kommen in eine klassische Datenbank Hadoop Agent HDFS MapReduce DB 13 Property of Automic Software. All rights reserved
Hadoop Agent Vorstellen der Agenten Funktionalität Integrieren sie Big Data in ihre Workflows
Juni 2015 Haben sie noch Fragen? Vielen Dank für ihre Aufmerksamkeit
Was ist mit dem Hadoop Agent möglich Zugriff auf das HDFS Dateisystem Upload/Download Dateien + Erstellen von Verzeichnissen Löschen von Dateien/Verzeichnissen Ändern von Datei/Verzeichnisrechten Ausführen von HIVE Skripten Ausführen von PIG Skripten Ausführen MAPREDUCE und MAPREDUCE STREAM Klassen 16 Property of Automic Software. All rights reserved