Review Freelancer-Workshop: Fit für Big Data. Mittwoch, in Hamburg

Transkript

1 Review Freelancer-Workshop: Fit für Big Data Mittwoch, in Hamburg

2 Am Mittwoch, den , hatten wir von productive-data in Zusammenarbeit mit unserem langjährigen Partner Informatica zu unserem Fit für Big Data Workshop nach Hamburg eingeladen. Der Einladung gefolgt sind 20 Freiberufler und Kollegen, die sich einen Tag intensiv dem Thema Big Data widmen und gemeinsam ein tieferes Verständnis für diese Technologie, Implementierungsvarianten und die zugehörigen Use Cases erarbeiten wollten. Mit Michael Kohs (Senior Sales Consultant Big Data & Cloud bei Informatica) konnten wir einen exzellenten Referenten für dieses Thema gewinnen, der den Tag mit seinem Vortrag und Live Demos über die Einführung in den Kontext bis hin zu der Abbildung und Steuerung von Big Data Umgebungen und Strukturen durch Informatica-Produkte äußerst kurzweilig, präzise und interessant gestaltet hat. Im ersten Track ging es am Morgen um die Frage wie Big Data definiert ist, welche Technologien auf dem Markt derzeit etabliert sind und welche Use Cases in diesem Kontext bestehen. Gerade der letzte Punkt ist aus Consulting-Sicht natürlich besonders interessant, um in möglichen Kundenprojekten auch den speziellen Nutzen der Technologie für Unternehmen und Anwender sowie deren Geschäft darzustellen und damit letztlich die Beschäftigung mit dem Thema und mögliche Investitionen zu plausibilisieren. 2 Betrachten wir den Markt für Big Data aus Sicht der bekannten Analysten, so lässt sich feststellen, dass das Thema selbst zwar bereits den Peak im Gartner Hype Cycle überschritten hat, mit einer flächendeckenden produktiven Anwendung aber erst in den kommenden 5 10 Jahren gerechnet wird. Big Data ist in aller Munde und es werden bereits jetzt viele Initiativen in Unternehmen gestartet, um sich mit dieser Technologie zu beschäftigen und zu analysieren für welche eigenen Zwecke diese zukünftig genutzt werden kann. Produktive Anwendungen finden sich derzeit aber zumeist nur in wirklich datengetriebenen Unternehmen, z.b. aus dem Bereich Social Media, Online Technologies and Services, die ihr Kerngeschäft auf die Analyse von Massendaten gegründet haben oder aber zur Optimierung und Weiterentwicklung ihrer Plattform und Services auf das tiefere Verständnis möglichst aller verfügbaren Daten angewiesen sind. Daten werden

3 hier zum Produktionsfaktor oder aber Kapital der Unternehmung. Michael Kohs präsentierte uns hier als Beispiele Implementierungsansätze bei Instagram (Social Image Network) und Spotify (Music Streaming Service). Die Frage, die sich nun stellte, war, wie sich Big Data Ansätze technisch umsetzen lassen, welche Vorgehensweisen denkbar sind und welche Vorteile sich durch die Nutzung generieren lassen. Als erster Schritt steht zumeist die Nutzung von kostengünstigen Speichermedien zur Ablage und Persistierung von neu generierten bzw. gesammelten Datenmengen auf so genannten Hadoop Clustern mittels des Hadoop Distributed File System (HDFS). Ein valides Vorgehen ist hier zunächst alle potenziell für zukünftige Analysen und Nutzungsvarianten geeigneten Daten und Dateien abzulegen, ohne dass eine direkte Weiterverarbeitung oder aber Aufbereitung stattfindet. Anschließend kann ohne Zeitdruck und der Gefahr wichtige Daten zu verlieren überlegt werden, für welche Analysen und Use Cases die gesammelten großen Datenmengen genutzt werden können. Die Datenquellen sind hierbei z.b. Social Media Plattformen, Maschinenund Sensorsysteme, Cloud-Plattformen oder aber Logging-Systeme bzw. persistierte Benutzerverhaltensdaten. Das Ziel ist es letztlich zumeist durch die Integration einer größeren und differenzierteren Datenbasis bessere bzw. qualifizierte Analysen zu liefern und darauf aufbauend fundiertere Entscheidungen im Unternehmenskontext für das eigene Geschäft zu treffen. Dieses Vorgehen kann z.b. eine Erweiterung der Analysepotenziale im klassischen analytischen Bereich (Data Warehouse Strukturen) bedeuten oder aber auch die direkte operative Nutzung unter dem Stichwort Real-Time Operational Intelligence. Am Ende kann dann aus der Business Intelligence Sicht betrachtet die Errichtung eines Logical Data Warehouses stehen, dass sowohl die klassischen relationalen Analysestrukturen als auch den durch den Big Data Ansatz entstehenden Data Lake, angereichert um Data Quality und Master Data Management Komponenten, unter einem gemeinsamen Dach zusammenfasst. 3

4 Für die produktive Umsetzung von Big Data Ansätzen steht zumeist ein Name: Hadoop das Open Source Framework von Apache. Michael Kohs präsentierte uns einen sehr guten Überblick über die verschiedenen Distributionen der Hersteller wie z.b Hortonworks, Cloudera und MapR, sowie die technologische Entwicklung von Hadoop in der Version 1.0 mit den Basis Komponenten MapReduce und HDFS bis hin zur Weiterentwicklung in Version 2.0 mit dem neu hinzugekommenen Cluster Resource Management YARN. Interessant dabei waren vor allem die Unterschiede der in den verschiedenen Frameworks enthaltenen und unterstützten Komponenten sowie Erweiterungen von TEZ, Spark über Impala und Flink bis hin zu HBase, der spaltenorientieren NoSQL-Datenbank, die direkt auf HDFS aufsetzt. Nach der Mittagspause, die neben einer kleinen Stärkung auch zu vielen Fachgesprächen und kollegialem Diskurs genutzt wurde, stand im zweiten Teil des Workshops die Antwort unseres Partners Informatica auf die Big Data Herausforderungen an. Mit der Big Data Edition präsentiert Informatica eine hoch skalierbare und extrem leistungsfähige Software Lösung, die es Unternehmen und deren Anwendern ermöglicht die ETL-Datenströme zu entwickeln, die nativ auf Hadoop laufen ohne dabei Hadoop bzw. dessen Nutzung nativ lernen zu müssen. Ziel ist es, mehr Zeit für die Analyse der Daten zu gewinnen und weniger Aufwand für Aufbereitung, Transformation und Bereinigung der eingehenden Datenströme zu verwenden. Informatica unterstützt dabei Transformationen und Verarbeitungen direkt auf Hadoop und die Nutzung der damit verbundenen Technologien und Methoden wie HDFS, MapReduce, Hive und YARN. Der enthaltene Big Data Parser ermöglicht es beispielweise Transformationen und Verarbeitungsschritte GUI gestützt zu designen und dann automatisiert in MapReduce Prozeduren zu konvertieren. 4 Perfekt integriert und kombinierbar ist die Big Data Edition zudem mit weiteren bekannten Informatica Komponenten wie Data Quality, Profiling und Data Discovery Funktionalitäten, Data Masking, Data Lineage sowie Meta Data Management und Monitoring, die uns Michael Kohs im Einzelnen sehr detailliert und immer in Bezug auf die konkrete Anwendung im Big Data bzw. Hadoop Kontext vorgestellt hat. Details und weitere Informationen zu

5 den einzelnen Komponenten sowie der Informatica Big Data Edition im Allgemeinen finden sich auf der zum Vortrag bereitgestellten Folien sowie von Informatica zur Verfügung gestellten White Paper bzw. Tech Sheets. Abschließend möchten wir uns noch einmal ganz herzlich bei allen Teilnehmern des Big Data Workshops bedanken für Ihr Interesse am Thema selbst, die regen Diskussionen, Fragen und Anregungen und die bestimmt gut investierte Zeit im zeitlich engen Beratungs- und Projektalltag. Einen besonderen Dank möchten wir nochmal in Richtung unseres Partners Informatica aussprechen und im Speziellen und ganz persönlich an Michael Kohs für die wunderbare Unterstützung und den fachlich exzellenten Vortrag. Wir hoffen, dass wir als productive-data mit diesem Workshop zu dem aktuellen und immer relevanter werdenden Thema Big Data einen guten Einstieg und technologischen Überblick liefern konnten. Auch wenn derzeit vielleicht noch nicht viele Kunden Big Data wirklich produktiv einsetzen und die BI-Projekte in diesem Kontext noch nicht weit verbreitet sind, sollten wir uns als Berater und BI-Experten dieser (nun fast schon nicht mehr ganz neuen) Technologie widmen und unsere Kenntnisse diesbezüglich ausbauen, um uns gut vorbereitet zukünftigen Beratungsaufträgen und Analyseherausforderungen zu stellen. 5

6 Uhlenhorster Weg Hamburg 040/