Hadoop und Data Lakes

Transkript

1 Thema des Monats November Hadoop und Data Lakes Use Cases, Nutzen und Grenzen Nach wie vor ist die Diskussion um Hadoop und Data Lakes top aktuell. Das Hadoop- Ökosystem gilt als technologischer Wegbereiter, der es Unternehmen ermöglicht, die Früchte der Big-Data-Revolution ernten zu können. Der Data Lake gilt als weitergefasstes Datenmanagementkonzept und als Voraussetzung für ein datengetriebenes Unternehmen. Das zentrale Versprechen lautet: fast beliebig große Datenmengen aus unterschiedlichsten Systemen, mit beliebiger Struktur schnell, effizient und kostengünstig verwalten, nutzen und auswerten zu können. Hadoop ist ein Top-Level-Projekt der Apache Software Foundation und ein freies Java-Framework für skalierbare, verteilt arbeitende Anwendungen. Es besteht aus einer Sammlung von Komponenten für die Verwaltung, den Zugriff und die Analyse strukturierter und unstrukturierter Daten. Es bietet die Möglichkeit, große Mengen polystrukturierter Daten zu verwalten und in Verbindung mit neuen oder auch etablierten IT-Technologien wertschöpfend zu verwenden. Hierdurch eignet es sich besonders als Plattform zur Umsetzung von Big-Data-Aufgaben und wird häufig auch als Technologie für die Umsetzung eines Data Lake gesehen. Das Konzept des Data Lakes kann aber weitaus mehr umfassen, je nach Definition, die heute noch nicht ganz klar ist. Oftmals fokussiert der Data Lake auf die Verfügbarkeit von Daten und stellt damit Daten systemübergreifend, unabhängig ihrer Herkunft, schemafrei und nah am Rohdatenformat für nachfolgende Anwendungen bereit. Sowohl die Technologie Hadoop als auch das Konzept Data Lake sind erst seit kurzer Zeit im Enterprise-Kontext im Einsatz. Entsprechend fällt es Unternehmen häufig schwer, zwischen medialer Überhöhung und tatsächlich realisierbarem Mehrwert zu unterscheiden. Wichtige Antworten liefert jetzt die vorliegende BARC- Anwenderbefragung, die den Status quo von Hadoop und Data Lakes im Allgemeinen und Erfahrungen aus Hadoop Use Cases im Speziellen weltweit untersucht hat. Kernfragen waren dabei: Welche Verbreitung haben Hadoop und Data Lakes bereits gefunden und wie sehen die Pläne der Unternehmen aus? Wie setzen Unternehmen Hadoop ein bzw. planen sie es einzusetzen? Wie wird ein Data Lake heute in Unternehmen genutzt? Auf welche Probleme stoßen die Unternehmen dabei? Welchen Nutzen erzielen Unternehmen durch Hadoop und was wurde bereits umgesetzt? Wie gestaltet sich die technologische Umsetzung?

2 Thema des Monats November Management Summary Hot Spot #1 Hadoop - Trendtechnologie mit hohem Potential Die produktive Nutzung von Hadoop nimmt vor allem in Europa zu, aber auch gleichzeitig die Anzahl der Unternehmen, die Hadoop nicht nutzen wollen. Mit wachsendem Verständnis des möglichen Nutzens eines Hadoop-Einsatzes können Unternehmen offensichtlich klarer entscheiden, ob sie die Technologie einsetzen möchten oder nicht. Das Profil der produktiven Hadoop-Systeme ist überraschend breit: Hadoop wird unabhängig von Unternehmensgröße, Datenvolumen, Datentypen oder auch Aktualitätsanforderungen eingesetzt. Damit ist es für alle Unternehmen eine potentiell geeignete Technologie mit breiten Einsatzspektrum. Hadoop entwickelt sich dabei immer mehr vom einfachen Dateisystem zur Ablaufumgebung für analytische Anwendungen. Hot Spot #2 Die Meinungen zum Nutzen eines Data- Lake-Konzeptes gehen auseinander Bei der Diskussion um den Data Lake bilden sich zwei Lager, wovon die eine Hälfte das Konzept als wertvoll und auch als Voraussetzung datengetriebener Unternehmen ansieht. Die andere Hälfte empfindet den Data Lake als Neubenennung von Althergebrachtem, als Marketingbegriff oder sieht keine Relevanz in dem Thema. Womöglich ist dies noch eine von Unsicherheit geprägte Lücke, welche die Chance eröffnet, eine Definition zu finden und Transparenz bei den Themen Nutzen und Best-Practices zu schaffen. Einhergehend mit der noch unpräzisen Definition ist auch keine einheitliche Linie in der Nutzung zu erkennen. Es zeigt sich aber eine Tendenz, das Konzept vorwiegend für Datenaufbereitung und Speicherung oder eine explorative Umgebung zu nutzen. Hot Spot #3 BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte Im Wesentlichen sind es BI Competence Centers und auch Data Science Teams, die heute Hadoop- und Data-Lake-Projekte treiben und damit den technologischen Themen Hadoop und Data Lake einen einen stärkeren fachlichen Bezug geben.

3 Thema des Monats November Hot Spot #4 Umsetzung erfolgt hauptsächlich durch kommerzielle Werkzeuge und Hadoop-Distributionen Kommerzielle Werkzeuge und Distributionen überzeugen in den meisten Werkzeugkategorien vor den Apache-Hadoop-Komponenten und werden auch deutlich häufiger eingesetzt. Eine Ausnahme sehen wir lediglich in der Kategorie Streaming. Kosteneinsparung, funktionale Leistungs-/Innovationskraft und Betreibarkeit sind mehrheitlich genannte Gründe für die Wahl von Apache Hadoop. Hot Spot #5 Klarer Fall für Hadoop: Customer Intelligence und Predictive Analytics Customer Intelligence und Predictive Analytics sind die mit Abstand am häufigsten umgesetzten Hadoop-Projekte. Bereits heute sind viele Daten zum Kunden, Kundenverhalten und den Kanälen für Analysen verfügbar. Predictive Analytics gilt als Vorzeigedisziplin für neuartige, explorative Analysen und wird daher in Unternehmen häufig zuerst angegangen. Hot Spot #6 Großer analytischer Nutzen durch Hadoop Hadoop weist den deutlichsten Nutzen auf in der Analyse von Daten aus heterogenen, divergenten Quellen, Vorhersage des Kundenverhaltens, Kundenbindung, sowie in der Steigerung der Flexibilität. Hadoop nimmt in den Projekten nicht nur die Rolle des Dateisystems ein, sondern fungiert als Plattform und Ablaufumgebung mit den Kernfunktionen in Analyse und Predictive Analytics.

4 Thema des Monats November Hot Spot #7 Hadoop ermöglicht Anwendungsfälle, die bisher nicht umgesetzt werden konnten Anwender sehen Hadoop vor allem als (potentielle) Technologie zur Umsetzung neuartiger Anwendungsfälle, die mit den bestehenden Systemen nicht umgesetzt werden können. Kosteneinsparungen wie auch der Einsatz als technisch bessere Plattform spielen bei der Entscheidung für oder gegen Hadoop einzusetzen eine nachgelagerte Rolle. Hot Spot #8 Die größten Herausforderungen sind fehlendes Know-how und Unsicherheit bei der Nutzung Seit der letzten BARC Hadoop-Umfrage scheint nicht viel geschehen zu sein! Fehlendes fachliches und technisches Know-how führen klar die Liste der Herausforderungen an. Europäische Unternehmen sind darüber hinaus noch unklar über den richtigen Einsatz und die Nutzung, während nordamerikanische eher fehlende Benutzerfreundlichkeit, mangelnde Reife des Systems sowie hohe Kosten für Schulung und Entwicklung bemängeln. Weitere Informationen aus unserer Anwenderbefragung, wie z.b.: Ergebnisse - Einsatz und Nutzung Ergebnisse - Treibende Kraft Ergebnisse - Gründe und Nutzen Ergebnisse - Data Lake Ergebnisse - Umsetzung Ergebnisse - Herausforderungen Hadoop-Thesen auf dem Prüfstand finden Sie in der für Sie kostenfreien Studie, diese erhalten Sie gerne auf Nachfrage oder nach einer kurzen Registrierung.

5 Thema des Monats November Kontakt: Susanne Grebe Senior Coordinator PAC GmbH Über BARC a CXP Group Company: Das Business Application Research Center (BARC) ist ein Forschungs- und Beratungsinstitut für Unternehmenssoftware mit Fokus auf die Bereiche Business Intelligence/Analytics, Datenmanagement, Enterprise Content Management (ECM), Customer Relationship Management (CRM) und Enterprise Ressource Planning (ERP). BARC-Analysten unterstützen seit 20 Jahren Unternehmen bei Strategie, Organisation, Architektur und Evaluationsfragen in diesen Themengebieten. Dabei vereinen die BARC-Analysten Markt-, Produkt- und Einführungswissen. Know-how-Basis sind die seit Jahren ständig durchgeführten Marktanalysen und Produktvergleichsstudien, die ein umfassendes Detailwissen über den Leistungsumfang aller marktrelevanten Softwareanbieter, neueste Entwicklungen und Best Practices sicherstellen. BARC formt mit den Analystenhäusern CXP und PAC die führende europäische Analystengruppe für Unternehmenssoftware und IT Services mit Präsenzen in acht Ländern. Weitere Informationen unter