Hadoop und Data Lakes

Transkript

1 Hadoop und Data Lakes Use Cases, Nutzen und Grenzen BARC Research Study IT LOG

2 Hadoop und Data Lakes Autoren Timm Grosser Senior Analyst Melanie Mack Head of Market Research Jacqueline Bloemen Senior Analyst Jevgeni Vitsenko Analyst Die unabhängige Studie wurde von BARC, einem objektiven Marktanalysten erstellt. Wir bedanken uns bei Cloudera, SAS, Talend und Teradata für die Sponsoring-Initiative zu dieser Studie. 2 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

3 Inhaltsverzeichnis Hadoop und Data Lakes 4 Vorwort 6 Demographie 8 Management Summary 11 Ergebnisse der Umfrage 11 Einsatz und Nutzung 17 Treibende Kraft 19 Gründe und Nutzen 24 Data Lake 27 Umsetzung 29 Herausforderungen 31 Hadoop-Thesen auf dem Prüfstand 35 Firmenprofile der Sponsoren 36 Cloudera 37 SAS 38 Talend 39 Teradata 39 BARC-Firmenprofil 2016 BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 3

4 IT LOG Vorwort

5 Vorwort Hadoop und Data Lakes Nach wie vor ist die Diskussion um Hadoop und Data Lakes top aktuell. Das Hadoop-Ökosystem gilt als technologischer Wegbereiter, der es Unternehmen ermöglicht, die Früchte der Big-Data-Revolution ernten zu können. Der Data Lake gilt als weitergefasstes Datenmanagementkonzept und als Voraussetzung für ein datengetriebenes Unternehmen. Das zentrale Versprechen lautet: fast beliebig große Datenmengen aus unterschiedlichsten Systemen, mit beliebiger Struktur schnell, effizient und kostengünstig verwalten, nutzen und auswerten zu können. Eine Quelle für alle Formen analytischer Aufgabenstellungen; eine Art technologisches Rückgrat der Digitalisierung und Big-Datafizierung der Wirtschaft. Hadoop ist ein Top-Level-Projekt der Apache Software Foundation und ein freies Java-Framework für skalierbare, verteilt arbeitende Anwendungen. Es besteht aus einer Sammlung von Komponenten für die Verwaltung, den Zugriff und die Analyse strukturierter und unstrukturierter Daten. Es bietet die Möglichkeit, große Mengen polystrukturierter Daten zu verwalten und in Verbindung mit neuen oder auch etablierten IT-Technologien wertschöpfend zu verwenden. Hierdurch eignet es sich besonders als Plattform zur Umsetzung von Big-Data-Aufgaben und wird häufig auch als Technologie für die Umsetzung eines Data Lake gesehen. Das Konzept des Data Lakes kann aber weitaus mehr umfassen, je nach Definition, die heute noch nicht ganz klar ist. Oftmals fokussiert der Data Lake auf die Verfügbarkeit von Daten und stellt damit Daten systemübergreifend, unabhängig ihrer Herkunft, schemafrei und nah am Rohdatenformat für nachfolgende Anwendungen bereit. Sowohl die Technologie Hadoop als auch das Konzept Data Lake sind erst seit kurzer Zeit im Enterprise-Kontext im Einsatz. Entsprechend fällt es Unternehmen häufig schwer, zwischen medialer Überhöhung und tatsächlich realisierbarem Mehrwert zu unterscheiden. Es liegen bislang erst wenige Erfahrungen vor, wie und wo es wirklich Sinn macht, welche Stolpersteine und Hürden bei der Implementierung lauern und welche potenziellen Vorteile sich in der Praxis tatsächlich ergeben. Wichtige Antworten liefert jetzt die vorliegende BARC-Anwenderbefragung, die den Status quo von Hadoop und Data Lakes im Allgemeinen und Erfahrungen aus Hadoop Use Cases im Speziellen weltweit untersucht hat. Kernfragen waren dabei: Welche Verbreitung haben Hadoop und Data Lakes bereits gefunden und wie sehen die Pläne der Unternehmen aus? Wie setzen Unternehmen Hadoop ein bzw. planen sie es einzusetzen? Wie wird ein Data Lake heute in Unternehmen genutzt? Auf welche Probleme stoßen die Unternehmen dabei? Welchen Nutzen erzielen Unternehmen durch Hadoop und was wurde bereits umgesetzt? Wie gestaltet sich die technologische Umsetzung? Die Studie wurde unabhängig durch BARC erstellt. Sie kann dank eines Sponsoring von Cloudera, SAS, Talend und Teradata kostenfrei veröffentlicht werden. Besonderer Dank gilt schon jetzt alle Teilnehmern kommender Befragungen von BARC, denn nur so sind auch in Zukunft Beiträge zu Diskussionen mit empirisch fundierter Datenbasis möglich BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 5

6 Demographie IT LOG

7 Demographie Hadoop und Data Lakes Über % 33% 45% Teilnehmer Bis 250 Mitarbeiter Mitarbeiter Mehr als Mitarbeiter Europa Nordamerika 14% Banksektor 6% Öffentlicher Sektor 257 (77%) 58 (18%) 24% 22% 16% Industrie Services IT 9% Handel 9% Sonstige 2016 BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 7

8 Management Summary IT LOG

9 Management Summary Hadoop und Data Lakes Hot Spot #1 Hadoop - Trendtechnologie mit hohem Potential Hot Spot #2 Die Meinungen zum Nutzen eines Data- Lake-Konzeptes gehen auseinander Hot Spot #3 BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte Data Die produktive discovery/visualization, Nutzung von Hadoop data nimmt quality/ master vor allem data in Europa management zu, aber and auch self-service gleichzeitig are currently die Anzahl the der topics Unternehmen, BI practitioners die Hadoop nicht nutzen wollen. Mit wachsendem identify as the most important trends in their work. Verständnis des möglichen Nutzens eines At Hadoop-Einsatzes the other end of the können spectrum, Unternehmen data labs/ science, offensichtlich cloud BI klarer and entscheiden, data as a product ob sie die have been Technologie voted as einsetzen the least important möchten oder of the nicht. nineteen Das trends Profil der covered produktiven in this Hadoop-Systeme report. ist überraschend breit: Hadoop wird unabhängig von Unternehmensgröße, Datenvolumen, Datentypen oder auch Aktualitätsanforderungen eingesetzt. Damit ist es für alle Unternehmen eine potentiell geeignete Technologie mit breiten Einsatzspektrum. Hadoop entwickelt sich dabei immer mehr vom einfachen Dateisystem zur Ablaufumgebung für analytische Anwendungen. Data Bei der discovery/visualization, Diskussion um den Data data Lake bilden quality/ master sich zwei data Lager, management wovon die and eine Hälfte self-service das are Konzept currently als the wertvoll topics und BI practitioners auch als Voraussetzung datengetriebener Unternehmen an- identify as the most important trends in their work. sieht. Die andere Hälfte empfindet den Data At Lake the other als Neubenennung end of the spectrum, von Althergebrachtem, als cloud Marketingbegriff BI and data as oder a product sieht keine have data labs/ science, been Relevanz voted in as dem the Thema. least important Womöglich of the ist dies nineteen noch trends eine covered von Unsicherheit in this report. geprägte Lücke, welche die Chance eröffnet, eine Definition zu finden und Transparenz bei den Themen Nutzen und Best-Practices zu schaffen. Einhergehend mit der noch unpräzisen Definition ist auch keine einheitliche Linie in der Nutzung zu erkennen. Es zeigt sich aber eine Tendenz, das Konzept vorwiegend für Datenaufbereitung und Speicherung oder eine explorative Umgebung zu nutzen. Data Im Wesentlichen discovery/visualization, sind es BI Competence data quality/ master Centers data und management auch Data Science and Teams, self-service die are heute currently Hadoopthe und topics Data-Lake-Projekte BI practitioners treiben und damit den technologischen Themen identify as the most important trends in their work. Hadoop und Data Lake einen einen stärkeren the fachlichen other end Bezug of the geben. spectrum, data labs/ At science, cloud BI and data as a product have been voted as the least important of the nineteen trends covered in this report BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 9

10 Hadoop und Data Lakes Management Summary Hot Spot #4 Umsetzung erfolgt hauptsächlich durch kommerzielle Werkzeuge und Hadoop-Distributionen Data Kommerzielle discovery/visualization, Werkzeuge und Distributionen data quality/ master überzeugen data management in den meisten and Werkzeugkategorien self-service are currently vor den the Apache-Hadoop-Komponenten und werden auch deutlich häufiger ein- topics BI practitioners identify as the most important trends in their work. gesetzt. Eine Ausnahme sehen wir lediglich At in the der other Kategorie end of Streaming. the spectrum, Kosteneinsparung, funktionale cloud BI and Leistungs-/Innovationskraft data as a product have data labs/ science, been und voted Betreibarkeit as the least sind mehrheitlich important of genannte the nineteen Gründe trends für covered die Wahl in von this Apache report. Hadoop. Hot Spot #5 Klarer Fall für Hadoop: Customer Intelligence und Predictive Analytics Data discovery/visualization, data quality/ master Customer data Intelligence management und Predictive and self-service Analytics currently sind die mit the Abstand topics BI am practitioners häufigsten um- iden- are tify gesetzten as the most Hadoop-Projekte. important trends Bereits in their heute work. At sind the viele other Daten end zum of Kunden, the spectrum, Kundenverhalten und den data labs/ science, cloud Kanälen BI and für data Analysen as a product verfügbar. have Predictive Analytics gilt als Vorzeigedisziplin been voted as the least important of the nineteen wird trends daher in covered Unternehmen in this häufig report. zuerst an- für neuartige, explorative Analysen und gegangen. Hot Spot #6 Großer analytischer Nutzen durch Hadoop Hadoop weist den deutlichsten Nutzen auf in der Analyse von Daten aus heterogenen, divergenten Quellen, Vorhersage des Kundenverhaltens, Kundenbindung, sowie in der Steigerung der Flexibilität. Hadoop nimmt in den Projekten nicht nur die Rolle des Dateisystems ein, sondern fungiert als Plattform und Ablaufumgebung mit den Kernfunktionen in Analyse und Predictive Analytics. Hot Spot #7 Hadoop ermöglicht Anwendungsfälle, die bisher nicht umgesetzt werden konnten Hot Spot #8 Die größten Herausforderungen sind fehlendes Know-how und Unsicherheit bei der Nutzung Anwender sehen Hadoop vor allem als (potentielle) Technologie zur Umsetzung neuartiger Anwendungsfälle, die mit den bestehenden Systemen nicht umgesetzt werden können. Kosteneinsparungen spielen eine nachgelagerte Rolle, wie auch der Einsatz als technisch bessere Plattform. Seit der letzten Hadoop-Umfrage scheint nicht viel geschehen zu sein! Fehlendes fachliches und technisches Know-how führen klar die Liste der Herausforderungen an. Europäische Unternehmen sind darüber hinaus noch unklar über den richtigen Einsatz und die Nutzung, während nordamerikanische eher fehlende Benutzerfreundlichkeit, mangelnde Reife des Systems sowie hohe Kosten für Schulung und Entwicklung bemängeln. 10 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

11 Ergebnisse Einsatz und Nutzung IT LOG

12 Hadoop und Data Lakes Produktive Nutzung von Hadoop nimmt zu, allerdings auch die Anzahl der Kritiker Hadoop ist nach wie vor auf dem Prüfstand, aber der Nutzen des Frameworks scheint gute Argumente für seinen Einsatz zu liefern. Den Zahlen nach bilden sich zwei Lager: pro und contra Hadoop. Demnach wird Hadoop keinesfalls mehr als die Wunderwaffe gegen jegliche analytische Herausforderung wahrgenommen, sondern bietet Vor- und Nachteile je nach Einsatzszenario. Über ein Drittel der weltweit Befragten (40%) sind Hadoop-Befürworter (im produktiven Einsatz, als Pilotprojekt, Initiative geplant) und zeigen ein deutliches Interesse an Hadoop, davon haben 12% Hadoop bereits im produktiven Einsatz. Viele der Befürworter sehen in Hadoop einen möglichen weiteren Baustein beim Aufbau analytischer Umgebungen für spezielle Anwendungen. Ein weiteres Drittel (27%) sieht sich als Hadoop-Gegner. Die dritte Gruppe (34%) haben bisher kein Hadoop im Einsatz, können sich allerdings eine zukünftige Nutzung vorstellen. Deutlicher Anstieg der Hadoop-Nutzung im deutschsprachigen Raum Für die DACH-Region zeichnet sich im Vergleich zu den Vorjahreswerten ein deutlicher Anstieg bei der Nutzung ab (4% auf 8%). Die Anzahl der Hadoop-Interessenten (Hadoop-Initiative als Pilotprojekt und Hadoop-Initiative geplant) gleicht mit 26% fast dem Vorjahreswert. Aber auch die Anzahl derjenigen, die sich nicht vorstellen können Hadoop-Initiative nach Region n=371/302/ Europa Nordamerika 2016 DACH-Region 2015 DACH-Region Hadoop im produktiven Einsatz 9% 8% 4% 12% 17% Hadoop- Initiative als Pilotprojekt 16% 16% 16% 17% 14% Hadoop- Initiative geplant 12% 10% 12% 9% 11% Nein, zukünftig denkbar 34% 33% 33% 43% 49% Nein, und keine geplant 12% 27% 21% 32% 33% Hadoop zu verwenden, steigt von 21% auf 33%. Die Erwartungen treffend ist die Anzahl der produktiven Hadoop-Installationen in Nordamerika mit 17% fast doppelt so hoch angegeben, wie in Europa. Höhere Verbreitung von Hadoop in Nordamerika Dem nordamerikanischen Markt wird insgesamt eine schnellere Adoption und auch höhere Reife in der Nutzung von Informationstechnologien nachgesagt. So ist das Ergebnis auch nicht weiter verwunderlich, ist doch ein höherer Erfahrungswert im Umgang mit Hadoop anzunehmen. Insgesamt ähnelt sich aber die Verteilung der Werte zwischen Nordamerika und Europa. Eine ergänzende Branchenbetrachtung gibt weitere interessante Einblicke in die Hadoop-Nutzung. Mit einem Planwert von 38% und einer aktuellen produktiven Nutzung von 0% ist der Finanzsektor die Newcomer-Branche. Zum Zeitpunkt der Umfrage finden sich die meisten Initiativen in der IT-Branche und in der Industrie. 12 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

13 Die Nutzung von Hadoop hängt vom Anwendungsfall ab und wird nicht durch die Unternehmensgröße definiert Hadoop und Lakes Hadoop-Initiative nach Unternehmensgröße n=370 Bis 250 Mitarbeiter Mitarbeiter Mehr als Mitarbeiter Die Umfrageergebnisse belegen, dass Hadoop als Teil einer Big-Data-Strategie nicht nur für Großunternehmen und Unternehmen mit großen Datenvolumen relevant ist. Dies spiegelt sich in der Verteilung der Umfrageteilnehmer wider. Hier finden sich sowohl Großunternehmen (41%), als auch kleine Unternehmen (20%) und mittelständische Unternehmen (16%). Ja, wir nutzen Hadoop im produktiven Einsatz 7% 7% 18% Ja, wir setzen eine Hadoop-Initiative als Pilotprojekt um 13% 9% 23% Ja, wir planen eine Hadoop-Initiative 8% 9% 15% Nein, aber für die Zukunft ist eine denkbar 36% 41% 27% Nein, es existiert keine und es ist auch zukünftig keine geplant 35% 34% 17% 2016 BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 13

14 Hadoop und Data Lakes Einsatz von Hadoop unabhängig von Datenvolumen oder -aktualität Datenvolumen in Hadoop n=251 Aktualität von Daten in Hadoop-Anwendungen n=143 Heute In 12 Monaten Klein 59% 19% Aufbau Datenarchiv mit nichtzeitkritischen Zugriffen auf historische Daten Near/Real-Time Anforderungen ( Streaming / Event Processing") Mittel (>25 TB) 29% 48% 8% 21% Groß (>500 TB) 11% 25% 35% 36% Sehr groß (>500 TB) 1% 8% Near-Time-Anforderungen im Sinne einer zeitnahen Verarbeitung Tägliche/seltenere Beladung des Hadoop Clusters Der Großteil der Hadoop-Anwendungen verarbeitet kleine Datenmengen Die Befragung zeigt, dass der Einsatz von Hadoop in unserer Stichprobe unabhängig von Datenvolumen oder der -aktualität erfolgt. 59% der geschilderten Hadoop-Szenarien werden vorwiegend bei kleinen Datenvolumen bis zu 25 Terabyte (TB) umgesetzt. Szenarien jenseits von 1 Petabyte (PB) gibt es äußerst selten (1%). Der Blick in die Zukunft (in 12 Monaten) zeigt erwartungsgemäß eine Zunahme des Datenvolumens. Unternehmen starten erste Hadoop-Initiativen im überschaubaren Rahmen und sehen bereits heute Potential für den weiteren Ausbau. Den größten Anstieg verzeichnen Szenarien ab 25 TB. Nutzung von Hadoop nicht mehr nur auf Batch-Anwendungen beschränkt Interessant in der Betrachtung der Datenaktualität ist die hohe Nennung von Streaming (21%) oder Near-Time-Nutzung (35%), die insbesondere im Anwendungsfeld Customer Intelligence vorkommt. Demnach beschränkt sich der Einsatz von Hadoop und Map-Reduce nicht mehr nur auf Batch-Anwendungen, sondern wird vermehrt auch bei hohen Anforderungen an die Datenaktualität eingesetzt. 14 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

15 Transaktionsorientierte Daten werden am häufigsten genutzt Hadoop und Lakes Datentypen in Hadoop-Anwendungen n=143 Daten aus Transaktionssystemen Logdaten aus IT-Systemen Clickstream-Daten, Web-Analytics Dokumente/Texte Sensor-, RFID-, andere Maschinendaten Open Data Social-Media-Daten Videoclips/Bilder Im Einsatz 53% 40% 33% 27% 22% 17% 15% 10% Geplant 35% 42% 49% 38% 33% 48% 53% 35% Über die Hälfte der Teilnehmer (53%) nutzen transaktionsorientierte Daten am häufigsten in Hadoop, aber auch Logdaten (40%) und Clickstream-Daten/ Web-Analytics (33%) stellen bereits einen Großteil der Daten. Über ein Viertel der Befragten (27%) nutzt Dokumente und Texte in Hadoop-Anwendungen. Dies erscheint erstaunlich hoch im Vergleich zu verschiedenen BARC-Studien aus vergangenen Jahren. Ein Blick auf die Planwerte zeigt ambitionierte Vorhaben in fast jeder Datenkategorie. Eine Aussage zur besonderen Eignung von Hadoop für einzelne Datentypen lässt sich daraus nicht ableiten. Vielmehr scheint Hadoop eher zur Verarbeitung aller Datentypen eine potentielle Technologie zu sein. Es ist damit anzunehmen, dass Hadoop mehrheitlich Daten verwendet, die auch in herkömmlichen Plattformen genutzt werden können. Wenn also nicht Datenvolumen oder -typen relevant für die Nutzung von Hadoop sind, bleibt vorerst die Frage offen, welche Gründe für eine Nutzung von Hadoop sprechen. Letztendlich sind Punkte wie Kosten, Funktionen für Anwendungsfälle aber auch die vorhandene technische Infrastruktur wie auch vorhandene IT-Prozesse und Know-how zu bewerten. Sonstige 5% 9% 2016 BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 15

16 Hadoop und Data Lakes Nach wie vor breites Einsatzfeld von Hadoop Nutzung von Hadoop n=144 Weltweit Europa Nordamerika Ablaufumgebung für fortgeschrittene Analysen, Discovery, Exploration 65% 69% 58% Speicher für Roh-/Detaildaten 60% 76% 15% Datenaufbereitung/Datenintegration 57% 57% 58% Datenarchiv 40% 42% 35% Ablaufumgebung für klassische BI 30% 24% 42% Unterstützung operativer Anwendungen 19% 20% 19% Hadoop wird für unterschiedliche Zwecke eingesetzt, vor allem als Ablaufumgebung für fortgeschrittene, neuartige Analysen (65%), als Speicher für Roh-/Detaildaten (60%) und zur Datenaufbereitung und Integration (57%). Aber auch weitere Einsatzszenarien sind gut denkbar und umgesetzt. Ein interessanteres Bild liefert hier wieder die Betrachtung nach Regionen. Nordamerika nutzt Hadoop intensiver als Ablaufumgebung für BI Es findet sich ein deutlicher Unterschied in der Nutzung als Speicher für Roh-/Detaildaten zwischen Nordamerika und Europa. In der europäischen Stichprobe nutzen 76% Hadoop als Speicher für Roh-/Detaildaten wohingegen es in der nordamerikanischen Stichprobe lediglich 15% der Befragten sind. Eine mögliche Erklärung kann sein, dass die Nutzung von Hadoop sich mit Erfahrung und Reife verschiebt, weg von der einfachen Datenablage mehr hin in Richtung analytischer Engine als Ablaufumgebung für BI. Dies würde bedeuten, dass der nordamerikanische Markt insgesamt bereits mehr Erfahrung in der analytischen Nutzung von Hadoop hat und daher auch andere Nutzungsschwerpunkte sieht. Erwähnenswert ist die Verwendung von Hadoop als Ablaufumgebung für die fortgeschrittene Analyse, die in Europa mit 11% Unterschied mehr Anklang findet als in Nordamerika. So scheint Hadoop in Nordamerika nicht nur für neue analytische Disziplinen wie fortgeschrittene Analyse oder Exploration genutzt zu werden, sondern die Technologie als solche zur Unterstützung neuer wie auch alter Aufgabenstellungen. Anzunehmen ist daher der breitere Einsatz und unter Umständen auch eine bessere Ausnutzung möglicher Potentiale im nordamerikanischen Markt. 16 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

17 Ergebnisse Treibende Kraft IT LOG

18 Hadoop und Data Lakes BI Competence Center und Data-Science-Team treiben Hadoop-Initiativen Der BARC Hadoop Survey 2015 zeigt die IT-Abteilung als Treiber und Vordenker für den Einsatz von Hadoop-Technologien und Data-Lake-Initiativen. Das Bild hat sich in der Zwischenzeit geändert. Mit 58% in Europa und 56% in Nordamerika steht namentlich das Business Intelligence Competence Center als treibende Kraft im Unternehmen mit Abstand an erster Stelle. Spezielle Organisationseinheiten wie Data-Science-Teams, Big Data Labs etablieren sich vor allem in Europa, wohingegen in den Nordamerika die IT-Anwendungsentwicklung sowie eigenständige Bereiche für Digitalisierungs- und Innovations initiativen die Hadoop-Themen treiben. Insgesamt verlieren reine IT-Abteilungen deutlich an Triebkraft. Ein Grund hierfür kann der große Bedarf an Analysen in den Fachabteilungen sein. Diese Entwicklung ruft vor allem die fachbereichsnäheren und Analyse-spezialisierten Organisationseinheiten auf den Plan. Treiber für Hadoop n=110 Europa Nordamerika BI-Organisation (BICC) 58% 56% Data Science Team 27% 24% (Big) Data Lab 26% 24% Fachbereich 22% 8% IT Anwendungsentwicklung 21% 36% Eigener Bereich für Digitalisierungs-/Innovationsinitiativen 20% 32% IT Innovationsbereich 19% 16% IT andere Bereiche 9% 4% 18 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

19 Ergebnisse Gründe und Nutzen IT LOG

20 Hadoop und Data Lakes Kommerzielle Software und Hadoop-Distributionen im eigenen Haus sind die erste Wahl zur Umsetzung Werkzeuge zur Umsetzung von Hadoop n=348 Kommerzielle Produkte Apache Hadoop Werkzeuge zur Umsetzung von Hadoop nach Softwarekategorie n=141 Datenspeicherung und Zugriff Apache Hadoop 40% Kommerzielle Produkte 45% Nicht anwendbar 14% 31% 27% Datenintegration und -qualität 28% 48% 23% System Management 25% 41% 34% Streaming 25% 22% 53% 42% Nicht anwendbar Governance und Security Fortgeschrittene Analyse und Visualisierung 23% 20% 31% 64% 16% 46% Fast ein Drittel der Befragten setzen zur Umsetzung von Hadoop-Projekten kommerzielle Produkte bzw. Hadoop-Distributionen ein. Mehr als Viewpoint ein Viertel (27%) nutzt Apache-Komponenten zum Aufbau eines eigenen Hadoop-Ökosystems, was ein erstaunlich hoher Wert ist, da für die Implementierung, Wartung und Betrieb doch ein tiefes Wissen notwendig ist um die Komponenten aufeinander abzustimmen und zu administrieren. Über 40% der Befragten geben an, die Komponenten für die umgesetzten Anwendungsfälle nicht zu kennen oder klar zuordnen zu können. Es bleibt anzunehmen, dass etwa die hohe Produktvielfalt in einem Hadoop-Ökosystem die technische Implementierung nicht immer ganz nachvollziehbar Viewpoint sein lässt. Anwender setzen auf on-premise Installationen Eine weitere Auswertung zeigt, dass bei der Softwareauswahl die Entscheidung zu 61% auf Hadoop-Distributionen fällt, die im Hause installiert werden. Nur wenige vertrauen dabei auf Managed Services (11%), Plattformen aus der Cloud (9%) oder aber Appliances (10%). Analyse und Visualisierung ist die klare Domäne kommerzieller Werkzeuge (64%). Ein Blick auf die Werkzeugklassen liefert weitere Erkenntnisse. Die Klassen Datenintegration und -qualität (48%), System Management (41%) und vor allem die fortgeschrittene Analysen und Visualisierung (64%) sind klar Viewpoint besetzt durch kommerzielle Werkzeuge und Hadoop-Distributi-onen. Lediglich im Bereich der Datenspeicherung hat Apache Hadoop als Open Source Framework eine vergleichbar hohe Nutzung im Vergleich zu den kommerziellen Werkzeugen bzw. Hadoop-Distributionen. Die Datenhaltung mit dem Hadoop Distributed File System (HDFS) zählt zu den ursprünglichen Basisfunktionen von Hadoop und ist entsprechend bekannter. Für die Kategorien Streaming (53%), Governance und Security (46%) haben ungefähr die Hälfte der Befragten keine Werkzeuge im Einsatz. Es scheint hier keine klar definierten Produkte zu geben. 20 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

21 Kosteneffizienz, funktionale Leistungs-/Innovationskraft und Betreibbarkeit sind Hauptgründe für den Einsatz von Apache Hadoop Hadoop und Lakes Gründe für den Einsatz von Apache Hadoop und kommerziellen Werkzeugen und Hadoop-Distributionen Apache Hadoop Kommerzielle Produkte Datenintegration und -qualität (n=121) Streaming (n=80) Datenspeicherung (n=120) System Management (n=91) Governance und Security (n=80) Fortgeschrittene Analyse (n=116) Kosteneffizienz/-Einsparung 37% 61% 29% 59% 33% 64% 33% 59% 45% 27% 47% 23% Funktionale Leistungs- /Innovationskraft 42% 47% 33% 48% 49% 40% 22% 40% 38% 32% 47% 52% Betreibbarkeit 30% 49% 41% 39% 36% 43% 38% 62% 55% 37% 35% 41% Vorhandene Skills/Know-how 30% 25% 26% 32% 28% 27% 31% 25% 31% 34% 29% 52% Integration in Gesamtarchi tektur/-systemlandschaft 27% 35% 26% 32% 26% 37% 31% 29% 38% 32% 41% 40% Einfachheit in der Anwendung 9% 24% 22% 45% 8% 18% 22% 27% 24% 15% 18% 44% Flexibilität in der Anwendungsgestaltung 24% 21% 19% 19% 21% 18% 9% 8% 28% 12% 41% 33% Umsetzungseffizienz 6% 31% 11% 32% 13% 22% 13% 15% 24% 29% 35% 24% Wartungseffizienz 9% 22% 11% 32% 13% 22% 13% 15% 24% 29% 35% 24% Governance und Metadatenmanagement 13% 6% 13% 4% 18% 9% 12% 9% 27% 10% 15% 18% Risikominimierung 6% 7% 4% 6% 9% 15% 9% 15% 10% 29% 18% 7% Skalierbarkeit 36% 28% 19% 23% 23% 30% 13% 17% 10% 24% 24% 21% Als Hauptgründe für die Wahl von Apache Open Source nennen die Teilnehmer mit Abstand Kosteneffizienz/-einsparung aber auch die funktionale Leistungs-/Innovationskraft und Betreibbarkeit. So werden mit der Wahl einer Apache-Open-Source-Komponente in allen abgefragten Werkzeugkategorien eben diese Gründe häufiger genannt als bei den kommerziellen Werkzeugen und Hadoop-Distributionen. Für kommerzielle Werkzeuge sprechen pro Werkzeugkategorie unterschiedliche Gründe für den Einsatz. Häufiger genannt werden auch hier die funktionale Leistungs-/Innovationskraft und Betreibbarkeit, aber auch die Anwendbarkeit im Bereich Streaming und der fortgeschrittenen Analyse BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 21

22 Hadoop und Data Lakes Customer Intelligence und Predictive Analytics sind die am häufigsten umgesetzten Hadoop-Projekte Unter allen Einsatzszenarien führen Customer Intelligence/Experience-Projekte (32%) dicht gefolgt von Predictive-Analytics-Projekte (31%) die Liste an. Für Customer Intelligence gibt es bereits relativ viele Einsatzszenarien, da zu Beginn des Big Data Hypes insbesondere Kunden im Mittelpunkt der Diskussion standen und heute bereits viele Daten zum Kunden, Kundenverhalten und den Kanälen verfügbar sind. Es wurden bereits einige Anwendungsbeispiele am Markt realisiert (bspw. Next best offer in Webportalen, Auswertung von POS-Daten). Für Predictive Analytics gibt es ebenfalls schon viele Einsatzszenarien. Es gilt als Vorzeigedisziplin für neuartige, explorative Analysen. Erst durch Predictive Analytics kann das Potential, das in Daten steckt, erkannt werden. Einsatzszenarien für Hadoop-Projekte n=148 Customer Intelligence/Experience Predictive Analytics (Auswertung von Sensordaten) Recommendation/Next Best Action Technischer Use Case z.b. Data Warehouse Offloading 13% 12% 32% 31% Eine Analyse der Einsatzszenarien nach Unternehmensgrößenklassen zeigt weitere Auffälligkeiten: Innovation Discovery 5% Kleine Unternehmen fokussieren deutlich häufiger auf technische Use Cases wie Data Warehouse Offloading. In mittelständischen Unternehmen ist Customer Intelligence ein Hauptthema und bei Großunternehmen steht Predictive Analytics im Vordergrund. Fraud Detection Sonstige 3% 4% Mittelständische und Großunternehmen nutzen deutlich mehr Clickstream-, Sensor- und Social-Media-Daten. 22 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

23 Wichtigste Mehrwerte durch Hadoop: bessere Analyse auf heterogenen Daten, besseres Kundenverständnis und -bindung sowie Steigerung der Flexibilität Hadoop und Lakes Nutzen von Hadoop-Initiativen n=144 Analyse von Daten aus heterogenen, divergenten Datenquellen ermöglichen/verbessern Kundenverhalten vorhersagen, Kundenbindung verbessern Steigerung der Flexibilität im Umgang mit Daten und in der fortgeschrittenen Analyse Erhöhung der Wettbewerbsfähigkeit Mehr/zusätzliche Daten kosteneffizient speichern und analysieren Verbesserung der Reaktionsgeschwindigkeit auf aktuelles Marktgeschehen Produkt- und Vertriebserfolg vorhersagen Betrug oder finanzielle Risiken vorhersagen Monitoring von Maschinen/Geräte und proaktive Wartung ermöglichen Sentiment/Stimmungs- und Trendanalysen Erhöhung des Umsatzes Monitoring und Optimierung von IT-Systemen und IT-Sicherheitsrisiken Effizienz operativer Prozesse erhöhen Wir können derzeit den fachlich-inhaltlichen Nutzen einer Hadoop-Initiative nicht bestimmen Weltweit 59% 53% 47% 43% 33% 33% 27% 26% 26% 25% 20% 19% 18% 6% Europa 65% 64% 51% 48% 35% 34% 25% 30% 28% 28% 19% 14% 14% 6% Nordamerika 50% 46% 42% 42% 27% 31% 42% 27% 23% 23% 23% 38% 35% 4% Der Einsatz von Hadoop erzielt in nahezu allen Bereichen Nutzen. Auf Platz 1 steht die übergreifende Analysemöglichkeit bzw. verbesserte Datenintegration (weltweit 59%), gefolgt von der Schaffung einer Plattform um Kundenverhalten vorhersagen bzw. die Kundenbindung verbessern zu können (weltweit 53%) als Nutzen der Hadoop-Initiative. Auf dem dritten Platz befindet sich die Steigerung der Flexibilität für die Analyse (weltweit 47%). In der länderspezifischen Betrachtung fällt auf, dass die nordamerikanische Stichprobe Hadoop über Kundenvorhersagen hinaus stärker für die Vorhersage von Produkt- und Vertriebserfolgen (42%), für das Monitoring und Optimierung von IT-Systemen (38%) sowie für die Effizienzerhöhung operativer Prozesse (35%) nutzt. Die Ergebnisse könnten dahingehend interpretiert werden, dass Nordamerika Hadoop breiter einsetzt, insbesondere neben dem Kunden auch stärker weitere Domänen wie Produkte untersucht und Hadoop stärker nutzt um operative Prozesse effizienter zu gestalten. Gerade im Letzteren sieht BARC mit das größte Potenzial von Daten. In der Entwicklung hin zum datengetriebenen Unternehmen, ist es wichtig, dass auch in operativen Prozessen vermehrt Daten(-analysen) gefolgt wird und nicht vordefinierten Abläufen und Regeln. Anwender sollen auf ergänzende Funktionen direkt in ihrem Fachprozess zugreifen und auf Basis der Erkenntnisse handeln der klassische Management-Regelkreis von Information zu Aktion wird geschlossen BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 23

24 Ergebnisse Data Lake IT LOG

25 Fast die Hälfte der Anwender weltweit bestätigen den Nutzen des Data Lake Hadoop und Lakes Anwendermeinungen zum Data Lake n=384 Weltweit Europa Viewpoint Nordamerika Data Lakes sind Voraussetzung für das datengetriebene Unternehmen 15% 13% 21% Der Data Lake ist wichtig um eine zentrale Anlaufstelle für alle Daten aufzubauen 32% 33% 21% Data Lake ist der neue Begriff für Data Warehouse, gemacht wird das Gleiche 24% 23% 31% Der Data Lake ist ein reiner Marketingbegriff ohne technische Innovation 11% 14% 7% Date Lake hat für mich keine Relevanz 13% 12% 12% Der Data Lake ist ein vieldiskutiertes Konzept bisher ohne ganz klare Definition. Viele sehen in einem Data Lake einen Datenspeicher, der strukturierte, semi- und unstrukturierte Daten nah am Rohdatenformat schemafrei vorhält. Die Struktur folgt mit der Anwendung, wenn die Daten gebraucht werden. Diese Definition lässt noch viele Fragen offen: Ist der Data Lake als Synonym für Hadoop und Big Data Technologien zu verstehen oder eher als Sammlung aller verfügbaren Datenspeicherkonzepte im Unternehmen? Ist der Data Lake ein physischer Speicher oder ein logisches Konzept? Welche Governance-Vorgaben sind an den Data Lake gestellt? Wie dem auch sei: Das Konzept hat Relevanz. 47% der Anwender weltweit bestätigen den Nutzen des Data Lake. 35% der Teilnehmer sehen in einem Data Lake althergebrachte Konzepte neu verkauft oder einen Marketingbegriff und 13% sehen keine Relevanz im Data-Lake-Konzept. Abweichungen im Regionenvergleich Im Regionenvergleich sehen über ein Fünftel der Befragten in Nordamerika das Konzept als Voraussetzung für das datengetriebene Unternehmen (Vergleich 13% in Europa). Sowohl in Europa (46% Befürworter, 37% Gegner) als auch in Nordamerika (42% Befürworter, 38% Gegner) spaltet sich die Gruppe der Befragten in zwei Lager. In Summe scheint es hier noch Unsicherheiten bezüglich des Nutzen zu geben bzw. könnte eine fehlende Definition und/oder überzogene Versprechen von Herstellerseite eine realistische Einschätzung des Konzeptes erschweren BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 25

26 Hadoop und Data Lakes Keine einheitliche Linie in der Nutzung zu erkennen Einhergehend mit der noch unpräzisen Definition ist auch keine einheitliche Linie in der Nutzung zu erkennen. Es zeigt sich aber eine Tendenz, das Konzept vorwiegend für Datenaufbereitung und Speicherung oder eine explorative Umgebung zu nutzen. Nutzung des Data Lake n=100 Europa Nordamerika Eine differenzierte Betrachtung der Data-Lake-Nutzung nach Regionen zeigt interessante Ergebnisse. So ist die Nutzung des Data Lakes in Nordamerika stärker an der Datenaufbereitung und -nutzung orientiert als in Europa. In Europa hingegen zeigt sich mit 78% deutlich, dass das Data-Lake-Konzept vornehmlich für die Speicherung von Roh-/ und Detaildaten genutzt wird. Speicher für Roh-/Detaildaten Ablaufumgebung für fortgeschrittene Analysen, Discovery, Exploration 54% 78% 38% 54% Datenaufbereitung/Datenintegration 53% 65% Datenarchiv 48% 46% Ablaufumgebung für klassisches BI 23% 31% Unterstützung operationaler Anwendungen 17% 19% 26 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

27 Ergebnisse Umsetzung IT LOG

28 Hadoop und Data Lakes Anwender sehen Hadoop vor allem als (potentielle) Technologie zur Umsetzung neuartiger Anwendungsfälle Haupttreiber für den Einsatz von Hadoop n=144 Durchschnitt Bis 250 Mitarbeiter Mitarbeiter Mehr als Mitarbeiter Technisch bessere Plattform für Dinge, die bisher schon gemacht werden 29% 22% 40% 27% Technisch neue Plattform für Dinge, die bisher nicht gemacht werden können 60% 65% 53% 62% Kostengünstiger Ersatz für Dinge, die heute bereits gemacht werden 10% 13% 3% 11% Die Frage nach den wichtigsten Treibern für den Hadoop-Einsatz zeigt eine deutliche Tendenz: Hadoop ist eine technisch neue Plattform für Dinge, die bisher nicht gemacht werden können geben sechs von zehn Umfrageteilnehmer an. Immerhin drei von zehn Umfrageteilnehmern sehen Hadoop als technisch bessere Plattform. Lediglich bei mittelständischen Unternehmen liegen die zwei Treiber Nutzung zur Optimierung durch technisch bessere Plattform und zur Umsetzung neuartiger Anwendungsfälle eng beieinander (40% zu 53%). Kosten hingegen werden durchschnittlich nur von einem von zehn Teilnehmern als wichtigster Treiber identifiziert. Dieses Ergebnis ist überraschend niedrig, denn Kosten wurden auch als Grund für den Einsatz von Hadoop-Komponenten in den Anwendungsfällen ausgewiesen. Die Ergebnisse belegen, dass der Einsatz von Hadoop in erster Linie durch neue analytische Herausforderungen getrieben wird und Kosteneinsparungen nicht als Haupttreiber gesehen werden. Galten Kosteneinsparungen lange Zeit als der entscheidende Vorteil von Hadoop, scheint damit heute ein differenzierterer Blick vorhanden zu sein. Hadoop kann kostengünstiger sein, abhängig vom Anwendungsfall muss es aber nicht sein. 28 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

29 Ergebnisse Herausforderungen IT LOG

30 Hadoop und Data Lakes Größte Herausforderungen sind fehlendes Know-how und Unsicherheit in der Nutzung Bereits im letzten Hadoop Survey wurden Unsicherheit in den Nutzungsmöglichkeiten und vor allem das fehlende technische aber auch fachliche Know-how als Herausforderungen für Hadoop klar herausgestellt. In dieser Umfrage ist es ähnlich. So führen das fehlende fachliche (54%) und technische (50%) Know-how klar die Liste der Herausforderungen an. Im Regionenvergleich gibt es ein paar Auffälligkeiten. In Europa wird beispielsweise stärker das fehlende Know-How Hadoop richtig einsetzen zu können (50%) als Herausforderung gesehen. Die nordamerikanischen Teilnehmer hingegen kämpfen häufiger mit fehlenden Sponsoren aus der Führungsebene (36%) oder der Benutzerfreundlichkeit von Hadoop (26%). Es scheinen viele über Hadoop zu reden, wenige setzen es überhaupt ein und die, die es einsetzen, scheinen darüber nicht viel erzählen zu wollen. Nachvollziehbar schließlich geht es um Wettbewerbsvorteile, wie die Auswertung zum Nutzen von Hadoop in dieser Umfrage ebenfalls bestätigt. Dem Markt fehlt es grundsätzlich noch an Erfahrung und Sicherheit rund um Hadoop und vor allem an Know-how- Trägern. Bekannte Kritikpunkte an das Hadoop-System wie Bedenken zu Datenschutz und -sicherheit stellen nur in jedem vierten oder fünften Fall eine Herausforderung dar. In puncto Datensicherheit zeigen sich in einer ergänzenden Branchenbetrachtung vor allem der Finanzsektor (33%) und die öffentliche Hand (38%) besorgt (Vergleich Industrie 18% und Handel 11%). Herausforderungen beim Einsatz von Hadoop n=309 Fehlendes fachliches Know-how im Unternehmen Fehlendes Know-how beim Aufbau und Betrieb einer Big-Data-Architektur Fehlendes Know-how Hadoop richtig einsetzen und nutzen zu können Fehlende überzeugende Einsatzszenarien Nutzen von Hadoop-Initiative ist nicht klar, kann nicht klar kann nicht klar kommuniziert werden Fehlende Sponsoren/Unterstützung aus der Führungsebene Bedenken im Hinblick auf Datenschutz oder Datensicherheit Kosten für die Implementierung einer neuen Technologie zu hoch Fehlende oder mangelnde Reife der Komponenten des Ökosystems Benutzerfreundlichkeit Kosten für die Schulung und Entwicklung zu hoch Es gibt keine Probleme beim Einsatz von Hadoop 0% 4% 4% 26% 27% 30% 26% 27% 24% 22% 20% 28% 21% 19% 26% 19% 16% 16% 12% 14% 10% 24% 26% 33% 34% 33% 31% 36% 41% 54% 54% 55% 50% 52% 45% 50% Weltweit Europa Nordamerika 30 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

31 Hadoop-Thesen auf dem Prüfstand IT LOG

32 Hadoop und Data Lakes Hadoop und Data Lakes verlangen weiterhin nach Aufklärung Dem Hype folgt die Ernüchterung und damit wächst die Erkenntnis, dass Hadoop und Data Lakes nicht das Allheilmittel für analytische Aufgaben sind. Auf der anderen Seite steckt aber auch viel Potential in der Technologie und in dem Konzept. Es bleibt einzufordern, dieses Bild weiter zu schärfen und Einsatz und Nutzen von Hadoop und Data Lakes anhand realer Erfahrungen transparenter und greifbarer zu machen. Denn dies scheint nach wie vor eine der größten Herausforderungen in der Diskussion zu sein. Um der Unsicherheit ein Stück weit entgegenzuwirken, hat BARC im Vorfeld der Umfrage einige provokante Thesen zu Hadoop und dem Data-Lake-Konzept gesammelt, diese wurden dann zum einen mit den Ergebnis der Umfrage verglichen und durch Kommentare der BARC-Analysten bewertet. Umfrageergebnis Konnte in der Umfrage nicht eindeutig beantwortet werden. Teilnehmer sehen Hadoop als eine von mehreren geeigneten Technologie zur Umsetzung des Data-Lake-Konzeptes. These Hadoop ist die präferierte Technologie zur Umsetzung eines Data Lakes. BARC-Analyse Für den Aufbau eines Data Lakes gibt es keinen klaren Leitfaden. Heute sind bei der Gestaltung eines Data Lakes unter anderem noch Fragen zu Metadaten-Management oder zu Anforderungen an den virtuellen/logischen Data Lake offen. Daher kann Hadoop nicht pauschal als präferierte Technologie genannt werden. Umfrageergebnis Wird von den Umfrageteilnehmern nicht als Hauptvorteil von Hadoop gesehen, aber auch nicht als Nachteil. Insofern ist eine grundsätzliche Eignung anzunehmen, ebenso wie bei den kommerziellen Werkzeugen und Hadoop-Distributionen. These Hadoop hat gegenüber klassischen BI-Werkzeugen funktionale Vorteile. BARC-Analyse Grundsätzlich ja, aber auch hier steht Individualprogrammierung der Plattformunterstützung gegenüber. Voraussetzung ist eine Grundausstattung unabhängig von den tatsächlichen Anforderungen. 32 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

33 Hadoop und Data Lakes verlangen weiterhin nach Aufklärung Hadoop und Lakes Umfrageergebnis Die Umfrage hat gezeigt, dass Flexibilität in der Anwendungsgestaltung ein Grund für Apache ist. Eine schnelle und einfache Implementierung (Stichwort Umsetzungseffizienz) wird eher als Grund für die Wahl kommerzieller Werkzeuge und Hadoop-Distributionen angeführt. These Hadoop ist flexibel, schnell und einfach zu implementieren. BARC-Analyse Hier steht Individualprogrammierung einer mangelnden, inhärenten Plattformunterstützung gegenüber. Ist mitunter abhängig vom verfügbaren Wissen um MPP (Massive Parallel Processing). Umfrageergebnis Ist das Ergebnis dieser als auch vorheriger Umfragen. These Hadoop unterstützt unterschiedlichste strukturierte Daten. BARC-Analyse Ja, im Sinne eines einfachen Dateisystems, Speicherung unterschiedlichsten Formaten, Schema kommt mit der Anwendung. Umfrageergebnis Trifft im Grunde zu, auch wenn dies nicht der Hauptgrund zur Nutzung von Hadoop ist. These Hadoop ist kosteneffizient. BARC-Analyse Kann, muss aber nicht. Viele denken in erster Linie an Lizenzkosten. Die Kosten hängen allerdings auch ab von Implementierung, Hardware und Betrieb BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 33

34 Hadoop und Data Lakes Hadoop und Data Lakes verlangen weiterhin nach Aufklärung Umfrageergebnis Wird von den Umfrageteilnehmern nicht als Hauptvorteil von Hadoop gesehen, aber auch nicht als Nachteil. Insofern ist eine grundsätzliche Eignung anzunehmen. These These Hadoop skaliert einfach und schnell mit wachsenden Datenvolumina und Workloads in parallelen Umgebungen. BARC-Analyse Grundsätzlich ja, aber hier steht Individualprogrammierung der Plattformunterstützung gegenüber. Voraussetzung ist eine Grundausstattung unabhängig von den tatsächlichen Anforderungen. Umfrageergebnis Hadoop wird in der Beschreibung der Anwendungsfälle als Technologie für die Analytik genutzt. Die Nutzung für eine Online-/ Real-Time-Verarbeitung kommt eher vereinzelt vor. These Hadoop kann für Analytik aber auch für Online-/ Real-Time-Verarbeitung genutzt werden. BARC-Analyse Grundsätzlich ja, aber hier steht Individualprogrammierung der Plattformunterstützung gegenüber. Analytik und transaktionale Anwendungen benötigen unterschiedliche Designs, Komponenten und Systemkonfigurationen. 34 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

35 Firmenprofile der Sponsoren IT LOG

36 Hadoop und Data Lakes Firmenprofile der Sponsoren Cloudera Unternehmensprofil Mit der ersten integrierten Big Data-Plattform auf Basis des Apache Hadoop -Frameworks gestaltet Cloudera die Datenverwaltung im Unternehmen von Grund auf neu. Cloudera bietet Unternehmenskunden integriertes Speichern, Bearbeiten und Analysieren all ihrer Daten und ermöglicht ihnen damit nicht nur eine effizientere Nutzung ihrer Systemlandschaft, sondern auch völlig neue Methoden der Datenverwertung. Nur Cloudera liefert sämtliche für den Aufbau eines internen Daten-Hubs erforderlichen Komponenten, einschließlich der Software für geschäftskritische Kernfunktionen wie Speicherung, Zugang, Verwaltung, Analyse, Schutz und Suche von Daten. Als führender Anbieter hat Cloudera weltweit bereits mehr als Hadoop -Experten geschult. Darüber hinaus sorgen über Partner und ein erfahrenes Serviceteam für den schnellstmöglichen Einsatz neuer Software. Nur Cloudera bietet den dynamischen und zukunftsorientierten Support, der Unternehmen darin unterstützt, ihren Enterprise Data Hub effizient einzusetzen. Führende Unternehmen aller Wirtschaftsbereiche, sowie staatliche Institutionen setzen bei der Verarbeitung und Analyse großer Datenvolumen auf Cloudera! Kontaktinformationen Cloudera GmbH Birketweg München 36 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

37 Firmenprofile der Sponsoren Hadoop und Lakes SAS Unternehmensprofil SAS ist mit über drei Milliarden US-Dollar Umsatz einer der weltweit größten Softwarehersteller und der größte Anbieter von Big-Data-Analytics-Software. Unternehmen an weltweit mehr als Standorten setzen SAS Lösungen ein, um aus ihren vielfältigen Geschäftsdaten auch im Zusammenspiel mit externen Daten (Big Data) konkrete Informationen für strategische und operative Unternehmensentscheidungen zu gewinnen (Analytics) und so ihre Wettbewerbsfähigkeit zu steigern. Big Data Analytics ist der Schlüssel dazu, die Digitale Transformation nicht nur zu bewältigen, sondern davon zu profitieren und die notwendigen disruptiven Prozesse im Unternehmen erfolgreich umzusetzen. Dank 40 Jahren Erfahrung auf dem Gebiet der Datenanalyse verfügt SAS dafür nicht nur über weitreichende Visionen die Technologie ist zugleich pragmatisch, bewährt, sicher und schnell produktiv einsetzbar. SAS kommt in der gesamten Wirtschaft und öffentlichen Verwaltung zum Einsatz. Kernbranchen sind Banken, Versicherungen, Handel und die Fertigungsindustrie. Banken steuern mit SAS ihre Prozesse und erfüllen mit SAS die Vorschriften von Aufsichtsbehörden. Versicherungen kommen mit SAS Versicherungsbetrügern auf die Spur. Händler optimieren ihre Kundenansprache und ihr Kampagnenmanagement oder steigern das Kundenerlebnis beim Online-Shopping. Industrieunternehmen steuern ihre Service- und Wartungsprozesse zum Beispiel so, dass Teile ersetzt werden, bevor sie auszufallen drohen. Big Data Analytics von SAS hilft Unternehmen, das Maximum aus ihren Daten herauszuholen. Ganz gleich, wie groß und wie komplex die Datenbestände sind SAS Software erkennt die relevanten Strukturen und Zusammenhänge. So werden Daten zu Erkenntnissen, die als Basis für sichere und vorausschauende Geschäftsentscheidungen dienen. SAS High-Performance Analytics nutzt intensiv die Möglichkeiten von Hadoop und In-Memory Computing für die wirtschaftliche und extrem schnelle Verarbeitung von Big Data. Zudem bietet SAS Unternehmen eine Plattform, um Daten zu analysieren, zu verbessern und zu kontrollieren und trägt somit dazu bei, die Datenqualität und Data Governance entscheidend zu verbessern. Alle Lösungen von SAS sind auch als Managed Services verfügbar und lassen sich sowohl in der Public Cloud, der Private Cloud oder in hybriden Cloud-Umgebungen nutzen. Ein Schwerpunkt liegt dabei auf Lösungen für Self-Service Business Analytics, mobile Business Analytics oder Datenvisualisierung, die es auch Fachabteilungen und der Managementebene ermöglichen, ohne besondere Statistikkenntnisse oder Unterstützung der IT-Abteilung wertvolle Erkenntnisse aus dem Datenmaterial zu ziehen. Hintergrund: SAS entstand im Rahmen eines Forschungsprojekts an der North Carolina State University. Das 1976 gegründete Unternehmen mit Sitz im US-amerikanischen Cary, North Carolina, beschäftigt mehr als Mitarbeiter in 59 Ländern weltweit. SAS Deutschland hat seit 1982 seine Zentrale in Heidelberg mit weiteren Niederlassungen in Berlin, Frankfurt, Hamburg, Köln sowie München und beschäftigt aktuell 520 Mitarbeiter. Zu den deutschen Kunden gehören zum Beispiel Allianz, Continental, Commerzbank, HUK Coburg, Fraport, DER Touristik, Nestlé, Galeria Kaufhof, BASF und die Meyer Werft BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 37

38 Hadoop und Data Lakes Firmenprofile der Sponsoren Talend Unternehmensprofil Talend (NASDAQ: TLND) ist ein führender Anbieter von Next-Generation-Lösungen in den Bereichen Big-Data- und Cloud-Integration und unterstützt Unternehmen bei der datengestützten Entscheidungsfindung. Hierzu wird der Datenzugriff optimiert und die Datenqualität erhöht. Daten stehen bei Bedarf schnell dort zur Verfügung, wo wichtige Entscheidungen in Echtzeit getroffen werden. Weil Talend das Thema Big Data mithilfe solcher Maßnahmen einfacher macht, können Unternehmen auf der Grundlage präziser Echtzeitdaten zu ihrem Geschäft, ihren Kunden und ihrer Branche richtig handeln. Die innovativen Open-Source-Lösungen von Talend ermöglichen das schnelle und effiziente Erfassen, Aufbereiten und Kombinieren von Daten aus einer breiten Palette von Datenquellen. So können Unternehmen diese Daten für jeden geschäftlichen Aspekt optimal nutzen. Talend hat seinen Sitz im kalifornischen Redwood City (USA). Weitere Informationen finden Sie unter Folgen Sie uns auch auf Kontaktinformationen Talend Germany GmbH Servatiusstrasse Bonn Deutschland Tel: sales.de@talend.com 38 Hadoop und Data Lakes 2016 BARC - Business Application Research Center, a CXP Group Company

39 Firmenprofile der Sponsoren Hadoop und Lakes Teradata Unternehmensprofil Teradata hilft Unternehmen dabei, größeren Nutzen aus ihren Daten zu ziehen. Mit unseren Big-Data-Analyselösungen erzielen Firmen nachhaltige Wettbewerbsvorteile. Die Experten von Teradata unterstützen Unternehmen bei der Auswertung ihrer Daten, sodass sie mehr über ihr Geschäft und ihre Kunden wissen und gezielt aktiv werden können. Mehr als Mitarbeiter in 43 Ländern betreuen die Kunden von Teradata, die im Konsumgüterbereich, dem Finanzwesen, der Automobilindustrie, dem Handel und vielen weiteren Branchen aktiv sind. Als zukunftsorientiertes Unternehmen wird Teradata von Medien und Analysten wegen seiner Technologiekompetenz, seiner Nachhaltigkeit, seines ethischen Handelns und seiner Unternehmenswerte anerkannt. Teradata Unsere Produkte Teradata-Plattformen fassen alle Daten eines Unternehmens zusammen und verhelfen so zu einem einheitlichen Blick auf alle entscheidungsrelevanten Daten. Durch die Integration unterschiedlicher Technologien in einer soliden Hybrid-Architektur sorgen wir dafür, dass einem Unternehmen jederzeit verlässliche Daten zur Verfügung stehen. Dieses Analyse-Ökosystem nennen wir Teradata Unifed Data Architecture. Mit der Teradata Hybrid Cloud bieten wir darüber hinaus eine abgestimmte IT-Umgebung, in der On-premise Systeme, Managed Cloud sowie Public Cloud im Sinne einer analytischen Gesamtarchitektur flexibel kombiniert werden. Teradata Unsere Services Die erstklassigen Beratungsdienstleistungen von Teradata verbinden eine patentierte Methodik mit umfassendem Branchenwissen und jahrelanger praktischer Erfahrung. Unsere Berater unterstützen bei Fragen der Architektur vom Data Warehouse, seiner Implementierung und Optimierung sowie in Sachen Enterprise Analytics, Datenmanagement und Managed Services. Neue Services für große Datenvolumen, wie z.b. die von Think Big, runden unser Beratungsportfolio ab. Think Big bietet fundiertes Expertenwissen über OpenSource Lösungen wie Hortonworks, Cloudera und MapR, und liefert darüber hinaus ein Set von eigenen Anwendungskomponenten und Big-Data-Analysen. Teradata ist wegen seiner Technologiekompetenz, Nachhaltigkeit, sozialen Verantwortung, seines ethischen Handelns und seiner Unternehmenswerte anerkannt. Weitere Informationen: BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 39

40 BARC- Firmenprofil IT LOG

41 BARC-Unternehmensprofil Hadoop und Lakes Das Business Application Research Center (BARC) Das Business Application Research Center (BARC) ist ein Forschungs- und Beratungsinstitut für Unternehmenssoftware mit Fokus auf die Bereiche Business Intelligence, Enterprise Content Management (ECM), Customer Relationship Management (CRM) und Enterprise Ressource Planning (ERP). BARC-Mitarbeiter sind seit 1994 in der Evaluation von Business-Intelligence- und ECM-Produkten und Beratung von Unternehmen tätig. Dabei vereinen die BARC-Analysten Markt-, Produkt- und Einführungswissen. Know-how-Basis sind die seit Jahren ständig durchgeführten Marktanalysen und Produktvergleichsstudien, die ein umfassendes Detailwissen über den Leistungsumfang aller marktrelevanten Software-Anbieter und neueste Entwicklungen im Markt sicherstellen. Neben dem Firmensitz in Würzburg unterhält BARC heute Niederlassungen in München, London, Wien und Zürich. BARC formt mit den Analystenhäusern CXP und PAC die führende europäische Analystengruppe für Unternehmenssoftware und IT Services mit Vorortvertretungen in acht Ländern. BARC ist aus den komparativen Produktanalysen am Lehrstuhl Wirtschaftsinformatik der Universität Würzburg, Prof. Dr. R. Thome hervorgegangen. In seiner Stellung als unabhängiges Institut beobachtet und analysiert BARC den Markt für Business Applications. In Beratungsprojekten, Software-Vergleichsstudien und auf Fachtagungen bringt BARC Transparenz und Vergleichbarkeit in den Software-Markt. Dabei ist BARC strikt unabhängig von Software-Anbietern. Dies bedeutet, dass keine Gebühren für die Aufnahme in Studien oder Provisionen bei der Empfehlung von Software erhoben werden. BARC bietet auch keine Implementierung von Software an, um keine internen Interessen zu erzeugen. BARC-Mitarbeiter evaluieren seit mehr als 20 Jahren Business-Intelligence- und Enterprise-Content-Management-Produkte und nutzen das so erlangte Wissen in Beratungsprojekten zur Software-Auswahl und IT-Strategie. Über Kunden jährlich, darunter mehr als 90 Prozent der DAX100-Unternehmen nutzen in vielfältiger Weise das Know-how der BARC-Analysten. BARC-Beratungsprojekte sind hoch effizient und gewährleisten ein Höchstmaß an Sicherheit bei Software-Auswahl und IT-Strategie. BARC-Studien bieten einen qualifizierten Marktüberblick und einen detaillierten Software-Vergleich. BARC-Tagungen und Seminare geben einen konzentrierten Eindruck aller relevanten Anbieter in verschiedenen Segmenten des Marktes für Geschäftsanwendungen BARC - Business Application Research Center, a CXP Group Company Hadoop und Data Lakes 41