Hadoop 2: Big-Data-Projekte erfolgreich realisieren

Transkript

1 The unbelievable Machine Company GmbH Grolmanstr. 40, Berlin Tel Fax Hadoop 2:

2 01 Die zunehmende Digitalisierung der Gesellschaft in allen Bereichen ist für Unternehmen Chance und Herausforderung zugleich. Die Chance besteht in der Generierung vielfältiger Datenstränge, die Herausforderung darin, diese auch wirtschaftlich sinnvoll und erkenntnisorientiert zusammen zu führen und auszuwerten. Das unter der Bezeichnung Big Data bekannt gewordene Aufkommen großer Datenmengen benötigt für die Auswertung spezielle Technologien und Algorithmen, um sie auf Ergebnisse zu reduzieren, die der Wertschöpfungskette zugeführt werden können. Eine der etabliertesten Technologien zur Umsetzung von Big-Data-Projekten ist die Open- Source-Lösung Apache Hadoop. Alternativ dazu gibt es z.b. In-Memory-Datenbanken, die große Mengen strukturierter Daten halten und verarbeiten können. Problem hierbei: Unstrukturierte Daten wiederum können nicht ohne weiteres verarbeitet werden, zudem handelt es sich bei den meisten Alternativen um kostenintensive Lizenzprodukte. Auch für Data-Warehouse oder Business-Analytics-Lösungen, die Hadoop integrieren, fallen solche Lizenzkosten an. De facto ermöglicht die Open-Source-Lösung Apache Hadoop einen smarten, weil sehr kostengünstigen Einstieg in die enterprisefähige Big-Data-Welt. Daher lohnt es sich die Möglichkeiten, die sich für Unternehmen ergeben, etwas genauer unter die Lupe zu nehmen.

3 02 Was ist eigentlich Big Data? Mit dem Begriff Big Data werden laut Wikipedia Daten- Mengen bezeichnet, die zu groß, oder zu komplex sind, oder sich zu schnell ändern, um sie mit händischen und klassischen Methoden der Datenverarbeitung auszuwerten. Verwendet wird der Begriff aber auch für die Technologien, die zum Sammeln und Auswerten dieser Datenmengen eingesetzt werden. Verantwortlich für die Entstehung der Daten sind verschiedene gesellschaftliche und technologische Entwicklungen. Eine IDC-Studie1 aus dem Jahr 2011 beschäftigte sich intensiv mit diesem Phänomen und entwickelte daraus ein Modell für die weitere Entwicklung der Datenmengen. Demnach wird sich das weltweite Datenvolumen alle zwei Jahre verdoppeln. Grund dafür sind neue Datenquellen wie beispielsweise RFID, Ambient Intelligence, Smartphones oder Sensorik, die durch Daten aus der Telekommunikation und dem Social Web ergänzt werden. Alleine die weiter ansteigende Nutzung der Smartphones sorgt für ein kontinuierliches Wachstum der Datenberge. Always on bedeutet nicht nur, überall und jederzeit das Internet zur Verfügung zu haben, sondern auch, überall und jederzeit Daten zu produzieren. Daten etwa 90 Prozent ausmachen. Mit herkömmlichen Analyseverfahren lassen sich diese Daten jedoch nicht sinnvoll und performant auswerten. Hier kommen neue Technologien ins Spiel, die speziell für diese Herausforderung entwickelt wurden. Hadoop: Open-Source-Lösung für Big-Data-Analysen Die Anforderungen an eine Big-Data-Analyse- Lösung sind sehr unterschiedlich, so dass es dafür keine Standardlösung gibt, die Out-of-the-Box funktioniert. Etabliert haben sich daher modulare & skalierbare Frameworks, die sich je nach Situation an die Anforderungen eines Unternehmens anpassen lassen. Das aktuell etablierteste Framework ist die Open-Source-Lösung Hadoop. Sie basiert auf dem von Google eingeführten Programmiermodell MapReduce und wird beispielsweise von Facebook oder Yahoo! eingesetzt. Bei Yahoo! arbeitete mit Doug Cutting auch einer der beiden Entwickler von Hadoop. Zusammen mit Mike Cafarella entwickelte er das komplett in Java programmierte Framework ursprünglich für die Open- Source-Suchmaschine Nutch. Volume Variety Velocity Big Data wird durch die drei Vs charakterisiert: Beliebig große Datenmengen (Volume) mit beliebig strukturierten (Variety) und beliebig schnelllebigen Daten (Velocity) und Datenströmen. Neue Herausforderungen stellen vor allem die unstrukturierten Daten dar, die beispielsweise in Form von Text, Dokumenten, Bildern oder Videos vorkommen können. Laut der IDC-Studie aus dem Jahr 2011 soll ihr Anteil an allen in den nächsten 10 Jahren produzierten Hadoop bestand in der Version 1 mehrheitlich aus zwei Komponenten, dem MapReduce-Programmiermodell und dem Hadoop Distributed File System (HDFS). Während das MapReduce-Modell erlaubt, Daten in zwei Phasen zu verarbeiten, was die Basis paralleler Berechnungen auf distribuierten Rechenclustern ist, stellt HDFS das dafür benötigte hochperformante Dateisystem zur Speicherung großer Datenmengen auf mehreren Rechnern bereit.

4 03 Hadoop 2: Noch mehr Performance bei größerer Ausfallsicherheit Seit der Version1 von Hadoop haben sich die Anforderungen an das Big-Data-Framework dynamisch weiterentwickelt. Um die Performance & Verfügbarkeit noch weiter auszubauen, wurde mit YARN eine neue Architektur eingeführt, die Datenhaltung und Datenverarbeitung noch klarer voneinander trennt. Das MapReduce-Modell ist auch in Hadoop 2 noch anwendbar, ist aber nur noch eines von mehreren möglichen Interface- und Programmiermodellen. Zudem wurde die Ausfallsicherheit weiter erhöht. In Hadoop 2 können nun auch gesonderte Namensräume angesprochen werden, über die sich im Dateisystem verschiedene Bereiche für den Test- und Produktiveinsatz einrichten lassen. So können Veränderungen am Setup in einem sicheren Bereich getestet werden, ohne dass das Livesystem beeinträchtigt wird. Zudem sorgen Schnappschüsse für die Sicherung von einzelnen Verzeichnissen oder ganzen Verzeichnisbäumen. Außerdem gibt es neue Komponenten für Realtime- und In-Memory- Verarbeitung (wie Spark oder Drill). Als Fazit lässt sich festhalten, dass Hadoop in der Version 2 Enterprisereife erlangt hat und ein für jeden Anwendungsfall und jedes Servicelevel passendes Setup im Repertoire hat. Da Hadoop immer mehr Anwender in Unternehmen findet, sorgen Wrapper für Python, R & Co. sowie mehr und mehr SQL-Interfaces wie Hive, Impala und zukünftig Drill für Freiheit in der Wahl der Programmierschnittstelle zu den Daten. Darüber hinaus unterstützen immer zahlreicher werdende Software- und PaaS-Lösungen, die über eine funktionale und nutzerzentrierte Benutzeroberfläche die hohe Komplexität von Big- Data-Technologien reduzieren, Hadoop 2 und seine Komponenten. Eine solche Flexiblität kann nur durch Open Source gewährleistet werden. Das umfangreiche Hadoop-Ecosystem entfaltet sich immer mehr und bringt zahlreiche Dienste wie zum Beispiel Impala, Spark, Storm oder Mahout hervor. Nicht zuletzt dadurch erlangt Hadoop 2 eine Enterprisereife, die Investitionen in Big-Data-Lösungen schon heute zukunftsfähig machen.

5 04 Investitionen in Big Data steigen rasant Der Branchenverband der deutschen Informationsund Telekommunikationsbranche BITKOM legte im Frühjahr 2014 eine Marktprognose2 für den Bereich Big Data vor. Demnach wächst der Weltmarkt für Big Data rasant. Der globale Umsatz steigt im Jahr 2014 auf 73,5 Milliarden Euro, eine Steigerung von 66 Prozent im Vergleich zum Vorjahr. Dieser Trend wird auch weiter anhalten. Das zeigen die Berechnungen des IT-Marktforschungs- und Beratungsunternehmens Crisp Research, das die Prognose im Auftrag des BITKOM aufgestellt hat. Bis 2016 soll der Big-Data-Markt demnach jährlich um durchschnittlich 46 Prozent wachsen. Insgesamt soll sich der Markt innerhalb von fünf Jahren von 23,6 Milliarden Euro (2011) auf 160,6 Milliarden Euro (2016) versiebenfachen. Die größten Treiber sind dabei die so genannten datenbasierten Produkte und Analytics-Services, die 2014 um 64 Prozent auf weltweit 63,4 Milliarden Euro zulegen sollen. Zu diesem Teilbereich gehören auch viele Anwendungsfelder, die durch Big Data überhaupt erst möglich werden, beispielsweise sensorgesteuerte Informationssysteme für den Verkehr, intelligente Steuerungssysteme für Gebäude und Infrastruktur sowie Optimierungssysteme für den Handel und Serviceangebote für Consumerbereiche wie Lifestyle, Fitness und Gesundheit. Diese Zahlen zeigen die wachsende Bedeutung von Big Data und dessen zielgerichtete Auswertung. Der Einsatz entsprechender Lösungen findet mittlerweile in fast allen Branchen statt und wird mehr und mehr von der Unternehmensgröße entkoppelt. 11% 5% 27% 30% 31% % % 15% 15% 19% 58% investing or planning 64% investing or planning Haben in Big Data Technologie investiert Innerhalb der nächsten Jahre geplant Innerhalb von 2 Jahren geplant Keine Pläne in dieser Zeit Weiß nicht

6 05 Für wen eignet sich Hadoop? Big-Data-Lösungen auf der Basis von Hadoop eignen sich für Unternehmen aus allen Branchen, in denen größere Mengen Daten generiert werden. Die Unternehmensgröße spielt dabei keine wesentliche Rolle. Sobald es darum geht, Datenprodukte beliebiger Form zu kreieren, bietet sich Hadoop als Lösung an. Besonders im Fokus stehen internetaffine E-Business-Unternehmen, Startups und Konzerne, die Daten aus verschiedensten Quellen und mit unterschiedlichster Struktur vereinen und auswerten wollen. Dabei können beliebige interne Quellen wie Daten aus CRM- oder ERP-Systemen mit beliebigen externen Datenquellen, beispielsweise Daten aus Webdiensten, gebündelt und analysiert werden. Das Ziel ist dabei eine intelligente Verknüpfung der verschiedenen Datenstränge, die einzigartige Datenpools ergeben. In diesen Datenpools stecken bislang unentdeckte Erkenntnisse über: Kunden und Produkte, Marken, Märkte und Wettbewerber, Prozesse und Systeme, die in neue Prozesse, Applikationen und Services übersetzt werden können. Das Datenprodukt kann dabei unternehmensintern genutzt werden, aber auch eine externe Nutzung für B2C- oder B2B-Prozesse ist denkbar und möglich. HP und *um mit gemeinsamem Technologie-Stack Bei allen Big-Data-Lösungen werden hohe Anforderungen an die Hardware und die Software gestellt. Um hier eine ideale Verbindung herzustellen sind Hewlett Packard (HP) Deutschland und The unbelievable Machine Company (*um) eine strategische Partnerschaft eingegangen. HP liefert die auf die Anforderungen optimierte Hardware, welche *um unter Einsatz der Open-Source-Lösung Hadoop für die Umsetzung von Big-Data-Projekten ihrer Kunden nutzt. Es stehen dabei zwei unterschiedliche Produkte zur Verfügung: Managed Hadoop und Hadoop-as-a-Service.

7 06 Managed Hadoop Bei diesem Produkt handelt es sich um eine Hadoop- Cluster-Lösung mit dedizierter physikalischer Hardware. Die Referenzarchitektur von HP Deutschland und *um nutzt dafür HP Gen8 DL Server-Hardware und setzt auf eine dedizierte IT-Infrastruktur mit integrierten Firewall- Konzept und weiteren Sicherheitsmerkmalen. Die umfangreich getestete Referenzlösung ist optimal auf die hohen Anforderungen von Big-Data-Lösungen abgestimmt und bietet eine hohe Performance bei gleichzeitig hoher Ausfallsicherheit. Managed Hadoop bedeutet bei diesem Produkt, dass das komplette System entsprechend dem konkreten Anwendungsfall angepasst wird (zum Beispiel Auswahl und Anzahl der CPUs, RAM und Festplatten). Zudem wird der Betrieb in einem 24/7-Service rund um die Uhr per Monitoring überwacht. Im Falle eines Fehlers können so schnell geeignete Wiederherstellungsmaßnahmen eingeleitet werden. Betreut wird der komplette Stack von der Hardware bis zur Software mit beliebiger Distribution. *um HP Hadoop 2.0 Netzwerktopologie Internet Firewall Cluster Switch Cluste r Management Se rver Mgmt Services Namenode 1 and 2 + Failover Controller Resource Manager * Job History Server HDFS Server Datanode/Nodemanager 1, 2,3, 4 and N* Zookeeper 1,2 and 3 + Journalnode 1, 2 and 3

8 07 Hadoop-as-a-Service Dieses Paket besteht aus einem Hybrid-System, bei dem sowohl dedizierte Hadoop-Cluster als auch virtualisierte Cluster eingesetzt werden. Über ein einheitliches Client-Interface können Kunden jederzeit dynamisch Rechenressourcen und Hadoop-Systeme für beliebig große Datenmengen in der *umcloud hinzufügen. Auch Hadoop-as-a-Service wird mit einem 24/7-Service rund um die Uhr per Monitoring überwacht. Hadoop-as-a-Service trennt dedizierten Data Storage von cloud-basierten Hadoop-Clustern und kann nach Belieben skaliert werden. Das macht die Lösung für Big- Data-Anwendungen sehr dynamisch und gleichzeitig kosteneffizient. Das System ist zudem mehrfach redundant, hochverfügbar und sehr sicher. Für die Einhaltung der deutschen Datenschutzgesetze sorgen die mehrfach zertifizierten Rechenzentren mit ihren Standorten in Deutschland. Managed Hadoop oder Hadoop-as-a-Service? Die Anforderungen an eine Big-Data-Analyse-Lösung sind sehr unterschiedlich. Die konkreten Prozesse liegen zwischen permanentem Betrieb und zyklischer Abfrage im Wochen- oder Tagesrhythmus mit gleichbleibenden oder sehr variablen Datenmengen. Sollen die Ressourcen des Clusters permanent und mit einer maximalen Performance genutzt werden, so geht die Entscheidung tendenziell in Richtung Managed Hadoop. Computation I/O Data I/O Hadoop-as-a-service Elastic Compute Clusters Dedicated Storage Clusters *umcloud

9 08 Anwendungsbeispiel Medien Die Ausgangslage: Die Deutsche Welle produziert täglich neue Web-Videos und weitere Formate für das eigene Mediacenter. Diese Bewegtbildinhalte werden auf den führenden Online-Video-Plattformen (beispielsweise YouTube und Daily Motion) in verschiedenen Sprachkanälen veröffentlicht. Auch länderspezifische Plattformen wie tudou und youku werden beliefert. Problemstellung: Die Entwicklung der aktuell mehr als Videos auf allen Plattformen soll überwacht und mit Kenngrößen wie Nutzungszahlen, Likes oder Kommentaranzahl ausgezeichnet werden. Zielsetzung: Schaffung einer plattformübergreifenden Interface-Lösung, die alle benötigten Kenngrößen auf einen Blick anzeigt. Lösung: Eine Big-Data-Lösung auf der Basis von Hadoop und HBase fragt stündlich die Kenngrößen bei allen Plattformen ab und überträgt sie in ein browserbasiertes Interface. Hier können die Daten nach Bedarf von Mitarbeitern der Deutschen Welle eingesehen werden. Anwendungsbeispiel E-Commerce Die Ausgangslage: Im E-Commerce entstehen täglich riesige Datenmengen, die durch die Shopbesucher generiert werden. In vielen einzelnen Sessions werden Suchen getätigt, Navigationselemente genutzt, Artikel angesehen, Warenkörbe gefüllt, Bestellungen abgeschlossen oder Einkäufe abgebrochen. Zielgerichtete Auswertungen dieser Daten liefern beispielsweise Hinweise zur Optimierung des Shops oder machen verschiedene Trends sichtbar, wie die angesagtesten Produkte oder oft in Kombination gekaufte Artikel. Problemstellung: Online-Shops entwickeln sich zum Teil sehr rasant, so dass deren Infrastruktur schnell an ihre Grenzen stößt. Viele große E-Commerce-Angebote führen täglich umfangreiche Analysen ihrer Shopdaten durch und nutzen dafür die weniger frequentierten Zeiten in der Nacht. Bei der Verwendung traditioneller Datenbanken und Analysesysteme reicht ab einer gewissen Kundenzahl die Zeit nicht mehr aus. Zielsetzung: Die Analyse der Shopdaten soll zeitlich flexibler und schneller werden. Lautet die Herausforderung des Kunden dagegen, Analysen großer Datenmengen in regelmäßigen Abständen durchzuführen, so geht die Tendenz eher zu Hadoop-as-a-Service. Exemplarisch sei hier die Vorberechnung der Recommendations eines Online- Shops genannt, die einmal am Tag durchgeführt werden müssen. Lösung: Eine Hadoop-as-a-Service-Lösung mit einem dedizierten Datenspeicher und beliebig vielen virtuellen Hadoop-Clusterrechnern erledigt die Analyse innerhalb einer Stunde. Dabei werden die Daten aus der relationalen Datenbank in das Hadoopsystem importiert, dort analysiert und dann wieder zurück in die klassische Datenbank gespielt. Auf diese Weise wird das bestehende System nicht ersetzt, sondern sinnvoll ergänzt.

10 09 Anwendungsbeispiel: Industrie 4.0 Die Ausgangslage: Die Digitalisierung erreicht mehr und mehr die klassische Industrie und die Unternehmen stehen vor der Aufgabe, wie sie den Wandel zur intelligenten Fabrik umsetzen wollen. Da die Optimierung der Produktionsabläufe bezüglich der Materialien, der Maschinen und deren Laufzeiten oft schon ausgereizt wurde, lässt sich weiteres Potenzial nur über komplexe Analysen identifizieren. Eine detaillierte, prozessorientierte Betrachtung setzt hochperformante Systeme voraus, die mit großen Datenmengen umgehen können. Weitere Einsatzszenarien Hadoop-2-Systeme lassen sich in vielen weiteren Bereichen einsetzen. Überall dort, wo große Datenströme mit beliebig strukturierten Daten gebündelt und ausgewertet werden sollen, bietet sich ein Hadoop- Stack an. Denkbar sind unter anderem folgende Einsatzszenarien: Marketing: zentrales Datamanagement für beliebig strukturierte Daten aus Quellen wie Web Analytics, Social Media, Advertising, Campaigning. Problemstellung: Moderne Produktionsstraßen sind mit einer Vielzahl von Sensoren, Lichtschranken und anderen Datenquellen ausgestattet. Komplexe Produktionssysteme produzieren schnell mehrere tausend Datensätze pro Sekunde, die zudem unterschiedlich strukturiert sein können. Um diese Daten analysieren zu können, müssen sie zunächst gespeichert werden, was herkömmliche Datenbanksysteme schnell überfordert. Organisation: Echtzeitsysteme für Warenwirtschaft, Lagerhaltung, Versandabwicklung. Prozessoptimierung: Optimierung von Einzelprozessen innerhalb komplexer Produktionsketten. Handel: Absatzprognosen, Trendanalysen, Retargeting, Predictive Buying. Lösung: Hadoop 2 kann in Verbindung mit Real-Time Applications wie Spark oder Storm sehr große Datenmengen aufnehmen und in Echtzeit analysieren. Die Ergebnisse in Form von detaillierten Einblicken in den Gesamtprozess zeigen neue Potenziale für die Prozessoptimierung auf, beispielsweise für die Energieeffizienz. Internet of Things: Connected Cars, intelligente Verkehrsführung, Smarter City.

11 10 1 In welcher Branche bin ich/ist mein Unternehmen tätig? Medien/Werbung 5 Finance (Banken/ Versicherungen) 5 E-Commerce/ Retail (on-/offline) Industrie 4.0 Warenwirtschaft/Logistik Public Data 6 2 Wie groß ist mein Unternehmen? Kleinunternehmen Start-Up Mittelständler Konzern 4 3 Liegt ein datengetriebenes Geschäftsmodell vor? Empfehlung: Halten Sie die Marktentwicklung im Auge und werden Sie ggf. zu einem späteren Zeitpunkt aktiv. Nein Ja 4 Will mein Unternehmen in Big-Data-Projekte investieren? Nein Ja R.I.P 5 Habe ich große Mengen an Daten? Empfehlung: Klären Sie dringend, welche Datenflüsse und Informationen in Ihrem Unternehmen urbar gemacht werden können! Nein Ja

12 Empfehlung: Klären Sie dringend, welche Datenflüsse und Informationen in Ihrem Unternehmen urbar gemacht werden können! Nein Ja Hadoop 2: 11 6 Sind meine Daten gut zugänglich? Nein Ja 7 Sind meine Daten strukturiert oder unstrukturiert? Strukturiert Unstrukturiert 8 Will mein Unternehmen ein großes Budget in Big-Data-Technologien investieren? Empfehlung: Greifen Sie auf lizenzpflichtige Lösungen zurück (z.b. In-Memory- Lösungen) Ja Nein J 9 Habe ich bereits konkrete Fragestellungen/Analysekriterien? Nein Ja Empfehlung: Sprechen Sie dringend mit einem Data Scientist! 10 Sind zyklische oder permanente Analyseintervalle gewünscht Zyklisch Permanent Empfehlung: Hadoop-asa-Service! Empfehlung: Managed Hadoop!

13 12 Fazit Die zunehmende Digitalisierung der Gesellschaft bietet den Unternehmen eine Vielzahl an Daten über ihre Prozesse und ihre Kunden. Big-Data-Analysen geben Unternehmen dazu jetzt auch die notwendigen Werkzeuge zur Überführung dieser Daten in die Wertschöpfungskette an die Hand. Sie sind der Schlüssel zum Verstehen der Kunden und zur Optimierung der internen Prozesse. Die Investitionen in diesen Bereich steigen sehr stark, so dass Big Data sich schon bald von einem Wettbewerbsvorteil für die Early Adopter zum etablierten Standard weiterentwickeln wird. Die Last Mover unter den E-Business-Unternehmen werden dann einen Wettbewerbsnachteil haben, der sie zum Handeln zwingt. Die Hadoop-Cluster-Lösungen von HP und *um sind genau auf die Anforderungen von Big Data zugeschnitten und bieten in ihren verschiedenen Ausführungen viel Flexibilität, Dynamik und Sicherheit. Ergänzt wird das Angebot von *um in Form einer professionellen Beratung durch das Data Science Team sowie die Umsetzung aller notwendigen Anpassungen an eingesetzten Systemen und der spezifischen Hadoop-Lösung bis hin zum kompletten Re-Engineering bestehender Systeme und Anwendungen

14 13 Kontakt und Beratung Klaas Bollhoefer Chief Data Scientist Tel.: