Der Einfluss von Hadoop 2.0 auf neue Big-Data-Technologien

Transkript

1 eguide Hadoop 2.0 auf neue und EDELWEISS/FOTOLIA

2 Big- Unternehmen haben sich bis jetzt auf die Cloud für ihre Hadoop-Projekte verlassen doch dies ändert sich jetzt, und immer mehr Kunden wollen wissen, wie sie Hadoop On- Premises nutzen können. Dieser eguide erörtert den Einfluss von Hadoop 2.0 auf, sowie auch die Herausforderungen von Hadoop-Cluster auf Big-Data- Analytiks. Big-Data- Technologien Von Nicole Laskowski Unternehmen, die sich früh auf Big-Data-Territorium gewagt haben, verließen sich auf die Cloud für ihre Hadoop-Pilotprojekte. Laut Merv Adrian, Analyst bei Gartner, ändert sich das aber derzeit. Mittlerweile fragen immer mehr Kunden nach, wie sie Hadoop On-Premise nutzen können. Beobachtungen wie diese zeigen, wie schnell sich und die damit verbundenen Technologien weiterentwickeln. Das ist besonders der Fall seit Hadoop 2.0 (beziehungsweise 2.2.0) im Oktober letzten Jahres für alle Anwender verfügbar ist, argumentieren Adrian und sein Kollege Nick Heudecker. Die aktualisierte Version des Frameworks der Apache Software Foundation war aufgrund der neuen Funktion YARN (Yet Another Resource Negotiator) im Herbst letzten Jahres in den Schlagzeilen. Damit beendet Hadoop die Stapelverarbeitung und wird zu einer Echtzeit-Lösung. Die Gartner-Analysten sind sich sicher, dass die robustere Version zu einem weiteren Aufwärtstrend für Hadoop-Implementierungen führt. Da die Anwender immer mehr Erfahrungen sammeln, erwarten wir, dass sie größere Projekte erstellen werden, sagt Adrian während eines Webinars, das er zusammen mit Heudecker veranstaltete. Doch nicht nur größere Projekte, sondern auch völlig neue Projekte kommen hinzu, die miteinander in einer Weise interagieren können, wie es bisher nicht möglich war. Hadoop 2.0 könnte sogar in der Lage sein, tiefer in ein Unternehmen vorzudringen Seite 1 von 9

3 Big- und mit anderen Technologieschichten verbunden zu werden. Und während die meisten Firmen Big-Data-Anwendungen dafür nutzen, um transaktionale Daten zu verarbeiten, kann Hadoop 2.0 Firmen dabei helfen, unstrukturierten und semi-strukturierten Daten zu beackern, so die beiden Analysten. Schiebt man die Werbeversprechen beiseite, ist Hadoop 2.0 aber nicht fehlerfrei. Eine wesentliche Schwäche ist Security - oder besser deren Fehlen. Es ist wichtig zu beachten, dass diese Systeme größtenteils in webzentrierten Unternehmen aufwuchsen, die in erster Linie mit öffentlichen Daten arbeiten, erläutert Heudecker. Wenn mehr Unternehmen diese Technologie implementieren, müssen sie die Sicherheitlücke schließen. CIOs sollten davon ausgehen, dass Security und die großen Themen dieses Jahr sein werden. Diese Themen befinden sich bereits auf der Agenda einiger Anbietern, darunter Dataguise, Gazzang, Protegrity USA und Zettaset, so Adrian. Vieles, was sich mit beschäftigt, kombiniert verschiedener Datenströme mit dem Ziel, eine breitere, umfassendere Sicht auf die Kunden zu bekommen. Dadurch sind natürlich viele besorgt, wie sie den Datenschutz gewährleisten, ergänzt er. Hadoop-Anbieter reagieren auf den Markt Während des Webinars bot Adrian einen Überblick verschiedener Hadoop- Anbieter. Dabei erläuterte er auch, wie sich das Big-Data-Angebot einzelner Anbieter gestaltet, an wen sich die Lösungen richten und wohin sich der Markt entwickelt. Eine kurze Zusammenfassung: 1. Amazon Web Services (AWS): Die Kunden von AWS arbeiten mit Cloud-Anwendungen oder sind dabei, ihre Datenverarbeitung in die Cloud zu verlegen. Dabei diskutieren sie wenig über hybride On- Premise-/Cloud-Umgebungen. 2. Cloudera: In diesem Modell bewegt sich Hadoop auf das Zentrum der Data-Center-Architektur zu. Zudem wird es mit neuen und vorhandenen Systemen verbunden. Allerdings sollte man nicht erwarten, dass es in absehbarer Zeit vollständig verfügbar ist. Bei diesem Angebot steht vor allem die Marketing-Botschaft im Seite 2 von 9

4 Big- Vordergrund, sagt Adrian. Dahinter steht die Hadoop-Community, die eine künftige Version von Hadoop und dessen erwartete Rolle beschreibt. 3. Hortonworks: Das Yahoo-Spinoff fügt keine weiteren Bausteine zu seiner Distribution hinzu. Das bedeutet, wenn ein Unternehmen sich entscheidet, neue Bestandteil zu ergänzen, die nicht von Apache sind, müssen Sie diese Integration selbstständig machen, so Adrian. 4. International Business Machines (IBM): Laut Adrian versucht IBM mit allen Mitteln, Hadoop mit dem Rest seines Softwareangebot zu verbinden. 5. Intel: Nach Intel sollte man 2014 Ausschau halten. Das Unternehmen versucht, seine Kernkompetenzen für die Verbesserung von Performance und CPU-Leistung einzusetzen. Das umfasst auch die Security, so Adrian. 6. MapR Technologies: Das Unternehmen konzentriert sich auf Performance und Enterprise-Eigenschaften. Außerdem wird es weiterhin seine Unterstützung für den direkten Zugriff auf das Netzwerkdateisystem hervorheben. Das heißt, dass weniger Daten verschoben werden sollen. 7. Pivotal Software: Adrian nennt Pivotal Software einen interessanten Akteur mit einer guten Perspektive. Das Unternehmen fokussiert sich darauf, wie Sensornetzwerke und In- Memory- sowie Echtzeitverarbeitung eine Firma verändern, sagt er abschließend. Seite 3 von 9

5 Big- Big- Data-Analytik Von Brien Posey In den letzten Jahren hat die zugenommen. Trotzdem haben viele Unternehmen entdeckt, dass ihre bestehende Data-Mining- und Analysetechniken nicht für den Umgang mit großen Datenmengen geeignet sind. Eine mögliche Lösung ist es, Hadoop-Cluster zu verwenden. Sie eignen sich aber nicht für jede Situation. Betrachten wir einige der Vor- und Nachteile von Hadoop-Clustern. Was sind Hadoop-Cluster? Ein Hadoop-Cluster ist eine Cluster-Sonderform, die speziell für die Speicherung und Analyse von einer großen Menge an unstrukturierten Daten entwickelt wurde. Ein Hadoop-Cluster ist im Wesentlichen ein Datenverarbeitungscluster, der die Datenanalyse-Arbeitsauslastung auf mehrere Clusterknoten verteilt, um die Daten parallel zu verarbeiten. Vorteile des Hadoop-Clusters-Aufbaus Der Hauptvorteil bei der Verwendung von Hadoop-Cluster ist, dass sie ideal geeignet sind um große Datenmengen zu analysieren. tendiert zu weit verbreiteten und weitgehend unstrukturierten Datenmengen. Hadoop ist gut geeignet, da es die Daten in Teilstücke partitionieren und die Teile bestimmte Cluster-Knoten für die Analyse zuweist. Die Daten müssen nicht einheitlich sein, da jedes Datenteil von einem separaten Prozess auf einem anderen Cluster-Knoten verarbeitet wird. Ein weiterer Vorteil von Hadoop-Cluster ist die Skalierbarkeit. Eines der Probleme großer Datenanalyse ist, dass ständig wächst. Darüber hinaus ist besonders nützlich, wenn es in Echtzeit analysiert oder zeitnah wird. Ein Hadoop-Cluster hilft sicherlich mit der parallelen Verarbeitung bei der Analyse-Geschwindigkeit, allerdings wächst das Volumen der zu analysierenden Daten. Die Cluster-Verarbeitungsleistung kann sich als unzureichend erweisen. Glücklicherweise ist es möglich, Hadoop-Cluster zu skalieren, indem zusätzliche Cluster hinzugefügt werden. Seite 4 von 9

6 Big- Ein dritter Vorteil von Hadoop-Clustern sind die Kosten, da diese eine sehr kostengünstige Lösung sein können. Es gibt zwei Hauptgründe, warum Hadoop-Cluster in der Regel günstig sind. Bei der erforderlichen Software handelt es sich um Open Source. Tatsächlich können Sie Apache Hadoop kostenlos herunterladen. Außerdem können die Kosten durch Standard- Hardware reduziert werden. Es ist möglich einen leistungsfähigen Hadoop- Cluster zu erstellen, ohne ein Vermögen für Server-Hardware auszugeben. Ein weiterer Vorteil von Hadoop-Clustern ist ihre Robustheit. Wenn ein Teil der Daten für die Analyse zu einem Knoten gesendet wird, werden die Daten auch auf andere Knoten im Cluster repliziert. Auf diese Weise sind bei einem Knotenausfall zusätzliche Kopien der Daten an anderen Stellen vorhanden und können analysiert werden. Das spricht gegen Hadoop-Cluster Trotz ihrer vielen Vorteile sind Hadoop-Cluster keine geeignete Lösung für alle Unternehmen, die Datenanalyse benötigen. Eine Firma mit relativ wenigen Daten könnte beispielsweise nicht von einem Hadoop-Cluster profitieren, auch wenn diese Daten eine intensive Analyse erfordern. Ein weiterer Nachteil besteht darin, dass die Cluster-Lösung auf der Idee basiert, dass Daten zerlegt und durch parallele Prozesse auf getrennten Cluster-Knoten analysiert werden. Wenn die Analyse für den Einsatz in einer parallelen Verarbeitungsumgebung nicht angepasst werden kann, ist ein Hadoop-Cluster nicht das richtige Werkzeug. Der größte Nachteil dürfte darin bestehen, dass eine deutliche Einarbeitungszeit mit dem Aufbau, dem Betrieb und der Unterstützung der Hadoop-Cluster notwendig ist. Sollten Sie den Aufbau eines Hadoop-Clusters erwägen? Die Antwort hängt davon ab, wie sich Ihre Datenanalyse-Bedürfnisse mit den Hadoop-Cluster-Fähigkeiten vereinbaren lassen. Wenn Sie nicht sicher sind, ob ein Hadoop-Cluster von Vorteil sein könnte, laden Sie Apache Hadoop herunter. Installieren Sie Hadoop testweise auf Ersatzhardware, um zu sehen, wie es funktioniert, bevor Sie einen Large-Scale-Cluster aufsetzen. Seite 5 von 9

7 Big- mit Hive, Mahout, HBase und Cassandra Von Jason Tee Software-Entwickler, die Architekturen für Big-Data-Lösungen entwerfen, kennen mit Sicherheit eine interessante Technologie. Sie umfasst SQL- Datenbanken, NoSQL-Datenbanken, unstrukturierte Daten, Dokumentorientierte Datastores und höchst aufwendige Berechnungen für Business- Analytik. Richtig geraten: Die Rede ist von Hadoop. Zugleich ist das Framework ein gemeinsamer Nenner für Giganten wie Amazon, Yahoo, AOL, Netflix, ebay, Microsoft, Google, Twitter und Facebook. Auch IBM ist mit von der Partie und fördert Hadoop für Enterprise-Analytik. Das Open- Source-Produkt ist so allgegenwärtig, dass man kaum glauben mag, dass es erst seit etwa fünf Jahren existiert. Die Zukunft von Hadoop Um zu verstehen, was sich in dieser Zeit getan hat, haben wir mit Chuck Lam gesprochen, dem Autor des Buches Hadoop in Action. Nach seinen Worten zeigt Hadoop keine Neigung, sich auf seinen Lorbeeren auszuruhen: Das gesamte Ökosystem hat sich definitiv weiterentwickelt und stark verändert. Jetzt gibt es sogar eine offizielle 1.0-Version. Noch wichtiger: Das zugrundeliegende Programmier-Modell für MapReduce wurde ebenfalls merklich überarbeitet. Im Allgemeinen sind diese vielen Änderungen von Vorteil. Die Weiterentwicklung hat das Framework einfacher zu benutzen und in großen Unternehmen einsetzbar gemacht. Themen wie Sicherheit, die bei risikoaversen Organisationen stets eine große Rolle spielen, wurden angegangen. Immer besser wird auch der ohnehin hohe Grad an Skalierbarkeit. Verteiltes Computing mit Hadoop bedeutet, dass Sie immer mehr Daten hinzufügen können, ohne dabei irgendwann ändern zu müssen, wie Sie das tun. Sie müssen keine Formate verändern, nicht an der Vergabe von Aufgaben herumschrauben und nicht neu vorgeben, welche Anwendungen dabei zum Einsatz kommen Sie fügen einfach weitere Knoten hinzu. Auch müssen Sie nicht wählerisch sein, welche Datentypen Sie speichern oder woher diese kommen. Schema-frei ist hier das Zauberwort. Die Fähigkeiten des Seite 6 von 9

8 Big- Frameworks für parallele Verarbeitung sorgen zudem für eine effizientere Nutzung von Storage auf Standard-Servern, so dass Unternehmen mehr Daten aufheben und nutzen können. Wenn irgendein Knoten ausfällt, ist das kein Problem das System macht einen Failover, bei dem keine Daten verloren gehen und die Performance nicht leidet. Ergänzende Technologien für Hadoop Hadoop-Lösungen sind heutzutage zudem flexibler und geben Unternehmen die Möglichkeit, mit mehr Arten von Daten mehr zu tun. Diese Bereicherung ergibt sich durch viele Begleitprojekte von Hadoop, zu denen Sprachen wie Pig und die folgenden skalierbaren Lösungen gehören: 1. Hive (Data-Warehousing) 2. Mahout (Maschinenlernen und Data-Mining) 3. HBase (strukturiertes Storage für große Tabellen) 4. Cassandra (Multi-Master-Datenbank) Natürlich funktioniert auch mit diesen Lösungen nicht immer alles reibungslos. Laut Lam hängen die größten Probleme mit Annahmen zusammen der Fehler liegt also nicht im System, sondern bei uns: Neue Technologie ist kein Allheilmittel für jedes Problem. So einfach diese NoSQL- Sachen sind, man muss das Problem, das man lösen will, trotzdem auf einer tiefen Ebene verstehen. Das kann bedeuten, dass Sie sich genauer mit Ihren Algorithmen beschäftigen müssen, statt einfach alles zu MapReduce abzuschieben und davon auszugehen, dass Hadoop die Skalierung schon hinbekommen wird. Die Muster der Datennutzung haben Einfluss auf die Art der Skalierung, vor allem wenn die Nutzung nicht einheitlich ist. In solchen Fällen hilft eine lineare Skalierung unter Umständen nicht. Auch hier liegt das Problem nicht bei Hadoop selbst. In den Augen von Lam sind die verfügbaren Werkzeuge reif genug für den Einsatz in Großunternehmen. Sichergestellt werden müsse nur, dass IT- Administratoren mit diesen Werkzeugen vertraut sind. Software-Architekten, die Hadoop einsetzen wollen, sollten außerdem wissen, wie sich die Technologie effektiv verwenden lässt. Seite 7 von 9

9 Big- Kostenlose Onlineressourcen für IT-Experten TechTarget publiziert qualifizierte Medieninhalte im IT-Bereich, die Ihren Informationsbedarf bei der Suche nach neuen IT-Produkten und Technologien decken und Ihr Unternehmen somit gezielt in der Strategieentwicklung unterstützen. Es ist unser Ziel, Ihnen durch die Bereitstellung von Onlineressourcen zu den aktuellsten Themen der IT- Branche die Kaufentscheidungen für IT-Produkte zu erleichtern und kostengünstiger zu gestalten. Unser Netzwerk an technologiespezifischen Webseiten erlaubt es Ihnen, auf eine der weltweit größten Onlinebibliotheken zum Thema IT zuzugreifen und anhand von unabhängigen Expertenmeinungen und Analysen, zahlreichen Whitepapern, Webcasts, Podcasts, Videos, virtuellen Messen und Forschungsberichten zu ausgewogeneren Kaufentscheidungen zu gelangen. Unsere Onlineressourcen berufen sich auf die umfangreichen Forschungsund Entwicklungskompetenzen führender Technologieanbieter und ermöglichen es Ihnen somit, Ihr Unternehmen für künftige Marktentwicklungen und herausforderungen zu rüsten. Unsere Live- Informationsveranstaltungen und virtuellen Seminare geben Ihnen die Möglichkeit, Ihre täglichen individuellen Herausforderungen im Bereich IT mit herstellerunabhängigen Experten zu diskutieren. Desweiteren können Sie in unserem Social Network, dem IT Knowledge Exchange, praxisnahe Erfahrungsberichte mit Fachkollegen und Experten in Echtzeit austauschen. Was macht TechTarget so einzigartig? Bei TechTarget steht die Unternehmens-IT im Mittelpunkt. Unser Redaktions- und Autorenteam und unser breites Netzwerk an Industrieexperten bietet Ihnen Zugriff auf die neuesten Entwicklungen und relevantesten Themen der Branche. Seite 8 von 9

10 Big- TechTarget liefert klare und überzeugende e und umsetzbare Informationen für die Profis und Entscheidungsträger der IT-Branche. Wir nutzen die Schnelligkeit und Unmittelbarkeit des Internets um Ihnen in realen und virtuellen Kommunikationsräumen hervorragende Networking- Möglichkeiten mit Fachkollegen zur Verfügung zu stellen. Weitere deutsche TechTarget Webseiten: Seite 9 von 9