BIG DATA. in der Praxis. Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren

Transkript

1 jonas FREIKNECHT BIG DATA in der Praxis Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren Auf DVD: 18 fertige Beispielprojekte plus Videotutorials

2 Freiknecht Big Data in der Praxis Bleiben Sie auf dem Laufenden! Unser Computerbuch-Newsletter informiert Sie monatlich über neue Bücher und Termine. Profitieren Sie auch von Gewinnspielen und exklusiven Leseproben. Gleich anmelden unter Hanser Update ist der IT-Blog des Hanser Verlags mit Beiträgen und Praxistipps von unseren Autoren rund um die Themen Online Marketing, Webentwicklung, Programmierung, Softwareentwicklung sowie IT- und Projektmanagement. Lesen Sie mit und abonnieren Sie unsere News unter

3

4 Jonas Freiknecht Big Data in der Praxis Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren

5 Der Autor: Jonas Freiknecht, Karlsruhe Alle in diesem Buch enthaltenen Informationen, Verfahren und Darstellungen wurden nach bestem Wissen zusammengestellt und mit Sorgfalt getestet. Dennoch sind Fehler nicht ganz auszuschließen. Aus diesem Grund sind die im vorliegenden Buch enthaltenen Informationen mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Autor und Verlag übernehmen infolgedessen keine juristische Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieser Informationen oder Teilen davon entsteht. Ebenso übernehmen Autor und Verlag keine Gewähr dafür, dass beschriebene Verfahren usw. frei von Schutzrechten Dritter sind. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Waren be zeich nungen usw. in diesem Buch berechtigt deshalb auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und MarkenschutzGesetz gebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbiblio grafie; detaillierte bibliografische Daten sind im Internet über abrufbar. Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung des Buches, oder Teilen daraus, vorbehalten. Kein Teil des Werkes darf ohne schriftliche Genehmigung des Verlages in irgendeiner Form (Fotokopie, Mikrofilm oder ein anderes Verfahren) auch nicht für Zwecke der Unterrichtsgestaltung reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden Carl Hanser Verlag München, Lektorat: Sieglinde Schärl Copy editing: Sandra Gottmann, Münster-Nienberge Herstellung: Irene Weilhart Umschlagdesign: Marc Müller-Bremer, München, Umschlagrealisation: Stephan Rönigk Gesamtherstellung: Kösel, Krugzell Printed in Germany Print-ISBN: E-Book-ISBN:

6 »Der Weltuntergang steht bevor, aber nicht so, wie Sie denken. Dieser Krieg jagt nicht alles in die Luft, sondern schaltet alles ab.«tom DeMarco Als auf der Welt das Licht ausging ca. 560 Seiten. Hardcover ca. 19,99 [D]/ 20,60 [A]/ sfr 28,90 ISBN Erscheint im November 2014 Hier klicken zur Leseprobe Sie möchten mehr über Tom DeMarco und seine Bücher erfahren. Einfach reinklicken unter

7 Wenn Du schnell gehen willst, geh allein. Wenn Du weit gehen willst, geh mit anderen. Afrikanisches Sprichwort

8

9 Inhalt Vorwort XI 1 Einleitung Big-Data Historische Entstehung Big-Data ein passender Begriff? Die drei V Das vierte V Veracity Der Verarbeitungsaufwand ist big Sicht der Industrien auf Big-Data Eingliederung in BI und Data-Mining Hadoop Hadoop kurz vorgestellt HDFS das Hadoop Distributed File System Hadoop 2.x und YARN Hadoop als Single-Node-Cluster aufsetzen Falls etwas nicht funktioniert Map-Reduce Aufsetzen einer Entwicklungsumgebung Implementierung eines Map-Reduce-Jobs Ausführen eines Jobs über Kommandozeile Verarbeitung im Cluster Aufsetzen eines Hadoop-Clusters Starten eines Jobs via Hadoop-API Verketten von Map-Reduce-Jobs Verarbeitung anderer Dateitypen YARN-Anwendungen Logging und Log-Aggregation in YARN Eine einfache YARN-Anwendung

10 VIII Inhalt 3.15 Vor- und Nachteile der verteilten Verarbeitung Die Hadoop Java-API Ein einfacher HDFS-Explorer Cluster-Monitor Überwachen der Anwendungen im Cluster Gegenüberstellung zur traditionellen Verarbeitung Big-Data aufbereiten Optimieren der Algorithmen zur Datenauswertung Ausdünnung und Gruppierung Ausblick auf Apache Spark Markt der Big-Data-Lösungen Das Hadoop-Ecosystem Ambari Sqoop Flume HBase Hive Pig Zookeeper Mahout Spark Data Analytics und das Reporting NoSQL und HBase Historische Entstehung Das CAP-Theorem Typen von Datenbanken Umstieg von SQL und Dateisystemen auf NoSQL oder HDFS Methoden der Datenmigration HBase Das Datenmodell von HBase Aufbau von HBase Installation als Stand-alone Arbeiten mit der HBase Shell Verteilte Installation auf dem HDFS Laden von Daten HBase Bulk Loading über die Shell Datenextrakt aus einer Datenbank über Sqoop HBase Java-API Der Umstieg von einem RDBMS auf HBase

11 Inhalt IX Data-Warehousing mit Hive Installation von Hive Architektur von Hive Das Command Line Interface (CLI) HiveQL als Abfragesprache Anlegen von Datenbanken Primitive Datentypen Komplexe Datentypen Anlegen von Tabellen Partitionierung von Tabellen Externe und interne Tabellen Löschen und leeren von Tabellen Importieren von Daten Zählen von Zeilen via count Das SELECT-Statement Beschränken von SELECT über DISTINCT SELECT auf partitionierte Tabellen SELECT sortieren mit SORT BY und ORDER BY Partitionieren von Daten durch Bucketing Gruppieren von Daten mittels GROUP BY Subqueries verschachtelte Abfragen Ergebnismengen vereinigen mit UNION ALL Mathematische Funktionen String-Funktionen Aggregatfunktionen User-Defined Functions HAVING Datenstruktur im HDFS Verändern von Tabellen Erstellen von Views Löschen einer View Verändern einer View Tabellen zusammenführen mit JOINs Hive Security Implementieren eines Authentication-Providers Authentication-Provider für HiveServer Verwenden von PAM zur Benutzerauthentifizierung Hive und JDBC Datenimport mit Sqoop Datenexport mit Sqoop Hive und Impala Unterschied zu Pig Zusammenfassung

12 X Inhalt 7 Big-Data-Visualisierung Theorie der Datenvisualisierung Diagrammauswahl gemäß Datenstruktur Visualisieren von Big-Data erfordert ein Umdenken Aufmerksamkeit lenken Kontextsensitive Diagramme D-Diagramme Ansätze, um Big-Data zu visualisieren Neue Diagrammarten Werkzeuge zur Datenvisualisierung Entwicklung einer einfachen Visualisierungskomponente Auf dem Weg zu neuem Wissen aufbereiten, anreichern und empfehlen Eine Big-Data-Table als zentrale Datenstruktur Anreichern von Daten Anlegen einer Wissensdatenbank Passende Zuordnung von Daten Diagrammempfehlungen über Datentypanalyse Diagrammempfehlungen in der BDTable Textanalyse Verarbeitung u nstrukturierter Daten Erkennung von Sprachen Natural Language Processing Klassifizierung Sentiment-Analysis Mustererkennung mit Apache UIMA Zusammenfassung und Ausblick Häufige Fehler Anhang Installation und Verwendung von Sqoop Hadoop für Windows 7 kompilieren Literaturverzeichnis Index

13 Vorwort Die Verfügbarkeit von Daten hat sich in den vergangenen zehn Jahren drastisch verändert. Immer neue Datenquellen, die zunehmende Verbreitung mobiler, internetfähiger Geräte und natürlich alle Entwicklungen, die sich aus dem Web 2.0 ergeben haben, tragen dazu bei, dass sich Unternehmen heute mit einer sehr viel größeren Datenmenge konfrontiert sehen, die es zu erfassen, zu speichern und auszuwerten gilt, als bisher. Dabei ist es nicht nur die Datenmenge selbst, die den Unternehmen Probleme bereitet, sondern darüber hinaus auch die Struktur und die Art der Daten sowie die Geschwindigkeit, mit der sie anfallen. Die meisten Unternehmen sehen sich noch immer in einer klassisch relationalen Welt verhaftet, die sie sich selbst in den letzten Jahrzehnten aufgebaut haben. Über mehr als 40 Jahre hinweg haben relationale Datenbanken und SQL als standardisierte Abfragesprache sowie die dazugehörigen Architekturen die Datenhaltung, -verarbeitung und -auswertung beherrscht. Und auch heute stellt niemand infrage, dass der Großteil der Datenbanken, die wir in den Unternehmen vorfinden, diesem klassischen Paradigma entsprechen: Zeilenorientierte, weitestgehend normalisierte RDBMS-Systeme, die die Daten in Tabellen halten und über Beziehungen miteinander verknüpfen, um auf diese Weise ihre Datenbankschemata aufzubauen. Viele der Problemstellungen, die sich in den vergangenen zehn Jahren entwickelt haben, passen jedoch nicht in ein solch relationales Modell was die Anwender zum Teil aber nicht davon abhält zu versuchen, ihre Welt mit eher mäßigem Erfolg in das relationale Modell zu zwingen. Seit einigen Jahren aber gibt es Alternativen zu den klassischen Architekturen. Als Stichwörter fallen dabei immer wieder Termini wie Hadoop, NoSQL oder auch Map-Reduce. Letztlich aber ist es der Begriff Big-Data, der diese Stichwörter zusammenführt. Ein Begriff, der leider in den vergangenen Monaten zu oft für alles herhalten musste, was mit Daten zu tun hatte. Die hier zu beobachtenden Entwicklungen sind dabei vielfach eng miteinander verwoben, auch wenn sie nicht explizit voneinander abhängen. Getrieben werden sie in allen Bereichen vor allem von großen Internetkonzernen wie Google, Facebook, Yahoo oder Amazon, die maßgeblich an den grundlegenden Konzepten mitgearbeitet haben. Über den Begriff Big-Data und seine Definition ist in der Fachwelt viel und sehr kontrovers diskutiert worden. Unabhängig davon, ob man von den klassischen drei V (Volume, Variaty und Velocity) ausgeht oder noch weitere (wie etwa Value oder Veracity) einbezieht, lässt sich feststellen, dass es sich bei Big-Data um zumeist große, polystrukturierte Datenmengen

14 XII Vorwort handelt, deren Verarbeitung mit konventionellen Mitteln, wie etwa den traditionellen relationalen Datenbanken, kaum oder gar nicht mehr möglich ist Brewer stellt sein CAP-Theorem vor 2005 Hadoop 2004 Googles MapReduce-Paper 2007 Amazons Dynamo-Paper 2006 Googles BigTable-Paper 2011 NewSQL 2009 NoSQL wird Not Only SQL Meilensteine in der Big-Data-Entwicklung 0-1 Die Hadoopisierung in den Unternehmen schreitet darüber hinaus zunehmend voran. Dabei geht es letztlich um die Verarbeitung von Big-Data mit Hadoop oder ähnlichen Frameworks (z. B. Disco oder BashReduce) in einem verteilten System. Die hier zum Einsatz kommenden Konzepte umfassen etwa das sogenannte Map-Reduce-Verfahren, welches die Verarbeitung großer Datenmengen in einem Cluster ermöglicht, und für die Datenhaltung werden in der Regel NoSQL-Datenbanken eingesetzt. Der Grund dafür, dass im Geflecht von Big-Data und Hadoop NoSQL-Datenbanken eingesetzt werden, ist unter anderem in der Skalierbarkeit der Systeme zu sehen. Das vorliegende Buch zeigt nun, wie man eine entsprechende Architektur tatsächlich aufbauen kann. Und dies nicht nur theoretisch, sondern sehr praxisnah, stets mit konkreten Beispielen und bei Bedarf auch mit passenden Code-Schnipseln. Die entsprechenden theoretischen Grundlagen und Konzepte werden vorgestellt und in einem nächsten Schritt gleich zur Anwendung gebracht. Angefangen bei einem entsprechenden Hadoop-Cluster mit den typischen in der Praxis häufig zu findenden Tools über die verwendete NoSQLDatenbank bis hin zur Visualisierung der Ergebnisse. Dabei werden auch die unterschied lichen Aspekte, die Big-Data ausmachen, behandelt. So wird nicht nur der Größenaspekt allein adressiert, sondern darüber hinaus auch, wie man etwa das Problem der Unstruk turiertheit der Daten angehen kann. Hier werden Methoden aus dem Data- und Text-Mining ebenso vorgestellt wie neue Aspekte, beispielsweise das Natural Language Processing. Nach der Lektüre bleibt für den Leser nur noch die Frage offen, ob er tatsächlich Big-DataSchmerzen hat, wie Pavlo Baron (2012) es nennt, und die vorgestellten Konzepte einsetzen möchte. Wie diese konkret umzusetzen sind, zeigt Jonas Freiknechts Buch anschaulich und erfreulich praxisorientiert. Professor Dr. Uwe Haneke, Hochschule Karlsruhe