Big Data in der Praxis

Transkript

1 Jonas Freiknecht Big Data in der Praxis Lösungen mit Hadoop, HBase und Hive Daten speichern, aufbereiten, visualisieren HANSER

2 Vorwort XI 1 Einleitung 1 2 Big-Data Historische Entstehung Big-Data - ein passender Begriff? Die drei V Das vierte V - Veracity Der Verarbeitungsaufwand ist big Sicht der Industrien auf Big-Data Eingliederung in BI und Data-Mining 15 3 Hadoop Hadoop kurz vorgestellt HDFS - das Hadoop Distributed File System Hadoop 2.x und YARN Hadoop als Single-Node-Cluster aufsetzen Falls etwas nicht funktioniert Map-Reduce Aufsetzen einer Entwicklungsumgebung Implementierung eines Map-Reduce-Jobs Ausführen eines Jobs über Kommandozeile Verarbeitung im Cluster Aufsetzen eines Hadoop-Clusters Starten eines Jobs via Hadoop-API Verketten von Map-Reduce-Jobs Verarbeitung anderer Dateitypen YARN-Anwendungen Logging und Log-Aggregation in YARN Eine einfache YARN-Anwendung 129

3 -vpö. QÜM Vor-und Nachteile der verteilten Verarbeitung Die Hadoop Java-API Ein einfacher HDFS-Explorer Cluster-Monitor Überwachen der Anwendungen im Cluster Gegenüberstellung zur traditionellen Verarbeitung Big-Data aufbereiten Optimieren der Algorithmen zur Datenauswertung Ausdünnung und Gruppierung Ausblick auf Apache Spark Markt der Big-Data-Lösungen Das Hadoop-Ecosystem Ambari Sqoop Flume HBase Hive Pig Zookeeper Mahout Spark Data Analytics und das Reporting NoSQL und HBase Historische Entstehung Das CAP-Theorem Typen von Datenbanken Umstieg von SQL und Dateisystemen auf NoSQL oder HDFS Methoden der Datenmigration HBase Das Datenmodell von HBase Aufbau von HBase Installation als Stand-alone Arbeiten mit der HBase Shell Verteilte Installation auf dem HDFS Laden von Daten HBase Bulk Loading über die Shell Datenextrakt aus einer Datenbank über Sqoop HBase Java-API Der Umstieg von einem RDBMS auf HBase 242

4 6 Data-Warehousing mit Hive Installation von Hive Architektur von Hive Das Command Line Interface (CLI) HiveQL als Abfragesprache Anlegen von Datenbanken Primitive Datentypen Komplexe Datentypen Anlegen von Tabellen Partitionierung von Tabellen Externe und interne Tabellen Löschen und leeren von Tabellen Importieren von Daten Zählen von Zeilen via count Das SELECT-Statement Beschränken von SELECT über DISTINCT SELECT auf partitionierte Tabellen SELECT sortieren mit SORT BY und ORDER BY Partitionieren von Daten durch Bucketing Gruppieren von Daten mittels GROUP BY Subqueries - verschachtelte Abfragen Ergebnismengen vereinigen mit UNION ALL Mathematische Funktionen String-Funktionen Aggregatfunktionen User-Defined Functions HAVING Datenstruktur im HDFS Verändern von Tabellen Erstellen von Views Löschen einer View Verändern einer View Tabellen zusammenführen mit JOINs Hive Security Implementieren eines Authentication-Providers Authentication-Provider für HiveServer Verwenden von PAM zur Benutzerauthentifizierung Hive und JDBC Datenimport mit Sqoop Datenexport mit Sqoop Hive und Impala Unterschied zu Pig Zusammenfassung 319

5 7 Big-Data-Visualisierung Theorie der Datenvisualisierung Diagrammauswahl gemäß Datenstruktur Visualisieren von Big-Data erfordert ein Umdenken Aufmerksamkeit lenken Kontextsensitive Diagramme D-Diagramme Ansätze, um Big-Data zu visualisieren Neue Diagrammarten Werkzeuge zur Datenvisualisierung Entwicklung einer einfachen Visualisierungskomponente Auf dem Weg zu neuem Wissen - aufbereiten, anreichern und empfehlen Eine Big-Data-Table als zentrale Datenstruktur Anreichern von Daten Anlegen einer Wissensdatenbank Passende Zuordnung von Daten Diagrammempfehlungen über Datentypanalyse Diagrammempfehlungen in der BDTable Textanalyse - Verarbeitung unstrukturierter Daten Erkennung von Sprachen Natural Language Processing Klassifizierung Sentiment-Analysis Mustererkennung mit Apache UIMA Zusammenfassung und Ausblick Häufige Fehler Anhang Installation und Verwendung von Sqoop Hadoop für Windows 7 kompilieren 421 Literaturverzeichnis 425 Index 429