Datenverarbeitung im ganz großen Stil

Transkript

1 Im Test: Talend Enterprise Data Integration Big Data Edition Datenverarbeitung im ganz großen Stil Dr. Götz Güttich Talend bietet mit "Talend Enterprise Data Integration "eine leistungsfähige Lösung zum Einbinden Umwandeln, Bewegen und Synchronisieren von Daten. Dabei können die bearbeiteten Informationen nicht nur von einer Vielzahl beliebiger unterschiedlicher Quellsysteme kommen, sondern lassen sich auch an eine entsprechend große Menge von Zielsystemen verteilen. Dafür stehen mehr als 450 Datenkonnektoren zur Verfügung. Die "Big Data Edition" der Software beherrscht zusätzlich noch die Zusammenarbeit mit Hadoop und den dazugehörigen Datenbanken beziehungsweise Komponenten wie beispielsweise HBase, HCatalog, HDFS, Hive, Oozie und Pig. IAIT hat sich angesehen, wie sich das System in der Praxis nutzen lässt. Wenn heute von Big Data ge sprochen wird, so meinen die be teiligten IT Spezialisten damit meist eine Sammlung von Daten sätzen, die so groß und komplex sind, dass sie sich mit normalen Werkzeugen zur Datenverwal tung nicht mehr bearbeiten las sen. Diese riesigen Datenmengen entstehen zum Teil durch das ma schinelle Erzeugen von Informa tionen (Protokolle, Logs, Kame raaufnahmen und ähnliches), aber auch durch genaue Analysen des Kundenverhaltens (beispiels weise Verbrauchsdaten), wissen schaftliche Untersuchungen (wie etwa im LHC) oder durch das Zusammenführen mehrerer be reits vorhandener unterschiedli cher Datenquellen. Die genannten Daten die teil weise in die Petabytes und Ex abytes gehen lassen sich nur schwer auswerten, da traditionel le Datenbanksysteme hier bezüg lich ihrer Leistungsfähigkeit an ihre Grenzen stoßen. Die Analy sen von Big Data laufen folge richtig auf anderen Systemen ab, die dazu in der Lage sind, paral lel auf tausenden von Rechnern zu arbeiten und ihre Ergebnisse dann an eine zentrale Stelle zu melden. Die am weitesten ver breitete Lösung für die Arbeit mit 1 Big Data ist Hadoop. Dabei han delt es sich im Prinzip um ein verteiltes Dateisystem auf Open

2 Source Basis, das die gespeicher ten Informationen auf mehrere Datenblöcke aufsplittet und diese Datenblöcke dann auf mehreren Systemen im Netz (dem Hadoop Cluster) verteilt. Auf diese Weise stellt Hadoop gleichzeitig Hoch verfügbarkeit und Redundanz si cher. Die Dateiablage und das Bearbeiten von Anfragen werden durch einen so genannten Mas ter Node durchgeführt. Talend Enterprise Data Inte gration Mit Hadoop steht eine sehr leis tungsfähige Lösung für die Ar beit mit Big Data zur Verfügung. Das Produkt kann externe Anfra gen annehmen, auf die einzelnen von Talend Enterprise Data Inte gration ins Spiel. Bei Data Inte gration handelt es sich wie oben schon skizziert um eine Lösung, die Daten aus praktisch beliebigen Quellen einlesen, nach den Angaben der Benutzer bear beiten und anschließend wieder exportieren kann. Mit dem Tool ist es im einfachsten Fall mög lich, CSV Dateien einzulesen, bestimmte Felder wie zum Bei spiel Name oder Adresse daraus zu selektieren und diese dann in eine Excel Datei zu exportieren. Der Leistungsumfang geht aber viel weiter und reicht von der Ar beit mit Business Intelligence Lösungen wie Jaspersoft über SAP, AmazonRDS, Salesforce Nach dem Programmaufruf begrüßt Talend Enterprise Data Integration die Anwender mit einem Willkommensbildschirm Rechner im Cluster verteilen und parallel auf den einzelnen Nodes durchführen. Die dazuge hörigen Ergebnisse landen dann wieder an einer zentralen Stelle und lassen sich von dort aus aus werten. Um die Vorteile von Ha doop nutzen zu können, muss al lerdings eine Möglichkeit exi stieren, die vorhandenen Daten in Hadoop abzulegen beziehungs weise auch wieder aus dem Open Source System herauszuholen. Hier kommt die Big Data Edition und ähnliches bis hin zu diversen Datenbanken wie DB2 oder auch Informix und eben Hadoop. Funktionsweise Talend Enterprise Data Integrati on arbeitet als Code Generator. Die Anwender müssen für den Einsatz der Lösung lediglich eine Datenquelle definieren, beispiels weise eine CSV Datei oder eine Datenbank, und angeben, wie das Produkt mit den Daten umzuge hen hat. Im Fall einer CSV Datei 2 lassen sich hier unter anderem die Kodierung, der Field Separa tor und ähnliches festlegen, die in diesem Zusammenhang verfüg baren Optionen sind aber natür lich bei jeder Quelle unterschied lich. Sobald die Datenquelle existiert, können die Benutzer sie als Icon im Arbeitsbereich plat zieren. Anschließend ist es möglich, die durchzuführenden Arbeitsschritte zu definieren. Hier steht den Usern eine Vielzahl unterschied licher Optionen zur Verfügung. Zum Beispiel haben sie die Mög lichkeit, Daten zu filtern, zu sor tieren, zu ersetzen, umzuwan deln, zu splitten, zusam menzuführen und zu konvertie ren. Darüber hinaus lassen sich die Daten auch über eine Map Funktion transformieren, also nur bestimmte Datenfelder auswäh len, die Datenfelder anders an ordnen, zusätzliche Daten wie eine Nummerierung automa tisch hinzufügen und vieles mehr. Für diese ganzen Umwandlungs features stehen auch wieder Icons bereit, die lediglich in den Ar beitsbereich gezogen werden müssen und dann dort konfigu rierbar sind. Sobald die Daten quelle definiert wurde und fest steht, in welcher Form das Werk zeug die Informationen verarbei ten soll, geht es an die Definition des Exports. Dafür bietet Talend Konnektoren an, die den Kontakt zu den unterstützten Zielsyste men, wie Informix oder Hadoop, herstellen. Die Konnektoren vi sualisiert die Data Integration Lösung ebenfalls durch Icons, die nach einem Drag and Drop in den Arbeitsbereich zur Verfügung stehen und sich dort auch konfi gurieren lassen. Die Konfigurati onsoptionen hängen hier wieder vom Ausgabetyp ab, bei einem

3 Excel Sheet reicht es beispiels weise, den Ausgabepfad anzuge ben. Der Datenfluss zwischen den einzelnen Icons wird durch Linien repräsentiert, die die zu ständigen Mitarbeiter in den meisten Fällen einfach mit der Maus ziehen können (manchmal ist es auch nötig, bestimmte Ver bindungstypen aus einem Menü auszuwählen). Wenn all diese Schritte erledigt wurden, lässt sich der Job starten. Daraufhin erzeugt das Data Integration Tool den zum Ausführen der Aufgabe erforderlichen Code, startet ihn und führt die Datenumwandlung durch. Der generierte Code kann Java oder SQL sein und für Ha doop zusätzlich noch Map Redu ce, Pig Latin, HiveQL und mehr je nach genutzter Technologie. Dank des Ansatzes, die einzelnen Arbeitsschritte durch Icons zu symbolisieren, denen die Anwen der nur die Rahmenbedingungen mitteilen müssen, und den Code dann automatisch zu erzeugen, haben auch Mitarbeiter ohne Pro grammierkenntnisse die Chance, komplexe Datenverarbeitungs schritte durchzuführen, die viel Code benötigen. Der eben skiz zierte Job war nur ein einfaches Beispiel, es ist auch möglich, mit dem Produkt viel komplexere Aufgaben durchzuführen, wie beispielsweise den Import von Daten mit anschließendem Map ping bestimmter Felder, dem Umwandeln einiger Datentypen und dem Sortieren der überarbei teten Ausgabe vor dem Export. Versionen Von der Talend Software stehen mehrere unterschiedliche Versio nen zur Verfügung. Zunächst ein mal die Open Source Versionen "Talend Open Studio for Data In tegration" und "Talend Open Stu dio for Big Data". Diese finden sich auf der Webseite des Her stellers zum freien Download und lassen sich beliebig nutzen. Dazu kommen die kostenpflichti gen Produkte der Talend Enter prise Data Integration in den Edi tionen "Team", "Professional", "Cluster" und "Big Data". Diese unterscheiden sich von den Open Source Varianten vor allem durch eine größere Zahl an Support Optionen (unter anderem mit SLAs) und durch zusätzliche Funktionen wie Shared Reposito ries, Assistenten, Shared Jobs, Version Control, Referenzprojek te und vieles mehr. Die kosten pflichtigen Versionen ihrerseits unterscheiden sich untereinander wieder durch das unterstützte Featureset, zum Beispiel den Support von Lastverteilung, Hochverfügbarkeit und eben Ha doop. Talend gehört übrigens zu den ersten Anbietern, die Hadoop überhaupt unterstützen. Auf der Website des Herstellers findet sich eine übersichtlich Auflistung der verfügbaren Software Varian ten mit ihren jeweiligen Funktio nen. Im Test kam bei uns die Big Data Version der kostenpflichti gen Talend Enterprise Data Inte gration zum Einsatz. Es sei aber an dieser Stelle darauf hingewie sen, dass die Open Source Ver sionen auch schon einen relativ großen Funktionsumfang haben, der für sämtliche Datenumwand lungsjobs "für den Hausge brauch" vollkommen ausreicht. Administratoren, die sich die Ar beit sparen wollen, Skripts zum Daten Im und Export zu schrei ben, sollten sich die Produkte einmal ansehen. Der Test Im Test verwendeten wir eine Umgebung mit Hadoop 1.0.3, die innerhalb einer vsphere Installa 3 tion auf Basis der IBM X Ser verarchitektur lief. Nach dem Einspielen der Talend Enterprise Data Integration auf unserer Workstation, die mit Windows 7 Ultimate in der x64 Version ar beitete, importierten wir zunächst einige Daten aus einer CSV Da tei, wandelten sie um und expor tierten sie als Excel Sheet, um uns mit der Arbeitsweise der Lö sung vertraut zu machen. Danach stellten wir eine Verbindung zu unserem Hadoop System her, importieren dieselben CSV Daten nochmals und schrieben sie in Hadoop. Anschließend ließen wir uns die Daten wieder ausgeben, um zu überprüfen, ob alles richtig funktioniert hatte. Im nächsten Schritt verwendeten wir Testdaten aus dem Unterneh mensbereich mit bezie hungsweise zehn Millionen Da tensätzen und führten Analysen dieser Daten mit Hilfe von "Pig" durch. Zum Schluss griffen wir über "Hive" auf die Daten in Ha doop zu und arbeiteten mit der Datenbank "HBase". Auf die ein zelnen eben eingeführten Begrif fe gehen wir später noch genauer ein. Talend Enterprise Data Inte gration läuft übrigens auf Syste men mit der aktuellsten Java 1.6 Variante. Abgesehen davon emp fiehlt der Hersteller den Einsatz von Windows 7 in der 64 Bit Version als Betriebssystem sowie auf Hardware Seite einen Stan dard Rechner mit vier GByte Ar beitsspeicher. Installation Um Talend Enterprise Data Inte gration zu installieren, müssen die Anwender lediglich sicher stellen, dass auf dem System eine unterstützte Java Version vor handen ist und die Zip Datei mit den Talend Files in einen Ordner

4 ihrer Wahl (zum Beispiel c:\ta lend) entpacken. Wenn sie an schließend die Programmdatei aufrufen, so verlangt das System erst einmal nach einer gültigen Lizenz(bei der Open Source Ver sion ist natürlich kein Lizenz schlüssel notwendig). Sobald die se angegeben wurde, zeigt die Software einige allgemeine Li zenzbestimmungen, die der An wender bestätigen muss. Nach dem Abschluss dieser Tätigkeit erhält der User die Möglichkeit, ein Repository (mit Workspace) anzulegen und ein erstes Projekt zu erstellen. Nach dem Öffnen dieses Projekts landet er im ei gentlichen Entwicklungswerk zeug, das ihn mit einem Welco me Screen begrüßt, in dem die ersten Schritte erläutert werden. Arbeit mit der Lösung Bei dem Entwicklungstool han delt es sich um eine von Eclipse abgeleitete Arbeitsumgebung, die auf der linken Seite über ein Re pository verfügt, über das sich unter anderem Jobs, Joblets und Meta Daten definieren lassen. Die Jobs umfassen die über die Icons symbolisierten Arbeitsan weisungen zum Umgang mit den Daten, die Meta Daten können zum Einsatz kommen, um Datei, Datenbank sowie SAP Verbin dungen, Schemas und ähnliches einzurichten und die Joblets er möglichen es, einzelne Prozesse als normale Komponenten also modular zu nutzen. Zwei weitere interessante Funk tionalitäten finden sich im Unter ordner "Code". Die "Job Scripts" stellen Prozessbeschreibungen also Anleitungen zum Generieren von Code in XML Form dar. Das bedeutet, mit den Job Scripts lassen sich die Prozesse komplett beschreiben, was es beispielswei se ermöglicht, Funktionen zum Import von Tabellenbeschreibun gen und ähnliches zu realisieren. Die "Routinen" ermöglichen im Gegensatz dazu die Definition automatischer Aufgaben, bei spielsweise zum Aufsplitten von Feldern. In der Mitte steht oben der be reits erwähnte Arbeitsbereich zur Verfügung, in dem die Anwender die Jobs mit Hilfe der Icons defi nieren während sich unten kon textabhängig die Konfigurations optionen für das gerade selektierte Icon bearbeiten lassen. An gleicher Stelle finden sich lette stellt also die Quelle für die Drag and Drop Vorgänge dar, mit denen sich die einzelnen Kompo nenten in den Arbeitsbereich zie hen lassen. Die ersten Jobs Im Test führten wir an dieser Stelle den ersten Job zum Import einer CSV Datei und dem an schließenden Schreiben der darin enthaltenen Daten in ein Excel Sheet aus. Da wir diesen Job im Wesentlichen schon in der Ein leitung beschrieben haben, setzen wir uns an dieser Stelle nicht weiter damit auseinander, son dern wenden uns direkt dem Job Ein Auswertungsjob mit Pig, der auf dem Hadoop Server abläuft auch Optionen zum Starten und Debuggen der Jobs und Listen mit Fehlern, Meldungen und In fos. Am rechten Fensterrand stellt Ta lend Enterprise Data Integration die so genannte Palette mit den einzelnen Komponenten bereit, die als Icons nutzbar sind. Dazu gehören die Import und Export Konnektoren genauso wie die Funktionen zum Bearbeiten der Daten, zum Ausführen von Be fehlen und vieles mehr. Es lässt sich auch jederzeit eigener Code in das System einbinden. Die Pa 4 zu, der Daten aus einer CSV Da tei in Hadoop schreibt. Um die sen Job zu realisieren, verwende ten wird als Quelle die zuvor unter Meta Daten definierte CSV Datei mit ihren Konfigura tionsparametern wie Field Sepa rator oder Kodierung und zogen sie als Quelle in den Arbeitsbe reich. Anschließend definierten wir ein Exportziel. Dazu wählten wir aus dem Ordner "Big Data" in der Palette den Typ "thdf SOutput" und zogen das dazuge hörige Icon neben unser Source File. HDFS steht in diesem Zu sammenhang für "Hadoop Distri

5 buted File System". Nun machten wir uns daran, das Output Icon zu Konfigurieren. Nachdem wir es angeklickt hatten, konnten wir im Reiter "Component" unter dem Arbeitsbereich alle nötigen Angaben vornehmen. Dazu ge hörten die verwendete Hadoop Version, der Servername, das Be nutzerkonto, der Zielordner und der Name der Zieldatei in Ha doop. Für unseren Test setzen wir als Ziel wieder eine CSV Datei ein. ein "tlogrow" Element hinzu, das die Daten des Datenstroms einfach auf der Systemkonsole ausgibt. Nachdem wir wie oben eine Verbindung zwischen den beiden Icons erstellt hatten, konnten wir den Job starten und den Dateiinhalt unseres CSV Fi les auf dem Bildschirm betrach ten. Die Ein und Ausgabe von Zum Schluss war es noch erfor derlich, eine Verbindung zwi schen den beiden Icons herzustel len. Dazu klickten wir mit der rechten Maustaste auf das Sour ce Icon und zogen dann mit der Pig Latin in Aktion Maus eine Linie zum HDFS Icon. Nachdem die Verbindung Informationen mit Hadoop und existierte, konnten wir den Job der Talend Data Integration Lö starten (über den entsprechenden sung gestaltete sich demzufolge Reiter unter dem Arbeitsbereich). sehr einfach. Als der Task durchgelaufen war, informierte uns die Talend Soft Arbeit mit den Daten ware über den erreichten Durch Nachdem wir mit den letzten bei satz in Rows pro Sekunde und den Jobs sichergestellt hatten, die Zahl der übertragenen Daten dass das Talend Produkt pro sätze. Direkt in Hadoop konnten blemlos mit unserem Hadoop wir mit Hilfe der Funktion System kommunizieren konnte, "Browse the file system" unter machten wir uns im nächsten des Hadoop Ser Schritt daran, eine Datenauswer vers}:50070 überprüfen, dass die tung durchzuführen. Dazu lasen neue Datei tatsächlich am Zielort wir aus einer Kundendatei mit angekommen war. Insgesamt zehn Millionen Datensätzen eine dauerte die Erstellung dieses Jobs bestimmte Kundennummer aus. keine fünf Minuten und im Test Hierbei nutzten wir die Vorteile funktionierte alles Out of the Box von Hadoop und erzeugten mit so wie erwartet. dem Talend Werkzeug einen Co de, der dann in das Hadoop Sys Nun wollten wir natürlich auch tem übertragen wurde und dort Daten aus Hadoop auslesen. Da die Datenabfragen durchführte. zu selektierten wir als Quelle aus Das Ergebnis der Anfrage spei der Palette ein Element namens cherten wir als File im Hadoop "thdfsinput" und konfigurierten Dateisystem ab. es analog zum vorher eingerich teten Ziel mit Servernamen, Da In diesem Zusammenhang ist es teinamen und so weiter. Für die wichtig, zunächst einmal auf die Datenausgabe fügten wir dann technischen Hintergründe einzu 5 gehen. Hadoop verwendet für Berechnungen über große Daten mengen den Algorithmus "Ma preduce". Dabei handelt es sich um ein Framework zum paralle len Durchführen von Abfragen unter Einsatz vieler Computer. MapReduce umfasst zwei Schrit te: Zunächst einmal erfolgt das "Mapping", das heißt, der Mas ter Node erhält den Input, teilt ihn in kleinere Unteranfragen auf und verteilt diese dann an die Nodes im Cluster. Die Unterkno ten splitten dann die Anfragen entweder nochmals unter sich auf was zu einer Art Baumstruktur führt oder fragen ihre Datenbe stände ab und schicken die Ant wort zurück an den Master Node. Im zweiten Schritt ("Reduce") sammelt der Master die Antwor ten und fügt sie zu der Ausgabe zusammen, die die ursprüngliche Anfrage beantwortet. Auf diese Art und Weise lassen sich die Abfragen parallel auf mehreren Systemen abarbeiten, was zu ei ner beeindruckenden Leistungs fähigkeit führt. Um MapReduce Programme zu erstellen, die auf Hadoop laufen, kommt die "Pig" Plattform zum Einsatz. Sie heißt so, weil sie die "Trüffel" in den Datensätzen fin den soll. Die dazugehörige Pro grammiersprache nennt sich "Pig Latin". Für den Einsatz von Ma preduce ist es also erforderlich,

6 spezielle Programme zu schrei ben. Der Code Generator Talend Enterprise Data Integration nimmt den Benutzern hier die meiste Arbeit ab und stellt Funk tionalitäten zur Verfügung, die es ermöglichen, die Datenquellen, Abfragen und Ziele direkt mit den gewohnten Icons im Arbeits bereich der Entwicklungsumge bung zu definieren, den Code zu erzeugen (zum Beispiel MapRe duce oder Pig Latin), an die Ha doop Umgebung zu schicken und dort ausführen zu lassen. Im Test legten wir zu diesem Zweck zunächst ein Element na mens "tpigload" zum Laden der zu untersuchenden Daten an. Ihm gaben wir als Konfigurationspa rameter unter anderem wieder den Hadoop Servernamen, die welchen Wert haben sollte, um die Abfrage nach der Kundenum mer umzusetzen. Noch kurz zum Schema: Da die Quelldatei ja aus Daten wie Na me, Nummer und ähnlichem be steht, muss Talend Enterprise Da ta Integration wissen, welche Daten zu welchen Feldern gehö ren. Die dazugehörigen Felder lassen sich unter Meta Daten als Schema definieren und dem Sys tem mitteilen. Die Antwort defi nierten wir mit einem Icon na mens "tpigstoreresult", zu dem wir den Zielordner und den Da teinamen für das Antwortfile hin zufügten. Zum Schluss stellten wir noch Verbindungen zwischen den einzelnen Icons her, diesmal nicht mit der rechten Maustaste, sondern durch einen Rechtsklick Die Anwender können sich jederzeit mit Hilfe des Hadoop Webinterfaces über den Status ihrer Jobs informieren Hadoop Version, den Benut zeraccount, die zu untersuchende Datei und das Schema mit, das wir zuvor im Bereich Meta Da ten konfiguriert hatten. Anschlie ßend erzeugten wir ein Filterele ment vom Typ "tpigrow" und teilten ihm mit, welches Feld auf das betroffene Element und die Auswahl des Befehle "Pig Combine" im Menü "Zeile", da wir ja ein Script zur Ausführung auf dem Hadoop System erzeu gen wollten. Anschließend starte ten wir den Job und konnten kurz darauf im Web Interface des Ha 6 doop Servers das Ergebnis be trachten, das wie erwartet ausfiel. Die Arbeit mit den Pig Elemen ten lief also im Test vollkommen problemlos ab. Im nächsten Job machten wir uns daran, anhand der Einträge in un serer Kundendatei herauszufin den, wie oft welche Produkte verkauft worden waren. Dazu kopierten wir den Job mit der Abfrage und ersetzten das tpi grow Element durch ein Icon namens "tpigaggregate", dem wir mitteilten, dass wir eine Aus gabespalte namens "Anzahl" ha ben wollten und dass das System alle Produktnamen in der Daten bank (die bei den jeweiligen Kundeneinträgen mit eigegeben waren) zählen und die Namen dann mit Angabe der Häufigkeit ihres Vorkommens in eine Datei schreiben sollte. Nach dem Start des Jobs konnten wir das Ergeb nis nach kurzer Zeit auf unserem Hadoop Server einsehen. Arbeit mit Hive Hive realisiert einen JDBC Zu griff auf Hadoop mit SQL. Über Hive können Entwickler Hadoop Systeme demzufolge mit einer SQL ähnlichen Syntax abfragen. Für den Test von Hive legten wir zunächst im Bereich "Meta Da ten" eine neue Datenbankverbin dung zu der auf unserem Ha doop Testsystem vorhandenen Kundendatenbank an. Dazu reichte es, als Datenbanktyp "Hi ve" zu selektieren, den Server und den Port anzugeben und auf "Check" zu klicken. Nach dem erfolgreichen Test der Daten bankverbindung war diese in un serem Data Integration System vorhanden und ließ sich als Icon nutzen. In den Konfigurationsop tionen der Hive Datenbank Ver bindung findet sich unter ande

7 rem ein "Query" Feld, in das die Anwender SQL Abfragen eintra gen können. In unserer ersten Abfrage untersuchten wir die Kundendatenbank daraufhin, wie viele Kunden in "Hannover" wohnten. Dazu trugen wir die Abfrage "select count(*) from {Datenbank} where city like '%Hannover%'" in das Query Feld der Datenbankverbindung ein, verwendeten als Ausgabe wieder ein tlowrow Element und erzeugten eine Verbindung zwischen den beiden Icons, über die das System den Count Wert ausgab. Kurz darauf konnten wir die Zahl der betroffenen Kunden auf der Systemkonsole einsehen. Die Arbeit mit Hive gestaltet sich demzufolge ähnlich einfach wie die mit Pig. Unser zweiter Hive Job sollte die komplette Datenbank in eine Ex cel Tabelle schreiben. Dazu pass ten wir die Query in unserer Quellverbindung entsprechend an, selektierte statt des tlogrow Elements ein "tfileoutputexcel" Icon und gaben den Zielpfad und den Dateinamen für das Ziel File an. Danach stellten wir mit der rechten Maustaste noch eine Ver bindung zwischen den beiden Einträgen her. Kurz nach dem Start des Jobs fanden wir alle ge suchten Daten in einem Excel Sheet auf unserem Rechner. Hive ist eine Technologie, die SQL Administratoren einen großen Nutzen bringt. Sie lässt sich mit Hilfe von Talend Enterprise Data Integration ohne großen Auf wand einsetzen. HBase HBase stellt eine verhältnismäßig einfache skalierbare Datenbank dar, die sich zum Verwalten großer Datenmengen innerhalb einer Hadoop Umgebung eignet. Sie kommt in der Regel mit Da ten zum Einsatz, die die Anwen der selten ändern, aber häufig er gänzen. Zum Abschluss unseres Tests exportierten wir diverse Daten aus unserer bereits zu Be ginn genutzten CSV Datei in die HBase Datenbank auf unserem Hadoop System und ließen sie uns anschließend direkt auf unse re Systemkonsole ausgeben. Fazit Die Talend Enterprise Data Inte gration Big Data Edition verbin det die alte Welt der Datenver waltung mit der Neuen. Das Produkt, das schon ohne die An Dazu erzeugten wir zunächst einen neuen Job und zogen das Icon mit der Quell CSV Datei auf die Arbeitsfläche. Danach verwendeten wir ein tmap Ele ment, um die Daten aus der Datei auszufiltern, die in der Daten bank landen sollten. Zum Schluss erzeugten wir ein Icon vom Typ "thbaseoutput". Dieses verlangt Der Verbindungsaufbau zu einer Hi als Konfigurationsangaben im ve Datenbank gestaltet sich einfach Wesentlichen den Hadoop Typ, den Servernamen, den Tablename bindung an Big Data Lösungen und die Zuweisung der Daten zu einen überzeugenden Funktions den dazugehörigen Feldern. umfang für die Datenintegration, Nachdem alle nötigen Verbindun synchronisation und umwand gen vorhanden waren, starteten lung mit sich bringt, geht mit der wir den Job und die Daten lande Big Data Anbindung noch einen ten in der Datenbank. ganzen Schritt weiter. Dank des Pig Supports lassen sich auf ein Um zu prüfen, ob auch alles rich fache Weise verteilte Datenabfra tig funktioniert hatte, gaben wir gen im Cluster durchführen und zum Abschluss die Daten in der die Unterstützung von Hive und HBase Umgebung auf unsere HBase ermöglicht den Einsatz Systemkonsole aus. Hierzu kam der Anwendung in praktisch allen ein Element namens "thbasein Umgebungen. Umfassende Data put" zum Einsatz, das sich analog Quality Features und ein Pro zu der Outputkomponente konfi jektmanagement mit Scheduling gurieren ließ. Ein tlogrow Icon und Monitoring Framework run und die Verbindung zwischen den das Leistungsspektrum des den beiden Elementen schlossen Produkts ab. Talend Enterprise die Jobkonfiguration ab. Nach Data Integration arbeitet zudem dem Start des Jobs erschienen die nicht nur mit der Hadoop Distri Daten wir erwartet auf unserem bution der Apache Foundation Bildschirm. Benutzer von HBase zusammen, sondern auch mit den können sich folglich ebenfalls Lösungen von Hortonworks, darauf verlassen, dass die Arbeit Cloudera, MapR und Greenplum. mit Talend Enterprise Data Inte Datenbankadministratoren und gration und ihrer Datenbank ohne dienstleister dürften an diesem Schwierigkeiten von statten geht. Produkt kaum vorbei kommen. 7