Installation von Hadoop auf Ubuntu Server (64Bit)

Transkript

1 Installation von Hadoop auf Ubuntu Server (64Bit) Jonas Freiknecht April 2013 Aus dem Englischen von Michael Noll: 1. Einführung Durch die wachsenden Datenmengen, die heutzutage in Unternehmen gesammelt werden, wachsen auch die Anforderungen an die IT diese zu speichern, zu verarbeiten und letztendlich Informationen daraus zu gewinnen. Den Grundstein hierfür legt das unter der Schirmherrschaft von Doug Cutting entwickelte System Hadoop. Dieses beinhaltet neben dem Hadoop-Kern das Hadoop File System (HDFS) und Bibliotheken um sogenannte Map-Reduce-Jobs zu entwickeln, die Daten entsprechend der Vorgaben des jeweiligen Business auszuwerten. Dieses Tutorial soll zeigen, wie Hadoop in einem Single-Node-Cluster installiert wird. Zwar widerspricht das der Logik der verteilten Verarbeitung, die die Stärke von Hadoop überhaupt ausmacht, jedoch können Sie nach diesem ersten Schritt selbstständig weitermachen und einen Cluster mit mehreren Nodes aufsetzen. Lassen Sie uns nun beginnen! 2. Voraussetzungen Für das vorliegende Tutorial verwende ich eine Virtual Machine (VM) mit einem installierten 64Bit Ubuntu Server in Version Dieser verfügt über einen Benutzer user1 und das System trägt den Namen hadooppc. Desweiteren benötigen Sie auf Ihrem Hostsystem einen installierten SCP-Client um Dateien mit der Ubuntu-VM auszutauschen. Für Windows empfehle ich WinSCP

2 3. Java installieren Hadoop läuft auf einer Java Virtual Machine (JVM), wobei die Oracle-JVM empfohlen wird. Da diese nicht nativ von Ubuntu unterstützt wird, muss dazu ein eigenes Repository hinzugefügt werden in dem sich das Java 7 Package befindet. Führen Sie bitte auf einem frischen Ubuntu (Gerne in einer VM) folgende Befehle aus: sudo apt-get install python-software-properties sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java7-installer Listing 1: Installation von Oracle java 7 Hier installieren Sie lediglich die nötigen Bibliotheken, um Java 7 von Oracle installieren zu können, führen die Installation selber durch. Überprüfen Sie nun, ob die neu installierte Java-Version als Standard gesetzt wurde, indem Sie folgenden Befehl eingeben: java -version Listing 2: Überprüfen der installierten Java-Version (Optional) Der Output sollte aussehen wie in Abbildung 1. Abbildung 1: Output der Frage nach der aktuellen Java-Version Sollten Sie einen Output bekommen, der anders aussieht oder Ihnen nicht korrekt vorkommt, können Sie die installierte Java-Version manuell setzen. Geben Sie dafür den folgenden Befehl ein: sudo update-alternatives --config java Listing 3: Setzen einer alternativen Java-Version (Optional) In der folgenden Auswahl können Sie nun mit den Zahlentasten die gewünschte Java-Version setzen. 4. Einen dedizierten Benutzer einrichten Wir werden für ein passendes Rechtemanagement einen extra Benutzer für die Hadoop-Installation anlegen. Führen Sie dafür bitte folgenden Code aus: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser Listing 4: Anlegen eines Benutzers und einer Gruppe für Hadoop Klicken Sie sich bei den Informationen über den Benutzer hduser durch die kommenden Fragen und bestätigen Sie am Ende, dass diese korrekt sind. Was Sie dort eingeben spielt keine Rolle.

3 5. SSH-Zugang einrichten Damit Hadoop in der Lage ist seine Nodes später zu verwalten und, damit wir von remote auf das System zugreifen können, muss SSH für unseren hduser eingerichtet werden. Führen Sie dafür folgende Befehle aus: su hduser ssh-keygen t rsa P "" [Nachfrage nach Pfad bitte mit Enter bestätigen] Listing 5: Erzeugen eines SSH-Schlüssels für den Benutzer Hier wird ein Schlüssel ohne Passwort erzeugt, was normalerweise nicht zu empfehlen ist, für unsere Zwecke aber ausreicht. So stellen wir sicher, dass Hadoop nicht jedes mal nach dem Passwort fragt, wenn wir das System bedienen. Den eben erzeugten Schlüssel müssen wir nun zu den offiziellen SSH-Schlüsseln hinzufügen, sodass das System unsere Commands zulässt. cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys Listing 6: Registrieren des eben generierten SSH-Schlüssels Um nun vice versa den Fingerprint des Hosts in den known_hosts des hdusers abzuspeichern, muss sich initial einmal mit dem localhost verbunden werden. ssh localhost [Frage mit yes bestätigen] Listing 7: Verbindung zu localhost herstellen Hinweis: Wenn Sie hier eine Fehlermeldung bekommen, dass die Verbindung nicht hergestellt werden konnte, haben Sie ggf. den Openssh-Server nicht installiert. Holen Sie dies mit dem Befehl "sudo apt-get install openssh-server" nach. 6. Deaktivieren des IPv6-Protokols Da Hadoop derzeit kein IPv6 unterstützt 2 wollen wir es nun deaktivieren. Dazu editieren wir die Datei /etc/sysctl.conf. Da unser hduser keine Adminrechte besitzt, sollten Sie zuerst den User user1 reaktivieren. su user1 sudo nano /etc/sysctl.conf Listing 8: Editieren der /etc/sysctl.conf Fügen Sie nun folgende Zeilen am Ende ein: # disable ipv6 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 net.ipv6.conf.lo.disable_ipv6 = 1 Listing 9: Deaktivieren von IPv6 in Ubuntu Speichern Sie die Datei mit Strg+o ab und beenden Sie den Editor mit Strg+x. 2

4 Starten Sie nun Ubuntu neu mit: sudo reboot Listing 10: Ubuntu neustarten Loggen Sie sich nun wieder als hduser ein und überprüfen Sie, ob IPv6 erfolgreich deaktiviert wurde. Dies geschieht über den Befehlt: cat /proc/sys/net/ipv6/conf/all/disable_ipv6 Listing 11: Überprüfen, ob IPv6 deaktiviert wurde Gibt der Befehl eine "1" zurück, so war Ihr Vorgehen erfolgreich. 7. Installation von Hadoop Nun ist das System so weit vorbereitet, sodass Hadoop installiert werden kann. su user1 cd /usr/local sudo wget sudo tar xzf hadoop tar.gz sudo mv hadoop hadoop sudo chown R hduser:hadoop hadoop Listing 12: Herunterladen und entpacken von Hadoop Hier wechseln wir in das Verzeichnis in das wir Hadoop installieren wollen und laden das aktuelle Stable-Package 3 runter. Dieses entpacken wir und benennen den entpackten Ordner in hadoop um. Zum Schluss ändern wir die Berechtigung dieses Ordners, sodass er unserem Benutzer hduser gehört Bekanntmachen einiger Umgebungsvariablen in der.bashrc Um nun effizient mit Hadoop im Terminal arbeiten zu können, müssen einige Umgebungsvariablen angelegt werden. Das tun wir in der.bashrc im Benutzerverzeichnis des Benutzers hduser. Öffnen Sie dafür die Datei mit nano und fügen Sie folgende Zeilen am Ende ein: export HADOOP_PREFIX=/usr/local/hadoop export JAVA_HOME=/usr/lib/jvm/java-7-oracle unalias fs &> /dev/null alias fs="hadoop fs" unalias hls &> /dev/null alias hls="fs -ls" lzohead () { hadoop fs -cat $1 lzop -dc head less } 3 Es lohnt sich einen Blick auf das aktuelle Release zu werfen um zu sehen, ob eine neuere Version herausgegeben wurde. Schauen Sie dazu auf dem Mirror der Apache Foundation nach:

5 export PATH=$PATH:$ HADOOP_PREFIX/bin Listing 13: Einrichten der.bashrc Die Exportbefehle sollten klar sein, hier richten wir die besagten Umgebungsvariablen für die Konsole ein. Mit den (un-)alias-befehlen richten wir einen neuen Befehl ein, der komplexere Befehle beinhaltet. Der LZO-Teil dient der Lempel-Ziv-Oberhumer-Kompression die optional für den Hadoop- Cluster aktiviert werden kann Hadoop konfigurieren Editieren Sie nun die Datei /usr/local/hadoop/conf/hadoop-env.sh. Darin finden Sie eine auskommentierte Variable namens JAVA_HOME. Setzen Sie die Variable wie folgt (und entfernen Sie die Raute am Anfang der Zeile): export JAVA_HOME=/usr/lib/jvm/java-7-oracle Listing 14: JAVA_HOME in der Hadoop-Konfiguration setzen Nun müssen wir festlegen, wo Hadoop seine Input- und Outputdateien ablegt (also wo das HDFS erstellt werden sollt) und auf welche Ports es hört um Jobs entgegen zu nehmen, sich tracken zu lassen und das Webinterface für das Monitoring bereitzustellen. Zuerst erzeugen wir die Ordner in denen Hadoop die Dateien an-/ablegt. Diesen Pfad können Sie natürlich beliebig wählen, achten Sie bitte nur auf die richtigen Permissions. sudo mkdir -p /usr/local/hadoop/tmp sudo chown hduser:hadoop /usr/local/hadoop/tmp Listing 15: Anlegen eines Temp-Ordners und anpassen der Permissions Wechseln Sie nun ins Verzeichnis /usr/local/hadoop/conf/ und editieren Sie die core-site.xml. Dort fügen Sie in das Configuration-Tag bitte folgendes ein: <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> <name>fs.default.name</name> <value>hdfs://localhost:54310</value> Listing 16: Konfigurieren des Temp-Ordners für Hadoop und der URI für das HDFS Hier bestimmen wir den eben erzeugten Temp-Ordner und darunter die URI über die wir später das HDFS erreichen. Editieren Sie nun die mapred-site.xml. Auch dort gilt es in den Configuration-Tags ein wenig Text einzufügen.

6 <name>mapred.job.tracker</name> <value>localhost:54311</value> Listing 17: Festlegen der URI zum Tracken der Map-Reduce-Jobs Hier legen wir fest, über welche URI wir später die Jobs nachverfolgen können die Hadoop ausführt. Zuletzt editieren wir die Datei hdfs-site.xml. Auch hier fügen Sie bitte zwischen den Configuration- Tags drei neue Einträge ein. <name>dfs.replication</name> <value>1</value> <name>dfs.name.dir </name> <value>/usr/local/hadoop/name/</value> <name>dfs.data.dir</name> <value>/usr/local/hadoop/data/</value> Listing 18: Festlegen der Anzahl der Replikationen auf dem HDFS Die letzten beiden Pfade existieren noch nicht, legen Sie diese bitte an und geben Ihnen die Rechte für den User hduser - wie gehabt über chown Formatieren des HDFS Um das HDFS benutzen zu können, muss es zu Beginn formatiert werden. Sie sollten darauf achten niemals ein laufendes HDFS zu formatierten. /usr/local/hadoop/bin/hadoop namenode -format Listing 19: Formatieren des HDFS Hinweis: Während dem Formattieren werden Sie gefragt ob Sie sich sicher sind diesen Schritt zu gehen. Antworten Sie hier mit einem Großbuchstaben (also "Y" oder "N") und nicht mit einem kleinen. 8. Starten und Stoppen des Single-Node-Clusters Nun sind wir so weit, dass wir unseren Cluster (der nur aus einem einzelnen Server besteht) starten können. /usr/local/hadoop/bin/start-all.sh Listing 20: Starten des Clusters Nun sollten 6 Prozesse laufen, das können Sie mit dem Befehl jps überprüfen.

7 Abbildung 2: Hadoop wurde erfolgreich gestartet Gestoppt werden kann der Cluster über folgenden Befehl: /usr/local/hadoop/bin/stop-all.sh Listing 21: Stoppen des Clusters Herzlichen Glückwunsch, die Installation haben Sie gemeistert! Jetzt gilt es einen Map-Reduce-Job zu entwickeln und diesen Anhand von Testdaten zu trainieren und zu testen.