Ramon Wartala Performance Media Deutschland GmbH. Personal Hadoop Cluster

Transkript

1 Ramon Wartala Performance Media Deutschland GmbH Personal Hadoop Cluster

2 Vorstellung Dipl. Inform. (FH), Techniche Informatik/Medizin Informatik Director Technology, Performance Media Deutschland GmbH, Hamburg seit 10 Jahre im Online Marketing Cloudera Certified Administrator Freier Autor für Javamagazin, Linux Magazin, ix, c t Buchautor des ersten deutschsprachigen Hadoop-Buchs Blog: datenmammut.de

3 Warum Hadoop? Fasziniert von Googles Technologien (Hard- und Software) Hadoop als Java-basiertes Open Source Framework um Techniken wie verteilte Dateiverarbeitung und MapReduce zu verstehen Im Online Marketing hat man es mit großen Datenmengen zu tun Nicht gut in Relationalen Datenbanken abbildbar

4 Warum Hadoop auf Einplatinencomputern? Motivation Aufbau Installation Kosten Anwendungen

5 Motivation 1. Günstiges Lernsystem für Big-Data 2. Eigenes Rechner-Cluster betreiben 3. Technik hinter Big-Data verstehen 4. Entwicklungsumgebungen für Hadoop 5. Kosten sparen durch Einplatinencomputer

6 1. Günstiges Lernsystem für Big-Data Big-Data-Anwendungen werden heutzutage nicht mehr einzelnen Servern betrieben Der eigene Root-Server reicht nicht mehr Anwendungen auf mehreren Rechner werden Standard Verteilung lässt sich nicht in einer VM lernen

7 2. Eigenes Rechner-Cluster betreiben Inbetriebnahme und Management von Servern (unter Linux) Installation und Management eines Cluster Installation und Überwachung der nötigen Netzwerk-Infrastruktur Entwicklung und Installation verteilter Anwendungen

8 3. Technik hinter Big-Data verstehen Verteilte Dateisysteme Verteilte Installation und Ausführung von Anwendungen Parallele Datenverarbeitung Ausfallsicherheit und Skalierung Hadoop als Daten-LAMP

9 4. Entwicklungsumgebungen für Hadoop Hadoop ist verteiltes Dateisystem und Framework für verteilte Map-Reduce- Anwendungen MapReduce und YARN läuft verteilt auf Cluster-Systemen Single-VMs bilden Parallelität nur ungenügend ab

10 5. Kosten sparen durch Einplatinencomputer

11 5. Kosten sparen durch Einplatinencomputer Commodity Hardware ist nicht billig Auch die günstigsten Cluster mit 4-5 Server-Knoten kosten nicht selten EUR* Google startete mit sog. el cheapo Hardware** * 5 Nodes, Intel Xeon 1,9GHz, 32 GB RAM, 4x 1TB 7.2k SATA **

12 5. Kosten sparen durch Einplatinencomputer Ursprünglich aus der Mess- und Regelungstechnik In der Regel ARM basiert (Android und Linux) Immer mehr Standardschnittstellen integriert Geringer Stromverbrauch (5V, 12V etc.) Kosten-/Nutzern-Relation Raspberry PI als einfacher Lerncomputer

13 1. Versuch: Hadoop auf Raspberry Pi Einige Versuche aus Raspberry Pis Cluster zu bauen Raspberry Pi Supercomputer* The University of Glasgow Raspberry Pi Cloud project** * **

14 1. Versuch: Hadoop auf Raspberry Pi Problem: 512KB des Model B zu wenig für JVM kein Anschluss von schnellen Festplatten oder SSDs möglich Geringer Prozessortakt (700 MHz)

15 Lösung 1: Cubieboard AllWinnerTech SOC A10 1GB DDR3 RAM 4GB NAND Flash bis zu 64GB SD Slot, 2.5 SATA Disk (5V) 1x 10/100 Ethernet 50 EUR 1x HDMI 1080P

16 Lösung 2: Cubietruck AllWinnerTech SOC A20 2GB DDR3 RAM 4GB NAND Flash bis zu 64GB SD Slot, 2.5/3.5 SATA Disk 1x 10/100/1Gbit Ethernet 89 EUR 1x VGA/HDMI 1080P

17 Aufbau Single-Node

18 Installation Single-Node Ubuntu für das Cubieboard Oracle Java SE Embedded* Apache Hadoop *

19 Installation: Ubuntu Server Installation auf SD-Card oder NAND Flash Kommandozeilen- oder Desktop-Tools Vorgefertigte Ubuntu Versionen* aktuell ist Ubuntu Server *

20 SD-Card Installation mit BerryBoot* *

21 NAND Flash Installation mit LiveSuit* *

22 Installation: Ubuntu Server Login mit SSH über Ethernet /var/log/dmesg prüfen apt-get update && apt-get upgrade

23 Installation: Ubuntu Server Festplatte einrichten (fdsik/mkfs.ext4/mount/ fstab) SD-Karte einrichten (fdsik/mkfs.ext4/mount/ fstab) Namen im Netzwerk festlegen (/etc/hosts, /etc/ hostname) (Hadoop-) Nutzer einrichten Key-basierten SSH-Zugang einrichten

24 Installation: Ubuntu Server

25 Installation: Java Java SE für ARM von Oracle* Installation in /usr/local/java Pfade setzen Installation testen *

26 Installation: Nutzer und Gruppe anlegen! $ sudo addgroup hadoop $ sudo adduser --ingroup hadoop hduser $ sudo adduser hduser sudo $ ssh-keygen -t rsa -P '' $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/ authorized_keys

27 Installation: Apache Hadoop! Aktuelle Version von Hadoop ist Alle kommenden Hadoop-Distributionen mit Hadoop kompatibel Apache Hadoop von Mirror laden Auspacken und nach /usr/local/hadoop Testen mit: $ hadoop version

28 Installation: Apache Hadoop

29 Installation: Apache Hadoop

30 Installation: Apache Hadoop! Schritte: Hadoops Konfigurationsdateien anpassen Hadoops Dateisystem starten Hadoops Dateisystem formatieren Hadoop Dienste für MapReduce einrichten

31 Hadoops Konfigurationsdateien anpassen! Hadoop Konfiguration: hadoop-env.sh (JAVA_HOME oder Java Pfad) core-site.xml yarn-site.xml mapred-site.xml hdfs-site.xml (optional) capacity-scheduler.xml

32 core-site.xml Konfiguration

33 yarn-site.xml Konfiguration

34 Apache Hadoop: Dateisystem starten

35 Installation: Apache Hadoop

36 Apache Hadoop:YARN

37 Installation: Apache Hadoop

38 Installation: Apache Hadoop

39 Installation: Apache Hadoop

40 Installation: Multi-Node

41 Installation: Multi-Node

42 Kosten: < 500 EUR für 3-Nodes 1x Fast Ethernet Switch (10/100) ~ 20 EUR 3x Cubieboards ~150 EUR 3x MicroSD-Karten ~ 18 EUR 3x Ethernet-Kabel ~10 EUR 3x 5V Netzteile ~ 23 EUR 3x Festplatten (7200mps, 3GBit/s, 320GB) ~200 EUR

43 Anwendungen Verteiltes Dateisystem nutzen Cluster Benchmark Anwendungsbenchmark Kapazitätberechnungen und Scheduling Hochverfügbarkeit testen Als autonomes Entwicklungssystem nutzen

44 Anwendungen: Verteiltes Dateisystem Test unterschiedlicher Replikationsfaktoren Test unterschiedlicher Blockgrößen Test der Ausfallsicherheit

45 Anwendungen: Cluster Benchmark Leistungsmessung eines Hadoop Systems Was kann gemessen werden? I/O-Durchsatz im HDFS Map-Reducer-Ausführung bei unterschiedlichen Cluster-Parametern Verhalten von unterschiedlichen Scheduling Ansätzen

46 Anwendungen: Anwendungsentwicklung Testsystem für Map-Reduce-Development Jeder Entwickler bekommt sein eigenes Cluster und nicht bloß Kapazität Günstige Skalierung möglich (3,5,7 Nodes)

47 Zusammenfassung Einplatinencomputer können nicht nur als Einzelsystem sondern auch als Cluster betrieben werden Moderne Big-Data-Systeme wie Hadoop lassen sich auf ARM-basierten Systemen installieren Lauffähig mit geringe Anschaffungskosten Nutzer lernen ihr eigenes Linux-Cluster zu administrieren

48 Zusammenfassung *

49 Vielen Dank für Ihre Aufmerksamkeit! Fragen?