Nutzung der Scientific Computing Cluster. Lars-Peter Meyer

Transkript

1 Nutzung der Scientific Computing Cluster Lars-Peter Meyer

2 Cluster Hardware Galaxy (shared nothing) 90 Worker mit jeweils 2 Cores (2x6 Cores, Intel Haswell E5 GHz) 28 GByte DDR4 ECC RAM RAM CPU Network RAM CPU Shared Nothing for Big Data 24TByte SATA HDD (6x4TByte), als JBOD (HW-RAID möglich) 0 GBit/s Ethernet, teilweise Infiniband HDD HDD Sirius (big memory) 2 Server mit jeweils 28 Cores (8x6 Cores, Intel Haswell 6 TByte DDR4 ECC RAM >6 TByte SAS HDD (5x2 TByte RAID6 + 2x600 MByte RAID) 0 GBit/s Ethernet + FDR Infiniband 2

3 60 Worker in Leipzig 30 Worker in Dresden Management Architektur Management mit Foreman + Puppet + Ansible Foreman Register- Service Gateway Hadoop- Master Ambari- Server CheckMK Aufteilung in Worker (physisch) Kopfknoten (virtualisiert) Festplatten: JBOD für HDFS ZFS-Verbund NFS- Server Software auf Workern: Puppet-Client Software aktiviert je nach Anwendung Ambari-Client + Hadoop Slurm-Client Docker eigenes AD Slurm- Master Zookeeper Ambari- Metrics geschützter Netzbereich 3

4 Architektur - Partitionierung Nutzungsangepasste Partitionierung Hadoop(+Flink+Spark) Slurm Exklusiv(+Docker) Master (virtualisiert) Worker Hadoop Slurm Flex..n 4

5 Hadoop / Flink / Spark Hadoop ~ Big Data Stack horizontale Skalierung (shared nothing) Ursprung in Map+Reduce (Google, Yahoo) häufig verwendete Komponenten: HDFS: verteiltes Dateisystem YARN: Scheduler (alternativ Mesos) Flink/Spark: Framework+ HBase/Accumulo/CouchDB: verteilte Datenbank Zookeeper: Konfigurationsspeicher Kafka: Streaming ZooKeeper Mesos PIG 5

6 Flink-Beispiel auf Galaxy Apache Flink: Framework für Big Data Anwendungen Schwerpunkt im Streaming Ähnlich: Apache Spark split map shuffle Bar Baz Bar Bar Baz Baz Beispiel: Word-Count Bar Baz verteiltes Zählen von Wort-Vorkommen reduce 2 Bar Baz 6

7 Flink-Beispiel auf Galaxy Download von Flink Check der Umgebung Start des Programms im Hadoop-Yarn- Cluster (JAR wird in HDFS kopiert) [galaxy0 ~]$ cd /nfs/user/scuser [galaxy0 scuser]$ curl -O \ flink-.3.2-bin-hadoop27-scala_2..tgz [galaxy0 scuser]$ tar xzf flink-.3.2-bin-hadoop27-scala_2..tgz [galaxy0 scuser]$ echo $JAVA_HOME $HADOOP_HOME /usr/jdk64/jdk.8.0_77 /usr/hdp/current/hadoop-client [galaxy0 scuser]$ cd flink-.3.2 [galaxy0 flink-.3.2]$./bin/flink run -m yarn-cluster -yn 4 \ -yjm 024 -ytm 4096./examples/batch/WordCount.jar ::2,23 INFO org.apache.flink.yarn.cli.flinkyarnsessioncli (after,) (and,2) (arrows,) ::27,567 INFO org.apache.flink.yarn.applicationclient - Disconnect from JobManager [galaxy0 flink-.3.2]$ 7

8 Slurm job scheduler Job Scheduler, verbreitet bei HPC und Top500 Zuteilung von CPU-Cores und RAM an Linux-Programme Nutzung für trivial parallele Aufgaben Clusterstatus abfrage: $ sinfo $ squeue Job starten: $ sbatch./sctest.sh Job Status abfragen: $ squeue [galaxy0 ~]$ sinfo PARTITION AVAIL NODES STATE NODELIST galaxy-job* up 0 maint* galaxy[47-56] galaxy-job* up down* galaxy02 galaxy-job* up 29 alloc galaxy[ ,22-46] [galaxy0 ~]$ squeue JOBID NAME ST TIME NODELIST(REASON) 2345_[0-3] genetico PD 0:00 (Priority) 2346 executet R 8:32:58 galaxy executet R 5:37: galaxy executet R 5:24:49 galaxy executet R 3:53:47 galaxy executet R 3:53:37 galaxy executet R 3:44:20 galaxy executet R 2:46:22 galaxy023 8

9 Slurm Beispiel auf Galaxy #!/bin/bash #SBATCH --job-name=sctest #SBATCH --array=0- #SBATCH -o scarray-%a_%a.out #SBATCH -e scarray-%a_%a.err #SBATCH --cpus-per-task= #SBATCH --mem=0m #SBATCH --time=00:03:00 [galaxy0 ~]$ cd /nfs/user/scuser [galaxy0 scuser]$ sbatch./sctest.sh Submitted batch job 2356 [galaxy0 scuser]$ squeue JOBID NAME ST TIME NODELIST(REASON) 2356_[0-] sctest PD 0:00 (Priority) [galaxy0 scuser]$ squeue JOBID NAME ST TIME NODELIST(REASON) echo "step $SLURM_ARRAY_TASK_ID " 2356_0 sctest R 0:04 galaxy023 sleep _ sctest R 0:04 galaxy023 echo " done" [galaxy0 scuser]$ cat scarray-2356_.out step done [galaxy0 scuser]$ 9

10 docker Docker auf Galaxy leichtgewichtige Virtualisierung mit Docker Nutzung bei komplexen Anwendungsabhängigkeiten und architekturen exklusive Knotenzuteilung [galaxy0 ~]$ cd /nfs/user/scuser [galaxy0 scuser]$ docker ps [sudo] password: fe mariadb:latest Up 9 days 3306/tcp [galaxy0 scuser]$ docker run -it --rm ubuntu root@6d f76:/# exit [galaxy0 scuser]$ Applications Libraries Base OS Base OS LXC layered FS namespaces cgroups OS / Kernel Hardware Applications Libraries 0

11 Vergleich der Partitionstypen Hadoop Slurm Docker Job-Art Java Linux-Programm oder -Skript Container-Image Ressourcen-Nutzung Scheduling Geteilt Scheduling Geteilt Manuell Exklusiv Dauer Minuten - Wochen Minuten - Wochen Tage Wochen Vorteil Über Frameworks komplizierte Ausführungsgraphen möglich Sehr reife Scheduling- Unterstützung Fast Root-Zugriff Galaxy-Cluster Sirius-Cluster -- (--) +

12 Zugang für wen: Kostenlos verfügbar für Forscher der Uni Leipzig konzipiert für Big Data in der Forschung wie:. SC-Login erstellen: 2. Absprache mit für Erstellung von Rechenprojekt und Ressourcenzuteilung 3. Freischaltung des SC-Logins für die Clusternutzung 4. Forschung auf Cluster, Zugang per SSH 5. Datenbereinigung Um eine Nennung der Cluster-Nutzung im Kontext der Ergebnisverwertung wird gebeten. 2

13 Vielen Dank für Ihre Aufmerksamkeit und viel Erfolg für Ihr Studium! Dipl. Inf. Lars-Peter Meyer