Globales GPFS. ZKI-Arbeitskreises Sys Bommerholz 21. März Lothar Wollschläger

Transkript

1 Globales GPFS ZKI-Arbeitskreises Sys Bommerholz 21. März 2006 Zentralinstitut für Angewandte Mathematik Forschungszentrum Jülich

2 Inhalt GPFS im FZJ GPFS in Europa GPFS in der Welt GPFS in der Zukunft 2

3 GPFS in Jülich 3

4 4

5 5

6 Eigenschaften von GPFS Standard UNIX Filesystem Interface Verteilte Funktionen (Filesystem Manager, Metanode) byte-range locking distributed locking Protokoll shared disk Modell, striping von Daten über Platten Replikation von Daten und Metadaten Quorum Verfügbar für AIX und LINUX 6

7 GPFS über SAN SAN 7

8 GPFS über SAN SAN HPS 8

9 Anwendung OS IBM General Parallel File System IBM Network Shared Disk Client GPFS Rechner NSD Client Network IBM Network Shared Disk Server OS NSD Server Disk Driver 9

10 Network Shared Disk Server NSD Server SAN NSD Server 8 DS4500 (FAStT 900) mit 90 (60) TB NSD Server 10

11 Konfiguration NSD Server P690 LPAR mit: 4 CPU s 16 GB Hauptspeicher 1 Fast Ethernet Adapter für Cluster-Management (CWS) 8 2Gb FibreChannel Adapter Netzwerk für NSD: 2 HighPerformanceSwitch (HPS) Adapter mit je 16 Gb/s 11

12 HPS 12

13 3 STK Silos mit Bändern (2.8 PB) 16 Bandstationen 9940B (30 MB/sec) TSM Server TSM Server 13

14 HPS 14

15 Zugriff zu den Platten von den NSD Servern über SAN Redundanter Zugriff (no single point of failure) Zugriff zu den Platten vom GPFS über NSD Datenzugriff über High Performance Switch Zwei Switch Ebenen (no single point of failure) 15

16 Jede Platte ist von jedem Knoten sichtbar Redundanter Zugriff (sollte eine NSD-Server ausfallen, wird automatisch auf einen anderen NSD-Server umgeschaltet Jeder NSD Server hat Zugriff zu jeder Platte über ein SAN Jede Platte ist ein RAID 5 Volume aus Platten Schreibgeschwindigkeit über 1,5 GByte/sec pro Filesystem für parallele Anwendungen 16

17 17 Datenvolumen "JUMP" 0,00 10,00 20,00 30,00 40,00 50,00 60,00 70,00 80,00 90,00 100,00 110,00 120,00 130,00 140,00 150,00 160,00 170,00 180,00 190,00 200,00 J 03 A 03 S 03 O 03 N 03 D 03 J 04 F 04 M 04 A 04 M 04 J 04 J 04 A 04 S 04 O 04 N 04 D 04 J 05 F 05 M 05 A 05 M 05 J 05 J 05 A 05 S 05 O 05 N 05 D 05 J 06 F 06 Terabyte Disk Tape

18 GPFS in Europa 18

19 DEISA Konsortium 19

20 Objectives and Strategic Vision The main objectives of the DEISA grid enabled research infrastructure are: To deploy and operate a persistent, production quality, distributed supercomputing environment with continental scope To enable scientific discovery across a broad spectrum of science and technology. Scientific impact (enabling new science) is the only criterion for success. 20

21 21 HPS HPS HPS HPS

22 Ein globales GPFS Cluster CLUSTER: Eine Menge von Knoten, die als eine Einheit administriert werden Es kann nur ein GPFS pro Cluster geben Konsistenz des Clusters (quorum) Sicherheit Wartbarkeit UID/GID Zuverlässiges, sicheres Netzwerk 22

23 Multi-Clustering Ermöglicht es einem GPFS Cluster auf Filesysteme eines anderen GPFS Clusters zuzugreifen Adäquates Netzwerk Trusted Kernel auf beiden Seiten Jeder Knoten in den beteiligten Clustern muss entweder eine NSD- oder eine Direkt-Verbindung zu den entsprechenden Platten haben 23

24 Konfiguration für zwei Cluster (ClusterB will Filesystem fs1 von ClusterA mounten) Beide Cluster: mmauth genkey (public/private Schlüsselpaar) mmchconfig cipherlist=authonly (Authorisierung einschalten) öffentliche Schlüssel austauschen ClusterA: mmauth add ClusterB k keyfile_clusterb mmauth grant ClusterB f fs1 a rw r : ClusterB: mmremotecluster add ClusterA n nodea1,nodea2 k keyfile_clustera mmremotefs add /dev/gpfs_fs1 f /dev/fs1 C ClusterA T /fs1 mount /fs1 24

25 GPFS Management Funktionen Im Allgemeinen kann GPFS jede Funktion auf jedem Knoten im Cluster ausführen Die GPFS Funktionen die eine Applikation verlangt werden normalerweise auf dem Knoten ausgeführt, auf dem die Applikation läuft Es gibt jedoch drei spezialisierte Management Funktionen die auf speziellen Knoten ausgeführt werden und die die Funktionsfähigkeit aller Knoten im Clusterverbund beeinträchtigen 25

26 GPFS Management Funktionen Konfiguration Manager Filesystem Manager Metanode 26

27 Konfiguration Manager Ein Konfiguration Manager pro Cluster Der am längsten ununterbrochen laufende Knoten wird Konfiguration Manager Aufgaben: Bestimmt den File System Manager Entscheidet über das Quorum 27

28 File System Manager Ein File System Manager pro Filesystem 4 Aufgaben: File System Konfiguration Plattenplatzverwaltung Token Management Quota Management 28

29 Metanode Ein Metanode pro geöffneter Datei Metanode wird der Knoten, der die Datei am längsten ununterbrochen geöffnet hat Jeder Knoten im Clusterverbund kann Metanode für eine Datei werden Aufgaben: Gewährleistet die Integrität der Metadaten für seine Datei Schreibt die Metadaten seiner Datei 29

30 Netzwerk Konfiguration GPFS kennt nur eine Netzwerkadresse pro Knoten GPFS ist im FZJ über HPS definiert HPS hat keine Außenverbindung Jeder Knoten im Clusterverbund muss die GPFS- Adressen aller anderen Knoten im Clusterverbund erreichen können (Metanode) FZJ: Ein Gigabit-Ethernet Anschluss pro Knoten 30

31 P690 LPAR mit: Konfiguration NSD Server 4 CPU s 16 GB Hauptspeicher 8 2Gb FibreChannel Adapter 1 Fast Ethernet Adapter für Cluster-Management (CWS) Netzwerk für NSD: 2 HighPerformanceSwitch (HPS) Adapter mit je 16 Gb/s 1 Gb Ethernet Adapter (DEISA) 31

32 HPS ETH ETH HPS DEISA DEISA NetzNetzwerk werk HPS 32 ETH ETH HPS

33 Performance Zur Zeit dediziertes 1 GBit Ethernet zwischen den DEISA Partnern Starke Schwankungen möglich GPFS kann 85% der Netzbandbreite ausnutzen 33

34 Betrieb disk i/o Softwareversion und PTF Stand müssen im gesamten Clusterverbund gleich sein Soft- und Hardwarefehler in einem remote Cluster können den Betrieb im lokalen Cluster aber auch in anderen remote Clustern beeinflussen UID Mapping beim remote Cluster möglich mit eigener Helper Application 34

35 Betriebserfahrungen DEISA Extreme Computing Initiative (DECI) Benutzer nutzen die Infrastruktur mit Produktionsjobs Stabilität der Clusterverbundes von den einzelnen Clustern und dem Netzwerk abhängig Seiteneffekte bei Wartung einzelner Cluster Störungen des lokalen Betriebs durch remote Cluster möglich Warten auf GPFS

36 GPFS in der Welt 36

37 37

38 38

39 39

40 40

41 41

42 42

43 GPFS in der Zukunft 43

44 Geplante GPFS Erweiterungen DEISA Dedizierte 10 Gb Ethernet Verbindung mit RZG (DFN) Test der GPFS Performance über 10 Gb Ethernet Erweiterung der 10 Gb Netzes für andere Teilnehmer (IDRIS,CINECA) Test mit diesen Partnern GPFS Client für SGI Altix Systeme (SARA) 10 Gb DEISA Netz 44

45 P690 LPAR mit: Konfiguration NSD Server 4 CPU s 16 GB Hauptspeicher 8 2Gb FibreChannel Adapter 1 Fast Ethernet Adapter für Cluster-Management (CWS) Netzwerk für NSD: 2 HighPerformanceSwitch (HPS) Adapter mit je 16 Gb/s 10 Gb Ethernet Adapter (DEISA) 45

46 JUBL 8 Rack Juelich Blue Gene/Light System 46

47 IBM Blue Gene/L System Buildup 2 Midplanes (each 8x8x8) 2 * 16 = 32 Node Books 2 * 512 chips Rack cabled 16x8x chips System 64 Racks, 64x32x chips Processor Card 2 chips, 1x2x1 Node Book (32 chips 4x4x2) 16 compute, I/O cards 2.8/5.6 TF/s 512 GB 180/360 TF/s 32 TB Node (Chip) Dual Processor 5.6/11.2 GF/s 1.0 GB 90/180 GF/s 16 GB 47

48 48

49 49

50 50

51 51

52 52

53 JUBL Configuration at FZJ BG/L Service Node Front-End Node LDAP Server (User Mngt.) DB JUBL 8192 Compute Nodes 288 I/O Nodes. NFS IBM p720 IBM p720 ssh JUMP 53

54 JUBL Configuration at FZJ BG/L Service Node Front-End Node LDAP Server (User Mngt.) DB JUBL 8192 Compute Nodes 288 I/O Nodes. GPFS IBM p720 IBM p720 ssh JUMP 54

55 GPFS und JUBL Definition eines neuen Clusters (JUBL) bestehend aus Front-End Node Service Node 288 I/O Nodes JUMP und JUBL: mmauth genkey (public/private Schlüsselpaar) (nur JUBL) mmchconfig cipherlist=authonly (Authorisierung einschalten) (nur JUBL) öffentliche Schlüssel austauschen JUMP: mmauth add JUBL k keyfile_jubl mmauth grant JUBL f home1 a rw r : JUBL: mmremotecluster add JUMP n j36io1f,j36io2f,j37io1f,j37io2f k keyfile_jump mmremotefs add home1 f home1 C JUMP T /home1 mount /home1 55

56 Konfiguration NSD Server P690 LPAR mit: 4 CPU s 16 GB Hauptspeicher 8 2Gb FibreChannel Adapter 1 Fast Ethernet Adapter für Cluster-Management (CWS) Netzwerk für NSD: 2 HighPerformanceSwitch (HPS) Adapter mit je 16 Gb/s 10 Gb Ethernet Adapter (DEISA) 1 Etherchannel mit 4 x 1GB Ethernet Adapter (JUBL) 56

57 German Core Grid Storage Elements at Jülich dcache in Jülich VO=ILDG, dgrid Firewall domain=.zam.kfa-juelich.de https, etc gridftp DMZ GPFS Common Filesystem LCG host=zam452 host=zam420 host=zam213 host=zam214 SRM/Admin Server DataPool Server DataPool Server. Blue Gene/L JUBL dcache Cache Cache 57 Supercomputer JUMP O.Büchner, FZJ/ZAM, 16./ TSM Storage Backend 2. Kern-D-Grid-Workshop.

58 58

59 Trennung GPFS und JUMP HPS 59

60 mmdelnode HPS 60

61 mmdelnode 61

62 Multi Gigabit Backend Switch TSM Server 62 NSD Server/GPFS Cluster

63 General Purpose Rechner >50 Teraflop/s GPFS RemoteCluster GPFS RemoteCluster Hochskalierender Rechner >250 Teraflop/s GPFS RemoteCluster GPFS Remote Cluster Multi Gigabit Backend Switch 63

64 Das integrierte Helmholtz-Konzept (Ausbau 2007) John von Neumann-Institut (NIC) General Purpose Rechner >50 Teraflop/s Multi- Gigabit Backend Network Hochskalierender Rechner >250 Teraflop/s Topical Center GridKa SL QCD Topical Center DESY/NIC Topical Center GSI/NIC NIC SL Nanoscience + Molecular Materials Globales File-System Super Topical Center IFF/FZJ Computing SL Biology Topical Center NIC Multi-PetaByte Band-Archiv Support SL Neuroscience Topical Center IME/FZJ SL Geosphere Teams Topical Center AWI Topical Center ICG/FZJ 64

65 Vielen Dank! 65