Hochleistungsrechnen und Grid-Computing am ZIH

Transkript

1 Zentrum für Informationsdienste und Hochleistungsrechnen Hochleistungsrechnen und Grid-Computing am ZIH Dresden,

2 Hochleistungsrechner / Speicherkomplex ZIH-Ressourcen im Grid Hardware Software / Middleware F&E im Grid-Computing D-Grid HEP Community Grid MediGRID D-Grid Integrationsprojekt Chemomentum 2

3 Hochleistungsrechner / Speicherkomplex ZIH-Ressourcen im Grid Hardware Software / Middleware F&E im Grid-Computing D-Grid HEP Community Grid MediGRID D-Grid Integrationsprojekt Chemomentum 3

4 Hochleistungsrechner / Speicherkomplex (HRSK) Komplex für sächsische Wissenschaft für ganz Sachsen, nicht nur TU Dresden je zur Hälfte vom Bund und Land Sachsen finanziert Rechenkomponenten für vielfältige Aufgaben massiv paralleles Rechnen --> HPC Komponente Throughput Computing, kleinere parallele Probleme, sequentielle Programme --> PC-Farm Besonderheit: schnelle Speicherinfrastruktur (einmalig in Deutschland) Focus auf datenintensives Rechnen 4

5 Hochleistungsrechner / Speicherkomplex (HRSK) HPC-Komponente PC-Farm Hauptspeicher 6,5 TB 8 GB/s 4 GB/s 4 GB/s HPC-SAN PC-SAN Festplattenkapazität: 68 TB Festplattenkapazität: 51 TB 1,8 GB/s PetaByteBandarchiv Kapazität: 1 PB 5

6 HPC-System (Mars/Jupiter/Saturn/Uranus/Neptun) SGI Altix x 42U Racks 1024 x Sockets with Itanium2 Montecito DualCore CPUs (1.6 GHz/9MB L3 Cache) 13 TFlops/s Peak Performance 11,9 Tflops/s gemessen 6,5 TB Shared Memory Top500: Platz 73 (Juni 2007) Deutschland: Platz 3 SLES 10, Batchsystem LSF Zugang über Projektantrag 6

7 PC-Farm (Deimos) Linux Networx 26 x 42U Racks + water cooled AMD Opteron X85 Dual Core Chip with 2,6 GHz 384x Single CPU Nodes = 768 cores 232x Dual CPU Nodes = 928 cores 112x Quad CPU Nodes = 896 cores Total of 2592 cores 2 GB main memory (ECC) per Core 13,4 TFlops/s Peak Performance 10,9 Tflops/s gemessen Top500: Platz 79 (Juni 2007) Deutschland: Platz 5 SLES 10, Batchsystem LSF Zugang über Projektantrag 7

8 Storage Technology DDN discs SGI InfiniteStorage 6700 (DDN S2A9500) 4 GBit/s FC technology HPC-SAN: 68 TB capacity 8 GB/s performance PC-SAN: 51 TB capacity 4 GB/s performance 8

9 Petabyte Tape Archive SUN STK SL Slots 30 LTO-3 tape drives 2500 LTO-3 tapes 9

10 weitere Hardware am ZIH Hochleistungsrechner 2x SGI Origin bzw. 64 MIPS Prozessoren mit jeweils 64 Gbyte RAM Betriebssystem IRIX Cluster Phobos 128 CPU's mit je 2 Prozessoren AMD Opteron mit 2,2 GHz und je 4 GByte RAM unter SLES 9 Ranger 16 CPU's Dual-Opteron unter SLES9 Callisto 22 CPU's Dual-Core Itanium 2 unter SLES 9 10

11 Hochleistungsrechner / Speicherkomplex ZIH-Ressourcen im Grid Hardware Software / Middleware F&E im Grid-Computing D-Grid HEP Community Grid MediGRID D-Grid Integrationsprojekt Chemomentum 11

12 Hardware fürs Grid D-Grid Sonderinvestition (Anfang 2007) Hardware explizit für Grid-Computing Focus auf Grid-Speicherinfrastruktur ZIH besitzt ausreichend Computing-Ressourcen 1/3 für MediGRID (Grid für Life Sciences) Datenbanken im Grid Datenmanagement Rest für alle D-Grid Communities inklusive HEP 12

13 13

14 Aufgaben für Sonderinvestition Datenbank-Server und Datenmanagement Sun Fire X4600 Oracle, MySQL, OGSA-DAI, Storage Resource Broker, irods Fibre Channel Disks (ca. 29 TByte Raw) Filemanagement mit dcache 2 Pool + 1 Admin Server für Produktion SATA-Disks (ca. 29 TByte Raw) Middleware-Server (Gateways) für Computing Unicore Globus 4 glite HEPCG-Monitoring Server Web Services, Portal 14

15 zih/forschung/grid_computing/ressourcen/ 15

16 Hochleistungsrechner / Speicherkomplex ZIH-Ressourcen im Grid Hardware Software / Middleware F&E im Grid-Computing D-Grid HEP Community Grid MediGRID D-Grid Integrationsprojekt Chemomentum 16

17 Computing: Unicore5 vertikale Middleware Gesamt-System von User-Client, Security bis Ressourceneinbindung besonders im HPC-Bereich genutzt mehrjährige Betriebserfahrung am ZIH Hochleistungsrechner sind über Unicore angebunden Mars (HPC) Deimos (PC-Farm) Romulus (Origin 3000) ZIH war an Entwicklung von Unicore beteiligt Workflow-Management, Anwendungs-Plugins 17

18 18

19 Computing: Globus Toolkit4 Middleware-Toolkit der Globus Alliance Stellt Baukasten mit Grundfunktionalitäten für Grid-Computing bereit z.b. Authentifizierung, File Transfer... Web Service basierend genauer gesagt Web Service Resource Framework Erweiterung des Web Service Schon recht weit verbreitet, aber eben nur Grundfunktionen z.b. kein Scheduling von Jobs soll als Basis für Grid-Systeme dienen am ZIH: kleinere Computing-Ressourcen werden über Globus4 im D-Grid zur Verfügung gestellt (nicht HPC und PC-Farm) 19

20 Computing: glite Globus 2 basierende und mit vielen Erweiterungen ausgestattet GridMiddleware In Produktion bei LHC / EGEE glite am ZIH Problem: glite wird nur für Scientific Linux unterstützt! Ideal für kleinere Institute! SL-CD rein, glite RPM's installiert, ein zentrales Konfigurationsskript --> fertig! (theoretisch) RZ kauft Rechner mit Support für Hardware und Betriebssystem SGI Altix und PC-Farm mit SLES10 kurzfristig: (Teil von) Phobos mit SL4 + glite mittelfristig: SL4+gLite auf Deimos unter Xen 20

21 Datenmanagement: OGSA-DAI, SRB, irods OGSA-DAI in Globus 4 integriert transparenter Zugriff auf Datenbanken (SQL, XML) im Grid Nutzer fragt gleichzeitig viele verteilte Datenbanken ab, ohne sich um zugrundeliegende DB-Infrastruktur (Oracle, MySQL...) kümmern zu müssen Authentifizierung, Autorisierung Storage Resource Broker, irods (Nachfolger von SRB) Middleware zum Verwalten großer Datenmengen Zugriff auf Files aber auch Datenbanken Metadaten zu eigentlichen Daten hauptsächlich für MediGRID installiert wird aber auch in geringerem Umfang von anderen genutzt z.b. MPG Zellbiologie und Genetik will SRB für Bilddatenmanagement verwenden 21

22 Datenmanagement: dcache gemeinsame DESY + Fermilab Entwicklung Verwaltung von Files, Write Once großer Platten-Cache + Anbindung an Tape-System Server zum Verwalten der Files und zum Zugriff Zugriff aus dem Grid über verschiedene Protokolle Internes Load-Balancing: gleichzeitig mehrere Kopien eines Files Storage Element in glite SE: definiertes System zum Zugriff und Speichern von Daten am ZIH z.z. im Test gesamt ca. 25 TByte Pools zu je 1 TByte können jeweils einzelnen Virtuellen Organisationen zugeordnet werden 22

23 Hochleistungsrechner / Speicherkomplex ZIH-Ressourcen im Grid Hardware Software / Middleware F&E im Grid-Computing D-Grid HEP Community Grid MediGRID D-Grid Integrationsprojekt Chemomentum 23

24 D-Grid Grid-Verbund im Rahmen der escience-initiative des BMBF Aufbau einer nachhaltigen Grid-Infrastruktur für die Wissenschaften in Deutschland gestartet September 2005 Besteht aus einer Reihe von Einzel-Projekten: Community-Projekte für einzelne Wissenschaftsgebiete z.b. Ingenieurwissenschaften, HEP, Medizin, Astrophysik... community-spezifische Entwicklungen Integrationsprojekt Basis-Infrastruktur - stellt Ressourcen für die gesamte deutsche Wissenschaft bereit Werkzeuge / Middleware Support 24

25 25

26 HEP Community Grid ZIH: Job- und Nutzerzentrisches Monitoring Monitoring-Daten für hunderte oder tausende von Jobs eines Nutzers sammeln Grafisches Interface zur Darstellung der Monitoring-Daten Unterstützung bei / Hinweise zur Fehlerfindung Worker Node Monitoring: aufbauend auf LCG WN Monitoring erweitert CPU und memory usage, I/O Raten, Netzwerk, Vollaufen von Verzeichnissen, Log-Files der Applikation... wird durch Setzen einer Umgebungsvariable durch Nutzer gestartet 26

27 HEP Community Grid Nutzerschnittstelle: Web Browser Gridsphere-Portal Java-Applets für grafische Darstellung Interaktivität Zoom in Darstellungen Klick zeigt Detailinformationen oder führt zu neuen Darstellungen 27

28 28

29 User centric monitoring of jobs and their resource usage 29

30 MediGRID Grid Computing für Life Sciences (biomedizinische Forschung, Bioinformatik) Datenmangement und Datenzugriff OGSA-DAI und Storage Resource Broker Beispiel: Bildverarbeitung von MRT und Ultraschallaufnahmen bei der Prostata-Biopsie (Charité Berlin) Verwaltung der Bilder und Metadaten mit SRB Berechnung im Grid: MRT + Ultraschall = 3D-Film 30

31 D-Grid Integrationsprojekt Kern-D-Grid Aufbau einer initialen Grid-Infrastruktur in Deutschland Installation und Unterstützung der Middleware Nutzer-Support Transparenter Datenzugriff im Grid OGSA-DAI als Schicht über relationalen und XML-Datenbanken für einheitliche und abgesicherten Zugriff auf verteilte Datenbanken Performance-Messungen Einsatzszenarien Support der Communities bei der Entwicklung und beim Einsatz 31

32 Chemomentum EU-Projekt FP6 Grid-basierte Software-Lösungen für komplexe, ablauforientierte Anwendungen aus der Chemie mit dem Schwerpunkt Daten- und Wissensmanagement EU REACH Legislative: Überprüfung (fast) aller am Markt befindlichen Chemikalien auf ökologische und gesundheitliche Auswirkung In-Silico-Experimente: Simulationen und modellbasierte Abschätzungen am Rechner müssen nachvollziehbar und nachprüfbar sein Unicore6 basierend ZIH: Datenmanagement von Messdaten, Workflows, Modellen etc. Zusammenarbeit mit Chemikern und Informatikern 32

33 Zusammenfassung Hochleistungsrechner / Speicherkomplex für sächsische Wissenschaft ZIH hat sich in den letzten Jahren stark im Grid-Computing engagiert F&E vorallem in Bereichen Monitoring und Datenmanagement Nutzer-Unterstützung Stellen eigene Ressourcen im Grid zur Verfügung Computing-Ressourcen Unicore und Globus 4 bei D-Grid im Produktionsbetrieb glite demnächst Speicherressourcen Datenbanken OGSA-DAI Storage Resource Broker dcache im Aufbau 33