Grundlagen des Grid Computing

Transkript

1 Grundlagen des Grid Computing Grid Middleware Toolkits: Advanced Resource Connector (ARC) ICA Joh.. Kepler Universität t Linz

2 Advanced Resource Connector Entwickelt durch die NorduGrid Collaboration Skandinavische Länder (Dänemark, Norwegen, Schweden, Finnland) Motiviert durch den Bedarf der Hochenenergiephysik GT2 und EDG-Software nicht ausreichend GT2 nur Box of Tools Kein Resource Broker Stage-in nur für kleine Dateien EDG war 2002 nicht ausgereift genug Zentralisierter Ressource Broker als Bottleneck Grundlagen des Grid Computing 2

3 Advanced Resource Connector Daher: Entwicklung einer separaten Grid Middleware Aufbauend auf funktionierenden (GT2) Komponenten Ersatz für problematische Komponenten Grundlagen des Grid Computing 3

4 Advanced Resource Connector Designrichtlinien Vermeidung von Single Points of Failure Skalierbarkeit Volle Kontrolle für Ressource-Besitzer Keine vorgeschriebene Cluster-Konfiguration oder Betriebssystem ARC-Middleware nur auf den Front-End Maschinen Cluster-Knoten können an einem privaten Netz hängen Cluster können auch von lokalen Jobs genutzt werden Grundlagen des Grid Computing 4

5 NorduGrid Tools User Interface Job Submission Job-Status Abfrage Information System Pull Modell Datenquellen werden in einer Registry eingetragen Computing Cluster Verbindet lokale Batch-Systeme mit dem Grid Storage Element Replica Catalog Grundlagen des Grid Computing 5

6 Job-Ablauf 1. Vorbereitung der Job-Beschreibung in xrsl (Resource- Anforderungen,...) 2. User Interface (UI) interpretiert Job Beschreibung 1. führt Resource Brokering durch (unter Verwendung des Informationssystems) 2. Schickt Job zu ausgewähltem Cluster inklusive Datei-Upload 3. Grid Manager (GM) der Resource empfängt Anforderung, verarbeitet und leitet an lokales Resource Management weiter Datenmanipulation mit Unterstützung von SEs und Replica Catalog Postprocessing wird auf vom GM durchgeführt 4. Benutzer kann Job-Status abfragen und / oder Ergebnisse holen (vom UI) Grundlagen des Grid Computing 6

7 NorduGrid Architektur Grundlagen des Grid Computing 7

8 Grid Manager Job Submission Frontend für Cluster Läuft am Head-Node Interface zu lokalem Batch-System Jobmanagement Data pre- und post-staging Schicht über den Globus Services Job-Datentransfer läuft über GridFTP NorduGrid GridFTP-Server (GFS) für SEs und Job- Datentransfer Grundlagen des Grid Computing 8

9 Grid Manager Akzeptiert Jobs in extended RSL Globus RSL mit zusätzlichen Attributen Pro Job wird ein Session Directory angelegt Auf der Ressource Daten werden direkt dort gesammelt kein Bottleneck Job Execution Script wird erzeugt und ans lokale Batch-System übergeben Grundlagen des Grid Computing 9

10 Grid Manager Grundlagen des Grid Computing 10

11 Informationssystem Basierend auf LDAP Erweiterung von Globus MDS Datenmodell von MDS wurde angepasst um Cluster, Jobs und Benutzer zu beschreiben Information Provider erzeugen LDAP-Einträge auf Anfrage Caching in lokalen Datenbanken (basierend auf Globus GRIS) Soft-state Registration Ressourcen tragen sich in Registry ein / aus Grundlagen des Grid Computing 11

12 User Interface Commandline Tools für Job Submission Job Status Abfrage Holen von Output Terminieren eines Jobs Datentransfer von / zu SEs Grundlagen des Grid Computing 12

13 User Interface xrsl zur Job-Beschreibung enthält Job-Anforderungen Bei Job-Submission fragt das UI beim Informationssystem nach geeigneter Resource Falls gefunden, wird Job dorthin geschickt Kein separater Resource Broker notwendig! Grundlagen des Grid Computing 13

14 xrsl Erweiterungen der Globus RSL Änderungen in der Interpretation Speziell stage-in / out von großen Dateien inputfiles und outputfiles Attribute Lokale Dateinamen oder URI mit Protokollspezifikation Grundlagen des Grid Computing 14

15 Monitoring Webinterface zum Informationssystem Separater Webserserver Schickt LDAP Queries ans Informationssystem Grundlagen des Grid Computing 15

16 Monitoring Grundlagen des Grid Computing 16