Grundlagen des Grid Computing

Transkript

1 Grundlagen des Grid Computing Grid Middleware Toolkits: Globus Toolkit 2 ICA Joh.. Kepler Universität t Linz

2 Globus Toolkit 2 Schon ziemlich alt... Wieso hier? Grundlage für den Großteil der aktuellen Grid-Middleware Basis für Globus Toolkit (GT3... GT4) Erweiterung Richtung Webservices LCG Software (EU Datagrid) glite ARC (Nordugrid) Implementiert (und definiert) notwendige Basisdienste Grundlagen des Grid Computing 2

3 Notwendige Technologien für VOs und Grids Sicherheitslösungen Management von Berechtigungen und Regelungen über mehrere Organisationen hinweg Ressource Management Protokolle und Dienste, die den sicheren entfernten Zugriff zu Berechnungs- und Datenressourcen sowie die gleichzeitige Allokation von mehreren Ressourcen unterstützen Informationsabfrageprotokolle und Dienste, die Statusund Konfigurationsinformationen zu Ressourcen, Organisationen und Services bieten Datenmanagementservices die Daten finden und zwischen Speichersystemen und Anwendungen transportieren Grundlagen des Grid Computing 3

4 Globus Toolkit 2 Grundlegende Software-Infrastruktur für Konstruktion und Einsatz von portablen und (effizienten) Diensten Menge von Low-Level Mechanismen als Bausteine Möglichkeiten zur Beobachtung und Steuerung der Low-Level Mechanismen Grundlagen des Grid Computing 4

5 Globus Toolkit 2 Wichtige Globus Services (GT2): Globus Resource Allocation Manager (GRAM) Globus Security Infrastructure (GSI) Globus Metadirectory Service (MDS) GridFTP, Globus GASS, Globus IO Grundlagen des Grid Computing 5

6 GRAM Ausführen von Jobs auf entfernten Rechnern Schnittstelle zwischen lokalem Ressource Management System und Grid Involvierte Komponenten: Globus Gatekeeper Globus Security Infrastructure Globus Jobmanager Grundlagen des Grid Computing 6

7 Grundsätzliche Funktionsweise 1. GRAM Client verbindet sich zu remote Gatekeeper 2. Wechselseitige Authentifizierung (GSI) 3. Übertragung einer Anforderung in der Resource Specification Language (RSL) 4. Gatekeeper bestimmt über GSI lokalen Benutzernamen (nach Zertifikat) 5. Jobmanager wird gestartet und bekommt Job zugewiesen 6. Jobmanager führt Job unter lokalem Benutzer aus Grundlagen des Grid Computing 7

8 GRAM GRAM Reporter liefert aktuelle Resourceinformationen an MDS: Systemlast Zahl der Jobs Auch statische Resourceinfos Reservierungsunterstützung durch Scheduler Infos für Resource Brokers Nicht Globus Core Service Nimrod-G AppLeS Condor DAGman Grundlagen des Grid Computing 8

9 GRAM Resource Co-Allocation: Ressource Broker oder Benutzer: Verwendung mehrerer Resourcen (z.b. MPI) Resource Co-Allocator zerlegt Anforderung nach Resourcen Resource Co-Allocator ermöglicht gemeinsames Monitoring Gleichzeitige Resource Allokation Lokaler Fehler => Globaler Fehler Grundlagen des Grid Computing 9

10 Resource Specification Language (RSL) Beschreibt die Resource-Anforderungen für einen Job Attribut Wert Paare Executable Directory Arguments Grundlagen des Grid Computing 10

11 Resource Specification Language (RSL) Beschreibt die Resource- Anforderungen für einen Job Attribut Wert Paare Executable Directory Arguments + (&(resourcemanagercontact= "origin.edvz.unilinz.ac.at") (count=4) (jobtype=mpi) (label="subjob 0") (environment=(globus_dur OC_SUBJOB_INDEX 0) (LD_LIBRARY_PATH /home/globus/globus22_n3 2/lib/)) (directory="/home/gup/k /jku_ring") (executable="/home/gup/k /jku_ring/ring")) Grundlagen des Grid Computing 11

12 GRAM RSL Broker RSL specification Application Queries & info Information Service Ground RSL Co-allocator simple ground rsl Local resource Managers GRAM LSF GRAM PBS GRAM NQE Grundlagen des Grid Computing 12

13 GRAM Client MDS client API calls to locate resources MDS client API calls to get resource info MDS: Grid Index Info Server Site boundary GRAM client API calls to request resource allocation and process creation. Globus Security Infrastructure Gatekeeper GRAM client API state change callbacks Create Job Manager Parse MDS: Grid Resource Info Server Request Monitor & control Query current status of resource Local Resource Manager Process Process Allocate & create processes RSL Library Process Grundlagen des Grid Computing 13

14 Grid Security Infrastructure User Creation of User proxy Cu Host computer User proxy Cup Allocation of a resource Site 1 Resource allocation from Site 2 process Global to local Mapping table Global to local Mapping table Resource Proxy Crp Process Cp Process Cp Resource Proxy Crp Local policy Mechanisms Process Process Local policy Mechanisms Cp Cp Grundlagen des Grid Computing 14

15 Metadirectory Service (MDS) Liefert Informationen zu Ressourcen in einer VO Hierarchisches System Grid Ressource Information Service (GRIS), Ressource-bezogen Grid Index Information Services (GIIS) VO-weite Informationen (Benutzer)-Zugriff über LDAP Grundlagen des Grid Computing 15

16 MDS Information Providers (z.b. GRIS) Grid Information Protocol (GRIP) => Benutzer Grid Registration Protocol (GRRP) => GIIS Aggregate Directory Services (z.b. GIIS) Grid Information Protocol (GRIP) => Benutzer Grid Registration Protocol (GRRP) => GIIS => Hierarchien Grundlagen des Grid Computing 16

17 MDS Inhalt Ressource Informationen (Hardware, Jobmanager) Quelle: GRAM Reporter Netzwerk Informationen Quelle: z.b. NWS Informationen zur Software-Ausstattung Aktualität: Zeitstempel Grundlagen des Grid Computing 17

18 MDS Client 1 Client 2 Client 3 Clients 1 and 2 request info directly from resources. Client 3 uses GIIS for searching collective information. Resource A GRIS Resource B GIIS requests information from GRIS services as needed. GIIS GRIS Cache contains info from A and B Grundlagen des Grid Computing 18

19 MDS: Host CPU CPU hn=hostname RAM DISK VM NET OS dev group= CPUs CPU CPU software=os OS dev=cpu 0 CPU dev=cpu 1 CPU dev group=memory RAM VM dev group= disk DISK dev group= net NET dev=ram dev= VM dev=/scratch1 dev=eth0 RAM VM DISK NET Grundlagen des Grid Computing 19

20 Inzwischen: BDII Informationen aus GRIS und GIIS werden aggregiert Bei vielen Sites und Anfragen war die GIIS-Stabilität mangelhaft Daher Entwicklung des BDII (Berkley Database Index) als Ersatz im Rahmen der LCG Middleware zwei LDAP-Server (einer zum Lesen, einer zum Schreiben) Information wird alle 2 Minuten upgedated Datenquellen werden durch Config-Datei festgelegt Hierarchische Organisation üblich: BDII als Datenquelle Bei großen Infrastrukturen (früher) Heute auch auf Resource-Ebene (zb. CE-Infos) Grundlagen des Grid Computing 20

21 GridFTP Dient zur Übertragung großer Datenmengen zwischen Grid Knoten FTP Server Erweitert um GSI Authentifizierung Striped Data Transfer Third Party Transfer Partial Data Transfer Optimiert fuer große Datenmengen Interaktiv oder Programmgesteuert Grundlagen des Grid Computing 21

22 GASS Global Access to Secondary Storage Transparenter Zugriff auf entfernte Dateien Bietet einen Caching Mechanismus Problem bei interaktiven Verbindungen Automatisches Versenden von Binaries Heute: I/O Sandboxes Aber: limitiert auf kleine Datenmengen Sonst: GridFTP Grundlagen des Grid Computing 22

23 Globus IO Wrapper für BSD Sockets Vergleichbare Programmierung Optionaler GSI-Support Grundlagen des Grid Computing 23

24 Inzwischen: Globus XIO Generische Architektur für Punkt-zu-Punkt Verbindungen Mehrere Protokolle können übereinandergelegt werden Transport und Transform Drivers Basis für weitere Grid Dienste GT4 GridFTP Server Grundlagen des Grid Computing 24

25 Globus XIO Architektur Grundlagen des Grid Computing 25